Facebook pixel
Awari Começar Agora
Imagem

Curso de
Engenharia de Dados

Aprenda a orquestrar pipelines de dados com Airflow e Kafka, escale o tratamento de dados com Spark, faça ingestão de dados em Data Lakes e Data Lakehouses, implemente projetos em object storages e nuvens como AWS e muito mais.

Começar Agora

Inscrições não estão abertas no momento. Inscreva-se para ser informado(a) sobre novas turmas.

Aprenda com o maior time de mentores do Brasil, de empresas como:

Imagem

Como Funciona

Começar Agora

Como Funciona

Grade Curricular

Mentores

Depoimentos

FAQ

Como Funciona

Grade Curricular

Mentores

Depoimentos

FAQ
Começar Agora

120h de conteúdo

Conteúdos teóricos e parte prática

8 unidades

Aprenda no seu ritmo

Certificado de conclusão

Reconhecido pelo mercado

Mentorias individuais

Maior time de mentores do Brasil

Sobre o curso

O objetivo do curso é que você se torne especialista em Data Engineering, capaz de lidar com grandes quantidades de dados de diversas fontes, preparando-os para projetos de Business Intelligence, Ciência de Dados e de Machine Learning.

Ao final desse curso, você vai:

Ao concluir o curso, você será capaz de realizar tratamento de dados com Spark, utilizar Kafka e Airflow para orquestrar pipelines de dados, fazer ingestão de dados em Data Lakes e Data Lakehouses e publicar projetos na nuvem usando AWS.

Feita por especialistas, pensada no mundo real

Grade curricular Mais completa do mercado

Nós temos um comprometimento com a qualidade de nossos cursos, e nossa grade curricular é a mais completa do mercado sobre o tema. Ela foi criada por especialistas e pensada desde o primeiro dia em sua aplicabilidade prática.

1

Introdução à Engenharia de Dados

Entenda como Data Engineering surgiu, como se relaciona com outros papéis de dados e como se tornou uma das profissões mais disputadas do mercado.


Tudo sobre o Curso!
Vídeo: Bem-vindos(as)!
Roteiro da 1ª Aula
Slides: Introdução à Engenharia de Dados
Prática: Requisitos para Vagas
Tarefa: Reflita sobre o Mercado
Faça após a 1ª Aula
Resumo da Unidade - Introdução à Engenharia de Dados

2

Big Data, Data Lakes e Data Warehouses

Conheça terminologias do armazenamento de dados em larga escala e pratique em ferramentas dedicadas a dados não estruturados e Big Data.


Roteiro da 2ª Aula
Slides: Big Data, Data Lakes e Data Warehouses
Prática: Arquiteturas Modernas de Dados
Tarefa: Pesquisando Arquiteturas
Faça após a 2ª Aula
Resumo da Unidade - Big Data, Data Lakes e Data Warehouses

3

Configurando Ambiente com Docker

Comece pelas bases em infraestrutura de software e dados e monte o ambiente de práticas do curso no gerenciador de containers Docker.


Roteiro da 3ª Aula
Orientações sobre Docker
Slides: Configurando Ambiente com Docker
Prática: Containers Docker
Exercício: Praticando com Docker Hub
Faça após a 3ª Aula
Resumo da Unidade - Configurando Ambiente com Docker

4

Python para Engenharia de Dados

Faça uma revisão da linguagem de programação Python e entre no mundo de bibliotecas e recursos mais utilizados na Engenharia de Dados.


Roteiro da 4ª Aula
Slides: Python para Engenharia de Dados
Prática: Live Coding em Python
Tarefa: Python Basics
Faça após a 4ª Aula
Resumo da Unidade - Python para Engenharia de Dados

5

Iniciando Tratamento de Dados

Aprenda transformação, limpeza, remoção de nulos, normalização e outras técnicas para tratamento de arquivos com dados brutos massivos.


Roteiro da 5ª Aula
Slides: Iniciando Tratamento de Dados
Prática: Data Processing 101
Tarefa: Top Youtubers
Faça após a 5ª Aula
Resumo da Unidade - Iniciando Tratamento de Dados

6

Tratamento com MinIO e MongoDB

Avance no tratamento de dados com MinIO, object storage que usa o protocolo do serviço Amazon AWS S3, e o banco de dados NoSQL MongoDB.


Roteiro da 6ª Aula
Slides: Tratamento com Minio e MongoDB
Prática: MinIO e MongoDB no JupyterLab
Tarefa: Organizar Cidades por Estados
Faça após a 6ª Aula
Resumo da Unidade - Tratamento com MinIO e MongoDB

7

Batch, Diferencial e Kafka Streaming

Crie pipelines para lidar com a carga de dados ingeridos em data storages, seja por meio da importação em lote, calculando diferenças ou em tempo real.


Roteiro da 7ª Aula
Slides: Batch, Diferencial e Kafka Streaming
Prática: Exemplos nas Diversas Técnicas
Tarefa: Data Import Techniques
Faça após a 7ª Aula
Resumo da Unidade - Batch, Diferencial e Kafka Streaming

8

Spark e Fontes de Dados

Trate dados distribuídos e escaláveis com as ferramentas Apache Spark e PySpark e combine dados em diferentes formatos, como Parquet, CSV e JSON.


Roteiro da 8ª Aula
Slides: Spark e Fontes de Dados
Prática: Tratamentos com PySpak
Tarefa: Spark Manipulations
Faça após a 8ª Aula
Resumo da Unidade - Spark e Fontes de Dados

9

Airflow e Orquestração de Processos

Entenda na prática como funciona a orquestração de processos e pipelines de dados por meio da automatização dessas operações com Apache Airflow.


Roteiro da 9ª Aula
Slides: Airflow e Orquestração de Processos
Prática: Pipelines com Airflow
Tarefa: Automatizando Scripts Anteriores
Faça após a 9ª Aula
Resumo da Unidade - Airflow e Orquestração de Processos

10

Projeto I: Preparando a Infra

Comece a construir um projeto end-to-end, em que o objetivo é preparar a infraestrutura de ingestão e armazenamento de um grande volume de dados.


Roteiro da 10ª Aula
Slides: Projeto I: Preparando a Infra
Prática: Big Data Project: Ingestão
Tarefa: Importação Diária de Dados da Covid
Faça após a 10ª Aula
Resumo da Unidade - Projeto I: Preparando a Infra

11

Projeto II: Tratamento

Execute o tratamento massivo dos dados ingeridos, por meio da automatização de extração, limpeza, tratamento e combinação de dados com Airflow.


Roteiro da 11ª Aula
Slides: Projeto II: Tratamento
Prática: Big Data Project: Tratamento
Tarefa: Dados da Covid para Parquet
Faça após a 11ª Aula
Resumo da Unidade - Projeto II: Tratamento

12

Projeto III: Exportação para EDW

Finalize o projeto criando uma pipeline de exportação da carga de dados para um Enterprise Data Warehouse, de onde poderá ser consumido e analisado.


Roteiro da 12ª Aula
Slides: Projeto III: Exportação para EDW
Prática: Big Data Project: Output
Tarefa: Dados da Covid para Postgres
Faça após a 12ª Aula
Resumo da Unidade - Projeto III: Exportação para EDW

13

Fornecendo Dados para Analytics

Entenda as necessidades de pessoas de dados e negócios que irão usar os dados tratados a partir de ferramentas analíticas ou modelos de Machine Learning.


Roteiro da 13ª Aula
Slides: Fornecendo Dados para Analytics
Prática: Reports com Metabase
Tarefa: Report da Covid no Metabase
Faça após a 13ª Aula
Resumo da Unidade - Fornecendo Dados para Analytics

14

AWS I: Introdução à Plataforma

Conheça como funciona a Engenharia de Dados na nuvem na prática, por meio da plataforma Amazon AWS, seus recursos específicos e diferenciais.


Roteiro da 14ª Aula
Slides: AWS I: Introdução à Plataforma
Prática: Demonstrando a AWS
Exercício: Explorando Plataformas
Faça após a 14ª Aula
Resumo da Unidade - AWS I: Introdução à Plataforma

15

AWS II: Publicando Projeto na Nuvem

Replique o projeto end-to-end percorrendo etapas de preparação, automatização do tratamento e exportação de dados usando o ambiente AWS.


Roteiro da 15ª Aula
Slides: AWS II: Publicando Projeto na Nuvem
Prática: Projeto IMDB na AWS
Exercício: Máquina EC2 com Python
Faça após a 15ª Aula
Resumo da Unidade - AWS II: Publicando Projeto na Nuvem

16

Futuro da Engenharia de Dados

Prepare-se para novas tecnologias, técnicas e métodos que continuarão impactando a carreira em Data Engineering e o futuro da área.


Roteiro da 16ª Aula
Slides: Futuro da Engenharia de Dados
Prática: Dinâmica Aberta
Tarefa: Meu Futuro em Data Engineering
Faça após a 16ª Aula
Continue a se Desenvolver!
Resumo da Unidade - Futuro da Engenharia de Dados

Materiais de apoio

Aprenda no seu ritmo

Elas ficam gravadas pra você assistir depois. Além disso, você vai ter acesso aos materiais da plataforma – são artigos, vídeo-aulas e outros conteúdos para complementar seu aprendizado.

Imagem plataforma

Receba seu

Certificado reconhecido

No total, a carga horária do curso é de 120h. Ao fim do curso você receberá um certificado com o selo da ABED, Associação Brasileira de Ensino à Distância.

Imagem

Maior time de mentores do Brasil

Mentorias individuais

Você vai agendar mentorias totalmente individuais com o maior time de mentores do Brasil, que atuam em empresas como Disney, Nubank, Google e mais. Essas sessões são essenciais para você tirar dúvidas e receber feedback.

Conheça nossos mentores →

Feito para você

Assessoria de carreira

O curso também te dá acesso ao nosso time de mentores de carreira, que podem te ajudar a entender seu momento atual, praticar para entrevistas e melhorar seu LinkedIn e currículo.

Conheça nossos mentores →

Inglês com foco no que realmente importa

O inglês é o idioma estrangeiro mais estudado pelos brasileiros, porém muitas vezes, as pessoas não sabem aplicá-lo a situações reais. As mentorias individuais são uma prática essencial para a prática do vocabulário e gramática com ênfase no mercado de tecnologia, de acordo com as suas demandas profissionais específicas.

Saiba mais sobre Inglês na Awari →
Imagem aula

Já são milhares de histórias de sucesso com a Awari

Junte-se à nossa comunidade

Em nossa comunidade você vai participar de eventos exclusivos e encontrar os profissionais que definem o mercado.

Confira todos os depoimentos →

Perguntas Frequentes

Não encontrou sua dúvida abaixo? Nosso time está pronto para te atender:

Fale Conosco

Como funciona o processo de candidatura?

Nosso processo de candidatura consiste em duas etapas: um formulário inicial e uma entrevista com nosso time.


Nosso objetivo é entender seu momento profissional e avaliar se é um fit interessante com o que buscamos para nossa comunidade.


Qual plataforma de ensino é utilizada pela Awari?

O curso é realizado através da nossa própria plataforma de ensino, desenvolvida internamente.


É através dela que você vai agendar mentorias, acessar aulas ao vivo, conferir os materiais de apoio e mais.


Esse é um curso pago?

Sim, você precisa ter um plano ativo da Awari para matricular-se nesse curso e agendar mentorias individuais.


Para consultar os valores e opções de pagamento, entre em contato conosco ou envie sua inscrição.


Qual a política de reembolso?

Você pode solicitar o reembolso total do valor pago no prazo de até 7 (sete) dias corridos após a data de compra.


Como funcionam as mentorias individuais?

As mentorias são chamadas de vídeos realizadas através da nossa plataforma, e têm duração de 30 (trinta) minutos.


Você pode usar as ligações para tirar dúvidas, receber feedback sobre suas tarefas e aprender mais sobre o dia a dia do especialista da área.


Quantas mentorias eu posso agendar?

Isso vai depender do plano que você escolher! Nosso plano base começa com 8 mentorias incluídas, mas também temos a opção de você agendar mentorias ilimitadas.


Qual é a carga horária do curso?

O curso de Engenharia de Dados tem carga horária total de 120 horas.