Facebook pixel
Awari Começar Agora
Imagem

Curso de
Engenharia de Dados

Aprenda a orquestrar pipelines de dados com Airflow e Kafka, escale o tratamento de dados com Spark, faça ingestão de dados em Data Lakes e Data Lakehouses, implemente projetos em object storages e nuvens como AWS e muito mais.

Entre na Lista de Espera

Vagas limitadas. Você precisa ser aprovado em nosso processo de candidatura para se inscrever.

Aprenda com o maior time de mentores do Brasil, de empresas como:

Imagem

Como Funciona

Entre na Lista de Espera

Como Funciona

Grade Curricular

Mentores

Depoimentos

FAQ

Como Funciona

Grade Curricular

Mentores

Depoimentos

FAQ
Entre na Lista de Espera

120h de conteúdo

Conteúdos teóricos e parte prática

8 semanas

Aprenda no seu ritmo

Certificado de conclusão

Reconhecido pelo mercado

Mentorias individuais

Maior time de mentores do Brasil

Sobre o curso

O objetivo do curso é que você se torne especialista em Data Engineering, capaz de lidar com grandes quantidades de dados de diversas fontes, preparando-os para projetos de Business Intelligence, Ciência de Dados e de Machine Learning.

Ao final desse curso, você vai:

Ao concluir o curso, você será capaz de realizar tratamento de dados com Spark, utilizar Kafka e Airflow para orquestrar pipelines de dados, fazer ingestão de dados em Data Lakes e Data Lakehouses e publicar projetos na nuvem usando AWS.

Feita por especialistas, pensada no mundo real

Grade curricular Mais completa do mercado

Nós temos um comprometimento com a qualidade de nossos cursos, e nossa grade curricular é a mais completa do mercado sobre o tema. Ela foi criada por especialistas e pensada desde o primeiro dia em sua aplicabilidade prática.

1

Introdução à Engenharia de Dados

Entenda como Data Engineering surgiu, como se relaciona com outros papéis de dados e como se tornou uma das profissões mais disputadas do mercado.


Tudo sobre o Curso!
Vídeo: Bem-vindos(as)!
Roteiro da 1ª Aula
Slides: Introdução à Engenharia de Dados
Prática: Requisitos para Vagas
Tarefa: Reflita sobre o Mercado
Faça após a 1ª Aula
Resumo da Unidade - Introdução à Engenharia de Dados

2

Big Data, Data Lakes e Data Warehouses

Conheça terminologias do armazenamento de dados em larga escala e pratique em ferramentas dedicadas a dados não estruturados e Big Data.


Roteiro da 2ª Aula
Slides: Big Data, Data Lakes e Data Warehouses
Prática: Arquiteturas Modernas de Dados
Tarefa: Pesquisando Arquiteturas
Faça após a 2ª Aula
Resumo da Unidade - Big Data, Data Lakes e Data Warehouses

3

Configurando Ambiente com Docker

Comece pelas bases em infraestrutura de software e dados e monte o ambiente de práticas do curso no gerenciador de containers Docker.


Roteiro da 3ª Aula
Orientações sobre Docker
Slides: Configurando Ambiente com Docker
Prática: Containers Docker
Exercício: Praticando com Docker Hub
Faça após a 3ª Aula
Resumo da Unidade - Configurando Ambiente com Docker

4

Python para Engenharia de Dados

Faça uma revisão da linguagem de programação Python e entre no mundo de bibliotecas e recursos mais utilizados na Engenharia de Dados.


Roteiro da 4ª Aula
Slides: Python para Engenharia de Dados
Prática: Live Coding em Python
Tarefa: Python Basics
Faça após a 4ª Aula
Resumo da Unidade - Python para Engenharia de Dados

5

Iniciando Tratamento de Dados

Aprenda transformação, limpeza, remoção de nulos, normalização e outras técnicas para tratamento de arquivos com dados brutos massivos.


Roteiro da 5ª Aula
Slides: Iniciando Tratamento de Dados
Prática: Data Processing 101
Tarefa: Top Youtubers
Faça após a 5ª Aula
Resumo da Unidade - Iniciando Tratamento de Dados

6

Tratamento com MinIO e MongoDB

Avance no tratamento de dados com MinIO, object storage que usa o protocolo do serviço Amazon AWS S3, e o banco de dados NoSQL MongoDB.


Roteiro da 6ª Aula
Slides: Tratamento com Minio e MongoDB
Prática: MinIO e MongoDB no JupyterLab
Tarefa: Organizar Cidades por Estados
Faça após a 6ª Aula
Resumo da Unidade - Tratamento com MinIO e MongoDB

7

Batch, Diferencial e Kafka Streaming

Crie pipelines para lidar com a carga de dados ingeridos em data storages, seja por meio da importação em lote, calculando diferenças ou em tempo real.


Roteiro da 7ª Aula
Slides: Batch, Diferencial e Kafka Streaming
Prática: Exemplos nas Diversas Técnicas
Tarefa: Data Import Techniques
Faça após a 7ª Aula
Resumo da Unidade - Batch, Diferencial e Kafka Streaming

8

Spark e Fontes de Dados

Trate dados distribuídos e escaláveis com as ferramentas Apache Spark e PySpark e combine dados em diferentes formatos, como Parquet, CSV e JSON.


Roteiro da 8ª Aula
Slides: Spark e Fontes de Dados
Prática: Tratamentos com PySpak
Tarefa: Spark Manipulations
Faça após a 8ª Aula
Resumo da Unidade - Spark e Fontes de Dados

9

Airflow e Orquestração de Processos

Entenda na prática como funciona a orquestração de processos e pipelines de dados por meio da automatização dessas operações com Apache Airflow.


Roteiro da 9ª Aula
Slides: Airflow e Orquestração de Processos
Prática: Pipelines com Airflow
Tarefa: Automatizando Scripts Anteriores
Faça após a 9ª Aula
Resumo da Unidade - Airflow e Orquestração de Processos

10

Projeto I: Preparando a Infra

Comece a construir um projeto end-to-end, em que o objetivo é preparar a infraestrutura de ingestão e armazenamento de um grande volume de dados.


Roteiro da 10ª Aula
Slides: Projeto I: Preparando a Infra
Prática: Big Data Project: Ingestão
Tarefa: Importação Diária de Dados da Covid
Faça após a 10ª Aula
Resumo da Unidade - Projeto I: Preparando a Infra

11

Projeto II: Tratamento

Execute o tratamento massivo dos dados ingeridos, por meio da automatização de extração, limpeza, tratamento e combinação de dados com Airflow.


Roteiro da 11ª Aula
Slides: Projeto II: Tratamento
Prática: Big Data Project: Tratamento
Tarefa: Dados da Covid para Parquet
Faça após a 11ª Aula
Resumo da Unidade - Projeto II: Tratamento

12

Projeto III: Exportação para EDW

Finalize o projeto criando uma pipeline de exportação da carga de dados para um Enterprise Data Warehouse, de onde poderá ser consumido e analisado.


Roteiro da 12ª Aula
Slides: Projeto III: Exportação para EDW
Prática: Big Data Project: Output
Tarefa: Dados da Covid para Postgres
Faça após a 12ª Aula
Resumo da Unidade - Projeto III: Exportação para EDW

13

Fornecendo Dados para Analytics

Entenda as necessidades de pessoas de dados e negócios que irão usar os dados tratados a partir de ferramentas analíticas ou modelos de Machine Learning.


Roteiro da 13ª Aula
Slides: Fornecendo Dados para Analytics
Prática: Reports com Metabase
Tarefa: Report da Covid no Metabase
Faça após a 13ª Aula
Resumo da Unidade - Fornecendo Dados para Analytics

14

AWS I: Introdução à Plataforma

Conheça como funciona a Engenharia de Dados na nuvem na prática, por meio da plataforma Amazon AWS, seus recursos específicos e diferenciais.


Roteiro da 14ª Aula
Slides: AWS I: Introdução à Plataforma
Prática: Demonstrando a AWS
Exercício: Explorando Plataformas
Faça após a 14ª Aula
Resumo da Unidade - AWS I: Introdução à Plataforma

15

AWS II: Publicando Projeto na Nuvem

Replique o projeto end-to-end percorrendo etapas de preparação, automatização do tratamento e exportação de dados usando o ambiente AWS.


Roteiro da 15ª Aula
Slides: AWS II: Publicando Projeto na Nuvem
Prática: Projeto IMDB na AWS
Exercício: Máquina EC2 com Python
Faça após a 15ª Aula
Resumo da Unidade - AWS II: Publicando Projeto na Nuvem

16

Futuro da Engenharia de Dados

Prepare-se para novas tecnologias, técnicas e métodos que continuarão impactando a carreira em Data Engineering e o futuro da área.


Roteiro da 16ª Aula
Slides: Futuro da Engenharia de Dados
Prática: Dinâmica Aberta
Tarefa: Meu Futuro em Data Engineering
Faça após a 16ª Aula
Continue a se Desenvolver!
Resumo da Unidade - Futuro da Engenharia de Dados

Aulas professores especialistas

Participe de aulas ao vivo

Você vai aprender aulas focadas em estudos de caso e ensino prático. Serão multiplos encontros ao vivo com os melhores profissionais do Brasil.

Imagem live class

Materiais de apoio

Aprenda no seu ritmo

Elas ficam gravadas pra você assistir depois. Além disso, você vai ter acesso aos materiais da plataforma – são artigos, vídeo-aulas e outros conteúdos para complementar seu aprendizado.

Imagem plataforma

Receba seu

Certificado reconhecido

No total, a carga horária do curso é de 120h. Ao fim do curso você receberá um certificado com o selo da ABED, Associação Brasileira de Ensino à Distância.

Imagem

Maior time de mentores do Brasil

Mentorias individuais

Você vai agendar mentorias totalmente individuais com o maior time de mentores do Brasil, que atuam em empresas como Disney, Nubank, Google e mais. Essas sessões são essenciais para você tirar dúvidas e receber feedback.

Conheça nossos mentores →

Feito para você

Assessoria de carreira

O curso também te dá acesso ao nosso time de mentores de carreira, que podem te ajudar a entender seu momento atual, praticar para entrevistas e melhorar seu LinkedIn e currículo.

Conheça nossos mentores →

Inglês com foco no que realmente importa

O inglês é o idioma estrangeiro mais estudado pelos brasileiros, porém muitas vezes, as pessoas não sabem aplicá-lo a situações reais. As mentorias individuais são uma prática essencial para a prática do vocabulário e gramática com ênfase no mercado de tecnologia, de acordo com as suas demandas profissionais específicas.

Saiba mais sobre Inglês na Awari →
Imagem aula

Já são milhares de histórias de sucesso com a Awari

Junte-se à nossa comunidade

Em nossa comunidade você vai participar de eventos exclusivos e encontrar os profissionais que definem o mercado.

Confira todos os depoimentos →

Perguntas Frequentes

Não encontrou sua dúvida abaixo? Nosso time está pronto para te atender:

Fale Conosco

Como funciona o processo de candidatura?

Nosso processo de candidatura consiste em duas etapas: um formulário inicial e uma entrevista com nosso time.


Nosso objetivo é entender seu momento profissional e avaliar se é um fit interessante com o que buscamos para nossa comunidade.


Qual plataforma de ensino é utilizada pela Awari?

O curso é realizado através da nossa própria plataforma de ensino, desenvolvida internamente.


É através dela que você vai agendar mentorias, acessar aulas ao vivo, conferir os materiais de apoio e mais.


Esse é um curso pago?

Sim, você precisa ter um plano ativo da Awari para matricular-se nesse curso e agendar mentorias individuais.


Para consultar os valores e opções de pagamento, entre em contato conosco ou envie sua inscrição.


Qual a política de reembolso?

Você pode solicitar o reembolso total do valor pago no prazo de até 7 (sete) dias corridos após a data de compra.


Como funcionam as mentorias individuais?

As mentorias são chamadas de vídeos realizadas através da nossa plataforma, e têm duração de 30 (trinta) minutos.


Você pode usar as ligações para tirar dúvidas, receber feedback sobre suas tarefas e aprender mais sobre o dia a dia do especialista da área.


Quantas mentorias eu posso agendar?

Isso vai depender do plano que você escolher! Nosso plano base começa com 8 mentorias incluídas, mas também temos a opção de você agendar mentorias ilimitadas.


Qual é a carga horária do curso?

O curso de Engenharia de Dados tem carga horária total de 120 horas.