Processamento de Dados com Apache Beam e Dataflow
Construindo pipelines e fluxos de ingestão com Apache Beam e Dataflow
Iury Rosal
Engenheiro de Dados
3 horas
4 capítulos
Avançado
Adquirir acesso
Descrição do Curso
Conteúdo do Curso
1
O que é Apache Beam?
Conhecendo a ferramenta
2
Arquitetura e Conceitos
Principais componentes e como interagem
3
Estrutura da Pipeline
Compreendendo sobre a pipeline
1
ReadFromText
Realizando leitura de caracteres
2
Create
Criando estruturas de dados
3
ReadAllFromText
Compreendendo diferenças com o ReadFromText
4
WriteToText
Realizando lógica de saída de dados
5
FlatMap
Função de mapeamento mais básica
6
Map
Outro método de mapeamento e diferenças do FlatMap
7
Filter
Aplicando filtros
8
CombinePerKey
Aplicando agregação de dados
9
Ramificações e Flatten
Ramificando a pipeline
1
ParDo
Criando sua função customizada
2
Métodos do ParDo
Compreendendo a estrutura do objeto ParDo
1
Preparando Pipeline no Ambiente Local
Primeiro passos
2
Organizando Cloud Storage e Enviando Template
Migrando para o Google Cloud
3
Preparando Pipeline para Dataflow
Estruturação para Dataflow
4
Executando Dataflow Job
Vendo na prática
O que Você Vai Aprender
- Apache Beam
- Google Cloud Dataflow