Apoena

Construção de um Data Warehouse Moderno

Iury Rosal

Engenheiro de Dados

6 horas 3 capítulos Intermediário

Introdução ao DLThub Explorando a ferramenta

[COLAB] Introdução ao DLThub Acesse o código usado em aula

Arquitetura e Fluxo Basico Entendendo estruturação da pipeline

[COLAB] DLT Sources e resource Acesse o código usado em aula

Lidando com Paginação e Autenticação Coletando dados de fontes mais complexas

[COLAB] Paginação e Autenticação Acesse o código usado em aula

Usando Sources Pré-Construídas e Destinations Compreendendo objetos do DLThub

[COLAB] Usando sources pré-construidos e destinations Acesse o código usado em aula

Tipos de Escrita e Carregamento Incremental Táticas de Ingestão de Dados

[COLAB] Tipos de escritas e Carregamento Incremental Acesse o código usado em aula

[COLAB] Como o DLT funciona Acesse o código usado em aula

[COLAB] Inspecionando e Ajustando o Schema Acesse o código usado em aula

[COLAB] Entendendo metadados e estados no pipeline Acesse o código usado em aula

Inicio do Projeto e Bloco de Dúvidas Realizando a ingestão de dados

Slides - DBT Acesse os slides usados nessa fase

Introdução ao DBT Principais característica, quando utiliza e quando não usar

Configurações Iniciais Explorando os YAML

Comandos Essenciais Explorando principais comandos

Camadas, Automações e Ambientes Expandindo as principais características do DBT

Projeto Prático [Parte 1] Construindo primeiros modelos

Projeto Prático [Parte 2] Finalizando scripts

Slides - Prefect Acesse os slides usados nessa fase

Revisão do DBT Relembrando aspectos da fase 2

Visualização dos Dados Utilizando Superset para visualizar os dados

Introdução ao Prefect Orquestração de Pipelines com Prefect

Aplicando Prefect nas Pipelines Projeto Prático

Enviando para produção e Google Cloud Aplicando pipelines para o BigQuery

Repositório do Projeto GitHub Acesse o código usado neste curso

Simulado Final de Avaliação Valide seus conhecimentos