Construção de um Data Warehouse Moderno
Unindo ferramentas open-source com computação em nuvem para modelagem de um DW
Samuel Silva
Engenheiro de Software
Adquirir acesso
Descrição do Curso
Conteúdo do Curso
1
Introdução ao DLThub
Explorando a ferramenta
2
[COLAB] Introdução ao DLThub
Acesse o código usado em aula
3
Arquitetura e Fluxo Basico
Entendendo estruturação da pipeline
4
[COLAB] DLT Sources e resource
Acesse o código usado em aula
5
Lidando com Paginação e Autenticação
Coletando dados de fontes mais complexas
6
[COLAB] Paginação e Autenticação
Acesse o código usado em aula
7
Usando Sources Pré-Construídas e Destinations
Compreendendo objetos do DLThub
8
[COLAB] Usando sources pré-construidos e destinations
Acesse o código usado em aula
9
Tipos de Escrita e Carregamento Incremental
Táticas de Ingestão de Dados
10
[COLAB] Tipos de escritas e Carregamento Incremental
Acesse o código usado em aula
11
[COLAB] Como o DLT funciona
Acesse o código usado em aula
12
[COLAB] Inspecionando e Ajustando o Schema
Acesse o código usado em aula
13
[COLAB] Entendendo metadados e estados no pipeline
Acesse o código usado em aula
14
Inicio do Projeto e Bloco de Dúvidas
Realizando a ingestão de dados
1
Slides - DBT
Acesse os slides usados nessa fase
2
Introdução ao DBT
Principais característica, quando utiliza e quando não usar
3
Configurações Iniciais
Explorando os YAML
4
Comandos Essenciais
Explorando principais comandos
5
Camadas, Automações e Ambientes
Expandindo as principais características do DBT
6
Projeto Prático [Parte 1]
Construindo primeiros modelos
7
Projeto Prático [Parte 2]
Finalizando scripts
1
Slides - Prefect
Acesse os slides usados nessa fase
2
Revisão do DBT
Relembrando aspectos da fase 2
3
Visualização dos Dados
Utilizando Superset para visualizar os dados
4
Introdução ao Prefect
Orquestração de Pipelines com Prefect
5
Aplicando Prefect nas Pipelines
Projeto Prático
6
Enviando para produção e Google Cloud
Aplicando pipelines para o BigQuery
7
Repositório do Projeto GitHub
Acesse o código usado neste curso
8
Simulado Final de Avaliação
Valide seus conhecimentos
O que Você Vai Aprender
- Conceitos de Data Warehouse
- Ingestão de Dados com DLThub
- DBT para modelagem de DW
- Uso de DuckDB para DW Local
- Migração para BigQuery
- Orquestração de workflows com prefect
Avaliações dos Estudantes
Excelente experiência de compartilhamento, principalmente por usar stacks que fogem do comum no cenário de engenharia de dados, apresentando opções baratas em cenários de robustez pequena/média.