Qualidade de Dados com Soda
Aprenda como gerenciar a qualidade de dados das suas pipelines com Soda
Wallace Camargo
Engenheiro de Dados
10 horas
10 capítulos
Avançado
Adquirir acesso
Descrição do Curso
Conteúdo do Curso
1
Introdução - Sobre o Instrutor
Conheça quem irá lhe ensinar nessa jornada!
2
Introdução - Apresentando Conteúdo do Curso
Conhecendo o conteúdo desse treinamento
3
Introdução - Documentação do Projeto
Veja a documentação com escopo do projeto
4
Introdução - Ferramentas Utilizadas
Veja quais ferramentas iremos utilizar nesse treinamento
5
[Documentação] Escopo e Git
Documentação
1
O que é Qualidade de Dados (Data Quality)
Definição
2
Casos de Uso e Ferramentas
Conhecendo a aplicação
3
Analisando Ferramentas do Mercado
Soda, Great Expectations e Pydantic
4
O que é um Contrato de Dados?
Acordos em relação aos dados: formato, schema, semântica
5
Tipos de Fluxos de Qualidade de Dados
Compreendendo os diferentes cenários
6
Partindo para a Prática
Escopo do projeto
1
Instalação das Ferramentas
VS Code, DBeaver, Docker, Python
2
Instalação do WSL + Docker
Colocando Linux dentro do Windows
3
Estruturando Projeto
Criando Pastas e Arquivos
4
Subindo Postgres via Docker e Conectando no DBeaver
Criando e conectando banco de dados
5
Criando Ambiente Virtual com Python e Dependências
Trabalhando com a requirements
6
Criando framework ETL com Python
Realizando ingestão de dados
7
Execução do ETL
Executando o framework de ETL com Python
1
Criando Primeiro Contrato de Dados
Definindo critérios de validação em torno da origem
2
Validando Dados no Destino
Olhando os dados após ingestão
3
Criando Contrato para Todas Tabelas da Origem
Validando dados em relação a origem
4
Criando Contrato para as tabelas do Destino
Olhando pro restante dos destinos
5
Automatizando Validações
Aplicando Python com Soda
1
Criando Conta no Soda Cloud
Realizando setup
2
Navegando pelo Soda Cloud
Explorando e Conhecendo o Workspace
3
Exportando Resultado dos Testes para Soda Cloud
Levando para fora do Soda Cloud
4
Protegendo a API-KEY do Soda Cloud
Segurança e Controle de Acesso
5
Integrando Soda Cloud com Slack
Integração com canais do Slack
6
Integrando Soda Cloud com Teams
Integração com canais do Microsoft Teams
7
Criando e Resolvendo Incidentes no Soda Cloud
Gestão de Problemas e Incidentes
1
Introdução Ao Teste Cruzado
Iniciando a jornada
2
Criando Primeiro Teste Cruzado
Primeiro Passo
3
Parametrizando mais Tabelas no Teste Cruzado
Incluindo mais cenarios...
4
Teste Cruzado de Métricas
Considerando indicadores....
5
Adicionando Teste Cruzado de Contagem de Linhas
Contando registros..
6
Adicionando Teste Cruzado da Menor Data
Buscando a data mais antiga
7
Adicionando Teste Cruzado da Maior Data
Buscando data mais recente
1
Criando Script de Enviar E-mail
Envio de E-mail
2
Resolvendo Bug do Envio de Email
Solucionando o problema...
1
Revisão Geral do Conteúdo
Relembrando os conceitos
2
Explicação do Projeto Final
Entendendo o escopo do projeto
3
Exemplificando o Exercício 1
Iniciando o primeiro exercício
4
Resolvendo o Exercício 1
Solução do primeiro exercício
5
Resolvendo Exercicio 2 - Criando Contratos para a Fonte
Solução do segundo exercício
6
Resolvendo o Exercicio 3
Solução do Terceiro Exercicio
7
Resolvendo o Exercicio 4
Solução do Quarto Exercício
8
Continuação do Exercício 4 - Melhorando o Log de Exportação
Melhorando o Log de Exportação
1
Criando Dataviz para Schema-Check
Bonus
2
Criando Dataviz Cross-Check
Bonus
3
Orquestrando Todo o Processo com Python
Bonus
1
Agradecimentos Finais
Finalização do Curso
O que Você Vai Aprender
- Qualidade de Dados
- Instalação e Configuração do Soda
- Definição e aplicação de regras de validação
- Validação Cruzada
- Soda Cloud
- Automatizando validações com Python
- Criação de alertas e relatórios de qualidade de dados