Skip to content

Navigation Menu

Sign in
Appearance settings

Search code, repositories, users, issues, pull requests...

Provide feedback

We read every piece of feedback, and take your input very seriously.

Saved searches

Use saved searches to filter your results more quickly

Appearance settings

Thiago-code-lab/aws-data-engineering-course

Open more actions menu

Repository files navigation

Banner do curso Engenharia de Dados na AWS

Engenharia de Dados na AWS: do Zero aos Projetos Reais

Livro técnico complementar oficial do curso, com aulas completas, PDFs, laboratórios, desafios, quizzes, datasets, projetos executáveis e trilhas de estudo.

Repositório oficial · LinkedIn do instrutor · CloudStudy

Cupom GitHub: use GITHUB no link promocional do curso: acessar com desconto.

O que você vai estudar

A trilha cobre fundamentos de AWS para dados, Data Lake com Amazon S3, ingestão com Python e Boto3, pipelines serverless com Lambda, catálogo e ETL com AWS Glue, consultas com Amazon Athena, infraestrutura como código com Terraform, CI/CD, observabilidade, custos e uso de IA como apoio técnico.

Jornada visual

flowchart LR
    A[Começando] --> B[Fundamentos AWS]
    B --> C[Segurança e custos]
    C --> D[Ambiente local]
    D --> E[S3 e Data Lake]
    E --> F[Python e Boto3]
    F --> G[Lambda]
    G --> H[Glue e Parquet]
    H --> I[Athena e SQL]
    I --> J[Projeto serverless]
    J --> K[Terraform]
    K --> L[Pipeline como código]
    L --> M[CI/CD e operação]
    M --> N[IA com validação]
    N --> O[Projeto final]
Loading

Cada etapa depende da anterior e termina em uma entrega verificável. Use a tabela de módulos abaixo para abrir diretamente o capítulo correspondente.

O que você vai construir

  • Uma estrutura de Data Lake no Amazon S3.
  • Um pipeline Python com regras de qualidade, quarentena, manifesto e testes.
  • Uma função Lambda orientada a eventos com idempotência verificável.
  • Processamento Glue, catálogo e consultas Athena sobre dados analíticos.
  • Infraestrutura completa com Terraform e CI/CD com GitHub Actions e OIDC.
  • Um projeto final de analytics de vendas pronto para reconstrução e portfólio.

Módulos

# Módulo
01 Começando em Engenharia de Dados na AWS
02 Fundamentos da AWS para Engenharia de Dados
03 Conta AWS, Segurança e Controle de Custos
04 Preparando o Ambiente de Desenvolvimento
05 Amazon S3 e Construção de um Data Lake
06 Python e Boto3 para Ingestão de Dados
07 Pipeline Orientado a Eventos com AWS Lambda
08 AWS Glue, Catálogo e Processamento de Dados
09 SQL e Análises com Amazon Athena
10 Projeto 1: Pipeline de Dados Serverless
11 Terraform do Zero
12 Projeto 2: Pipeline de Dados com Terraform
13 CI/CD, Observabilidade, Segurança e Custos
14 IA como Copiloto para Cloud e Dados
15 Projeto final: Analytics de Vendas na AWS

PDFs complementares

Os PDFs disponíveis estão linkados nos READMEs dos módulos 01 a 14.

Projetos

Projeto Arquitetura Entrega principal
Data Lake no Amazon S3 Fluxo e decisões zonas raw, processed, curated e quarantine
Pipeline Serverless Fluxo e decisões evento S3, Lambda, qualidade e consulta
Infraestrutura com Terraform Grafo e decisões recursos reproduzíveis e state protegido
CI/CD com GitHub Actions Pipeline e identidade validação automatizada e OIDC
Projeto final de analytics de vendas Arquitetura completa plataforma integrada e portfólio reproduzível

Como usar este repositório

  1. Comece pelo mapa da formação.
  2. Acesse o README do módulo correspondente à aula em andamento.
  3. Nos módulos com PDF, consulte o arquivo complementar indicado em Materiais.
  4. Use os datasets sintéticos somente para fins educacionais.
  5. Consulte o glossário técnico ao encontrar um termo novo.
  6. Antes de qualquer prática com AWS, leia segurança e custos.
  7. Valide a cópia local com powershell -ExecutionPolicy Bypass -File scripts/validar-estrutura.ps1 ou python scripts/validar-estrutura.py.

Cheat sheets

Tema Consulta rápida
AWS AWS CLI e IAM
Código Python, SQL e Git
Dados Lambda, Glue e Athena
Infraestrutura Terraform

Trilhas visuais e roadmaps

Ferramentas necessárias

  • Conta AWS com orçamento e alertas configurados.
  • Git e GitHub.
  • Python 3 e ambiente virtual local.
  • AWS CLI configurada com perfis seguros.
  • Terraform para os módulos de infraestrutura.
  • Editor de código, como VS Code.

Segurança e custos

Os laboratórios podem criar recursos pagos na AWS. Sempre valide conta, região, orçamento, permissões e procedimento de limpeza antes de executar qualquer atividade prática. Nunca publique credenciais, tokens, dados pessoais, estados Terraform sensíveis ou evidências com informações privadas.

Estrutura do repositório

.
|-- architecture/  # Diagramas Mermaid da jornada e dos pipelines
|-- datasets/      # 23 datasets sintéticos documentados
|-- docs/          # Glossário, cheat sheets, preparação e roadmaps públicos
|-- links/         # Biblioteca temática de referências gratuitas
|-- modulos/       # 15 capítulos com aulas e práticas
|-- projetos/      # 5 projetos executáveis e testáveis
`-- scripts/       # Validações locais do material

Contribuição e segurança

About

Repositório oficial do curso Engenharia de Dados na AWS para alunos da Udemy. Acompanhe as aulas em ordem, acesse PDFs, datasets, laboratórios, desafios, soluções, consultas SQL e projetos práticos com Python, S3, Lambda, Glue, Athena, Terraform, GitHub Actions, segurança, custos, automação e boas práticas de Engenharia de Dados com prática real!

Topics

Resources

Code of conduct

Contributing

Security policy

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages

Morty Proxy This is a proxified and sanitized view of the page, visit original site.