Use Cases a serem trabalhos no bootcamp Engenheiro(a) de Dados Cloud

Repositório com códigos e esteiras de deploy.

1 - Delta Lake com GIT - CI e Esteira de deploy na AWS, Bucket S3, Lambda, EMR e PySpark

❑ Implantação de Arquitetura de Data Lakehouse. ❑ Programação usando Delta Lake com Spark. ❑ AWS EMR.

Arquitetura da solução:

2 - Streaming de eventos Bucket S3, Kinesis Firehose, Glue Crawler e Athena.

❑ Simulador de Dados Fake. ❑ AWS Kinesis. ❑ Depósito de dados em streaming em Data Lake.

Arquitetura da solução:

3 - Orquestração de Pipelines de Big Data com Airflow

❑ Um deploy do Airflow. ❑ Controlando serviços AWS via boto3.

Arquitetura da solução: