Cícero MourainData HackersSimplificando a Transformação de Dados no Redshift: Uma Abordagem com DBT e AirflowVamos transformar e modelar dados armazenados no Redshift com uma abordagem simples e eficaz através do uso do dbt e Airflow. Para que…Oct 25, 2023Oct 25, 2023
Cícero MourainData HackersAgendamento Baseado em Datasets no Airflow: Um Guia Prático com DAG FactoryNeste artigo, o objetivo é falar sobre a funcionalidade de Datasets do Airflow e como construir DAGs data-aware, utilizando DAG FactoryAug 13, 2023Aug 13, 2023
Cícero MourainData HackersQualidade de Dados em Larga Escala com Great Expectations, Spark e Glue ETL (Case 2)Neste artigo o objetivo é mostrar na prática, como testar a qualidade dos seus dados em arquitetura serverless utilizando o Great…Jul 15, 2023Jul 15, 2023
Cícero MourainData HackersQualidade de Dados em Larga Escala com Great Expectations, Spark e Airflow no EMR (Case 1)Neste artigo o objetivo é mostrar de forma prática como testar a qualidade dos seus dados em Big Data utilizando o Great Expectations com…Apr 16, 20231Apr 16, 20231
Cícero MourainData HackersEMR Serverless e Airflow: Processando dados de forma escalável com Spark na AWSGerenciar cluster Spark? Esperar o tempo de bootstrap do EMR? Ter um servidor para configurar? Tudo isso é coisa do passado, agora a moda é…Sep 23, 2022Sep 23, 2022
Cícero MourainData HackersAirflow com Alta Disponibilidade e Escalabilidade no Amazon ECSQue tal fazer o deploy do Airflow 2.0 com alta disponibilidade e escalabilidade para o seu ambiente de Big Data que está em constante…Jun 3, 2022Jun 3, 2022
Cícero MourainData HackersCatalogação e Descoberta de Dados com AmundsenOrganizar, controlar e democratizar o acesso aos dados dentro de uma organização é um dos desafios do Big Data. O Google dos Dados, mais…Feb 3, 2022Feb 3, 2022
Cícero MourainData HackersQualidade de Dados na Prática com Spark e AWS DeequQual é a qualidade dos dados dentro de um Data Lake? Quão completos e confiáveis? Quais são as métricas de qualidade para Big Data?Sep 16, 20212Sep 16, 20212
Cícero MourainData HackersTransformação de dados com DBT e AWS AthenaTransformação de dados, testes, documentação e construção de Data Warehouse é um trabalho bem duro para engenheiros e analistas de dados. A…Jul 13, 20212Jul 13, 20212
Cícero MourainData HackersIntegração de dados em tempo real do Postgres para o S3 com DebeziumNeste artigo iremos conversar sobre como fazer a integração de dados de um banco relacional para o Amazon S3 em tempo real, capturando…Mar 2, 20213Mar 2, 20213