Cícero MourainData HackersSimplificando a Transformação de Dados no Redshift: Uma Abordagem com DBT e AirflowVamos transformar e modelar dados armazenados no Redshift com uma abordagem simples e eficaz através do uso do dbt e Airflow. Para que…8 min read·Oct 25, 2023----
Cícero MourainData HackersAgendamento Baseado em Datasets no Airflow: Um Guia Prático com DAG FactoryNeste artigo, o objetivo é falar sobre a funcionalidade de Datasets do Airflow e como construir DAGs data-aware, utilizando DAG Factory6 min read·Aug 13, 2023----
Cícero MourainData HackersQualidade de Dados em Larga Escala com Great Expectations, Spark e Glue ETL (Case 2)Neste artigo o objetivo é mostrar na prática, como testar a qualidade dos seus dados em arquitetura serverless utilizando o Great…8 min read·Jul 15, 2023----
Cícero MourainData HackersQualidade de Dados em Larga Escala com Great Expectations, Spark e Airflow no EMR (Case 1)Neste artigo o objetivo é mostrar de forma prática como testar a qualidade dos seus dados em Big Data utilizando o Great Expectations com…10 min read·Apr 16, 2023--1--1
Cícero MourainData HackersEMR Serverless e Airflow: Processando dados de forma escalável com Spark na AWSGerenciar cluster Spark? Esperar o tempo de bootstrap do EMR? Ter um servidor para configurar? Tudo isso é coisa do passado, agora a moda é…8 min read·Sep 23, 2022----
Cícero MourainData HackersAirflow com Alta Disponibilidade e Escalabilidade no Amazon ECSQue tal fazer o deploy do Airflow 2.0 com alta disponibilidade e escalabilidade para o seu ambiente de Big Data que está em constante…11 min read·Jun 3, 2022----
Cícero MourainData HackersCatalogação e Descoberta de Dados com AmundsenOrganizar, controlar e democratizar o acesso aos dados dentro de uma organização é um dos desafios do Big Data. O Google dos Dados, mais…10 min read·Feb 3, 2022----
Cícero MourainData HackersQualidade de Dados na Prática com Spark e AWS DeequQual é a qualidade dos dados dentro de um Data Lake? Quão completos e confiáveis? Quais são as métricas de qualidade para Big Data?7 min read·Sep 16, 2021--2--2
Cícero MourainData HackersTransformação de dados com DBT e AWS AthenaTransformação de dados, testes, documentação e construção de Data Warehouse é um trabalho bem duro para engenheiros e analistas de dados. A…7 min read·Jul 13, 2021--2--2
Cícero MourainData HackersIntegração de dados em tempo real do Postgres para o S3 com DebeziumNeste artigo iremos conversar sobre como fazer a integração de dados de um banco relacional para o Amazon S3 em tempo real, capturando…8 min read·Mar 2, 2021--3--3