Apache Airflow: Orquestación de Pipelines ETL Complejos con DAGs
Curso práctico para data engineers que desean dominar Apache Airflow en la automatización de pipelines ETL. Aprenderás a diseñar, programar y monitorear DAGs complejos, integrando múltiples fuentes de datos y herramientas. Al finalizar, serás capaz de implementar soluciones robustas de orquestación en entornos productivos.
Generando contenido con IA...
El contenido de este curso esta siendo generado por IA. Volve en unos minutos.
Contenido del curso
Este módulo te prepara para trabajar con Airflow desde cero, instalando y configurando un entorno local que simule un escenario real. Aprenderás los conceptos clave como DAGs y operadores, sentando las bases para construir pipelines automatizados.
- 1.1Instalar Airflow Localmente con DockerLectura15 min
- 1.2Explorar la Interfaz Web y Comprender la ArquitecturaLectura20 min
- 1.3Crear tu Primer DAG con Operadores BásicosLectura25 min
- 1.4Práctica: Configurar un DAG que Descargue Datos de una APILectura30 min
- 1.5Quiz: Conceptos Básicos de AirflowQuiz10 min
Aquí profundizarás en el diseño de DAGs complejos, manejando dependencias entre tareas y optimizando el flujo de datos. Dominarás técnicas para estructurar pipelines eficientes que escalen en producción.
- 2.1Utilizar Operadores Específicos para ETL (Python, Bash, SQL)Lectura20 min
- 2.2Configurar Dependencias con set_upstream y set_downstreamLectura15 min
- 2.3Implementar Branching y Condicionales en DAGsLectura25 min
- 2.4Práctica: Construir un DAG con Múltiples Tareas y DependenciasLectura30 min
- 2.5Quiz: DAGs y Dependencias en AirflowQuiz10 min
Aprenderás a conectar Airflow con bases de datos, APIs y servicios en la nube, esencial para pipelines ETL del mundo real. Este módulo te capacita para manejar datos diversos y garantizar la interoperabilidad.
- 3.1Conectar Airflow a Bases de Datos (PostgreSQL, MySQL)Lectura20 min
- 3.2Usar Hooks para Integrar con APIs y Servicios CloudLectura25 min
- 3.3Configurar Sensores para Esperar Eventos ExternosLectura20 min
- 3.4Práctica: Crear un Pipeline que Consuma Datos de una API y los Guarde en una BDLectura30 min
- 3.5Quiz: Integración y Hooks en AirflowQuiz10 min
En este módulo final, aplicarás todo lo aprendido para desarrollar un pipeline ETL completo desde cero, incluyendo extracción, transformación, carga y monitoreo. Este proyecto te prepara para enfrentar desafíos reales como data engineer.
- 4.1Diseñar la Arquitectura del Pipeline ETLLectura20 min
- 4.2Implementar el DAG con Extracción de Múltiples FuentesLectura25 min
- 4.3Agregar Transformaciones de Datos y Carga a DestinoLectura30 min
- 4.4Configurar Alertas y Monitoreo con Logs y MétricasLectura20 min
- 4.5Práctica: Desplegar y Ejecutar el Pipeline en un Entorno SimuladoLectura40 min
Crea tu propio curso
La IA genera el contenido. Vos elegis el tema. En minutos tenes un curso completo para compartir.
Crear curso gratis