Apache Airflow: Orquestación de Pipelines ETL Complejos con DAGs
Curso práctico para data engineers que desean dominar Apache Airflow en la automatización de pipelines ETL. Aprenderás a diseñar, implementar y monitorear DAGs robustos para flujos de trabajo complejos, integrando herramientas como Python, SQL y bases de datos. Al finalizar, serás capaz de construir pipelines escalables y confiables en entornos de producción.
Contenido del curso
Este módulo te prepara para trabajar con Airflow desde cero, instalando y configurando un entorno local que simule un escenario real. Aprenderás los conceptos clave como DAGs, operadores y tareas, sentando las bases para orquestar pipelines de manera efectiva.
Aquí profundizarás en la creación de DAGs complejos, manejando dependencias entre tareas y utilizando características avanzadas como branching y retries. Esto te permitirá construir pipelines más robustos y adaptables a escenarios de error.
- 2.1Definir Dependencias entre Tareas con set_upstream y set_downstreamLectura20 min
- 2.2Implementar Branching y Condicionales en DAGsLectura25 min
- 2.3Configurar Retries y Timeouts para Tareas CríticasLectura15 min
- 2.4Ejercicio: Construir un DAG con Múltiples Ramas y FallbackLectura30 min
- 2.5Quiz: Dependencias y Control de Flujo en AirflowQuiz10 min
En este módulo, conectarás Airflow con herramientas comunes como bases de datos SQL, APIs y sistemas de archivos para automatizar pipelines ETL completos. Aprenderás a extraer, transformar y cargar datos de manera eficiente, aplicando buenas prácticas de ingeniería de datos.
- 3.1Usar Operadores para Conectar con Bases de Datos SQLLectura20 min
- 3.2Extraer Datos de APIs y Archivos con PythonOperatorLectura25 min
- 3.3Transformar Datos en Pipelines ETL con PandasLectura20 min
- 3.4Ejercicio: Automatizar un Pipeline ETL de Datos de VentasLectura30 min
- 3.5Quiz: Integración y Automatización ETLQuiz10 min
Este módulo final te desafía a aplicar todo lo aprendido en un proyecto realista, orquestando un pipeline complejo que simula un entorno de producción. Desarrollarás un DAG completo para procesar datos en tiempo real, integrando monitoreo y buenas prácticas de despliegue.
- 4.1Diseñar la Arquitectura del Pipeline de Datos en Tiempo RealLectura20 min
- 4.2Implementar el DAG con Extracción, Transformación y Carga ContinuaLectura30 min
- 4.3Agregar Monitoreo y Alertas con Logs y MétricasLectura20 min
- 4.4Proyecto: Construir y Desplegar el Pipeline Completo en un Entorno SimuladoLectura40 min
- 4.5Quiz: Evaluación del Proyecto IntegradorQuiz15 min
Crea tu propio curso
La IA genera el contenido. Vos elegis el tema. En minutos tenes un curso completo para compartir.
Crear curso gratis