Apache Airflow: Orquestación de Pipelines ETL Complejos con DAGs

Este curso aborda Apache Airflow como un sistema para convertir procesos de datos repetibles en flujos observables, ordenados y recuperables. El escenario conductor será una operación de ventas que recibe archivos, consulta una fuente HTTP autorizada, valida registros, transforma importes y carga resultados en una base de datos local. La meta no es memorizar nombres de operadores, sino justificar cada decisión del DAG: qué tarea existe, qué dependencia necesita, qué dato intercambia y cómo se comprueba su resultado.

El primer módulo construye una base operativa. Prepararás un entorno aislado con Docker y distinguirás los servicios que participan en una ejecución: DAG processor, scheduler, API server, base de metadatos y workers cuando el executor los requiere. Después leerás estados, logs, etiquetas y ejecuciones desde la interfaz. Crearás un DAG pequeño con fecha de inicio fija, programación explícita y tareas simples. La práctica de descarga usará datos controlados para observar extracción, almacenamiento y errores sin depender de credenciales reales. El quiz comprobará si sabes separar configuración, orquestación y procesamiento.

El segundo módulo se concentra en el diseño del grafo. Compararás Python, Bash y SQL según el tipo de trabajo, el volumen de datos y la necesidad de trazabilidad. Modelarás dependencias con operadores de relación y con los métodos explícitos, recordando que una dependencia expresa orden, no transporte automático de datos. Luego construirás ramas según una condición verificable, unirás rutas con cuidado y revisarás estados omitidos. La práctica integradora del módulo representará fuentes independientes de ventas, productos y clientes, permitiendo paralelismo antes de una consolidación.

El tercer módulo conecta Airflow con sistemas externos. Configurarás conexiones sin escribir secretos en el código y usarás hooks para obtener clientes reutilizables. Trabajarás con consultas pequeñas y cargas idempotentes en una base de datos local, distinguiendo una ruta de archivo compartida de un valor pequeño en XCom. Los sensores servirán para esperar la llegada de un archivo o una señal controlada, con intervalo, timeout y modo de espera razonados. La práctica API-a-base de datos exigirá validar campos, evitar duplicados y verificar el número de filas cargadas.

El proyecto final empieza antes del código. Diseñarás un contrato de datos con nombres, tipos, claves y reglas de calidad; después dibujarás fuentes, tareas, dependencias, puntos de reintento y destinos. La implementación separará extracción, validación, transformación y carga para que cada etapa tenga logs útiles. Las pruebas usarán datos locales y una ejecución simulada, no sistemas ajenos. Una ejecución repetida con la misma entrada deberá dejar el destino en el mismo estado lógico, sin duplicar registros.

La observabilidad será parte del entregable, no un añadido. Para cada tarea registrarás identificadores de ejecución, cantidades de entrada y salida, rechazos y duración. Definirás qué fallo debe reintentarse, cuál debe detener el DAG y qué condición debe generar una alerta. Revisarás logs y estados desde la interfaz, compararás el resultado esperado con el obtenido y documentarás una recuperación controlada. No se considerará suficiente mostrar una pantalla verde si no puedes demostrar las filas, cálculos y decisiones que la produjeron.

La comprobación final combinará revisión del grafo, ejecución local, consultas de verificación y preguntas situacionales. Se valorará que los nombres sean claros, que no haya ciclos, que las dependencias reflejen necesidades reales, que los secretos estén fuera del código y que los datos puedan reproducirse. Al terminar, tendrás un patrón transferible para diseñar DAGs mantenibles: contrato explícito, tareas pequeñas, intercambio de datos prudente, carga idempotente y evidencia operativa.

La ampliación distingue el contenido histórico del curso de las APIs públicas de Airflow 3.3.2: usa imports del SDK y providers actuales, intervalos de datos explícitos y reglas de disparo acordes con las ramas. Las fixtures incluidas permiten verificar cálculos sin credenciales externas. Los ejemplos se revisaron con documentación oficial y controles de sintaxis y datos; la ejecución dentro de Airflow sigue siendo parte de la práctica del alumno.