Apache Airflow para ETL: Integraciones y Pipelines en Tiempo Real

Este curso se organiza alrededor de un caso concreto: una tienda recibe cada hora ventas, inventario y eventos de aplicación, pero necesita consolidarlos para detectar quiebres de stock y revisar ingresos sin depender de ejecuciones manuales. Airflow coordinará el flujo; no sustituirá al sistema que almacena o procesa los datos. La ruta comienza con un entorno local reproducible y termina con una simulación controlada de ingesta continua.

En el primer módulo prepararás el entorno con Docker y distinguirás los servicios que sostienen Airflow. Después representarás el trabajo como un DAG: un grafo de tareas con dependencias explícitas, fechas de ejecución y operadores adecuados. El primer objetivo no es construir un sistema grande, sino comprobar que una tarea pequeña puede ejecutarse, registrar su salida y repetirse sin efectos inesperados. Las pruebas con fechas fijas, catchup=False y funciones aisladas ayudan a separar errores de código de errores de orquestación.

El segundo módulo aborda las decisiones que aparecen cuando un flujo deja de ser lineal. Practicarás dependencias con set_upstream, set_downstream y el operador >>, además de ramas condicionadas por el tipo o la calidad de los datos. Una ruta de respaldo debe tener un propósito verificable: por ejemplo, conservar un lote rechazado para revisión, no esconder silenciosamente un fallo. También ajustarás reintentos, pausas y límites de tiempo según el comportamiento esperado de cada tarea. La regla útil es distinguir fallos transitorios, como una conexión momentáneamente ocupada, de fallos permanentes, como una columna inexistente.

El tercer módulo convierte la estructura en un ETL comprobable. Configurarás conexiones sin incrustar credenciales en el código, consultarás datos SQL y usarás PythonOperator para leer archivos o respuestas ya autorizadas. Con Pandas limpiarás tipos, eliminarás duplicados definidos por una clave y calcularás importes mediante fórmulas reproducibles. Cada transformación deberá conservar una relación clara entre entrada y salida: los registros rechazados no desaparecen, sino que se contabilizan o se escriben en una salida separada. Las comprobaciones incluyen conteos, sumas, claves únicas y fechas válidas.

El módulo integrador trata el tiempo real con precisión. En lugar de afirmar que Airflow procesa cada evento al instante, diseñarás una arquitectura en la que una fuente de eventos acumula mensajes y un DAG coordina ventanas cortas de lectura, transformación y carga. Documentarás la latencia objetivo, el comportamiento ante duplicados, el retraso de una fuente y el crecimiento de datos antiguos. La elección entre reprocesar una ventana y avanzar el marcador dependerá de la posibilidad de recuperar eventos sin duplicarlos.

El trabajo final será un entorno simulado con tres entradas, una tabla o archivo de destino, una rama de validación, reintentos limitados, métricas y una alerta local basada en logs. Entregarás el DAG, funciones de transformación, datos de prueba y una nota de decisiones. Se comprobará ejecutando una ventana conocida: los totales deben coincidir con la suma de entradas válidas, los registros inválidos deben quedar identificados y una repetición controlada no debe duplicar resultados. La evaluación priorizará claridad del grafo, determinismo, manejo explícito de errores, separación entre configuración y secretos, y evidencia reproducible de cada etapa.

Los ejemplos actuales se revisaron para Airflow 3.3.2: imports públicos del SDK, providers vigentes, estados y reglas de disparo precisos y datos completos. Las ventanas son semiabiertas y los eventos conservan identidad persistente; una marca temporal sola no elimina duplicados ni demuestra que ya llegaron todos. Los totales y controles de los ejemplos se comprobaron por separado de un entorno Airflow; la práctica del alumno incluye ejecutar el DAG local y recoger su evidencia.