Saltar al contenido

Lección 7 de 20 · Lectura y práctica

Configurar Tests para Validar Integridad de Datos

Tipo de lección: VideoConcepto claveConfigurar tests para validar la integridad de datos en dbt es como instalar alarmas en un almacen de productos. Imagina que trabajas en una bodega: tienes reglas como "ningun estante debe.

Del concepto a la práctica

Taller de esta lección

La integridad se comprueba combinando propiedades de una columna con relaciones entre tablas. Un cliente puede tener un correo válido y aun así faltar en dim_customers; por eso una sola prueba no cubre toda la regla.

Ejemplo resuelto

fct_orders contiene customer_id 10 y 20. dim_customers solo contiene 10. Un test de relación debe devolver la fila de la orden con 20. Si además order_id es nulo, el test de ausencia de nulos devuelve esa fila por separado.

Pruébalo

  1. Declara not_null y unique para la clave del hecho.

  2. Declara relationships hacia la dimensión de clientes.

  3. Añade valores aceptados para una columna de estado.

  4. Ejecuta los tests y clasifica cada fila infractora por regla.

Comprueba tu resultado

Error frecuente: probar la relación al revés o apuntar a una columna no equivalente. Corrígelo comprobando que fct_orders.customer_id referencia dim_customers.customer_id.

Ejercicio: usa tres órdenes: IDs A, B, C; clientes 10, 20, 20; dimensión con 10 y 20. Resultado esperado: unicidad de order_id pasa, la relación pasa, pero customer_id repetido es válido porque varios pedidos pueden pertenecer al mismo cliente.

En el ejercicio hay una fila por pedido, por lo que order_id es único. Si el modelo tiene una fila por línea, usa order_line_id o una clave compuesta de pedido y número de línea para unicidad: varios order_id iguales serían normales. relationships excluye valores nulos; añade not_null por separado si un cliente es obligatorio.

Flujo de datos: dos formatos de la misma fecha se normalizan y un vacío queda marcado antes de comprobar tipos, duplicados y unidades.
CursaloMapa de práctica
Antes del gráfico, revisa los datos

Antes de analizar, comprueba los tipos, valores vacíos, duplicados y unidades. Decide cómo tratar cada problema según el contexto y conserva la trazabilidad del cambio. Un gráfico solo es útil si los datos de entrada son coherentes.

Ver la infografía en tamaño completo ↗
Fuentes para profundizar

Tipo de lección: Video

Concepto clave

Configurar tests para validar la integridad de datos en dbt es como instalar alarmas en un almacen de productos. Imagina que trabajas en una bodega: tienes reglas como "ningun estante debe estar vacio" o "todos los productos deben tener codigo de barras". Los tests en dbt son esas alarmas que suenan cuando tus datos violan las reglas de negocio que defines.

En el contexto de dbt Cloud, los tests son validaciones automaticas que ejecutas contra tus modelos de datos transformados. No solo verifican que el codigo SQL funciona, sino que los datos resultantes cumplen con expectativas especificas. Esto es crucial para un Analytics Engineer, ya que evita que errores de datos se propaguen a dashboards y reportes que usan los equipos de negocio.

Como funciona en la practica

Vamos a seguir un ejemplo paso a paso. Supongamos que tienes un modelo llamado orders_cleaned que transforma datos de pedidos. Quieres asegurarte de que:

  1. Todos los pedidos tengan un ID unico
  2. El monto total sea positivo
  3. La fecha del pedido no sea futura

Primero, defines estos tests en un archivo YAML asociado a tu modelo. Luego, cuando ejecutas dbt test en dbt Cloud, el sistema ejecuta consultas SQL que verifican cada condicion. Si algun test falla, recibes un reporte detallado indicando que filas violan la regla, permitiendote investigar y corregir rapidamente.

Codigo en accion

Aqui tienes un ejemplo real de como configurar tests para un modelo de pedidos. Primero, el modelo SQL (models/orders_cleaned.sql):

-- Modelo que limpia y transforma datos de pedidos
WITH raw_orders AS (
    SELECT 
        order_id,
        customer_id,
        order_date,
        total_amount,
        status
    FROM {{ source('ecommerce', 'raw_orders') }}
)
SELECT 
    order_id,
    customer_id,
    CAST(order_date AS DATE) AS order_date,
    total_amount,
    status
FROM raw_orders
WHERE status = 'completed'

Ahora, el archivo de configuracion de tests (models/schema.yml):

version: 2

models:
  - name: orders_cleaned
    description: "Pedidos completados limpios para analisis"
    columns:
      - name: order_id
        description: "Identificador unico del pedido"
        tests:
          - unique
          - not_null
      
      - name: total_amount
        description: "Monto total del pedido"
        tests:
          - accepted_values:
              values: ['> 0']
          
      - name: order_date
        description: "Fecha en que se realizo el pedido"
        tests:
          - relationships:
              to: ref('date_dim')
              field: date_key

Errores comunes

  • Testear columnas que no existen: Definir tests en YAML para columnas que no estan en el modelo SQL causa errores de compilacion. Siempre verifica que los nombres coincidan.
  • Usar tests genericos cuando necesitas customizados Los tests built-in como unique son utiles, pero para reglas complejas (ej: "el monto debe ser positivo") necesitas tests personalizados con SQL.
  • Ignorar el rendimiento: Tests en tablas grandes pueden ser lentos. Usa configuraciones como severity: warn para no bloquear despliegues, o agrega filtros WHERE para limitar los datos testeados.
  • No documentar los tests: Sin descripciones en YAML, otros ingenieros no entendera que regla de negocio valida cada test. Incluye siempre description.

Checklist de dominio

  1. Se configurar tests built-in (unique, not_null, relationships) en archivos YAML
  2. Puedo crear tests personalizados usando archivos SQL en la carpeta tests/
  3. Entiendo como interpretar los resultados de dbt test en dbt Cloud
  4. Se configurar la severidad de tests (error vs warn) para controlar el flujo de CI/CD
  5. Puedo agregar descripciones a tests para documentar las reglas de negocio
  6. Se optimizar tests para rendimiento en datasets grandes
  7. Puedo integrar tests en un pipeline de despliegue automatizado

Implementar Tests para un Modelo de Clientes

En este ejercicio, vas a configurar tests para validar la integridad de datos en un modelo de clientes. Sigue estos pasos:

  1. Crea un nuevo modelo SQL llamado customers_enhanced en tu proyecto dbt Cloud con este codigo:
    SELECT 
    customer_id,
    first_name,
    last_name,
    email,
    CAST(date_of_birth AS DATE) AS date_of_birth,
    country
    FROM {{ ref('stg_customers') }}
  2. En el archivo models/schema.yml, agrega una seccion para el modelo customers_enhanced y define tests para las siguientes reglas:
    • customer_id debe ser unico y no nulo
    • email debe contener el caracter '@' (usa un test personalizado)
    • date_of_birth debe ser una fecha valida y no futura
    • country debe ser uno de los valores permitidos: 'US', 'MX', 'CA'
  3. Crea un test personalizado en tests/valid_email.sql que verifique que la columna email contenga '@'.
  4. Ejecuta dbt test --model customers_enhanced en dbt Cloud y verifica que todos los tests pasen.
  5. Si algun test falla, revisa los datos de origen en stg_customers y corrige las inconsistencias.
Pistas
  • Usa el test accepted_values para validar los paises permitidos.
  • Para el test personalizado de email, puedes usar una expresion SQL como email LIKE '%@%'.
  • Recuerda que los tests personalizados deben devolver 0 filas cuando pasan; si devuelven filas, esas son las que fallan el test.

Evalua tu comprension

Completa el quiz interactivo de arriba para ganar XP.

Sigue con Modelado de Datos en dbt Cloud: Tests, Documentación y Práctica

Esta lección forma parte de un curso de Cursalo. Revisa su programa y elige entre la compra individual o el acceso a toda la escuela.

Si ya tenías acceso a este curso, entra con tu cuenta: tus derechos y tu progreso se conservan. No necesitas comprarlo de nuevo.

01 / ELEGIR UNA RUTA

El próximo paso

Aprende IA mientras construyes algo que sí necesitas.

Empieza por el curso inicial o explora el catálogo para encontrar una práctica alineada con tu trabajo.