Práctica: Diseñar el mapeo de un índice para logs de aplicaciones

Concepto clave

El mapeo de índices en Elasticsearch es el proceso de definir cómo se almacenan y analizan los datos dentro de un índice. Para logs de aplicaciones, un buen mapeo no solo organiza los campos, sino que optimiza el rendimiento de búsqueda y análisis. Piensa en esto como el plano arquitectónico de un edificio: sin un diseño adecuado, las búsquedas serán lentas y los análisis imprecisos.

En logs, los datos suelen ser semiestructurados y dinámicos. Un mapeo avanzado permite controlar aspectos como el tipo de datos (texto, números, fechas), el análisis de texto (tokenización, filtros) y configuraciones específicas como fields multifield para permitir búsqueda exacta y full-text en el mismo campo. Esto es crucial para roles como Search Engineer, donde la eficiencia en consultas complejas es prioritaria.

Cómo funciona en la práctica

Vamos a diseñar un mapeo para logs de una aplicación web. Supongamos que cada log incluye: timestamp, nivel de log (info, error, etc.), mensaje, usuario, y metadatos como IP y endpoint. El paso a paso es:

1. Identificar campos clave: Define qué campos son críticos para búsqueda y análisis.
2. Elegir tipos de datos: Usa tipos como date para timestamp, keyword para campos categóricos como nivel, y text con análisis para mensajes.
3. Configurar análisis: Aplica analizadores personalizados si es necesario, por ejemplo, para tokenizar mensajes en palabras.
4. Usar multifields: Para campos como usuario, puedes tener una versión keyword para agregaciones y una text para búsqueda full-text.

Ejemplo de código inicial:

PUT /application-logs
{
  "mappings": {
    "properties": {
      "timestamp": { "type": "date" },
      "level": { "type": "keyword" },
      "message": { 
        "type": "text",
        "fields": {
          "keyword": { "type": "keyword" }
        }
      }
    }
  }
}

Caso de estudio

Imagina una plataforma de e-commerce que genera logs para transacciones. Los logs incluyen: event_time (fecha), user_id (texto), action (como "purchase" o "view"), product_id (keyword), y details (texto con descripción). Para optimizar búsquedas, diseñamos un mapeo que:

• Usa date para event_time con formato ISO.
• Configura user_id como keyword para búsquedas exactas en dashboards.
• Aplica un analizador en inglés para details para mejorar búsquedas full-text.
• Añade un campo action.raw como multifield de tipo keyword para agregaciones rápidas.

Tabla de ejemplo de datos de log:

Un mapeo bien diseñado puede reducir el tiempo de consulta en logs grandes en más de un 50%, según casos reales en la industria.

Errores comunes

• Usar tipo text para todo: Esto infla el índice y ralentiza búsquedas exactas. Solución: Usa keyword para campos categóricos.
• Ignorar el análisis de fechas: No definir formato en campos date puede causar errores en consultas. Solución: Especifica el formato, ej. "format": "yyyy-MM-dd HH:mm:ss".
• Olvidar multifields: Perder la capacidad de búsqueda exacta y full-text en un campo. Solución: Añade campos multifield como en el ejemplo de message.
• Sobredimensionar el mapeo: Añadir muchos campos innecesarios aumenta el almacenamiento. Solución: Prioriza campos basados en casos de uso reales.
• No probar con datos reales: Diseñar sin validar puede llevar a inconsistencias. Solución: Usa un pequeño conjunto de logs para probar el mapeo antes de producción.

Checklist de dominio

1. ¿Identificaste todos los campos clave de los logs para búsqueda y análisis?
2. ¿Asignaste tipos de datos apropiados (date, keyword, text) a cada campo?
3. ¿Configuraste multifields para campos que requieren búsqueda exacta y full-text?
4. ¿Definiste formatos de fecha y analizadores de texto si es necesario?
5. ¿Validaste el mapeo con una muestra de datos reales?
6. ¿Consideraste el rendimiento en consultas comunes, como filtros por nivel o usuario?
7. ¿Documentaste el mapeo para el equipo de desarrollo?

Diseña un mapeo para logs de una API REST

En este ejercicio, crearás un mapeo de índice en Elasticsearch para logs generados por una API REST. Sigue estos pasos:

1. Revisa los datos de ejemplo: Los logs incluyen campos: timestamp (fecha y hora), method (HTTP method como GET, POST), endpoint (ruta de la API), status_code (código HTTP como 200, 404), response_time_ms (tiempo en milisegundos), client_ip (dirección IP), y body (cuerpo de la solicitud en texto).
2. Diseña el mapeo: Usa la API de Elasticsearch para definir un mapeo que optimice búsquedas. Considera:
   • Usar tipo date para timestamp con formato ISO.
   • Configurar method y status_code como keyword para agregaciones rápidas.
   • Aplicar un analizador para body que permita búsqueda full-text, y añadir un multifield keyword para búsqueda exacta.
   • Definir response_time_ms como tipo integer para análisis numérico.
3. Implementa el mapeo: Escribe el comando PUT en Elasticsearch para crear el índice llamado api-logs con tu mapeo. Incluye configuraciones como el número de réplicas si lo deseas.
4. Prueba con datos: Inserta un log de ejemplo usando la API de indexación y ejecuta una consulta simple para verificar que funcione.

Entrega el código del mapeo y una breve explicación de tus decisiones de diseño.

• Recuerda que los campos keyword son ideales para filtros y agregaciones en Kibana.
• Usa el formato 'strict_date_optional_time' para el campo timestamp si no estás seguro del formato exacto.
• Considera añadir un campo multifield para endpoint si necesitas búsqueda parcial en rutas.

Evalua tu comprension

Completa el quiz interactivo de arriba para ganar XP.