Quiz: Diferencias clave entre RLHF y DPO

Concepto clave

RLHF (Reinforcement Learning from Human Feedback) y DPO (Direct Preference Optimization) son dos enfoques para fine-tuning de modelos de lenguaje, pero con filosofias distintas. RLHF utiliza un proceso de tres etapas: entrenar un modelo de recompensa con preferencias humanas, luego usar aprendizaje por refuerzo (como PPO) para optimizar el modelo de lenguaje contra esa recompensa. Es como entrenar a un perro: primero defines que comportamientos son buenos (recompensa), luego usas refuerzo para guiar al perro hacia esos comportamientos.

DPO, en cambio, reformula el problema como una optimizacion directa. En lugar de entrenar un modelo de recompensa separado, DPO deriva una funcion de perdida que optimiza directamente las preferencias humanas, eliminando la necesidad de un paso de RL. Imagina que en lugar de dar premios a un perro, directamente le enseñas la accion correcta comparando dos opciones y diciendo cual es mejor. Esto reduce la complejidad y mejora la estabilidad.

DPO es mas eficiente computacionalmente porque evita el bucle de RL, pero requiere datos de preferencias de alta calidad.

Como funciona en la practica

Para implementar DPO, sigue estos pasos:

1. Recolecta datos de preferencias: pares de respuestas (preferida y no preferida) para prompts dados.
2. Prepara el modelo: usa un LLM base preentrenado (ej., Llama 3) y ajusta sus parametros.
3. Aplica la funcion de perdida DPO: calcula la diferencia entre las probabilidades de las respuestas preferidas y no preferidas, optimizando para maximizar la preferencia.
4. Evalua con metricas como tasa de exito en preferencias humanas o benchmarks como MT-Bench.

Ejemplo con datos: supongamos un prompt "Explica el cambio climatico" con respuestas A (preferida) y B (no preferida). DPO ajusta los pesos del modelo para que la probabilidad de generar A aumente relativa a B.

Caso de estudio

Un equipo de ML Engineers ajusto un modelo open-source (ej., Mistral 7B) para generar respuestas mas seguras y utiles. Usaron un dataset de 10,000 pares de preferencias de conversaciones humanas. Con RLHF, el proceso tomo 2 semanas y requirio ajustar hiperparametros de PPO. Con DPO, lograron resultados similares en 3 dias, con menos inestabilidad durante el entrenamiento. La clave fue la calidad de los datos: DPO es mas sensible a ruido en las preferencias.

Metricas obtenidas: RLHF mejoro la tasa de preferencia humana del 60% al 85%, pero con fluctuaciones. DPO alcanzo el 83% de manera mas estable. Esto muestra que DPO puede ser preferible cuando se busca eficiencia y consistencia.

Errores comunes

• Usar datos de preferencias de baja calidad: DPO depende criticamente de comparaciones precisas; si los datos son ruidosos, el modelo aprendera preferencias incorrectas. Solucion: validar manualmente un subconjunto de datos.
• Ignorar el sobreajuste: DPO puede sobreajustarse a preferencias especificas, perdiendo generalizacion. Solucion: usar regularizacion (ej., weight decay) y evaluar en un conjunto de prueba diverso.
• No ajustar la temperatura del modelo: La funcion de perdida DPO incluye un termino de temperatura; valores incorrectos pueden llevar a convergencia lenta o inestabilidad. Solucion: experimentar con valores como 0.1 a 1.0.
• Comparar RLHF y DPO sin controlar variables: Evaluar ambos metodos con diferentes datasets o hiperparametros da resultados sesgados. Solucion: usar el mismo dataset y configuracion base para comparaciones justas.

Checklist de dominio

1. Entiendo la derivacion matematica de la funcion de perdida DPO y como se relaciona con RLHF.
2. Puedo implementar DPO desde cero usando un framework como PyTorch o Hugging Face.
3. Se como recopilar y preparar datos de preferencias para entrenamiento.
4. Puedo diagnosticar problemas comunes como sobreajuste o inestabilidad en DPO.
5. Se evaluar modelos ajustados con DPO usando metricas relevantes (ej., preferencias humanas, benchmarks).
6. Puedo decidir cuando usar DPO vs RLHF basado en requisitos del proyecto.
7. He experimentado con hiperparametros clave como temperatura y tasa de aprendizaje.

Implementacion practica de DPO en un modelo open-source

En este ejercicio, ajustaras un modelo LLM open-source usando DPO para mejorar sus respuestas en un dominio especifico. Sigue estos pasos:

1. Preparacion del entorno: Instala bibliotecas necesarias (ej., PyTorch, Transformers, TRL) y descarga un modelo base como Llama 3-8B o Mistral 7B.
2. Recoleccion de datos: Usa un dataset de preferencias existente (ej., Anthropic HH-RLHF) o genera uno propio con prompts y pares de respuestas etiquetadas como preferidas/no preferidas.
3. Configuracion del entrenamiento: Define la funcion de perdida DPO, configura hiperparametros (temperatura=0.1, learning rate=1e-5), y prepara el dataloader.
4. Entrenamiento: Ejecuta el fine-tuning por 3 epocas, monitoreando la perdida y metricas de evaluacion.
5. Evaluacion: Compara las respuestas del modelo antes y despues del ajuste usando prompts de prueba y calcula la tasa de preferencia en un subconjunto validado.

Entrega: Un notebook de Jupyter con el codigo completo, graficos de perdida durante el entrenamiento, y un analisis de los resultados.

• Asegurate de que tu dataset de preferencias este balanceado y libre de sesgos evidentes.
• Experimenta con diferentes valores de temperatura en DPO para ver su impacto en la estabilidad del entrenamiento.
• Usa early stopping si la perdida no mejora despues de ciertas epocas para evitar sobreajuste.

Evalua tu comprension

Completa el quiz interactivo de arriba para ganar XP.