Esta charla es de tiene por objetivo explorar una estrategia para alinear modelos de lenguaje mediante Direct Preference Optimization (DPO), una alternativa más estable y eficiente que enfoques clásicos basados en RLHF con modelo de recompensa separado.
Se presentará un pipeline end-to-end: diseño de pares de preferencias, estructura del dataset, validación, entrenamiento SFT, optimización con DPO, selección de beta, evaluación de resultados y recomendaciones para llevar un modelo afinado a entornos reales.
La charla está orientada a desarrolladores y equipos que ya trabajan con Python, APIs de modelos y fine-tuning, y quieren incorporar técnicas modernas de alignment en sus productos.