076 — Instruction tuning y datos de instrucciones

← Clase anterior · Índice de la parte · Clase siguiente →

Parte: 06 — Modelos fundacionales e ingeniería de LLM
Nivel: avanzado · Horas estimadas: 6
Laboratorio: llm · Estado: EXECUTABLE_CORE

🎯 Propósito

Comprender instruction tuning y datos de instrucciones dentro de la evolución de la inteligencia artificial, implementar un experimento mínimo verificable y distinguir qué parte constituye evidencia frente a una afirmación todavía no comprobada.

📚 Resultados de aprendizaje

Al finalizar podrás:

1. Explicar instruction tuning y datos de instrucciones usando los conceptos instruction tuning, SFT, datasets, calidad.
2. Ejecutar el laboratorio con una semilla explícita y revisar su contrato JSON.
3. Identificar al menos un supuesto, una limitación y un riesgo de aplicación.
4. Comparar el enfoque con la etapa anterior de la ruta de aprendizaje.
5. Producir una evidencia reproducible y una conclusión que no exceda los datos.

🧩 Conceptos centrales

instruction tuning, SFT, datasets, calidad

🗺️ Ubicación en el mapa de la IA

Un modelo preentrenado (clase 074) es un completador de texto, no un asistente: ante "¿Cómo hago pan?" puede responder con más preguntas, porque en la web las preguntas suelen ir en listas. El instruction tuning cierra esa brecha: un fine-tuning supervisado sobre pares (instrucción → respuesta) que convierte P(texto) en "comportamiento de seguir órdenes". Es el puente entre el preentrenamiento y el alineamiento por preferencias (clase 078), y la primera palanca de adaptación que cualquier equipo puede ejecutar con LoRA (clase 077).

📖 Fundamentos

🎓 SFT: fine-tuning supervisado de instrucciones

SFT continúa el entrenamiento del modelo base con el mismo objetivo next-token, pero sobre un dataset curado de demostraciones:

Ejemplo de dato SFT (formato chat):
  system:    "Eres un asistente útil y conciso."
  user:      "Resume en una frase qué es BPE."
  assistant: "BPE construye un vocabulario subpalabra fusionando iterativamente
              los pares de símbolos más frecuentes del corpus."

Pérdida: entropía cruzada SOLO sobre los tokens de la respuesta (loss masking):
  L = −Σ_{i ∈ respuesta} log P(xᵢ | x<ᵢ)

El loss masking importa: sin él, el modelo gasta capacidad aprendiendo a imitar las preguntas del usuario en lugar de las respuestas. El formato se fija con una plantilla de chat (tokens especiales que delimitan roles) que debe ser idéntica en entrenamiento e inferencia.

🌸 FLAN: generalización entre tareas

FLAN (Wei et al., 2021; Chung et al., 2022) demostró el hallazgo central: entrenar con instrucciones de muchas tareas (1 800+ en FLAN 2022) mejora el rendimiento zero-shot en tareas nunca vistas. El modelo no memoriza tareas: aprende el meta-patrón "leer una instrucción y ejecutarla". Ingredientes que más aportan según las ablaciones: número y diversidad de tareas, plantillas variadas por tarea y mezclar ejemplos con y sin cadena de razonamiento.

🤖 Self-Instruct: datos sintéticos de instrucciones

Anotar demostraciones humanas es caro. Self-Instruct (Wang et al., 2022) arranca con ~175 instrucciones semilla escritas a mano y usa el propio LLM para ampliar:

1. Muestrear semillas → pedir al modelo instrucciones NUEVAS.
2. Generar entrada y respuesta para cada instrucción.
3. Filtrar: deduplicar (similitud ROUGE-L < umbral), descartar respuestas
   inválidas o degeneradas.
4. Añadir lo filtrado al pool y repetir.

Así se construyeron Alpaca y decenas de datasets abiertos. Riesgos reales: hereda sesgos y errores del modelo generador, y entrenar recursivamente sobre salidas propias degrada la diversidad (colapso).

🧪 Calidad > cantidad

LIMA (Zhou et al., 2023) alcanzó calidad conversacional competitiva con solo 1 000 ejemplos excepcionalmente curados. La lección operativa: el conocimiento ya está en el modelo base; SFT enseña formato y comportamiento. Mil ejemplos excelentes superan a cien mil mediocres, y los datos ruidosos enseñan ruido.

🧮 Ejemplo trabajado

Construyamos el tensor de entrenamiento de UN ejemplo SFT con loss masking. Plantilla simplificada con tokens especiales <u> </u> <a> </a>:

Texto:    <u> Traduce 'cat' al español </u> <a> gato </a>
Token:     1    40   41    42  43        2    3   77    4
Posición:  0    1    2     3   4         5    6   7     8

labels (lo que se aprende a predecir en cada posición, desplazado 1):
Posición:   0    1    2    3    4    5    6    7
Predice:    40   41   42   43   2    3    77   4
máscara:    ✗    ✗    ✗    ✗    ✗    ✓    ✓    ✓   (solo respuesta y cierre)

L = −[log P(77 | …<a>) + log P(4 | …gato) + log P(3 | …</u> …)]  → solo 3 términos

Si P(gato) = 0,6, P(</a>) = 0,9 y P(<a>) = 0,95: L = −(ln 0,95 + ln 0,6 + ln 0,9) ≈ 0,051 + 0,511 + 0,105 = 0,667. Con 10 000 ejemplos así, 2–3 épocas y learning rate ~1–2·10⁻⁵, eso ES el SFT.

📊 Propiedades y comparación

flowchart LR
    A[Modelo base: completa texto] --> B[Dataset de instrucciones]
    S[Semillas humanas] --> C[Self-Instruct: generar y filtrar]
    T[1800+ tareas NLP] --> D[FLAN: plantillas variadas]
    C --> B
    D --> B
    B --> E[SFT: next-token con loss masking]
    E --> F[Modelo que sigue instrucciones]
    F --> G[RLHF / DPO — clase 078]

⚠️ Errores conceptuales frecuentes

1. "SFT enseña conocimiento nuevo." Principalmente enseña comportamiento; inyectar hechos por SFT es frágil y fomenta alucinación cuando el hecho no estaba bien representado en el preentrenamiento.
2. "Más datos de SFT siempre mejoran." LIMA muestra lo contrario: calidad y diversidad dominan; el volumen mediocre degrada.
3. "La plantilla de chat es un detalle cosmético." Desalinear plantilla de entrenamiento e inferencia rompe el modelo de forma silenciosa.
4. "Sin loss masking da igual." Entrenar sobre los tokens del usuario desplaza capacidad hacia imitar preguntas y contamina el gradiente.
5. "Un modelo instruido ya está alineado." SFT imita demostraciones; no sabe preferir una respuesta mejor que otra ni rechazar peticiones dañinas de forma robusta — eso llega con RLHF/DPO.

🚀 Del aprendizaje a la operación

En producción faltan: pipeline de datos con deduplicación, filtrado por calidad y descontaminación frente a los evals; decisión LoRA vs full fine-tuning (clase 077); evaluación del modelo resultante contra un conjunto de instrucciones retenido (no visto) con jueces humanos o LLM-judge; y vigilancia del "impuesto de alineamiento": cada ronda de SFT puede degradar capacidades del modelo base que nadie estaba midiendo.

🧪 Laboratorio

python lab.py

El laboratorio llama a ai_evolution.labs.run_lab("llm"). Esta decisión evita 183 implementaciones divergentes: cada clase tiene un entrypoint propio, pero los motores didácticos se prueban como una biblioteca común.

🔍 Evidencia esperada

• tipo de laboratorio y semilla;
• entradas o decisiones observables;
• resultado estructurado;
• lista evidence con hechos que pueden inspeccionarse;
• lista limitations que impide presentar la demo como producción.

📓 Notebooks

• 📓 notebook.ipynb: recorrido guiado con la materia resumida.
• ✍️ notebook_student.ipynb: ejercicios para resolver.
• ✅ notebook_solution.ipynb: solución de referencia explicada.

📝 Evaluación

Consulta assessment.md para preguntas y criterio de aceptación.

⚠️ Errores comunes

❓ Preguntas frecuentes

¿Debo usar una API comercial?
No. El núcleo funciona localmente. Las extensiones LIVE se documentan por separado.

¿El laboratorio representa una implementación industrial?
No por sí solo. Enseña el contrato y el patrón; producción exige integración, seguridad, observabilidad, pruebas y operación.

¿Dónde profundizo?
Revisa las especializaciones enlazadas en el README raíz y la ruta siguiente.

🔗 Referencias

• Wei et al. (2021), Finetuned Language Models Are Zero-Shot Learners (FLAN): https://arxiv.org/abs/2109.01652 — uso: fuente primaria del mecanismo estudiado
• Chung et al. (2022), Scaling Instruction-Finetuned Language Models (FLAN-T5/PaLM): https://arxiv.org/abs/2210.11416 — uso: fuente primaria del mecanismo estudiado
• Wang et al. (2022), Self-Instruct: Aligning Language Models with Self-Generated Instructions: https://arxiv.org/abs/2212.10560 — uso: fuente primaria del mecanismo estudiado
• Ouyang et al. (2022), Training language models to follow instructions with human feedback (InstructGPT): https://arxiv.org/abs/2203.02155 — uso: fuente primaria del mecanismo estudiado
• Zhou et al. (2023), LIMA: Less Is More for Alignment: https://arxiv.org/abs/2305.11206 — uso: fuente primaria del mecanismo estudiado
• Documentación oficial de Hugging Face TRL (SFTTrainer): https://huggingface.co/docs/trl — uso: referencia consultada en su fuente original

📜 Papers que fundamentan esta clase

Bloque generado por python scripts/link_papers_to_classes.py. La fuente es papers/catalog/papers.json.

Cada ficha explica el problema anterior, la matemática mínima, los límites y los errores de atribución más frecuentes. Para leerlas con método: cómo leer un paper de IA · anexos matemáticos.

📚 Bibliografía de apoyo

Bloque generado por python scripts/link_sources_to_classes.py. Cada obra lleva su localizador verificado en sources/bibliography.json.

Los papers dicen de dónde salió el mecanismo. Estas obras lo desarrollan con el espacio que una clase no tiene: teoría completa, demostraciones y ejercicios.

⬅️ Clase anterior

075 — Escalamiento, cómputo y leyes empíricas

➡️ Siguiente clase

077 — LoRA, QLoRA y adaptación eficiente

📝 Evaluación completa

❓ Preguntas

1. Define instruction tuning y datos de instrucciones sin usar una marca o framework como definición.
2. Explica la relación entre instruction tuning, SFT, datasets, calidad.
3. Ejecuta lab.py dos veces con la misma semilla. ¿Qué debe conservarse?
4. Identifica una afirmación permitida y una afirmación exagerada sobre el resultado.
5. Propón una prueba negativa o un caso límite.

🏆 Reto verificable

Amplía el resultado del laboratorio con una clave student_extension que incluya:

• el supuesto que estás probando;
• una medición o comprobación;
• la conclusión;
• una limitación.

✅ Criterio de aceptación

• [ ] lab.py termina con código 0.
• [ ] El resultado contiene kind, seed, evidence y limitations.
• [ ] La extensión no modifica el comportamiento de otras clases.
• [ ] La interpretación referencia datos impresos por el laboratorio.
• [ ] Se declara al menos un riesgo o condición de no uso.