074 — Objetivos de preentrenamiento

← Clase anterior · Índice de la parte · Clase siguiente →

Parte: 06 — Modelos fundacionales e ingeniería de LLM
Nivel: avanzado · Horas estimadas: 6
Laboratorio: llm · Estado: EXECUTABLE_CORE

🎯 Propósito

Comprender objetivos de preentrenamiento dentro de la evolución de la inteligencia artificial, implementar un experimento mínimo verificable y distinguir qué parte constituye evidencia frente a una afirmación todavía no comprobada.

📚 Resultados de aprendizaje

Al finalizar podrás:

1. Explicar objetivos de preentrenamiento usando los conceptos causal LM, masked LM, next-token, datos.
2. Ejecutar el laboratorio con una semilla explícita y revisar su contrato JSON.
3. Identificar al menos un supuesto, una limitación y un riesgo de aplicación.
4. Comparar el enfoque con la etapa anterior de la ruta de aprendizaje.
5. Producir una evidencia reproducible y una conclusión que no exceda los datos.

🧩 Conceptos centrales

causal LM, masked LM, next-token, datos

🗺️ Ubicación en el mapa de la IA

El preentrenamiento es la idea que convirtió al Transformer (clase anterior de la ruta: tokenización; parte 05: atención) en modelos fundacionales: en lugar de entrenar un modelo por tarea con datos etiquetados, se entrena UNA vez sobre texto masivo con un objetivo auto-supervisado y luego se adapta. La elección del objetivo —predecir el siguiente token, rellenar huecos o reconstruir spans— define tres familias (GPT, BERT, T5) y habilita todo lo que sigue: escalamiento, instruction tuning y alineamiento.

📖 Fundamentos

🔁 Auto-supervisión: la etiqueta es el propio texto

Un objetivo de preentrenamiento transforma texto crudo en pares (entrada, objetivo) sin anotación humana. El modelo se entrena minimizando entropía cruzada sobre billones de tokens; lo que "aprende" es una distribución P(texto) de la que emergen sintaxis, hechos y cierta capacidad de razonamiento superficial.

➡️ Modelado causal de lenguaje (next-token, GPT)

Factoriza la probabilidad de la secuencia de izquierda a derecha:

P(x₁,…,xₙ) = Πᵢ P(xᵢ | x₁,…,xᵢ₋₁)
L = −Σᵢ log P(xᵢ | x<ᵢ)        (pérdida en cada posición)

Arquitectura: decoder-only con máscara causal (cada posición solo atiende hacia atrás). Ventajas: cada token del corpus genera señal de entrenamiento y el modelo resultante genera texto de forma nativa; por eso es el objetivo de los LLM conversacionales actuales.

🎭 Modelado enmascarado (MLM, BERT)

BERT enmascara ~15 % de los tokens y predice solo esos, con atención bidireccional (encoder-only):

Entrada:  El [MASK] ladra en el [MASK] .
Objetivo:      perro              patio

Del 15 % elegido: 80 % se sustituye por [MASK], 10 % por un token aleatorio, 10 % se deja igual (para que el modelo no dependa de ver [MASK] en inferencia). Ventaja: representaciones contextuales ricas para comprensión (clasificación, NER, extracción). Costo: no genera texto y solo el 15 % de posiciones da señal.

🧩 Denoising por spans (T5)

T5 corrompe spans contiguos (~15 % del texto, longitud media 3) y los reemplaza por centinelas; un modelo encoder-decoder reconstruye solo lo eliminado:

Entrada:  El perro <X> en el <Y> .
Objetivo: <X> ladra <Y> patio <Z>

T5 además reformula toda tarea como texto-a-texto ("translate English to German: …", "summarize: …"), unificando clasificación, traducción y resumen bajo el mismo objetivo de generación condicionada.

📚 Los datos importan tanto como el objetivo

Los corpus de preentrenamiento (C4, The Pile, mezclas web + código + libros) requieren deduplicación, filtrado de calidad y de contenido, y balance de dominios. Un mismo objetivo con datos distintos produce modelos muy distintos; la "contaminación" (tener el test set dentro del corpus) invalida evaluaciones.

🧮 Ejemplo trabajado

Secuencia tokenizada: [el, gato, come, pescado]. Supón un modelo que asigna estas probabilidades al token correcto en cada posición (dado su contexto):

P(gato | el) = 0,20     P(come | el gato) = 0,25     P(pescado | el gato come) = 0,10

Pérdida causal (ignorando el primer token):
L = −[ln 0,20 + ln 0,25 + ln 0,10] = −[−1,609 − 1,386 − 2,303] = 5,298
L media por token = 5,298 / 3 ≈ 1,766
Perplejidad = e^1,766 ≈ 5,85

Interpretación: "en promedio, el modelo duda entre ~6 alternativas plausibles por token". Si tras más entrenamiento P(pescado|…) sube a 0,30, la pérdida media baja a ≈1,40 y la perplejidad a ≈4,1: la métrica de preentrenamiento es esta, no "accuracy".

📊 Propiedades y comparación

flowchart TD
    A[Texto masivo sin etiquetar] --> B{Objetivo}
    B -->|Predecir siguiente token| C[Decoder-only: GPT]
    B -->|Rellenar mascaras| D[Encoder-only: BERT]
    B -->|Reconstruir spans| E[Encoder-decoder: T5]
    C --> F[Generacion / few-shot]
    D --> G[Representaciones para comprension]
    E --> H[Tareas texto-a-texto]
    C --> I[Instruction tuning y RLHF - clases 076-078]

⚠️ Errores conceptuales frecuentes

1. "El modelo se entrena para responder preguntas." No: se entrena para continuar texto. Que responda bien es un comportamiento inducido después (SFT, RLHF, clases 076–078).
2. "MLM y causal son intercambiables." No: BERT no puede generar texto coherente y GPT no da representaciones bidireccionales; el objetivo fija las capacidades.
3. "Más épocas sobre el mismo corpus = mejor." Los LLM suelen entrenar ~1 época; repetir datos degrada rápido frente a añadir datos nuevos.
4. "La pérdida baja implica que el modelo 'sabe'." Mide compresión estadística del corpus; hechos raros o contrafactuales pueden seguir mal representados.
5. "El decoder-only es superior en todo." Domina en generación y escala, pero para clasificación barata con pocos datos un encoder BERT sigue siendo competitivo y mucho más económico.

🚀 Del aprendizaje a la operación

Entre este cálculo de perplejidad y un preentrenamiento real median: un pipeline de datos de billones de tokens (deduplicación, filtrado, mezcla de dominios), entrenamiento distribuido en miles de aceleradores con paralelismo de datos/tensor/ pipeline, checkpointing y tolerancia a fallos, y una evaluación continua contra benchmarks no contaminados. Casi ninguna organización preentrena desde cero: la decisión operativa real es qué modelo fundacional adaptar (clases 076–077).

🧪 Laboratorio

python lab.py

El laboratorio llama a ai_evolution.labs.run_lab("llm"). Esta decisión evita 183 implementaciones divergentes: cada clase tiene un entrypoint propio, pero los motores didácticos se prueban como una biblioteca común.

🔍 Evidencia esperada

• tipo de laboratorio y semilla;
• entradas o decisiones observables;
• resultado estructurado;
• lista evidence con hechos que pueden inspeccionarse;
• lista limitations que impide presentar la demo como producción.

📓 Notebooks

• 📓 notebook.ipynb: recorrido guiado con la materia resumida.
• ✍️ notebook_student.ipynb: ejercicios para resolver.
• ✅ notebook_solution.ipynb: solución de referencia explicada.

📝 Evaluación

Consulta assessment.md para preguntas y criterio de aceptación.

⚠️ Errores comunes

❓ Preguntas frecuentes

¿Debo usar una API comercial?
No. El núcleo funciona localmente. Las extensiones LIVE se documentan por separado.

¿El laboratorio representa una implementación industrial?
No por sí solo. Enseña el contrato y el patrón; producción exige integración, seguridad, observabilidad, pruebas y operación.

¿Dónde profundizo?
Revisa las especializaciones enlazadas en el README raíz y la ruta siguiente.

🔗 Referencias

• Vaswani et al. (2017), Attention Is All You Need: https://arxiv.org/abs/1706.03762 — uso: fuente primaria del mecanismo estudiado
• Devlin et al. (2018), BERT: Pre-training of Deep Bidirectional Transformers: https://arxiv.org/abs/1810.04805 — uso: fuente primaria del mecanismo estudiado
• Raffel et al. (2019), Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5): https://arxiv.org/abs/1910.10683 — uso: fuente primaria del mecanismo estudiado
• Brown et al. (2020), Language Models are Few-Shot Learners (GPT-3): https://arxiv.org/abs/2005.14165 — uso: fuente primaria del mecanismo estudiado
• Jurafsky y Martin, Speech and Language Processing (3.ª ed., borrador): https://web.stanford.edu/~jurafsky/slp3/ — uso: desarrollo extendido del tema

📜 Papers que fundamentan esta clase

Bloque generado por python scripts/link_papers_to_classes.py. La fuente es papers/catalog/papers.json.

Cada ficha explica el problema anterior, la matemática mínima, los límites y los errores de atribución más frecuentes. Para leerlas con método: cómo leer un paper de IA · anexos matemáticos.

📚 Bibliografía de apoyo

Bloque generado por python scripts/link_sources_to_classes.py. Cada obra lleva su localizador verificado en sources/bibliography.json.

Los papers dicen de dónde salió el mecanismo. Estas obras lo desarrollan con el espacio que una clase no tiene: teoría completa, demostraciones y ejercicios.

⬅️ Clase anterior

073 — Tokenización moderna y vocabularios

➡️ Siguiente clase

075 — Escalamiento, cómputo y leyes empíricas

📝 Evaluación completa

❓ Preguntas

1. Define objetivos de preentrenamiento sin usar una marca o framework como definición.
2. Explica la relación entre causal LM, masked LM, next-token, datos.
3. Ejecuta lab.py dos veces con la misma semilla. ¿Qué debe conservarse?
4. Identifica una afirmación permitida y una afirmación exagerada sobre el resultado.
5. Propón una prueba negativa o un caso límite.

🏆 Reto verificable

Amplía el resultado del laboratorio con una clave student_extension que incluya:

• el supuesto que estás probando;
• una medición o comprobación;
• la conclusión;
• una limitación.

✅ Criterio de aceptación

• [ ] lab.py termina con código 0.
• [ ] El resultado contiene kind, seed, evidence y limitations.
• [ ] La extensión no modifica el comportamiento de otras clases.
• [ ] La interpretación referencia datos impresos por el laboratorio.
• [ ] Se declara al menos un riesgo o condición de no uso.