105 — RAG básico con citas

← Clase anterior · Índice de la parte · Clase siguiente →

Parte: 08 — Recuperación, contexto, memoria y conocimiento
Nivel: avanzado · Horas estimadas: 6
Laboratorio: retrieval · Estado: EXECUTABLE_CORE

🎯 Propósito

Comprender rag básico con citas dentro de la evolución de la inteligencia artificial, implementar un experimento mínimo verificable y distinguir qué parte constituye evidencia frente a una afirmación todavía no comprobada.

📚 Resultados de aprendizaje

Al finalizar podrás:

1. Explicar rag básico con citas usando los conceptos RAG, citas, grounding, corpus.
2. Ejecutar el laboratorio con una semilla explícita y revisar su contrato JSON.
3. Identificar al menos un supuesto, una limitación y un riesgo de aplicación.
4. Comparar el enfoque con la etapa anterior de la ruta de aprendizaje.
5. Producir una evidencia reproducible y una conclusión que no exceda los datos.

🧩 Conceptos centrales

RAG, citas, grounding, corpus

🗺️ Ubicación en el mapa de la IA

RAG (Retrieval-Augmented Generation, Lewis et al., 2020) une las dos ramas que este programa venía desarrollando por separado: la recuperación de información (clases 097-101) y la generación con LLMs (parte 06). Nació para dar a los modelos acceso a conocimiento actualizable sin reentrenar, y se convirtió en el patrón dominante para reducir alucinaciones y dar trazabilidad a las respuestas. Todo lo que sigue en esta parte —consultas transformadas, grafos, memoria, evaluación— son refinamientos de este esqueleto.

📖 Fundamentos

🔗 Qué es RAG

RAG condiciona la generación de un LLM sobre documentos recuperados en tiempo de consulta. El paper original (arXiv:2005.11401) formuló la probabilidad de la respuesta y dada la consulta x marginalizando sobre documentos z recuperados por un retriever denso (DPR):

p(y | x) = Σ_z  p_retriever(z | x) · p_generator(y | x, z)

• RAG-Sequence: un mismo documento condiciona toda la secuencia generada.
• RAG-Token: cada token puede apoyarse en un documento distinto.

El RAG moderno con LLMs congela ambos componentes y opera por prompting: recuperar top-k pasajes, insertarlos en el prompt con identificadores, y pedir la respuesta. La distinción clave frente al conocimiento paramétrico (lo memorizado en los pesos): el conocimiento recuperado es actualizable (reindexar, no reentrenar), inspeccionable (se sabe qué se le mostró al modelo) y atribuible (se puede citar).

📎 Groundedness y citas

Una respuesta está fundamentada (grounded) si cada afirmación que contiene se sustenta en el contexto recuperado. El mecanismo estándar:

1. Numerar los pasajes en el prompt: [1] texto…, [2] texto….
2. Instruir: "responde solo con la información de los pasajes y cita cada afirmación con su identificador [n]; si la información no está, dilo".
3. Verificar después (clase 110): descomponer la respuesta en afirmaciones y comprobar que cada [n] citado realmente implica la afirmación que acompaña.

Una cita es una afirmación verificable de procedencia, no una decoración: citar un pasaje que no sostiene la frase es peor que no citar, porque fabrica confianza.

🧱 Anatomía del prompt RAG

[Sistema]  Eres un asistente que responde SOLO con el contexto dado.
[Contexto] [1] "La ley entró en vigor en marzo de 2021…"
           [2] "El plazo de apelación es de 30 días hábiles…"
[Pregunta] ¿Cuándo entró en vigor la ley y cuál es el plazo de apelación?
[Regla]    Cita cada dato como [n]. Si falta información, responde "no consta en el contexto".

Decisiones de diseño que cambian el resultado: cuántos pasajes (k), en qué orden (los LLMs atienden mejor a los extremos del contexto — "lost in the middle"), qué hacer si la recuperación viene vacía (rechazar es una respuesta válida), y cómo separar la instrucción del contenido recuperado para resistir instrucciones inyectadas en los documentos.

🧮 Ejemplo trabajado

Corpus mínimo de 3 pasajes y una pregunta:

[1] "El telescopio espacial James Webb se lanzó el 25 de diciembre de 2021."
[2] "El Webb observa principalmente en el infrarrojo, a diferencia del Hubble."
[3] "El Hubble se lanzó en 1990 a bordo del transbordador Discovery."

Pregunta: ¿Cuándo se lanzó el James Webb y en qué rango observa?

Respuesta generada:
"El James Webb se lanzó el 25 de diciembre de 2021 [1] y observa
principalmente en el infrarrojo [2]."

Verificación afirmación por afirmación:
  A1 "se lanzó el 25-12-2021"  → ¿[1] la implica?  SÍ
  A2 "observa en el infrarrojo" → ¿[2] la implica?  SÍ
  → groundedness = 2/2 = 1.0

Contraejemplo: si la respuesta añadiera "…y costó 10 000 millones de dólares [3]", la afirmación A3 no está en ningún pasaje (y [3] habla del Hubble): es una alucinación con cita falsa, groundedness = 2/3 ≈ 0.67. El dato puede ser cierto en el mundo; sigue siendo infundado respecto al corpus, que es lo que RAG promete.

📊 Propiedades y comparación

flowchart LR
    Q[Pregunta] --> R["Retriever<br/>(097-101: híbrida + re-rank)"]
    C[(Corpus indexado)] --> R
    R --> P["Prompt: pasajes numerados<br/>+ regla de citas"]
    P --> G[LLM generador]
    G --> A["Respuesta con citas [n]"]
    A --> V["Verificación: ¿cada afirmación<br/>está implicada por su cita?"]
    V -->|no| X["Rechazar / regenerar / marcar"]

⚠️ Errores conceptuales frecuentes

1. "RAG elimina las alucinaciones". Las reduce y las vuelve auditables. El modelo puede ignorar el contexto, mezclarlo con memoria paramétrica o citar mal; sin verificación posterior no hay garantía.
2. "La cita prueba la afirmación". La cita es una hipótesis de procedencia que hay que verificar: los modelos generan identificadores [n] sintácticamente correctos y semánticamente falsos.
3. "Más pasajes = mejor respuesta". Pasado cierto k, el contexto extra diluye la señal y sube el coste; la posición media del contexto es la peor atendida (arXiv:2307.03172).
4. Confundir "correcto" con "fundamentado". Una respuesta verdadera pero ausente del corpus es un fallo de RAG: la promesa del sistema es "esto sale de estas fuentes", no "esto es verdad".
5. Tratar el corpus como confiable por defecto. Los documentos recuperados pueden contener errores o instrucciones maliciosas (inyección indirecta); el generador los leerá con la misma autoridad que el resto del prompt si no se aísla.

🚀 Del aprendizaje a la operación

Entre este núcleo y un RAG operativo faltan: la ingesta continua con detección de documentos modificados y reindexado incremental, control de acceso por documento (el usuario no debe recibir citas de fuentes que no puede leer), defensa contra inyección indirecta en el corpus, política explícita de rechazo cuando la evidencia es insuficiente, evaluación continua de fidelidad y cobertura (clase 110) y trazas que permitan auditar meses después qué pasajes exactos produjeron cada respuesta (clase 111).

🧪 Laboratorio

python lab.py

El laboratorio llama a ai_evolution.labs.run_lab("retrieval"). Esta decisión evita 183 implementaciones divergentes: cada clase tiene un entrypoint propio, pero los motores didácticos se prueban como una biblioteca común.

🔍 Evidencia esperada

• tipo de laboratorio y semilla;
• entradas o decisiones observables;
• resultado estructurado;
• lista evidence con hechos que pueden inspeccionarse;
• lista limitations que impide presentar la demo como producción.

📓 Notebooks

• 📓 notebook.ipynb: recorrido guiado con la materia resumida.
• ✍️ notebook_student.ipynb: ejercicios para resolver.
• ✅ notebook_solution.ipynb: solución de referencia explicada.

📝 Evaluación

Consulta assessment.md para preguntas y criterio de aceptación.

⚠️ Errores comunes

❓ Preguntas frecuentes

¿Debo usar una API comercial?
No. El núcleo funciona localmente. Las extensiones LIVE se documentan por separado.

¿El laboratorio representa una implementación industrial?
No por sí solo. Enseña el contrato y el patrón; producción exige integración, seguridad, observabilidad, pruebas y operación.

¿Dónde profundizo?
Revisa las especializaciones enlazadas en el README raíz y la ruta siguiente.

🔗 Referencias

• Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. arXiv:2005.11401 — uso: fuente primaria del mecanismo estudiado
• Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. arXiv:2004.04906 — uso: fuente primaria del mecanismo estudiado
• Izacard, G. & Grave, E. (2020). Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering (Fusion-in-Decoder). arXiv:2007.01282 — uso: fuente primaria del mecanismo estudiado
• Liu, N. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv:2307.03172 — uso: fuente primaria del mecanismo estudiado
• Gao, Y. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997 — uso: fuente primaria del mecanismo estudiado
• Gao, T. et al. (2023). Enabling Large Language Models to Generate Text with Citations (ALCE). arXiv:2305.14627 — uso: fuente primaria del mecanismo estudiado

📜 Papers que fundamentan esta clase

Bloque generado por python scripts/link_papers_to_classes.py. La fuente es papers/catalog/papers.json.

Cada ficha explica el problema anterior, la matemática mínima, los límites y los errores de atribución más frecuentes. Para leerlas con método: cómo leer un paper de IA · anexos matemáticos.

📚 Bibliografía de apoyo

Bloque generado por python scripts/link_sources_to_classes.py. Cada obra lleva su localizador verificado en sources/bibliography.json.

Los papers dicen de dónde salió el mecanismo. Estas obras lo desarrollan con el espacio que una clase no tiene: teoría completa, demostraciones y ejercicios.

⬅️ Clase anterior

104 — Re-ranking y filtros de evidencia

➡️ Siguiente clase

106 — Transformación y descomposición de consultas

📝 Evaluación completa

❓ Preguntas

1. Define rag básico con citas sin usar una marca o framework como definición.
2. Explica la relación entre RAG, citas, grounding, corpus.
3. Ejecuta lab.py dos veces con la misma semilla. ¿Qué debe conservarse?
4. Identifica una afirmación permitida y una afirmación exagerada sobre el resultado.
5. Propón una prueba negativa o un caso límite.

🏆 Reto verificable

Amplía el resultado del laboratorio con una clave student_extension que incluya:

• el supuesto que estás probando;
• una medición o comprobación;
• la conclusión;
• una limitación.

✅ Criterio de aceptación

• [ ] lab.py termina con código 0.
• [ ] El resultado contiene kind, seed, evidence y limitations.
• [ ] La extensión no modifica el comportamiento de otras clases.
• [ ] La interpretación referencia datos impresos por el laboratorio.
• [ ] Se declara al menos un riesgo o condición de no uso.