149 — Experimentos, semillas y trazabilidad

← Clase anterior · Índice de la parte · Clase siguiente →

Parte: 12 — Ingeniería de IA, MLOps, LLMOps y AgentOps
Nivel: experto · Horas estimadas: 6
Laboratorio: observability · Estado: EXECUTABLE_CORE

🎯 Propósito

Comprender experimentos, semillas y trazabilidad dentro de la evolución de la inteligencia artificial, implementar un experimento mínimo verificable y distinguir qué parte constituye evidencia frente a una afirmación todavía no comprobada.

📚 Resultados de aprendizaje

Al finalizar podrás:

1. Explicar experimentos, semillas y trazabilidad usando los conceptos experiments, seeds, lineage, artifacts.
2. Ejecutar el laboratorio con una semilla explícita y revisar su contrato JSON.
3. Identificar al menos un supuesto, una limitación y un riesgo de aplicación.
4. Comparar el enfoque con la etapa anterior de la ruta de aprendizaje.
5. Producir una evidencia reproducible y una conclusión que no exceda los datos.

🧩 Conceptos centrales

experiments, seeds, lineage, artifacts

🗺️ Ubicación en el mapa de la IA

La ciencia experimental exige que un resultado sea reproducible; el ML industrial lo exige dos veces: para creer una métrica y para depurar producción. Esta clase toma el ciclo de vida de la clase 148 y lo hace auditable: tracking de experimentos, semillas, linaje de artefactos. Es el prerequisito del registro champion-challenger (150) y del CI/CD (151): no se puede promover ni probar lo que no se puede reproducir.

📖 Fundamentos

🎲 Fuentes de no determinismo

Un entrenamiento «igual» puede producir modelos distintos por:

1. Semillas no fijadas: inicialización de pesos, shuffling de batches, dropout, muestreo de negativos.
2. Paralelismo: reducciones en punto flotante no asociativas ((a+b)+c ≠ a+(b+c) en float32); kernels no deterministas de GPU (p. ej. atomics en cuDNN).
3. Entorno: versiones de librerías, drivers, hardware distinto.
4. Datos: el «mismo» dataset leído de una tabla viva que cambió entre corridas.

Fijar la semilla controla (1); (2) exige flags de determinismo (con costo de velocidad); (3) exige congelar el entorno (lockfiles, contenedores); (4) exige snapshots versionados. La reproducibilidad práctica se declara por niveles: repetible (misma máquina, mismos bits), reproducible (otro entorno, misma conclusión estadística), replicable (otros datos del mismo dominio, mismo hallazgo).

📋 Tracking de experimentos

Un experimento es una función f(código, datos, configuración, azar) → métricas + artefactos. El tracking registra todas las entradas y salidas para poder comparar y reproducir. El modelo mental de MLflow (equivalente en W&B o Neptune):

experimento  (agrupador: "churn-2026")
 └── run     (una ejecución)
      ├── params    : lr=0.05, depth=6, seed=42, dataset=ds-2025-12
      ├── metrics   : auc=0.831, logloss=0.412   (con historia por paso)
      ├── tags      : git_commit=a1b2c3, autor, propósito
      └── artifacts : modelo serializado, curvas, reporte de evaluación

Regla práctica: los params deben bastar para relanzar el run; las metrics deben bastar para decidir entre runs; los artifacts deben bastar para desplegar sin reentrenar.

🧬 Linaje (lineage)

El linaje responde «¿de qué proviene este artefacto?» como un grafo dirigido acíclico:

datos_crudos ──▶ ds-2025-12 ──▶ features_v3 ──▶ run_0042 ──▶ churn-v7
                    ▲                               ▲
              reglas_valid v2                 commit a1b2c3 + seed 42

Cada nodo lleva una identidad estable — un hash de contenido (p. ej. SHA-256 del fichero o de las estadísticas del dataset) — y cada arista, la operación que lo produjo. Con esto, dos preguntas se vuelven consultas: impacto («si cambia features_v3, ¿qué modelos quedan obsoletos?», aristas hacia adelante) y procedencia («¿qué datos vio churn-v7?», aristas hacia atrás).

🔁 Protocolo mínimo de experimento honesto

1. Fija y registra la semilla antes de mirar resultados.
2. Congela el snapshot de datos y registra su hash.
3. Registra commit de código y entorno (versiones exactas).
4. Corre con ≥ 3 semillas si vas a comparar métodos: reporta media ± desviación, no el mejor run (eso es seed picking, una forma de sobreajuste al azar).
5. Decide el criterio de comparación antes de correr (métrica, dataset de evaluación, umbral de mejora mínima).

🧮 Ejemplo trabajado

Comparamos dos configuraciones de un clasificador con 3 semillas cada una (AUC en validación):

config A (lr=0.10): seeds 1,2,3 → 0.812, 0.804, 0.808   media 0.808  desv ≈ 0.004
config B (lr=0.05): seeds 1,2,3 → 0.815, 0.799, 0.802   media 0.805  desv ≈ 0.009

Lectura incorrecta: «B gana porque su mejor run (0.815) supera todo lo de A». Lectura correcta: la media de A (0.808) supera la de B (0.805), y la diferencia (0.003) es menor que la variación entre semillas de B (±0.009): con 3 semillas no hay evidencia para preferir ninguna; el «0.815» es ruido de semilla. Decisión honesta: o más semillas, o declarar empate y elegir por otro criterio (costo, simplicidad). Registro mínimo del run ganador si se promoviera A:

params : lr=0.10, seed={1,2,3}, dataset=ds-2025-12 (hash 9f3a…), commit a1b2c3
metrics: auc_media=0.808, auc_desv=0.004

📊 Propiedades y comparación

flowchart TD
  A[datos crudos] -->|hash 9f3a| B[snapshot ds-2025-12]
  C[commit a1b2c3] --> D[run_0042]
  B --> D
  E[config lr, depth, seed] --> D
  D -->|params+metrics+artifacts| F[(tracking server)]
  D --> G[modelo churn-v7]
  G -->|procedencia: hacia atrás| B
  B -->|impacto: hacia adelante| G

⚠️ Errores conceptuales frecuentes

1. «Fijé la semilla, luego es reproducible.» La semilla no controla paralelismo, versiones de librerías ni datos vivos; es necesaria, no suficiente.
2. «Reporto mi mejor run.» Elegir la mejor semilla infla la métrica; lo comparable es media ± desviación sobre semillas preestablecidas.
3. «El linaje es el historial de git.» Git versiona código; el linaje une código con datos, configuración y artefactos. Un commit sin hash de dataset no reproduce nada.
4. «Tracking = guardar métricas.» Sin params, commit, entorno y artefactos, las métricas son incomparables e irreproducibles: números huérfanos.
5. «Determinismo bit a bit siempre.» A veces basta reproducibilidad estadística (misma conclusión); exigir bits idénticos en GPU puede costar rendimiento sin cambiar ninguna decisión.

🚀 Del aprendizaje a la operación

El laboratorio registra un flujo determinista con semilla explícita; una plataforma real añade un tracking server multiusuario (MLflow, W&B), versionado de datos a escala (DVC, lakeFS, Delta), convenciones de nombres obligatorias y retención de artefactos con costo de almacenamiento real. La disciplina que no se automatiza se pierde: los campos que el pipeline no registra automáticamente acaban vacíos, por eso el tracking se integra en el código de entrenamiento, no en la memoria del equipo.

🧪 Laboratorio

python lab.py

El laboratorio llama a ai_evolution.labs.run_lab("observability"). Esta decisión evita 183 implementaciones divergentes: cada clase tiene un entrypoint propio, pero los motores didácticos se prueban como una biblioteca común.

🔍 Evidencia esperada

• tipo de laboratorio y semilla;
• entradas o decisiones observables;
• resultado estructurado;
• lista evidence con hechos que pueden inspeccionarse;
• lista limitations que impide presentar la demo como producción.

📓 Notebooks

• 📓 notebook.ipynb: recorrido guiado con la materia resumida.
• ✍️ notebook_student.ipynb: ejercicios para resolver.
• ✅ notebook_solution.ipynb: solución de referencia explicada.

📝 Evaluación

Consulta assessment.md para preguntas y criterio de aceptación.

⚠️ Errores comunes

❓ Preguntas frecuentes

¿Debo usar una API comercial?
No. El núcleo funciona localmente. Las extensiones LIVE se documentan por separado.

¿El laboratorio representa una implementación industrial?
No por sí solo. Enseña el contrato y el patrón; producción exige integración, seguridad, observabilidad, pruebas y operación.

¿Dónde profundizo?
Revisa las especializaciones enlazadas en el README raíz y la ruta siguiente.

🔗 Referencias

• MLflow Documentation — Tracking y conceptos — uso: referencia consultada en su fuente original
• Pineau et al. (2021), "Improving Reproducibility in Machine Learning Research", JMLR (arXiv:2003.12206) — uso: fuente primaria del mecanismo estudiado
• Google, "Rules of Machine Learning" — reglas sobre pipelines y métricas — uso: referencia consultada en su fuente original
• DVC Documentation — versionado de datos — uso: referencia consultada en su fuente original
• Sculley et al. (2015), "Hidden Technical Debt in Machine Learning Systems", NeurIPS — uso: referencia consultada en su fuente original
• PyTorch — Reproducibility notes — uso: referencia consultada en su fuente original

📜 Papers que fundamentan esta clase

Bloque generado por python scripts/link_papers_to_classes.py. La fuente es papers/catalog/papers.json.

Cada ficha explica el problema anterior, la matemática mínima, los límites y los errores de atribución más frecuentes. Para leerlas con método: cómo leer un paper de IA · anexos matemáticos.

📚 Bibliografía de apoyo

Bloque generado por python scripts/link_sources_to_classes.py. Cada obra lleva su localizador verificado en sources/bibliography.json.

Los papers dicen de dónde salió el mecanismo. Estas obras lo desarrollan con el espacio que una clase no tiene: teoría completa, demostraciones y ejercicios.

⬅️ Clase anterior

148 — Ciclo de vida de datos, modelos y agentes

➡️ Siguiente clase

150 — Registro y promoción champion-challenger

📝 Evaluación completa

❓ Preguntas

1. Define experimentos, semillas y trazabilidad sin usar una marca o framework como definición.
2. Explica la relación entre experiments, seeds, lineage, artifacts.
3. Ejecuta lab.py dos veces con la misma semilla. ¿Qué debe conservarse?
4. Identifica una afirmación permitida y una afirmación exagerada sobre el resultado.
5. Propón una prueba negativa o un caso límite.

🏆 Reto verificable

Amplía el resultado del laboratorio con una clave student_extension que incluya:

• el supuesto que estás probando;
• una medición o comprobación;
• la conclusión;
• una limitación.

✅ Criterio de aceptación

• [ ] lab.py termina con código 0.
• [ ] El resultado contiene kind, seed, evidence y limitations.
• [ ] La extensión no modifica el comportamiento de otras clases.
• [ ] La interpretación referencia datos impresos por el laboratorio.
• [ ] Se declara al menos un riesgo o condición de no uso.