Aprendizaje autosupervisado SimCLR

Antes de tocar el código

Dos transformaciones de la misma imagen deben reconocerse como par, mientras imágenes distintas se separan en el espacio de representación.

Pregunta esencial: ¿Qué invariancias aprende una representación cuando nadie le entrega etiquetas?

Haz una predicción antes de ejecutar el notebook. Al final volverás a ella y tendrás que decir qué evidencia la confirmó, la corrigió o la dejó abierta.

Mapa de esta clase: Acercar vistas del mismo ejemplo y separar las demás. La figura no es decorativa; úsala para explicar el mecanismo con tus propias palabras.

🎯 Qué vas a aprender y construir

Preentrenar representaciones con dos vistas reales y evaluar mediante linear probe.

Práctica propia de esta clase: Inspeccionar pares aumentados, proyectar embeddings y comparar k-NN y linear probe bajo distintas intensidades de aumento.

Es la clase 31 de 31 del programa y pertenece a 🔬 el módulo 7, Especializaciones avanzadas. Llegas desde Difusión DDPM sobre Fashion-MNIST.

Trabajarás con el dataset cifar10 (Torchvision / University of Toronto, licencia: Consultar términos CIFAR-10), y tendrás que superar la línea base ResNet18 aleatoria + linear probe, decidiendo con la métrica nt_xent medida sobre validation. Nivel avanzado, unas 8 horas de dedicación.

Qué recibe el modelo como entrada: imágenes CIFAR-10.

Lo que conviene traer resuelto de las clases anteriores: CNN, embeddings, aprendizaje contrastivo.

Al terminar deberías ser capaz de:

• Preentrenar representaciones con dos vistas reales y evaluar mediante linear probe.
• Interpretar nt_xent, linear_probe_accuracy
• Aplicar sellado de test y reproducibilidad

Una idea que conviene desmontar

Los aumentos definen lo que el modelo considera irrelevante; una invariancia mal elegida puede borrar la señal necesaria.

🧠 Comprender antes de entrenar

Esta sección es la explicación completa del tema. No hace falta abrir otro archivo para entender lo que viene después: aquí está la idea, la matemática que la sostiene y sus límites. (El mismo texto vive en theory.md, que es la fuente desde la que se genera esta guía, junto con la bibliografía del final.)

De qué trata

Todas las clases anteriores necesitan etiquetas. Alguien tuvo que mirar 50 000 imágenes de CIFAR-10 y escribir «avión», «gato», «camión». Ese trabajo es caro, lento y, en muchos dominios reales —imágenes médicas, defectos industriales, sensores— directamente inviable a escala. La pregunta de este laboratorio es si se puede aprender una representación útil sin ninguna etiqueta, y cuánto se pierde por hacerlo.

La respuesta contrastiva parte de una intuición sencilla: aunque no sepamos qué hay en una imagen, sí sabemos algo con certeza absoluta —dos recortes distintos de la misma foto muestran la misma cosa, y un recorte de otra foto muestra algo distinto—. Eso basta para inventar una tarea de aprendizaje que no requiere anotador: acerca en el espacio de representación las dos vistas de una misma imagen, aleja las vistas de imágenes diferentes. La etiqueta la genera la propia estructura de los datos.

Lo delicado es qué invariancias se enseñan, porque las decide el conjunto de aumentaciones, no el algoritmo. Si se entrena con recortes agresivos y cambios de color, se le está diciendo al modelo que el color y el encuadre son irrelevantes. Eso es excelente para reconocer objetos y desastroso si la tarea posterior era distinguir un plátano maduro de uno verde. Las aumentaciones no son un detalle de implementación: son la definición operativa de «qué cosas deberían considerarse la misma».

También hay un fallo trivial que acecha. Una función que mapee todas las imágenes al mismo vector cumple perfectamente el objetivo de acercar las vistas positivas; es la solución degenerada, el colapso. Lo que lo evita es el término de negativos: al exigir simultáneamente que vistas de imágenes distintas queden lejos, la representación tiene que extenderse por el espacio en vez de contraerse a un punto.

Cómo se juzga el resultado es el otro aporte del laboratorio. Como no hay etiquetas durante el preentrenamiento, la calidad se mide después: se congela el encoder y se entrena únicamente un clasificador lineal encima. Si esa recta separa bien las clases, es porque la representación ya había organizado la información sin que nadie le dijera cuáles eran las categorías. Y la línea base es un encoder sin entrenar con la misma sonda lineal, que fija el piso: cuánto se obtiene por pura arquitectura, antes de aprender nada.

La matemática, paso a paso

El aprendizaje autosupervisado busca aprender representaciones útiles sin etiquetas, inventando una tarea a partir de los propios datos. SimCLR (Chen et al.) lo hace con aprendizaje contrastivo: la idea es que dos vistas distorsionadas de la misma imagen deben quedar cerca en el espacio de representación, y vistas de imágenes diferentes, lejos. Para cada imagen del lote se generan dos vistas aplicando aumentaciones estocásticas (recorte aleatorio, cambio de color, desenfoque, escala de grises). Ambas pasan por un encoder f (aquí una ResNet18), que produce una representación h = f(x), y luego por una cabeza de proyección g (un MLP) que da z = g(h). El contraste se hace sobre z; la representación h es la que se conserva para tareas posteriores.

La medida de cercanía es la similitud coseno, que compara dirección ignorando magnitud:

sim(zᵢ, zⱼ) = (zᵢ · zⱼ) / (‖zᵢ‖ · ‖zⱼ‖).

Con un lote de N imágenes se obtienen 2N vistas. Para un par positivo (i, j) —las dos vistas de la misma imagen— las otras 2(N−1) vistas actúan como negativos. La pérdida es la NT-Xent (normalized temperature-scaled cross-entropy), una forma de InfoNCE:

ℒ_(i,j) = − log [ exp( sim(zᵢ, zⱼ) / τ ) / Σ_(k=1..2N, k≠i) exp( sim(zᵢ, z_k) / τ ) ].

El numerador premia la similitud del par positivo; el denominador suma sobre todos los negativos, empujándolos a ser disímiles. Es, en esencia, un softmax de "clasificación": entre todas las vistas del lote, identificar cuál es la pareja correcta. El parámetro de temperatura τ > 0 escala las similitudes: valores pequeños agudizan las diferencias y penalizan con fuerza los negativos difíciles, controlando la concentración del espacio aprendido. La pérdida total promedia ℒ_(i,j) sobre todos los pares positivos del lote, por lo que lotes grandes aportan más negativos y suelen mejorar la representación.

Otras familias resuelven de distinto modo la necesidad de negativos y estabilidad. MoCo (He et al.) mantiene un banco/cola de negativos y un encoder de momento actualizado como θ_k ← m·θ_k + (1 − m)·θ_q, desacoplando el número de negativos del tamaño de lote. BYOL (Grill et al.) prescinde por completo de negativos: usa una red online y una target (esta última actualizada por media móvil exponencial) y evita el colapso trivial mediante un predictor asimétrico y el gradiente detenido en la rama target. Comparar estas estrategias aclara qué componentes son realmente imprescindibles.

La calidad de lo aprendido se juzga con linear probe: se congela el encoder f y se entrena únicamente un clasificador lineal (softmax) sobre las representaciones h con las etiquetas reales. Como el encoder no se ajusta, la accuracy resultante mide directamente cuánta información linealmente separable capturaron las representaciones autosupervisadas. La línea base "ResNet18 aleatoria + linear probe" fija el piso: cuánto se logra con un encoder sin entrenar, para aislar el aporte real del preentrenamiento contrastivo. Métricas complementarias como knn_accuracy y la uniformidad del embedding evalúan la estructura del espacio sin entrenar clasificador alguno.

Qué hace realmente el gradiente de la NT-Xent

Escribir la pérdida no basta para entender qué presión ejerce. Si se define sᵢₖ = sim(zᵢ, z_k)/τ y se llama pᵢₖ = exp(sᵢₖ) / Σ_(m≠i) exp(sᵢₘ) a la distribución softmax sobre los candidatos, la pérdida del par (i, j) es simplemente ℒ = −log p_ij, y su gradiente respecto de las similitudes es

∂ℒ/∂s_ij = −(1 − p_ij), ∂ℒ/∂s_ik = p_ik para k ≠ j.

La lectura es directa. El par positivo recibe un empuje proporcional a 1 − p_ij, es decir, cuanto peor lo está haciendo la red, más fuerte el tirón; una vez que el positivo ya es el más similar, deja de aportar gradiente. Cada negativo recibe un empuje proporcional a p_ik, su propia probabilidad: los negativos que el modelo confunde con el positivo son los que más contribuyen, y los obviamente distintos casi no aportan. La NT-Xent, sin ningún mecanismo adicional, se concentra automáticamente en los negativos difíciles.

Esto explica el papel de la temperatura τ, que no es un hiperparámetro menor. Como divide las similitudes antes del softmax, τ pequeña agranda las diferencias y concentra casi todo el gradiente en el negativo más parecido —aprendizaje agresivo, riesgo de que un negativo que en realidad es de la misma clase (un falso negativo) domine la actualización—. τ grande aplana el softmax y reparte el gradiente entre todos los negativos por igual, lo que suaviza el aprendizaje pero desdibuja la estructura fina. Valores típicos están entre 0,07 y 0,5.

También explica por qué el tamaño del lote importa tanto aquí y no en un entrenamiento supervisado. Con N imágenes hay 2(N − 1) negativos por vista: el lote es el conjunto de negativos. Duplicarlo no solo estabiliza el gradiente, cambia la tarea, porque identificar la pareja correcta entre 511 candidatos es un problema más exigente —y por tanto más informativo— que entre 63.

Los dos ejes que miden la calidad de una representación

Wang e Isola mostraron que optimizar una pérdida contrastiva equivale, en el límite de muchos negativos, a optimizar dos propiedades que se pueden medir por separado sobre la hiperesfera unidad. Son exactamente las dos métricas que este laboratorio reporta además de la exactitud.

La alineación mide cuánto se acercan las vistas positivas:

ℒ_align = 𝔼_((x,x⁺)) ‖ f(x) − f(x⁺) ‖²,

y baja cuando el encoder es invariante a las aumentaciones aplicadas. La uniformidad mide cuán repartida está la representación sobre la esfera, mediante un potencial gaussiano:

ℒ_uniform = log 𝔼_(x,y) [ e^(−t·‖f(x) − f(y)‖²) ], con t > 0 (habitualmente 2),

y baja cuando los puntos se distribuyen sin apelotonarse. Las dos están en tensión: el colapso total tiene alineación perfecta y uniformidad pésima; un encoder aleatorio puede tener uniformidad razonable y alineación nula. Una buena representación necesita ambas, y por eso mirar solo una de las dos cifras induce a error. Esto da sentido a la métrica embedding_uniformity del laboratorio: es el detector de colapso que la exactitud del linear probe tardaría en revelar.

La exactitud kNN completa el cuadro sin entrenar nada. Se calcula asignando a cada imagen de test la clase mayoritaria entre sus k vecinos más próximos por similitud coseno en el espacio de representaciones. A diferencia del linear probe, no ajusta ningún parámetro, así que no puede compensar una representación mediocre con una frontera bien colocada: mide si las clases ya están agrupadas localmente. Cuando la exactitud lineal es alta y la kNN baja, suele significar que las clases son separables globalmente pero están entremezcladas a escala fina.

Por qué la cabeza de proyección se descarta

Un detalle que parece arbitrario y no lo es: el contraste se hace sobre z = g(h), pero lo que se conserva para las tareas posteriores es h, no z. Medido empíricamente, la sonda lineal sobre h supera con claridad a la sonda sobre z.

La explicación es que la pérdida contrastiva empuja a z a ser invariante a las aumentaciones, y ser invariante significa descartar la información que las aumentaciones alteran: color, orientación, escala. Esa información suele ser inútil para la tarea contrastiva y útil para la tarea final. La cabeza g actúa como amortiguador: absorbe en sus propias capas la pérdida de información que el objetivo exige, y deja que h la conserve. Se entrena con g y se usa sin g, que es una de las decisiones de diseño menos intuitivas y más reproducibles de SimCLR.

Conviene cerrar con el límite del método. La representación aprendida es tan buena como las invariancias que se le impusieron: si las aumentaciones incluyen conversión a escala de grises, el encoder aprende a ignorar el color, y ninguna sonda posterior podrá recuperar lo que h ya no contiene. Elegir el conjunto de aumentaciones es elegir qué información se conserva.

Qué conviene graficar

Pares aumentados, proyección 2D, vecinos y curva de linear probe. Ver los pares aumentados aclara qué invariancias se están imponiendo; la proyección 2D y los vecinos más cercanos muestran si imágenes semánticamente similares se agrupan; la curva de linear probe cuantifica la utilidad de las representaciones frente a la línea base aleatoria.

Qué se mide y con qué se decide

La clase reporta nt_xent, linear_probe_accuracy, knn_accuracy, embedding_uniformity. De todas ellas, la que decide qué modelo se conserva es nt_xent, y se mide siempre sobre validation: es la única forma de que test siga siendo una estimación honesta de lo que pasará con datos nuevos.

📓 Los tres cuadernos

La clase se puede recorrer en Jupyter y trae tres cuadernos con papeles distintos. Los tres siguen el mismo camino —descargar el dataset real, auditar la partición, entrenar, sellar el experimento y evaluar test una vez—; lo que cambia es qué te toca escribir a ti:

Qué se practica en los ejercicios

Cinco de ellos cubren el contrato experimental común: auditar la partición, decidir con validation, compararse con la línea base, sellar antes de abrir test y dejar el plan por escrito. Se resuelven con Python estándar —sin descargar el dataset ni entrenar—, así que se corrigen en segundos y sin GPU, y cada uno está parametrizado con los valores de este laboratorio: su métrica de selección, su línea base y su experimento propio.

Cómo abrirlos

Los cuadernos necesitan el extra notebooks, que instala Jupyter junto con el paquete:

pip install -e ".[dev,notebooks]"
jupyter lab advanced_labs/30_self_supervised_simclr/notebook.ipynb

También se abren desde VS Code —con la extensión de Jupyter— haciendo doble clic en el archivo, o desde la interfaz clásica con jupyter notebook. El primer arranque descarga el dataset real desde su proveedor, así que la primera ejecución tarda más y requiere conexión.

Si prefieres ejecutar sin abrir un cuaderno, train.py hace exactamente lo mismo desde la terminal, y la sección de comandos de arriba explica cada opción.

🖥️ Los comandos, explicados

Todo el laboratorio se maneja con una sola herramienta de terminal, neural-labs, que se instala junto con el paquete (pip install -e ".[dev,notebooks]"). Cada subcomando hace una cosa del protocolo, y por eso se pueden ejecutar por separado: preparar datos, auditar la partición, entrenar, repetir con varias semillas.

La forma general es siempre la misma:

neural-labs <subcomando> --track <identificador> [opciones]

Lo mismo desde Python

from neural_labs.advanced.training import train_advanced

resultado = train_advanced(
    "30_self_supervised_simclr",
    quick=True,
    split_seed=42,
    training_seed=43,
)

print(resultado["run_dir"])
print(resultado["metrics"])

🪜 Laboratorio guiado

Cada paso dice qué ocurre por dentro, por qué se hace en ese orden y cómo comprobar que salió bien. El orden no es una convención de estilo: es el que ejecuta el código, y alterarlo invalida el resultado.

Paso 1 — Estudiar la teoría antes de ejecutar nada

Qué ocurre. Leer theory.md, que desarrolla Dos vistas, similitud coseno, pérdida NT-Xent y evaluación linear probe. y cita las obras y papers de los que procede.

Por qué. Estas rutas usan arquitecturas donde un error de comprensión no se manifiesta como un fallo, sino como un número plausible pero equivocado.

Cómo sabes que salió bien. Puedes explicar qué mide nt_xent y por qué es la métrica de selección aquí.

Paso 2 — Ejecutar la versión rápida

Qué ocurre. Descarga el dataset y los pesos preentrenados desde su proveedor, entrena una versión reducida y escribe la ejecución en runs-advanced/.

Por qué. Antes de gastar horas de cómputo conviene comprobar que la descarga, el entorno y la ruta completa funcionan de extremo a extremo.

neural-labs train-advanced --track 30_self_supervised_simclr --quick

Cómo sabes que salió bien. Termina sin error y deja metrics.json, history.json y best_model.pt en el directorio de la ejecución.

Paso 3 — Entrenar en serio y seleccionar con validation

Qué ocurre. Se entrena el modelo completo conservando el checkpoint con el mejor valor de nt_xent en validación, y se sella el experimento antes de evaluar test.

Por qué. Igual que en las clases centrales: validation decide, test solo confirma, y el sello deja por escrito qué se había decidido antes de mirar.

neural-labs train-advanced --track 30_self_supervised_simclr --split-seed 42 --training-seed 43

Cómo sabes que salió bien. Existe experiment.lock.json y metrics.json incluye tanto el valor de validación como el de test.

Paso 4 — Repetir con otra semilla de entrenamiento

Qué ocurre. Se repite el entrenamiento con la misma partición y distinta semilla de entrenamiento.

Por qué. Estas arquitecturas —adversariales, contrastivas, de difusión— son especialmente sensibles a la inicialización: una sola ejecución no permite distinguir una mejora de una casualidad.

neural-labs train-advanced --track 30_self_supervised_simclr --split-seed 42 --training-seed 44

Cómo sabes que salió bien. Puedes reportar el rango entre ejecuciones, no un único número.

Paso 5 — Documentar los límites

Qué ocurre. Registrar el resultado junto con la limitación declarada de la ruta y responder assessment.md.

Por qué. En generación y aprendizaje autosupervisado las métricas son aproximaciones: sin declarar qué NO demuestran, invitan a conclusiones que los números no sostienen.

Cómo sabes que salió bien. Tu reporte dice qué mejoró, cuánto costó y en qué condiciones no esperarías el mismo resultado.

🔍 Cómo leer lo que produce la ejecución

Cada ejecución escribe su propio directorio con nombre único, de modo que dos corridas nunca se pisan. Esto es lo que encontrarás dentro:

⚠️ Dónde suele perderse la gente

• Cambiar algo después de ver test invalida la comparación. Si al mirar el resultado final se te ocurre una mejora, la ruta correcta es volver a validation, decidir allí, y sellar de nuevo.
• Las dos semillas no son intercambiables. --split-seed cambia qué datos caen en cada partición; --training-seed cambia cómo se inicializa y baraja el entrenamiento. Para comparar modelos se fija la primera y se varía la segunda.
• Límite declarado de este dataset. La elección de aumentos define invariancias y puede borrar información relevante para tareas posteriores.

Riesgos al interpretar los resultados

La elección de aumentos define invariancias y puede borrar información relevante para tareas posteriores. Por ejemplo, forzar invariancia al color ayuda en unas tareas pero perjudica otras donde el color es discriminante; una buena accuracy en linear probe para una tarea no garantiza transferencia a otra con necesidades distintas.

✅ Antes de darlo por terminado

La clase está aprobada cuando se cumplen estos criterios:

• [ ] responde la pregunta esencial con evidencia de la ejecución
• [ ] interpreta la visualización propia de la clase
• [ ] distingue resultados observados de supuestos

Y cuando tienes estos entregables:

• [ ] notebook ejecutado
• [ ] reporte experimental
• [ ] model card

El plan experimental con la tabla que hay que completar está en experiments.md, y las preguntas con su rúbrica, en assessment.md. Ambos documentos se abren desde la barra de navegación de arriba.

Para ir más lejos

• Cambia una decisión experimental y justifícala con el resultado en validation, no con la intuición.
• Analiza los errores por clase o por segmento: casi siempre se concentran en un subconjunto reconocible.
• Compara costo, precisión y latencia; el mejor modelo no siempre es el que gana por décimas.
• Documenta sesgos, limitaciones y usos para los que no recomendarías este modelo.

📚 Fuentes

La teoría de arriba no es original de este repositorio: se apoya en la literatura de referencia del área y en los papers originales de cada arquitectura. Estas son las obras concretas, y lo que aporta cada una:

Las referencias apuntan a las obras; no se reproduce su contenido, la redacción es original.

• Chen et al. (2020), A Simple Framework for Contrastive Learning of Visual Representations (SimCLR), ICML — define la pérdida NT-Xent, el rol de las aumentaciones y la cabeza de proyección.
• He et al. (2020), Momentum Contrast for Unsupervised Visual Representation Learning (MoCo), CVPR — cola de negativos y encoder de momento para escalar el contraste.
• Grill et al. (2020), Bootstrap Your Own Latent (BYOL), NeurIPS — aprendizaje sin negativos mediante redes online/target y predictor asimétrico.
• Wang & Isola (2020), Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere, ICML — descompone la pérdida contrastiva en alineación y uniformidad, y define las métricas correspondientes.
• Oord, Li & Vinyals (2018), Representation Learning with Contrastive Predictive Coding, arXiv — introduce InfoNCE, la pérdida de la que NT-Xent es un caso particular.
• Fuente del dataset: https://www.cs.toronto.edu/~kriz/cifar.html — CIFAR-10 (University of Toronto, La fuente no declara una licencia); procedencia, versión y SHA-256 en el registro de fuentes, entrada cifar-10 — esta clase la usa sin etiquetas durante el preentrenamiento contrastivo, y solo las recupera para la sonda lineal que evalúa la representación.

Los archivos de este laboratorio

Todo lo que necesitas está en esta carpeta. Cada enlace abre el archivo directamente:

Y fuera de la carpeta, tres referencias que esta guía usa: el catálogo configs/advanced_tracks.yaml —de donde salen el objetivo, la línea base y las métricas—, el código src/neural_labs/advanced/training.py —que define el orden de los pasos y los archivos que escribe cada ejecución— y docs/experiment-protocol.md, con la regla general del protocolo.

Los datasets se descargan de su proveedor original y conservan su licencia; este repositorio no los redistribuye ni sustituye una descarga fallida por datos generados.

🔬 Experimentos

Plan de experimentos — Aprendizaje autosupervisado SimCLR

Qué significa «experimentar» aquí

Entrenar un modelo y mirar el número que sale no es un experimento: es una observación. Un experimento empieza por una afirmación que podría resultar falsa, sigue fijando todo lo que no se está poniendo a prueba, y termina midiendo si la afirmación se sostiene cuando se repite.

La diferencia importa porque el entrenamiento de una red tiene azar por dentro: la inicialización de los pesos y el orden en que se barajan los lotes cambian el resultado aunque no cambies nada más. Si comparas una sola corrida contra otra sola corrida, no sabes si la diferencia viene de tu idea o de la semilla. Por eso todo lo que sigue está organizado para separar la señal (el efecto de lo que cambiaste) del ruido (la variabilidad propia del entrenamiento).

La hipótesis de este laboratorio

Preentrenar representaciones con dos vistas reales y evaluar mediante linear probe.

Formulada como algo que se puede refutar: el modelo de este laboratorio supera a ResNet18 aleatoria + linear probe en nt_xent, y la diferencia es mayor que la dispersión entre semillas.

Qué la haría falsa —y esto también es un resultado que hay que reportar—:

• El modelo no supera a ResNet18 aleatoria + linear probe.
• Lo supera, pero por menos de lo que varía el propio modelo al cambiar la semilla de entrenamiento.
• Lo supera solo con una semilla concreta y no con las demás.
• Lo supera a costa de un tiempo o un tamaño que el problema no justifica.

El experimento propio de esta clase

Además de la comparación con la línea base, aquí interesa una pregunta específica: Comparar intensidad de aumento y tamaño de batch manteniendo fijo el split. Es la comparación que da sentido al tema de este laboratorio; la de la línea base solo dice si el modelo sirve, mientras que esta dice qué parte del diseño es la que aporta.

Qué se varía y qué se mantiene fijo

Un experimento es interpretable cuando cambia una cosa a la vez. Esta tabla dice qué papel juega cada elemento y, sobre todo, por qué:

Cómo ejecutar la serie

En las especializaciones no hay comando de repetición automática: se lanza el entrenamiento una vez por semilla, manteniendo fija la partición.

neural-labs train-advanced --track 30_self_supervised_simclr --split-seed 42 --training-seed 41
neural-labs train-advanced --track 30_self_supervised_simclr --split-seed 42 --training-seed 42
neural-labs train-advanced --track 30_self_supervised_simclr --split-seed 42 --training-seed 43

Cada corrida escribe su propio directorio en runs-advanced/, con metrics.json e history.json.

La tabla que debes completar

De dónde sale cada columna, para que no haya que adivinarlo:

• Métrica en validation: el mejor valor de nt_xent durante el entrenamiento; está en history.csv y resumido en metrics.json.
• Métrica en test: el valor final, en metrics.json, ya con el modelo congelado.
• Tiempo: wall_time_seconds de metrics.json.
• Parámetros: parameters de metrics.json; es la medida honesta del tamaño del modelo.
• Observación: lo que viste y los números no dicen —una curva que se dispara, una clase que concentra los errores, una corrida que no convergió—.

Cómo decidir con esos números

1. Compara medias, pero decide con la dispersión. Calcula media y desviación entre las tres semillas de cada variante. Una mejora de 0,3 puntos entre variantes cuya dispersión interna es de 1,2 puntos no es una mejora: es ruido con buena suerte.
2. Si los rangos se solapan, dilo. «No se observó una diferencia distinguible del ruido con tres semillas» es una conclusión legítima y mucho más útil que un número inventado de confianza.
3. Decide con validation. La columna de test sirve para reportar el resultado final una vez, no para elegir la variante ganadora.
4. El costo forma parte del resultado. Si improved gana por poco y cuesta el triple de tiempo, la conclusión honesta menciona ambas cosas.
5. Vuelve a la línea base. La comparación contra ResNet18 aleatoria + linear probe es la que dice si todo el aparato de la red neuronal estaba justificado para este problema.

Qué debe decir tu conclusión

Una conclusión completa contiene cinco cosas, y se puede escribir en un párrafo:

• Magnitud: cuánto mejoró, en qué métrica y sobre qué conjunto.
• Incertidumbre: cuánto varió entre semillas, y si la mejora sobrevive a esa variación.
• Costo: tiempo, memoria o tamaño adicional que hubo que pagar.
• Errores: dónde falla el modelo, no solo cuánto acierta.
• Condiciones: en qué circunstancias no esperarías que este resultado se repitiera.

Errores de diseño que invalidan el experimento

• Cambiar dos cosas a la vez. Si tocas la arquitectura y la tasa de aprendizaje en la misma corrida, el resultado no atribuye el efecto a ninguna de las dos.
• Comparar con particiones distintas. Es el error más frecuente y el más difícil de detectar después: parece una mejora del modelo y es un reparto distinto de los datos.
• Quedarse con la mejor semilla. Elegir la corrida más favorable y reportar solo esa es seleccionar el ruido. Se reportan todas.
• Ajustar mirando test. En cuanto una decisión se toma con el resultado de test, ese conjunto deja de estimar el rendimiento con datos nuevos.
• No registrar el entorno. Sin versiones ni hardware, una diferencia de tiempo o de resultado se vuelve inexplicable meses después.

📝 Evaluación

Evaluación — Aprendizaje autosupervisado SimCLR

Cómo se evalúa esta clase

No se evalúa el número final. Un modelo con una métrica alta obtenida mirando test, o sin compararse con nada, vale menos que uno modesto cuyo resultado se puede auditar. Lo que se califica es el proceso: si las particiones están limpias, si la decisión se tomó donde debía, si la conclusión distingue lo que se midió de lo que se supone.

Evidencias que debes entregar

Las preguntas, y qué se busca en tu respuesta

No se corrige la longitud de la respuesta, sino si demuestra comprensión. Debajo de cada pregunta está lo que una buena respuesta debería contener.

1. ¿Qué invariancias aprende una representación cuando nadie le entrega etiquetas?

Qué se busca: Comienza con la predicción que hiciste al abrir la clase y contrástala con una gráfica, una medida o una observación concreta de tu ejecución.

2. Explica con tus palabras: Dos vistas, similitud coseno, pérdida NT-Xent y evaluación linear probe.

Qué se busca: Una buena respuesta conecta cuatro cosas —cómo se representa la entrada, qué calcula el modelo, qué mide la función de pérdida y cómo se actualizan los pesos— en vez de repetir la definición del libro. Si puedes explicarlo sin la fórmula delante, lo entendiste.

3. ¿Qué información del dataset solo puede usarse durante el entrenamiento?

Qué se busca: Se espera que nombres casos concretos: las estadísticas de normalización, el vocabulario, la selección de variables, los umbrales. Todo eso se ajusta solo con train; calcularlo sobre el conjunto completo es una fuga silenciosa que infla el resultado sin dar ningún aviso.

4. ¿Por qué ResNet18 aleatoria + linear probe es una comparación razonable para este problema?

Qué se busca: Una buena respuesta explica qué captura la línea base y qué no, y por qué superarla —o no superarla— es informativo aquí. Si la línea base ya resuelve el problema, la conclusión correcta es que la red no estaba justificada.

5. ¿Qué aprendiste al realizar esta práctica: Inspeccionar pares aumentados, proyectar embeddings y comparar k-NN y linear probe bajo distintas intensidades de aumento.?

Qué se busca: No basta con relatar los pasos. Explica qué cambió, por qué cambió y qué resultado te haría rechazar tu interpretación inicial.

6. Refuta con evidencia esta idea frecuente: «Los aumentos definen lo que el modelo considera irrelevante; una invariancia mal elegida puede borrar la señal necesaria.»

Qué se busca: Se busca una refutación situada en esta materia, apoyada en el mecanismo estudiado y en los resultados obtenidos, no una negación genérica.

7. ¿Qué te dice nt_xent que no te dirían las otras métricas?

Qué se busca: Cada métrica pondera distinto los errores. Se espera que expliques por qué esa es la que decide aquí y en qué situación sería una mala elección.

8. ¿Qué cambiarías antes de usar este modelo fuera del laboratorio?

Qué se busca: Aquí se evalúa el criterio, no la técnica: licencias y condiciones de uso de cifar10, representatividad de la población, calibración de las probabilidades, vigilancia de la deriva, desempeño por subgrupo y supervisión humana. Un «funcionaría bien» sin condiciones se corrige como respuesta incompleta.

La rúbrica, explicada

La diferencia entre adecuado y excelente casi nunca está en la métrica: está en si el trabajo permite que otra persona llegue a la misma conclusión con los artefactos que dejaste. Un resultado peor, bien medido y bien explicado, se califica por encima de uno mejor que no se puede auditar.

La aprobación exige al menos 70 % y cero errores críticos de fuga de datos. La fuga es eliminatoria por sí sola porque invalida todas las demás cifras del trabajo, por buenas que parezcan.

Autoevaluación antes de entregar

• [ ] Puedo explicar la idea central de la clase a alguien que no la cursó, sin leer el código.
• [ ] Sé qué decisión tomé en cada paso y con qué evidencia la tomé.
• [ ] Miré test una sola vez, después de que existiera experiment.lock.json.
• [ ] Mi conclusión dice magnitud, incertidumbre, costo, errores y condiciones.

• [ ] Puedo señalar al menos una limitación real de mi resultado.

• [ ] responde la pregunta esencial con evidencia de la ejecución

• [ ] interpreta la visualización propia de la clase
• [ ] distingue resultados observados de supuestos

🧑‍🏫 Guía docente

Guía docente — Clase 31: Aprendizaje autosupervisado SimCLR

Módulo 7: Especializaciones avanzadas · Esta guía acompaña a quien facilita la clase; no es un guion que deba leerse literalmente.

La conversación que abre la clase

Dos transformaciones de la misma imagen deben reconocerse como par, mientras imágenes distintas se separan en el espacio de representación.

Plantee primero esta pregunta y permita que el grupo formule una predicción antes de mostrar código:

¿Qué invariancias aprende una representación cuando nadie le entrega etiquetas?

Qué debe quedar comprendido

• Preentrenar representaciones con dos vistas reales y evaluar mediante linear probe.
• Interpretar nt_xent, linear_probe_accuracy
• Aplicar sellado de test y reproducibilidad

Secuencia sugerida

Práctica propia de esta materia

Inspeccionar pares aumentados, proyectar embeddings y comparar k-NN y linear probe bajo distintas intensidades de aumento.

La figura es un punto de entrada. Pida al estudiante que explique qué cambia entre los tres pasos y qué resultado observable invalidaría su explicación.

Dificultad conceptual que conviene provocar

Idea engañosa: Los aumentos definen lo que el modelo considera irrelevante; una invariancia mal elegida puede borrar la señal necesaria.

No la corrija inmediatamente. Solicite un ejemplo o contraejemplo, ejecute una comparación y recién entonces reconstruya la explicación con el grupo.

Preguntas para acompañar sin resolver

• ¿Qué observación concreta respalda esa afirmación?
• ¿Qué variable está cambiando y cuáles permanecen controladas?
• ¿La gráfica muestra el mecanismo o solamente una correlación?
• ¿En qué caso dejaría de ser válida esta conclusión?

Cierre verificable

La clase termina cuando el estudiante puede responder la pregunta esencial, interpretar su visualización y señalar al menos una limitación. Una métrica aislada no reemplaza ninguna de esas tres evidencias.