Segmentación semántica con U-Net

Antes de tocar el código

Clasificar una imagen dice qué contiene; segmentarla exige decidir además dónde termina cada objeto, incluso en sus bordes.

Pregunta esencial: ¿Cómo recupera una U-Net el detalle espacial que pierde al comprimir?

Haz una predicción antes de ejecutar el notebook. Al final volverás a ella y tendrás que decir qué evidencia la confirmó, la corrigió o la dejó abierta.

Mapa de esta clase: Comprimir contexto y recuperar detalle. La figura no es decorativa; úsala para explicar el mecanismo con tus propias palabras.

🎯 Qué vas a aprender y construir

Segmentar mascota, fondo y contorno con IoU por clase.

Práctica propia de esta clase: Superponer máscaras, inspeccionar skip connections y comparar IoU por clase y errores de contorno.

Es la clase 27 de 31 del programa y pertenece a 🔬 el módulo 7, Especializaciones avanzadas. Llegas desde Fine-tuning eficiente de transformer y lo que hagas aquí lo da por supuesto Clasificación de audio con SpeechCommands.

Trabajarás con el dataset oxford_iiit_pet_segmentation (Torchvision / University of Oxford, licencia: Consultar términos Oxford-IIIT Pet), y tendrás que superar la línea base Máscara de clase mayoritaria, decidiendo con la métrica mean_iou medida sobre validation. Nivel avanzado, unas 8 horas de dedicación.

Qué recibe el modelo como entrada: imagen RGB y máscara trimap.

Lo que conviene traer resuelto de las clases anteriores: CNN, visión, métricas por píxel.

Al terminar deberías ser capaz de:

• Segmentar mascota, fondo y contorno con IoU por clase.
• Interpretar mean_iou, iou_per_class
• Aplicar sellado de test y reproducibilidad

Una idea que conviene desmontar

Una pixel accuracy alta puede ocultar una segmentación inútil cuando el fondo domina la imagen.

🧠 Comprender antes de entrenar

Esta sección es la explicación completa del tema. No hace falta abrir otro archivo para entender lo que viene después: aquí está la idea, la matemática que la sostiene y sus límites. (El mismo texto vive en theory.md, que es la fuente desde la que se genera esta guía, junto con la bibliografía del final.)

De qué trata

Una CNN de clasificación responde «hay un gato en esta foto». La segmentación responde algo mucho más exigente: «este píxel es gato, este es fondo, y este es el borde entre ambos». La salida deja de ser una etiqueta y pasa a ser una imagen de etiquetas, del mismo tamaño que la entrada. Ese cambio de forma es el que obliga a cambiar de arquitectura.

El problema de fondo es un conflicto entre dos necesidades opuestas. Para decidir qué hay en una región hace falta contexto amplio: un parche de 8×8 píxeles de pelaje no distingue un gato de una alfombra. Ganar contexto significa reducir la resolución con submuestreos sucesivos, y cada submuestreo destruye información sobre dónde estaba exactamente cada cosa. Al final de un encoder típico la red sabe muy bien qué hay en la imagen y muy mal en qué píxel empieza. La segmentación necesita las dos respuestas a la vez.

La U-Net resuelve ese conflicto sin renunciar a ninguna de las dos: baja la resolución para ganar contexto y luego la sube para recuperar el detalle, pero en cada nivel de subida reinyecta los mapas de alta resolución que el encoder había producido antes de perderlos. Esas son las conexiones skip, y son la idea entera de la arquitectura. Su efecto se ve mejor en la clase más difícil de este laboratorio, el contorno de la mascota: son franjas de pocos píxeles que el submuestreo borra por completo y que solo el camino directo desde el encoder puede restituir.

El desbalance es el segundo protagonista. En una foto de mascota, el fondo ocupa la mayoría de los píxeles y el contorno una fracción mínima. Un modelo que prediga «fondo» en todas partes obtiene una exactitud por píxel alta y es completamente inútil: por eso la métrica no es la exactitud, sino la intersección sobre unión desglosada por clase, y por eso la pérdida necesita un término que no se deje dominar por la clase mayoritaria.

La matemática, paso a paso

La segmentación semántica asigna a cada píxel de la imagen una etiqueta de clase. Formalmente, dada una entrada X ∈ ℝ^(H×W×3) se busca una función que produzca un mapa de probabilidades ŷ ∈ ℝ^(H×W×C), donde C es el número de clases (aquí: mascota, fondo y contorno). Es una clasificación densa: en lugar de una etiqueta por imagen, se predice una por posición espacial. Las redes totalmente convolucionales (FCN) de Long, Shelhamer y Darrell hicieron esto viable al sustituir las capas densas finales de una CNN por convoluciones, permitiendo salidas del tamaño de la imagen mediante upsampling (convoluciones transpuestas).

La U-Net refina esta idea con una arquitectura simétrica en forma de U. El encoder (camino de contracción) aplica bloques de convolución seguidos de submuestreo (max-pooling), reduciendo la resolución espacial y aumentando la profundidad de canales: captura el qué (contexto semántico) pero pierde el dónde (detalle espacial). El decoder (camino de expansión) revierte el proceso con upsampling progresivo hasta recuperar la resolución original. La clave son las conexiones skip: en cada nivel, los mapas de características del encoder se concatenan con los del decoder de igual resolución. Así se reinyecta la información espacial de alta frecuencia (bordes, contornos finos) que el submuestreo había diluido, resolviendo el compromiso entre contexto y localización. Esto es decisivo para la clase "contorno", que ocupa franjas delgadas de pocos píxeles.

El entrenamiento minimiza una pérdida por píxel, típicamente la entropía cruzada promediada sobre todas las posiciones:

ℒ_CE = −(1 / (H·W)) · Σ_(i,j) Σ_(c=1..C) y_(i,j,c) · log ŷ_(i,j,c),

donde la probabilidad por clase se obtiene con un softmax sobre el eje de canales, ŷ_(i,j,c) = e^(z_(i,j,c)) / Σ_k e^(z_(i,j,k)). Como las clases suelen estar desbalanceadas (el fondo domina), se complementa con la pérdida Dice, ℒ_Dice = 1 − (2·Σ ŷ·y + ε) / (Σ ŷ + Σ y + ε), donde ε > 0 evita división por cero; Dice premia el solape directo y es más robusta al desbalance.

La métrica principal es la intersección sobre unión (IoU), o índice de Jaccard, definida por clase como

IoU = |A ∩ B| / |A ∪ B| = TP / (TP + FP + FN),

siendo A la máscara predicha y B la real. Vale 1 si coinciden perfectamente y 0 si no se solapan; el mean IoU promedia sobre clases y es el estándar de la segmentación semántica. La línea base "máscara de clase mayoritaria" predice siempre la clase más frecuente: fija un piso trivial que la U-Net debe superar ampliamente para demostrar que aprende estructura real y no solo la proporción de píxeles de fondo.

La aritmética de la U: cuánto se pierde y cuánto se recupera

Cada nivel del encoder aplica convoluciones y un max-pooling de factor 2. Tras L niveles, un mapa de H×W queda en (H/2^L)×(W/2^L): con L = 4 y una entrada de 128×128, el cuello de botella mide 8×8. Ese es el precio explícito del contexto.

Lo que se gana a cambio se mide con el campo receptivo, la región de la entrada que influye en una sola activación. Para una pila de capas, crece según

R_ℓ = R_(ℓ−1) + (F_ℓ − 1) · Π_(i<ℓ) s_i,

donde F_ℓ es el tamaño del filtro de la capa ℓ y s_i los strides acumulados de las anteriores. La consecuencia es que cada submuestreo duplica el efecto de las convoluciones posteriores: una convolución 3×3 tras cuatro poolings ve una ventana de 48 píxeles de la imagen original, mientras que la misma convolución al principio ve solo 3. Por eso el fondo se clasifica bien en las capas profundas y el borde no.

La subida usa convoluciones transpuestas, cuya dimensión de salida invierte la fórmula de la convolución normal:

dimensión_salida = (dimensión_entrada − 1)·s − 2p + F.

Con s = 2, F = 2 y p = 0 se duplica exactamente la resolución. Tras cada subida se concatena el mapa del encoder de igual resolución —la conexión skip— de modo que el decoder recibe C_dec + C_enc canales: la información semántica que trae de abajo y la información espacial que nunca pasó por el cuello de botella. Es una concatenación, no una suma, y esa distinción importa: la red aprende con sus pesos cómo combinar ambas fuentes en vez de imponerles el mismo peso por construcción.

Cómo se combate el desbalance en la pérdida

La entropía cruzada por píxel trata todas las posiciones por igual, así que en una imagen con 80 % de fondo el gradiente está dominado por píxeles fáciles. Hay dos correcciones habituales, y el laboratorio usa ambas.

La primera es ponderar las clases en la entropía cruzada, ℒ_CE^w = −(1/(H·W)) · Σ_(i,j) Σ_c w_c · y_(i,j,c) · log ŷ_(i,j,c), con pesos inversamente proporcionales a la frecuencia, típicamente w_c ∝ 1 / f_c o w_c ∝ 1 / √f_c, siendo f_c la fracción de píxeles de la clase c. La raíz cuadrada modera la corrección: la ponderación inversa pura suele desestabilizar el entrenamiento porque dispara el gradiente de clases con muy pocos píxeles.

La segunda es sumar el término Dice, que no mide aciertos por píxel sino solape entre conjuntos y por tanto es insensible al tamaño del fondo. La pérdida total queda

ℒ = ℒ_CE^w + λ · ℒ_Dice, con ℒ_Dice = 1 − (1/C) · Σ_c (2·Σ_(i,j) ŷ_(i,j,c)·y_(i,j,c) + ε) / (Σ_(i,j) ŷ_(i,j,c) + Σ_(i,j) y_(i,j,c) + ε).

El Dice se calcula sobre las probabilidades ŷ sin binarizar, lo que lo hace diferenciable —una versión "blanda" del coeficiente clásico— y permite optimizarlo por descenso de gradiente. Los dos términos se complementan: la entropía cruzada da gradiente denso y estable desde el primer paso; el Dice orienta el entrenamiento hacia la métrica que de verdad se reporta.

Por qué Dice e IoU no son la misma cifra

Ambos miden solape y se confunden con frecuencia, pero no coinciden. Con TP, FP y FN contados sobre píxeles,

IoU = TP / (TP + FP + FN), Dice = 2·TP / (2·TP + FP + FN),

y están ligados por una relación monótona exacta:

Dice = 2·IoU / (1 + IoU), equivalentemente IoU = Dice / (2 − Dice).

Como Dice ≥ IoU siempre (con igualdad solo en 0 y en 1), el Dice siempre se ve mejor. Un IoU de 0,50 es un Dice de 0,67; un IoU de 0,80, un Dice de 0,89. Reportar uno creyendo que es el otro infla el resultado sin que nada falle visiblemente, y es la razón de que este laboratorio fije el mean_iou como métrica de selección y exija además el desglose iou_per_class: un mean IoU alto puede convivir con un IoU de contorno cercano a cero, que es exactamente el fallo que la arquitectura pretendía evitar.

Qué conviene graficar

Imagen, máscara real, máscara predicha, IoU por clase y mapas intermedios. Los mapas intermedios muestran cómo el encoder abstrae el contexto y las conexiones skip recuperan el detalle; el IoU por clase expone en qué categoría (mascota, fondo o contorno) falla más el modelo.

Qué se mide y con qué se decide

La clase reporta mean_iou, iou_per_class, pixel_accuracy, dice. De todas ellas, la que decide qué modelo se conserva es mean_iou, y se mide siempre sobre validation: es la única forma de que test siga siendo una estimación honesta de lo que pasará con datos nuevos.

📓 Los tres cuadernos

La clase se puede recorrer en Jupyter y trae tres cuadernos con papeles distintos. Los tres siguen el mismo camino —descargar el dataset real, auditar la partición, entrenar, sellar el experimento y evaluar test una vez—; lo que cambia es qué te toca escribir a ti:

Qué se practica en los ejercicios

Cinco de ellos cubren el contrato experimental común: auditar la partición, decidir con validation, compararse con la línea base, sellar antes de abrir test y dejar el plan por escrito. Se resuelven con Python estándar —sin descargar el dataset ni entrenar—, así que se corrigen en segundos y sin GPU, y cada uno está parametrizado con los valores de este laboratorio: su métrica de selección, su línea base y su experimento propio.

Cómo abrirlos

Los cuadernos necesitan el extra notebooks, que instala Jupyter junto con el paquete:

pip install -e ".[dev,notebooks]"
jupyter lab advanced_labs/26_segmentation_unet/notebook.ipynb

También se abren desde VS Code —con la extensión de Jupyter— haciendo doble clic en el archivo, o desde la interfaz clásica con jupyter notebook. El primer arranque descarga el dataset real desde su proveedor, así que la primera ejecución tarda más y requiere conexión.

Si prefieres ejecutar sin abrir un cuaderno, train.py hace exactamente lo mismo desde la terminal, y la sección de comandos de arriba explica cada opción.

🖥️ Los comandos, explicados

Todo el laboratorio se maneja con una sola herramienta de terminal, neural-labs, que se instala junto con el paquete (pip install -e ".[dev,notebooks]"). Cada subcomando hace una cosa del protocolo, y por eso se pueden ejecutar por separado: preparar datos, auditar la partición, entrenar, repetir con varias semillas.

La forma general es siempre la misma:

neural-labs <subcomando> --track <identificador> [opciones]

Lo mismo desde Python

from neural_labs.advanced.training import train_advanced

resultado = train_advanced(
    "26_segmentation_unet",
    quick=True,
    split_seed=42,
    training_seed=43,
)

print(resultado["run_dir"])
print(resultado["metrics"])

🪜 Laboratorio guiado

Cada paso dice qué ocurre por dentro, por qué se hace en ese orden y cómo comprobar que salió bien. El orden no es una convención de estilo: es el que ejecuta el código, y alterarlo invalida el resultado.

Paso 1 — Estudiar la teoría antes de ejecutar nada

Qué ocurre. Leer theory.md, que desarrolla Arquitectura encoder-decoder, conexiones skip, pérdida por píxel e intersección sobre unión. y cita las obras y papers de los que procede.

Por qué. Estas rutas usan arquitecturas donde un error de comprensión no se manifiesta como un fallo, sino como un número plausible pero equivocado.

Cómo sabes que salió bien. Puedes explicar qué mide mean_iou y por qué es la métrica de selección aquí.

Paso 2 — Ejecutar la versión rápida

Qué ocurre. Descarga el dataset y los pesos preentrenados desde su proveedor, entrena una versión reducida y escribe la ejecución en runs-advanced/.

Por qué. Antes de gastar horas de cómputo conviene comprobar que la descarga, el entorno y la ruta completa funcionan de extremo a extremo.

neural-labs train-advanced --track 26_segmentation_unet --quick

Cómo sabes que salió bien. Termina sin error y deja metrics.json, history.json y best_model.pt en el directorio de la ejecución.

Paso 3 — Entrenar en serio y seleccionar con validation

Qué ocurre. Se entrena el modelo completo conservando el checkpoint con el mejor valor de mean_iou en validación, y se sella el experimento antes de evaluar test.

Por qué. Igual que en las clases centrales: validation decide, test solo confirma, y el sello deja por escrito qué se había decidido antes de mirar.

neural-labs train-advanced --track 26_segmentation_unet --split-seed 42 --training-seed 43

Cómo sabes que salió bien. Existe experiment.lock.json y metrics.json incluye tanto el valor de validación como el de test.

Paso 4 — Repetir con otra semilla de entrenamiento

Qué ocurre. Se repite el entrenamiento con la misma partición y distinta semilla de entrenamiento.

Por qué. Estas arquitecturas —adversariales, contrastivas, de difusión— son especialmente sensibles a la inicialización: una sola ejecución no permite distinguir una mejora de una casualidad.

neural-labs train-advanced --track 26_segmentation_unet --split-seed 42 --training-seed 44

Cómo sabes que salió bien. Puedes reportar el rango entre ejecuciones, no un único número.

Paso 5 — Documentar los límites

Qué ocurre. Registrar el resultado junto con la limitación declarada de la ruta y responder assessment.md.

Por qué. En generación y aprendizaje autosupervisado las métricas son aproximaciones: sin declarar qué NO demuestran, invitan a conclusiones que los números no sostienen.

Cómo sabes que salió bien. Tu reporte dice qué mejoró, cuánto costó y en qué condiciones no esperarías el mismo resultado.

🔍 Cómo leer lo que produce la ejecución

Cada ejecución escribe su propio directorio con nombre único, de modo que dos corridas nunca se pisan. Esto es lo que encontrarás dentro:

⚠️ Dónde suele perderse la gente

• Cambiar algo después de ver test invalida la comparación. Si al mirar el resultado final se te ocurre una mejora, la ruta correcta es volver a validation, decidir allí, y sellar de nuevo.
• Las dos semillas no son intercambiables. --split-seed cambia qué datos caen en cada partición; --training-seed cambia cómo se inicializa y baraja el entrenamiento. Para comparar modelos se fija la primera y se varía la segunda.
• Límite declarado de este dataset. Las imágenes se concentran en mascotas y fondos cotidianos; no generaliza a segmentación médica o industrial.

Riesgos al interpretar los resultados

Las imágenes se concentran en mascotas y fondos cotidianos; no generaliza a segmentación médica o industrial. Un IoU global alto puede ocultar mal desempeño en clases minoritarias como el contorno, por lo que conviene leer siempre el IoU desglosado por clase.

✅ Antes de darlo por terminado

La clase está aprobada cuando se cumplen estos criterios:

• [ ] responde la pregunta esencial con evidencia de la ejecución
• [ ] interpreta la visualización propia de la clase
• [ ] distingue resultados observados de supuestos

Y cuando tienes estos entregables:

• [ ] notebook ejecutado
• [ ] reporte experimental
• [ ] model card

El plan experimental con la tabla que hay que completar está en experiments.md, y las preguntas con su rúbrica, en assessment.md. Ambos documentos se abren desde la barra de navegación de arriba.

Para ir más lejos

• Cambia una decisión experimental y justifícala con el resultado en validation, no con la intuición.
• Analiza los errores por clase o por segmento: casi siempre se concentran en un subconjunto reconocible.
• Compara costo, precisión y latencia; el mejor modelo no siempre es el que gana por décimas.
• Documenta sesgos, limitaciones y usos para los que no recomendarías este modelo.

📚 Fuentes

La teoría de arriba no es original de este repositorio: se apoya en la literatura de referencia del área y en los papers originales de cada arquitectura. Estas son las obras concretas, y lo que aporta cada una:

Las referencias apuntan a las obras; no se reproduce su contenido, la redacción es original.

• Long, Shelhamer & Darrell (2015), Fully Convolutional Networks for Semantic Segmentation, CVPR — funda la segmentación densa reemplazando capas densas por convoluciones y upsampling.
• Ronneberger, Fischer & Brox (2015), U-Net: Convolutional Networks for Biomedical Image Segmentation, MICCAI — encoder-decoder simétrico con conexiones skip para localización precisa.
• Goodfellow, Bengio & Courville — Deep Learning (MIT Press, 2016), cap. 9 — fundamentos de las redes convolucionales que sustentan el encoder-decoder.
• Fuente del dataset: https://www.robots.ox.ac.uk/~vgg/data/pets/ — The Oxford-IIIT Pet Dataset (Visual Geometry Group, Creative Commons Attribution-ShareAlike 4.0 International); procedencia, versión y SHA-256 en el registro de fuentes, entrada oxford-iiit-pet — esta clase usa sus trimaps de segmentación para entrenar una U-Net y medir intersección sobre unión por clase, incluido el contorno.

Los archivos de este laboratorio

Todo lo que necesitas está en esta carpeta. Cada enlace abre el archivo directamente:

Y fuera de la carpeta, tres referencias que esta guía usa: el catálogo configs/advanced_tracks.yaml —de donde salen el objetivo, la línea base y las métricas—, el código src/neural_labs/advanced/training.py —que define el orden de los pasos y los archivos que escribe cada ejecución— y docs/experiment-protocol.md, con la regla general del protocolo.

Los datasets se descargan de su proveedor original y conservan su licencia; este repositorio no los redistribuye ni sustituye una descarga fallida por datos generados.

🔬 Experimentos

Plan de experimentos — Segmentación semántica con U-Net

Qué significa «experimentar» aquí

Entrenar un modelo y mirar el número que sale no es un experimento: es una observación. Un experimento empieza por una afirmación que podría resultar falsa, sigue fijando todo lo que no se está poniendo a prueba, y termina midiendo si la afirmación se sostiene cuando se repite.

La diferencia importa porque el entrenamiento de una red tiene azar por dentro: la inicialización de los pesos y el orden en que se barajan los lotes cambian el resultado aunque no cambies nada más. Si comparas una sola corrida contra otra sola corrida, no sabes si la diferencia viene de tu idea o de la semilla. Por eso todo lo que sigue está organizado para separar la señal (el efecto de lo que cambiaste) del ruido (la variabilidad propia del entrenamiento).

La hipótesis de este laboratorio

Segmentar mascota, fondo y contorno con IoU por clase.

Formulada como algo que se puede refutar: el modelo de este laboratorio supera a Máscara de clase mayoritaria en mean_iou, y la diferencia es mayor que la dispersión entre semillas.

Qué la haría falsa —y esto también es un resultado que hay que reportar—:

• El modelo no supera a Máscara de clase mayoritaria.
• Lo supera, pero por menos de lo que varía el propio modelo al cambiar la semilla de entrenamiento.
• Lo supera solo con una semilla concreta y no con las demás.
• Lo supera a costa de un tiempo o un tamaño que el problema no justifica.

El experimento propio de esta clase

Además de la comparación con la línea base, aquí interesa una pregunta específica: Comparar U-Net pequeña con y sin aumento geométrico y ponderación de clases. Es la comparación que da sentido al tema de este laboratorio; la de la línea base solo dice si el modelo sirve, mientras que esta dice qué parte del diseño es la que aporta.

Qué se varía y qué se mantiene fijo

Un experimento es interpretable cuando cambia una cosa a la vez. Esta tabla dice qué papel juega cada elemento y, sobre todo, por qué:

Cómo ejecutar la serie

En las especializaciones no hay comando de repetición automática: se lanza el entrenamiento una vez por semilla, manteniendo fija la partición.

neural-labs train-advanced --track 26_segmentation_unet --split-seed 42 --training-seed 41
neural-labs train-advanced --track 26_segmentation_unet --split-seed 42 --training-seed 42
neural-labs train-advanced --track 26_segmentation_unet --split-seed 42 --training-seed 43

Cada corrida escribe su propio directorio en runs-advanced/, con metrics.json e history.json.

La tabla que debes completar

De dónde sale cada columna, para que no haya que adivinarlo:

• Métrica en validation: el mejor valor de mean_iou durante el entrenamiento; está en history.csv y resumido en metrics.json.
• Métrica en test: el valor final, en metrics.json, ya con el modelo congelado.
• Tiempo: wall_time_seconds de metrics.json.
• Parámetros: parameters de metrics.json; es la medida honesta del tamaño del modelo.
• Observación: lo que viste y los números no dicen —una curva que se dispara, una clase que concentra los errores, una corrida que no convergió—.

Cómo decidir con esos números

1. Compara medias, pero decide con la dispersión. Calcula media y desviación entre las tres semillas de cada variante. Una mejora de 0,3 puntos entre variantes cuya dispersión interna es de 1,2 puntos no es una mejora: es ruido con buena suerte.
2. Si los rangos se solapan, dilo. «No se observó una diferencia distinguible del ruido con tres semillas» es una conclusión legítima y mucho más útil que un número inventado de confianza.
3. Decide con validation. La columna de test sirve para reportar el resultado final una vez, no para elegir la variante ganadora.
4. El costo forma parte del resultado. Si improved gana por poco y cuesta el triple de tiempo, la conclusión honesta menciona ambas cosas.
5. Vuelve a la línea base. La comparación contra Máscara de clase mayoritaria es la que dice si todo el aparato de la red neuronal estaba justificado para este problema.

Qué debe decir tu conclusión

Una conclusión completa contiene cinco cosas, y se puede escribir en un párrafo:

• Magnitud: cuánto mejoró, en qué métrica y sobre qué conjunto.
• Incertidumbre: cuánto varió entre semillas, y si la mejora sobrevive a esa variación.
• Costo: tiempo, memoria o tamaño adicional que hubo que pagar.
• Errores: dónde falla el modelo, no solo cuánto acierta.
• Condiciones: en qué circunstancias no esperarías que este resultado se repitiera.

Errores de diseño que invalidan el experimento

• Cambiar dos cosas a la vez. Si tocas la arquitectura y la tasa de aprendizaje en la misma corrida, el resultado no atribuye el efecto a ninguna de las dos.
• Comparar con particiones distintas. Es el error más frecuente y el más difícil de detectar después: parece una mejora del modelo y es un reparto distinto de los datos.
• Quedarse con la mejor semilla. Elegir la corrida más favorable y reportar solo esa es seleccionar el ruido. Se reportan todas.
• Ajustar mirando test. En cuanto una decisión se toma con el resultado de test, ese conjunto deja de estimar el rendimiento con datos nuevos.
• No registrar el entorno. Sin versiones ni hardware, una diferencia de tiempo o de resultado se vuelve inexplicable meses después.

📝 Evaluación

Evaluación — Segmentación semántica con U-Net

Cómo se evalúa esta clase

No se evalúa el número final. Un modelo con una métrica alta obtenida mirando test, o sin compararse con nada, vale menos que uno modesto cuyo resultado se puede auditar. Lo que se califica es el proceso: si las particiones están limpias, si la decisión se tomó donde debía, si la conclusión distingue lo que se midió de lo que se supone.

Evidencias que debes entregar

Las preguntas, y qué se busca en tu respuesta

No se corrige la longitud de la respuesta, sino si demuestra comprensión. Debajo de cada pregunta está lo que una buena respuesta debería contener.

1. ¿Cómo recupera una U-Net el detalle espacial que pierde al comprimir?

Qué se busca: Comienza con la predicción que hiciste al abrir la clase y contrástala con una gráfica, una medida o una observación concreta de tu ejecución.

2. Explica con tus palabras: Arquitectura encoder-decoder, conexiones skip, pérdida por píxel e intersección sobre unión.

Qué se busca: Una buena respuesta conecta cuatro cosas —cómo se representa la entrada, qué calcula el modelo, qué mide la función de pérdida y cómo se actualizan los pesos— en vez de repetir la definición del libro. Si puedes explicarlo sin la fórmula delante, lo entendiste.

3. ¿Qué información del dataset solo puede usarse durante el entrenamiento?

Qué se busca: Se espera que nombres casos concretos: las estadísticas de normalización, el vocabulario, la selección de variables, los umbrales. Todo eso se ajusta solo con train; calcularlo sobre el conjunto completo es una fuga silenciosa que infla el resultado sin dar ningún aviso.

4. ¿Por qué Máscara de clase mayoritaria es una comparación razonable para este problema?

Qué se busca: Una buena respuesta explica qué captura la línea base y qué no, y por qué superarla —o no superarla— es informativo aquí. Si la línea base ya resuelve el problema, la conclusión correcta es que la red no estaba justificada.

5. ¿Qué aprendiste al realizar esta práctica: Superponer máscaras, inspeccionar skip connections y comparar IoU por clase y errores de contorno.?

Qué se busca: No basta con relatar los pasos. Explica qué cambió, por qué cambió y qué resultado te haría rechazar tu interpretación inicial.

6. Refuta con evidencia esta idea frecuente: «Una pixel accuracy alta puede ocultar una segmentación inútil cuando el fondo domina la imagen.»

Qué se busca: Se busca una refutación situada en esta materia, apoyada en el mecanismo estudiado y en los resultados obtenidos, no una negación genérica.

7. ¿Qué te dice mean_iou que no te dirían las otras métricas?

Qué se busca: Cada métrica pondera distinto los errores. Se espera que expliques por qué esa es la que decide aquí y en qué situación sería una mala elección.

8. ¿Qué cambiarías antes de usar este modelo fuera del laboratorio?

Qué se busca: Aquí se evalúa el criterio, no la técnica: licencias y condiciones de uso de oxford_iiit_pet_segmentation, representatividad de la población, calibración de las probabilidades, vigilancia de la deriva, desempeño por subgrupo y supervisión humana. Un «funcionaría bien» sin condiciones se corrige como respuesta incompleta.

La rúbrica, explicada

La diferencia entre adecuado y excelente casi nunca está en la métrica: está en si el trabajo permite que otra persona llegue a la misma conclusión con los artefactos que dejaste. Un resultado peor, bien medido y bien explicado, se califica por encima de uno mejor que no se puede auditar.

La aprobación exige al menos 70 % y cero errores críticos de fuga de datos. La fuga es eliminatoria por sí sola porque invalida todas las demás cifras del trabajo, por buenas que parezcan.

Autoevaluación antes de entregar

• [ ] Puedo explicar la idea central de la clase a alguien que no la cursó, sin leer el código.
• [ ] Sé qué decisión tomé en cada paso y con qué evidencia la tomé.
• [ ] Miré test una sola vez, después de que existiera experiment.lock.json.
• [ ] Mi conclusión dice magnitud, incertidumbre, costo, errores y condiciones.

• [ ] Puedo señalar al menos una limitación real de mi resultado.

• [ ] responde la pregunta esencial con evidencia de la ejecución

• [ ] interpreta la visualización propia de la clase
• [ ] distingue resultados observados de supuestos

🧑‍🏫 Guía docente

Guía docente — Clase 27: Segmentación semántica con U-Net

Módulo 7: Especializaciones avanzadas · Esta guía acompaña a quien facilita la clase; no es un guion que deba leerse literalmente.

La conversación que abre la clase

Clasificar una imagen dice qué contiene; segmentarla exige decidir además dónde termina cada objeto, incluso en sus bordes.

Plantee primero esta pregunta y permita que el grupo formule una predicción antes de mostrar código:

¿Cómo recupera una U-Net el detalle espacial que pierde al comprimir?

Qué debe quedar comprendido

• Segmentar mascota, fondo y contorno con IoU por clase.
• Interpretar mean_iou, iou_per_class
• Aplicar sellado de test y reproducibilidad

Secuencia sugerida

Práctica propia de esta materia

Superponer máscaras, inspeccionar skip connections y comparar IoU por clase y errores de contorno.

La figura es un punto de entrada. Pida al estudiante que explique qué cambia entre los tres pasos y qué resultado observable invalidaría su explicación.

Dificultad conceptual que conviene provocar

Idea engañosa: Una pixel accuracy alta puede ocultar una segmentación inútil cuando el fondo domina la imagen.

No la corrija inmediatamente. Solicite un ejemplo o contraejemplo, ejecute una comparación y recién entonces reconstruya la explicación con el grupo.

Preguntas para acompañar sin resolver

• ¿Qué observación concreta respalda esa afirmación?
• ¿Qué variable está cambiando y cuáles permanecen controladas?
• ¿La gráfica muestra el mecanismo o solamente una correlación?
• ¿En qué caso dejaría de ser válida esta conclusión?

Cierre verificable

La clase termina cuando el estudiante puede responder la pregunta esencial, interpretar su visualización y señalar al menos una limitación. Una métrica aislada no reemplaza ninguna de esas tres evidencias.