051 — Activaciones, inicialización y normalización

← Clase anterior · Índice de la parte · Clase siguiente →

Parte: 04 — Redes neuronales y deep learning
Nivel: intermedio-avanzado · Horas estimadas: 6
Laboratorio: neural · Estado: EXECUTABLE_CORE

🎯 Propósito

Comprender activaciones, inicialización y normalización dentro de la evolución de la inteligencia artificial, implementar un experimento mínimo verificable y distinguir qué parte constituye evidencia frente a una afirmación todavía no comprobada.

📚 Resultados de aprendizaje

Al finalizar podrás:

1. Explicar activaciones, inicialización y normalización usando los conceptos ReLU, GELU, inicialización, normalización.
2. Ejecutar el laboratorio con una semilla explícita y revisar su contrato JSON.
3. Identificar al menos un supuesto, una limitación y un riesgo de aplicación.
4. Comparar el enfoque con la etapa anterior de la ruta de aprendizaje.
5. Producir una evidencia reproducible y una conclusión que no exceda los datos.

🧩 Conceptos centrales

ReLU, GELU, inicialización, normalización

🗺️ Ubicación en el mapa de la IA

Backpropagation (clase 050) funciona en teoría con cualquier activación y pesos iniciales, pero en la práctica las redes profundas no entrenaban hasta que se entendió cómo mantener sanas las señales y los gradientes capa a capa. ReLU, la inicialización de Xavier/He y batch normalization son las tres piezas que, entre 2010 y 2015, convirtieron "redes de 3 capas" en "redes de 100+ capas" y habilitaron CNN profundas (clase 053) y Transformers (clase 055).

📖 Fundamentos

⚡ Funciones de activación

La sigmoide multiplica el gradiente por ≤ 0.25 en cada capa: tras 10 capas, el gradiente puede reducirse en 0.25¹⁰ ≈ 10⁻⁶ (gradiente que desaparece). ReLU tiene derivada 1 en la zona activa, lo que preserva la magnitud del gradiente y además produce activaciones dispersas (muchos ceros exactos).

🎲 Inicialización: Xavier/Glorot y He

Si los pesos iniciales son demasiado grandes, las activaciones explotan o saturan; demasiado pequeños, la señal se extingue. El criterio es conservar la varianza de la señal al atravesar cada capa. Para z = Σ wᵢxᵢ con n entradas independientes:

Var(z) = n · Var(w) · Var(x)

Para que Var(z) ≈ Var(x) hace falta Var(w) = 1/n. Equilibrando forward y backward:

Xavier/Glorot (tanh, sigmoide):  Var(w) = 2 / (n_in + n_out)
He (ReLU):                        Var(w) = 2 / n_in

El factor 2 de He compensa que ReLU anula la mitad de las activaciones (mitad de la varianza). Con estas fórmulas, una red de decenas de capas mantiene señales de magnitud estable desde el primer paso de entrenamiento.

📏 Normalización: batch norm y layer norm

Batch normalization (Ioffe y Szegedy, 2015) estandariza cada activación usando las estadísticas del minibatch y reintroduce escala y desplazamiento aprendibles:

μ = media del batch      σ² = varianza del batch
x̂ᵢ = (xᵢ − μ) / √(σ² + ε)
yᵢ = γ · x̂ᵢ + β           (γ, β aprendibles)

Efectos: permite tasas de aprendizaje mayores, reduce la sensibilidad a la inicialización y actúa como regularizador suave (el ruido de las estadísticas del batch). En inferencia se usan medias móviles acumuladas, no las del batch — por eso model.eval() cambia el comportamiento. Layer normalization (Ba et al., 2016) normaliza sobre las features de cada ejemplo en vez de sobre el batch: no depende del tamaño de batch y es la opción estándar en RNN y Transformers.

🧮 Ejemplo trabajado

Inicialización. Capa de 256 → 256 unidades:

Xavier: Var(w) = 2/(256+256) = 1/256   →  std = 1/16 = 0.0625
He:     Var(w) = 2/256                 →  std = 0.0884

Si en cambio usaras std = 1: Var(z) = 256 → std(z) = 16; con sigmoide, prácticamente todas las unidades saturan y el gradiente se anula desde el paso 1.

Batch norm a mano. Batch de 4 activaciones x = (1, 2, 3, 4), γ = 2, β = 1, ε ≈ 0:

μ = 2.5      σ² = ((−1.5)² + (−0.5)² + 0.5² + 1.5²)/4 = 1.25      √σ² = 1.1180
x̂ = (−1.3416, −0.4472, +0.4472, +1.3416)
y  = 2·x̂ + 1 = (−1.6833, +0.1056, +1.8944, +3.6833)

La salida tiene media β = 1 y desviación γ = 2 exactas: la red controla la distribución de sus activaciones con dos parámetros aprendidos.

📊 Propiedades y comparación

flowchart TD
    A["Señal de entrada"] --> B["Capa lineal W·x + b"]
    B --> C{"¿Varianza estable?"}
    C -->|"init incorrecta"| D["Explota o se extingue<br/>gradiente inútil"]
    C -->|"Xavier/He"| E["Normalización<br/>batch norm / layer norm"]
    E --> F["Activación ReLU / GELU"]
    F --> G["Siguiente capa"]
    G -->|"×100 capas"| H["Red profunda entrenable"]

⚠️ Errores conceptuales frecuentes

1. "La inicialización da igual porque el entrenamiento la corrige." Con una mala escala inicial el gradiente desaparece o explota en el primer paso: no hay señal con la que corregir nada.
2. "ReLU no es diferenciable en 0, así que backprop falla." El punto único de no diferenciabilidad tiene medida cero; se toma subgradiente 0 o 1 y funciona.
3. "Batch norm normaliza los datos de entrada." Normaliza activaciones internas de cada capa, con estadísticas del minibatch; la estandarización de entrada es otra cosa (preprocesamiento).
4. "Batch norm se comporta igual en entrenamiento e inferencia." No: en inferencia usa medias móviles acumuladas. Olvidar model.eval() es un bug clásico.
5. "Inicializar todo a cero es lo más neutro." Con pesos idénticos todas las neuronas de una capa reciben el mismo gradiente y aprenden lo mismo para siempre (falta de ruptura de simetría).

🚀 Del aprendizaje a la operación

En un sistema real estas decisiones vienen empaquetadas: torch.nn.init aplica Xavier/He según la activación declarada, y las arquitecturas estándar ya traen la normalización correcta para su dominio. Lo que sigue siendo trabajo del ingeniero es diagnosticar cuándo fallan: activaciones saturadas, pérdida que no baja en el paso 1, o métricas que cambian entre train() y eval() apuntan exactamente a los conceptos de esta clase.

🧪 Laboratorio

python lab.py

El laboratorio llama a ai_evolution.labs.run_lab("neural"). Esta decisión evita 183 implementaciones divergentes: cada clase tiene un entrypoint propio, pero los motores didácticos se prueban como una biblioteca común.

🔍 Evidencia esperada

• tipo de laboratorio y semilla;
• entradas o decisiones observables;
• resultado estructurado;
• lista evidence con hechos que pueden inspeccionarse;
• lista limitations que impide presentar la demo como producción.

📓 Notebooks

• 📓 notebook.ipynb: recorrido guiado con la materia resumida.
• ✍️ notebook_student.ipynb: ejercicios para resolver.
• ✅ notebook_solution.ipynb: solución de referencia explicada.

📝 Evaluación

Consulta assessment.md para preguntas y criterio de aceptación.

⚠️ Errores comunes

❓ Preguntas frecuentes

¿Debo usar una API comercial?
No. El núcleo funciona localmente. Las extensiones LIVE se documentan por separado.

¿El laboratorio representa una implementación industrial?
No por sí solo. Enseña el contrato y el patrón; producción exige integración, seguridad, observabilidad, pruebas y operación.

¿Dónde profundizo?
Revisa las especializaciones enlazadas en el README raíz y la ruta siguiente.

🔗 Referencias

• Glorot, X. y Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. AISTATS. proceedings.mlr.press/v9/glorot10a.html — uso: referencia consultada en su fuente original
• He, K. et al. (2015). Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification. arXiv:1502.01852 — uso: fuente primaria del mecanismo estudiado
• Ioffe, S. y Szegedy, C. (2015). Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. arXiv:1502.03167 — uso: fuente primaria del mecanismo estudiado
• Ba, J., Kiros, J. y Hinton, G. (2016). Layer Normalization. arXiv:1607.06450 — uso: fuente primaria del mecanismo estudiado
• Goodfellow, I., Bengio, Y. y Courville, A. (2016). Deep Learning, cap. 8. deeplearningbook.org/contents/optimization.html — uso: desarrollo extendido del tema
• Documentación de PyTorch: torch.nn.init — uso: referencia consultada en su fuente original

📜 Papers que fundamentan esta clase

Bloque generado por python scripts/link_papers_to_classes.py. La fuente es papers/catalog/papers.json.

Cada ficha explica el problema anterior, la matemática mínima, los límites y los errores de atribución más frecuentes. Para leerlas con método: cómo leer un paper de IA · anexos matemáticos.

📚 Bibliografía de apoyo

Bloque generado por python scripts/link_sources_to_classes.py. Cada obra lleva su localizador verificado en sources/bibliography.json.

Los papers dicen de dónde salió el mecanismo. Estas obras lo desarrollan con el espacio que una clase no tiene: teoría completa, demostraciones y ejercicios.

⬅️ Clase anterior

050 — MLP y backpropagation

➡️ Siguiente clase

052 — Optimizadores, regularización y schedulers

📝 Evaluación completa

❓ Preguntas

1. Define activaciones, inicialización y normalización sin usar una marca o framework como definición.
2. Explica la relación entre ReLU, GELU, inicialización, normalización.
3. Ejecuta lab.py dos veces con la misma semilla. ¿Qué debe conservarse?
4. Identifica una afirmación permitida y una afirmación exagerada sobre el resultado.
5. Propón una prueba negativa o un caso límite.

🏆 Reto verificable

Amplía el resultado del laboratorio con una clave student_extension que incluya:

• el supuesto que estás probando;
• una medición o comprobación;
• la conclusión;
• una limitación.

✅ Criterio de aceptación

• [ ] lab.py termina con código 0.
• [ ] El resultado contiene kind, seed, evidence y limitations.
• [ ] La extensión no modifica el comportamiento de otras clases.
• [ ] La interpretación referencia datos impresos por el laboratorio.
• [ ] Se declara al menos un riesgo o condición de no uso.