🧮 Computational Mathematics

Inicio · Parte 15 — Matemática de Deep Learning

301 — Perceptrón y separabilidad

deep-learning clase 1 de 20 4 horas demostración perceptron

El perceptrón converge siempre en datos separables y nunca en XOR.

Fórmulas

salida = 1 si wᵀx + b > 0, si no 0
actualización: w ← w + η·(y − ŷ)·x
teorema de convergencia: finito si hay separabilidad

Desarrollo

El perceptrón de Rosenblatt es la unidad mínima: una suma ponderada de las entradas seguida de un umbral. Su regla de aprendizaje es directa —cuando se equivoca, mueve los pesos en la dirección del ejemplo mal clasificado— y tiene una garantía teórica sólida.

El teorema de convergencia del perceptrón dice que si los datos son linealmente separables, el algoritmo encuentra un separador en un número finito de pasos. Es un resultado fuerte y raro en aprendizaje automático: una garantía absoluta, sin condiciones sobre el orden de los datos ni sobre la inicialización.

El problema es la otra cara. Si los datos no son separables, el algoritmo no converge nunca: sigue oscilando indefinidamente sin acercarse a nada. Y la función XOR, con apenas cuatro puntos, no es separable: no hay recta que deje (0,0) y (1,1) a un lado y (0,1) y (1,0) al otro.

Ese ejemplo de cuatro puntos tuvo consecuencias históricas desproporcionadas. Minsky y Papert lo publicaron en 1969, la financiación se retiró y el campo entró en el primer invierno de la inteligencia artificial. La solución —apilar capas— ya se intuía, pero faltaba el algoritmo para entrenarlas, y backpropagation no se popularizó hasta 1986.

Ejemplo trabajado

El mismo algoritmo sobre AND y sobre XOR.

AND (separable):
  pesos aprendidos: (2,0 ; 1,0)     sesgo: −2,0
  errores tras 100 épocas: 0                         ✓

  Comprobación:
    (0,0): 0·2 + 0·1 − 2 = −2  →  0                  ✓
    (1,1): 1·2 + 1·1 − 2 =  1  →  1                  ✓

XOR (no separable):
  errores tras 100 épocas: 4
  el algoritmo oscila sin converger                   ✗

No es un problema del algoritmo: no existe ninguna recta
que separe los cuatro puntos de XOR.

Qué calcula el laboratorio

Perceptrón: converge si y solo si los datos son linealmente separables.

python classes/part-15-matematica-de-deep-learning/301-perceptron-y-separabilidad/lab.py
compmath run 301

Salidas del laboratorio (9)

Muestra de la ejecución real

{
  "AND_pesos": [
    2.0,
    1.0
  ],
  "AND_sesgo": -2.0,
  "AND_errores_tras_100_epocas": 0,
  "AND_es_separable": true,
  "XOR_errores_tras_100_epocas": 4,
  "XOR_es_separable": false
}

Errores comunes

Dónde se usa

Comprensión histórica del campo, línea base mínima, comprobación de separabilidad y unidad básica de toda red neuronal.

Idea rectora de la parte

Backpropagation es la regla de la cadena aplicada en orden topológico inverso.

Error a evitar

Inicializar todos los pesos iguales y romper la simetría nunca.

Conexión con IA

Toda arquitectura moderna, incluido el Transformer, se construye sobre estos bloques y sobre este mismo mecanismo de derivación.

Bibliografía de la clase

Archivos de la clase