🧮 Computational Mathematics

Inicio · Parte 14 — Matemática de Machine Learning

281 — Geometría del aprendizaje supervisado

ml-avanzado clase 1 de 20 4 horas demostración supervised_geometry

Aprender de forma supervisada es encontrar una frontera en el espacio de características.

Fórmulas

cada observación es un punto de ℝᵈ
dirección discriminante ∝ μ₁ − μ₀
frontera lineal: wᵀx + b = 0

Desarrollo

Todo conjunto de datos supervisado admite la misma lectura geométrica: cada observación es un punto en un espacio de tantas dimensiones como características, y la etiqueta es un color. Aprender es encontrar una superficie que separe los colores, o una función que los prediga.

Esa visión unifica algoritmos que parecen ajenos entre sí. Regresión logística busca un hiperplano; SVM busca el hiperplano de margen máximo; k-NN construye una frontera irregular a partir de los vecinos; un árbol construye una frontera de escalones paralelos a los ejes; y una red neuronal construye una frontera curva arbitraria. Todos resuelven el mismo problema geométrico con distintas restricciones sobre la forma de la frontera.

El punto de partida más simple es el clasificador por centroides: calcular la media de cada clase y asignar cada punto al centroide más cercano. La frontera resultante es el hiperplano perpendicular al segmento que une los centroides, y la dirección de ese segmento es la dirección discriminante. Es lo mínimo que se puede hacer, y sirve de línea base honesta.

Lo que hace difícil el problema en la práctica no es la forma de la frontera sino la dimensión. Con dos características se puede dibujar y la intuición funciona; con quinientas, todas las distancias se parecen, el volumen se concentra en los bordes, y la intuición geométrica de dos dimensiones deja de ser fiable. Esa es la maldición de la dimensionalidad, que reaparece en la clase 288.

Ejemplo trabajado

Dos clases separables y su dirección discriminante.

80 observaciones en 2 dimensiones

centroide clase 1: ( 2,1592 ;  1,8087)
centroide clase 0: (−1,1503 ; −1,0020)

diferencia = (3,3095 ; 2,8107)
distancia entre centroides = 4,342

dirección discriminante normalizada:
  (0,7622 ; 0,6473)

La frontera del clasificador por centroides es el
hiperplano perpendicular a esa dirección, situado
en el punto medio: (0,5045 ; 0,4034).

Es la línea base contra la que comparar todo lo demás.

Qué calcula el laboratorio

Aprendizaje supervisado como búsqueda de una frontera en el espacio.

python classes/part-14-matematica-de-machine-learning/281-geometria-del-aprendizaje-supervisado/lab.py
compmath run 281

Salidas del laboratorio (8)

Muestra de la ejecución real

{
  "observaciones": 80,
  "dimension": 2,
  "centroide_clase_1": [
    2.1592,
    1.8087
  ],
  "centroide_clase_0": [
    -1.1503,
    -1.002
  ],
  "direccion_discriminante": [
    0.7622,
    0.6473
  ],
  "distancia_entre_centroides": 4.342
}

Errores comunes

Dónde se usa

Comprensión unificada de clasificadores, análisis discriminante lineal, diagnóstico visual de separabilidad y elección de la familia de modelos.

Idea rectora de la parte

Cada algoritmo es un objetivo más un método de optimización; nada más.

Error a evitar

No estandarizar antes de aplicar regularización o k-NN.

Conexión con IA

Estos algoritmos siguen siendo la línea base honesta contra la que se debe comparar cualquier modelo profundo.

Bibliografía de la clase

Archivos de la clase