🧮 Computational Mathematics

Inicio · Parte 17 — Frontera matemática para IA e investigación

348 — Manifold learning

frontera-investigacion clase 8 de 20 4 horas demostración manifold_learning

PCA no encuentra una variedad curva: ve tres dimensiones donde solo hay una.

Fórmulas

dimensión intrínseca ≪ dimensión ambiente
PCA solo detecta subespacios lineales
métodos no lineales: Isomap, LLE, t-SNE, UMAP

Desarrollo

La hipótesis de la variedad sostiene que los datos reales de dimensión alta se concentran cerca de una variedad de dimensión intrínseca mucho menor. Una imagen de 1000×1000 píxeles vive en un espacio de un millón de dimensiones, pero el conjunto de imágenes de caras es un subconjunto minúsculo y estructurado de ese espacio.

Esa hipótesis es lo que hace posible el aprendizaje en dimensión alta. Si los datos ocuparan uniformemente el espacio ambiente, la maldición de la dimensionalidad de la clase 288 sería insuperable. Como no lo hacen, un modelo puede aprender la estructura de la variedad con una cantidad razonable de ejemplos.

PCA solo encuentra subespacios lineales, y esa limitación se ve con claridad en el ejemplo. Una hélice es una curva de dimensión intrínseca 1 sumergida en tres dimensiones; PCA reparte la varianza entre las tres componentes —49 %, 36 % y 14 %— sin detectar en ningún momento que hay un solo grado de libertad. La variedad es curva y PCA solo ve rectas.

Los métodos no lineales atacan justamente eso. Isomap usa distancias geodésicas sobre el grafo de vecinos en vez de distancias euclídeas; t-SNE y UMAP preservan la estructura local y son las herramientas estándar de visualización. Con una precaución importante: t-SNE y UMAP no preservan distancias globales, así que el tamaño y la separación de los grupos en sus gráficos no son interpretables.

Ejemplo trabajado

Una hélice: dimensión intrínseca 1 en un espacio de 3.

120 puntos sobre una hélice
dimensión ambiente: 3
dimensión intrínseca: 1

autovalores de la covarianza:
  [0,177520 ; 0,129535 ; 0,052063]

varianza explicada:
  [49,43 % ; 36,07 % ; 14,50 %]

PCA reparte la varianza entre las tres componentes
y no detecta que hay un solo grado de libertad.     ✗

Un método basado en distancias geodésicas sobre el
grafo de vecinos sí recuperaría la dimensión 1.

Qué calcula el laboratorio

Variedad: dimensión intrínseca menor que la del espacio ambiente.

python classes/part-17-frontera-matematica-para-ia-e-investigacion/348-manifold-learning/lab.py
compmath run 348

Salidas del laboratorio (11)

Muestra de la ejecución real

{
  "puntos": 120,
  "dimension_ambiente": 3,
  "dimension_intrinseca": 1,
  "autovalores_de_la_covarianza": [
    0.17752,
    0.129535,
    0.052063
  ],
  "varianza_explicada_%": [
    49.4322,
    36.0702,
    14.4975
  ],
  "PCA_no_detecta_1_dimension": true
}

Errores comunes

Dónde se usa

Visualización de datos de alta dimensión, reducción de dimensión no lineal, análisis de espacios latentes y exploración de embeddings.

Idea rectora de la parte

La distancia de Wasserstein compara distribuciones sin exigir soporte común.

Error a evitar

Invertir una matriz de covarianza sin jitter numérico.

Conexión con IA

Score matching fundamenta los modelos de difusión; el transporte óptimo aparece en flow matching; la teoría estadística del aprendizaje explica el scaling.

Bibliografía de la clase

Archivos de la clase

← 347 Wasserstein distance 349 Geometría diferencial para ML →