🧮 Computational Mathematics

Inicio · Parte 05 — Álgebra lineal I: vectores y matrices

119 — Proyecciones ortogonales

intermedio clase 19 de 20 4 horas demostración orthogonal_projection

La proyección ortogonal es la mejor aproximación dentro de un subespacio, y su residuo es ortogonal a él.

Fórmulas

p = A(AᵀA)⁻¹Aᵀb
residuo r = b − p, con Aᵀr = 0
‖b‖² = ‖p‖² + ‖r‖²

Desarrollo

Proyectar un vector sobre un subespacio es encontrar el punto del subespacio más cercano a él. Ese punto es único y se caracteriza por una condición geométrica limpia: el residuo es ortogonal al subespacio. Si no lo fuera, quedaría una componente en el subespacio que se podría aprovechar para acercarse más.

Esa caracterización es la que se usa para calcular: exigir Aᵀ(b − Ax) = 0 da las ecuaciones normales AᵀAx = Aᵀb, que es exactamente el problema de mínimos cuadrados de la clase 131. Ajustar una recta a unos datos es proyectar el vector de observaciones sobre el espacio columna de la matriz de diseño.

El teorema de Pitágoras se cumple: ‖b‖² = ‖p‖² + ‖r‖². Esa identidad es la que aparece en estadística como la descomposición de la varianza —total igual a explicada más residual— y la que define el R² de una regresión (clase 214). No son tres resultados distintos: es el mismo, escrito en tres lenguajes.

Verificar una proyección es barato y conviene hacerlo siempre: comprobar que el residuo es ortogonal a todas las columnas de A. Si no lo es, el cálculo está mal. El motor del programa lo comprueba explícitamente.

Ejemplo trabajado

Proyectar (6,0,0) sobre el plano generado por dos columnas.

A = [[1,0],    b = (6, 0, 0)
     [1,1],
     [1,2]]

Ecuaciones normales: AᵀA·x = Aᵀb
  [[3,3],[3,5]] x = (6, 0)
  x = (5, −3)

proyección p = A·x = (5, 2, −1)
residuo    r = b − p = (1, −2, 1)

Verificaciones:
  Aᵀr = (0, 0)                      ✓ ortogonal al subespacio
  ‖b‖² = 36
  ‖p‖² + ‖r‖² = 30 + 6 = 36         ✓ Pitágoras

Qué calcula el laboratorio

Proyección sobre un subespacio y descomposición ortogonal.

python classes/part-05-algebra-lineal-i-vectores-y-matrices/119-proyecciones-ortogonales/lab.py
compmath run 119

Salidas del laboratorio (8)

Muestra de la ejecución real

{
  "columnas_del_subespacio": [
    [
      1.0,
      1.0,
      1.0
    ],
    [
      0.0,
      1.0,
      2.0
    ]
  ],
  "b": [
    6.0,
    0.0,
    0.0
  ],
  "coeficientes": [
    5.0,
    -3.0
  ],
  "proyeccion": [
    5.0,
    2.0,
    -1.0
  ],
  "residuo": [
    1.0,
    -2.0,
    1.0
  ],
  "residuo_ortogonal": true
}

Errores comunes

Dónde se usa

Mínimos cuadrados, R² de una regresión, PCA, descomposición de la varianza y eliminación de componentes no deseadas de una señal.

Idea rectora de la parte

La proyección ortogonal es la mejor aproximación en norma euclídea.

Error a evitar

Invertir una matriz mal condicionada en lugar de factorizar.

Conexión con IA

Cada capa densa es un producto matriz-vector. Los embeddings viven en subespacios y la similitud entre ellos es producto punto normalizado.

Bibliografía de la clase

Archivos de la clase

← 118 Matrices ortogonales 120 Capstone: resolver un sistema de recomendación lineal →