🧮 Computational Mathematics

Inicio · Parte 05

Álgebra lineal I: vectores y matrices

intermedio 20 clases 80 horas estimadas motor part05

Vectores, normas, producto punto, independencia, span, sistemas lineales, eliminación de Gauss, rango, inversa, determinante y proyección ortogonal.

Panorama de la parte

Si hubiera que elegir una parte del programa como la más rentable para alguien que quiere entender IA, sería esta. Todo modelo moderno —desde la regresión lineal hasta un Transformer de cien mil millones de parámetros— opera sobre vectores y matrices, y casi toda su computación es producto matricial. Quien no distingue un espacio columna de un espacio fila no puede depurar un error de dimensiones ni entender por qué una capa pierde información.

El cambio de perspectiva que propone la parte es concreto: dejar de ver una matriz como una tabla y verla como una función. Una matriz A de tamaño m×n es una transformación lineal de ℝⁿ en ℝᵐ, y sus columnas son las imágenes de los vectores de la base. Con esa lectura, Ax deja de ser «filas por columnas» y pasa a ser una combinación lineal de las columnas de A con los coeficientes de x —que es exactamente lo que hace una capa densa con sus pesos—.

Las clases 101 a 108 construyen el vocabulario vectorial: operaciones, producto punto, normas, independencia y span. El producto punto es el protagonista: mide alineación, define ortogonalidad y es la operación que ejecutan miles de millones de veces por segundo los aceleradores. La similitud coseno de un buscador semántico es un producto punto normalizado, ni más ni menos.

Las clases 109 a 117 pasan a las matrices: producto, transpuesta, sistemas lineales, eliminación de Gauss, rango, inversa y determinante. Aquí aparece el mensaje práctico más importante de la parte: resolver Ax = b casi nunca requiere calcular A⁻¹. Invertir es más caro y numéricamente peor que factorizar; ninguna biblioteca seria invierte una matriz para resolver un sistema, y saber por qué distingue a quien entiende de quien recita.

Las clases 118 y 119 introducen la ortogonalidad como propiedad numérica privilegiada: las transformaciones ortogonales no amplifican el error, y la proyección ortogonal es la mejor aproximación posible en norma euclídea. Ese resultado es el que sostiene los mínimos cuadrados (parte 06), PCA (clase 135) y la descomposición de la varianza en estadística.

El capstone construye un sistema de recomendación por similitud coseno entre usuarios. No usa ninguna biblioteca de machine learning: es todo producto punto y norma. Ese es el punto de la parte.

Recorrido de la parte

Ideas centrales

Por qué importa en IA

Cada capa densa es un producto matriz-vector. Los embeddings viven en subespacios y la similitud entre ellos es producto punto normalizado.

Errores frecuentes

Secuencia de clases

#ClaseDemostración ejecutable
101 Escalares, vectores y matrices scalars_vectors_matrices
102 Operaciones con vectores vector_operations
103 Producto punto y similitud dot_product
104 Normas y distancias norms_distances
105 Vectores unitarios unit_vectors
106 Combinaciones lineales linear_combinations
107 Independencia y dependencia lineal linear_independence
108 Span y subespacios span_subspaces
109 Matrices y operaciones básicas matrix_basics
110 Producto matriz-vector matrix_vector
111 Producto de matrices matrix_product
112 Transpuesta y simetría transpose_symmetry
113 Sistemas lineales linear_systems
114 Eliminación de Gauss gaussian_elimination_demo
115 Forma escalonada y rango echelon_rank
116 Inversa de una matriz matrix_inverse
117 Determinantes determinants
118 Matrices ortogonales orthogonal_matrices
119 Proyecciones ortogonales orthogonal_projection
120 Capstone: resolver un sistema de recomendación lineal capstone_linear_recommender

Ejecutar la parte completa

compmath run --part 05

Glosario de la parte (19 términos)

TérminoDefiniciónClase
Escalar, vector, matriz, tensor Tensores de orden 0, 1, 2 y n. El orden es el número de índices necesarios para localizar un elemento. 101
Combinación lineal Suma de vectores multiplicados por escalares. Es la operación que define todo el álgebra lineal. 106
Producto punto Σuᵢvᵢ. Mide alineación; es cero si y solo si los vectores son ortogonales. 103
Norma Medida de magnitud de un vector. L2 es la euclídea; L1 induce dispersión; L∞ mira el máximo. 104
Desigualdad triangular ‖u+v‖ ≤ ‖u‖ + ‖v‖. Es una de las tres condiciones que definen una norma. 102
Vector unitario Vector de norma 1. Normalizar separa dirección de magnitud. 105
Independencia lineal Ningún vector del conjunto es combinación de los demás. Se detecta por el rango, no por inspección. 107
Span Conjunto de todas las combinaciones lineales de unos vectores. Es siempre un subespacio. 108
Subespacio Subconjunto cerrado bajo suma y producto por escalar. Contiene siempre al vector cero. 108
Espacio columna Span de las columnas de A. Es donde vive Ax; el sistema Ax = b tiene solución si y solo si b está en él. 110
Producto matricial Composición de transformaciones lineales. Asociativo pero no conmutativo. Coste O(n³) ingenuo. 111
Transpuesta Intercambio de filas y columnas. (AB)ᵀ = BᵀAᵀ, con el orden invertido. 112
Pivoteo parcial Intercambio de filas para usar el mayor pivote disponible. Evita dividir por valores casi nulos. 114
Rango Dimensión del espacio columna. Es la dimensión efectiva de la salida de la transformación. 115
Teorema del rango-nulidad rango + nulidad = número de columnas. Lo que no llega a la imagen se pierde en el núcleo. 115
Matriz singular Matriz sin inversa; su determinante es cero y su rango es deficiente. 116
Determinante Factor por el que la transformación escala el volumen. Cero significa que aplasta el espacio. 117
Matriz ortogonal QᵀQ = I. Preserva normas y ángulos, y su número de condición es 1: no amplifica el error. 118
Proyección ortogonal Mejor aproximación de un vector dentro de un subespacio, en norma euclídea. Su residuo es ortogonal al subespacio. 119

Bibliografía

Ver el motor en GitHub