🧮 Computational Mathematics

Inicio · Parte 05 — Álgebra lineal I: vectores y matrices

107 — Independencia y dependencia lineal

intermedio clase 7 de 20 4 horas demostración linear_independence

La independencia lineal se detecta por el rango, no por inspección visual.

Fórmulas

independientes ⟺ Σαᵢvᵢ = 0 solo con todos los αᵢ = 0
k vectores en ℝⁿ con k > n son siempre dependientes

Desarrollo

Un conjunto de vectores es linealmente independiente si ninguno se puede escribir como combinación de los demás. La definición formal —la única combinación que da el vector cero es la trivial— es la operativa, porque se traduce en un sistema homogéneo cuya única solución debe ser la nula.

En la práctica no se comprueba a ojo: se calcula el rango. Si el rango del conjunto coincide con el número de vectores, son independientes; si es menor, hay al menos una relación de dependencia. Para conjuntos cuadrados, el determinante nulo es equivalente y más rápido de calcular.

La dependencia lineal en datos tiene un nombre propio en estadística: multicolinealidad. Cuando dos features son casi combinación lineal una de otra, la matriz XᵀX se vuelve casi singular, los coeficientes de la regresión se disparan y pierden interpretabilidad. Ridge (clase 283) existe en buena parte para mitigar exactamente eso.

Un hecho de conteo que conviene tener presente: en ℝⁿ no puede haber más de n vectores independientes. Si un conjunto de datos tiene más features que observaciones, las filas son necesariamente dependientes, y eso garantiza que el sistema esté indeterminado sin regularización.

Ejemplo trabajado

Dos conjuntos de tres vectores en ℝ³.

A = base canónica         rango 3 = 3 vectores  → independientes ✓
B = {(1,2,3), (2,4,6), (1,1,1)}

  fila2 = 2 · fila1       → hay dependencia
  rango(B) = 2 < 3        → dependientes       ✗
  det(B) = 0                                   ✓ coherente

En ℝ³ nunca puede haber 4 vectores independientes.

Qué calcula el laboratorio

Independencia detectada por el rango, no por inspección.

python classes/part-05-algebra-lineal-i-vectores-y-matrices/107-independencia-y-dependencia-lineal/lab.py
compmath run 107

Salidas del laboratorio (8)

Muestra de la ejecución real

{
  "conjunto_A": [
    [
      1.0,
      0.0,
      0.0
    ],
    [
      0.0,
      1.0,
      0.0
    ],
    [
      0.0,
      0.0,
      1.0
    ]
  ],
  "rango_A": 3,
  "A_independiente": true,
  "conjunto_B": [
    [
      1.0,
      2.0,
      3.0
    ],
    [
      2.0,
      4.0,
      6.0
    ],
    [
      1.0,
      1.0,
      1.0
    ]
  ],
  "rango_B": 2,
  "B_independiente": false
}

Errores comunes

Dónde se usa

Detección de multicolinealidad, selección de features, diagnóstico de sistemas mal condicionados y reducción de dimensionalidad.

Idea rectora de la parte

El rango es la dimensión real de la salida, no el tamaño de la tabla.

Error a evitar

Invertir una matriz mal condicionada en lugar de factorizar.

Conexión con IA

Cada capa densa es un producto matriz-vector. Los embeddings viven en subespacios y la similitud entre ellos es producto punto normalizado.

Bibliografía de la clase

Archivos de la clase