🧮 Computational Mathematics

Inicio · Parte 12 — Optimización matemática y computacional

256 — Restricciones y Lagrangianos

avanzado clase 16 de 20 4 horas demostración constraints_lagrangian

El multiplicador de Lagrange mide cuánto vale relajar la restricción una unidad.

Fórmulas

L(x,λ) = f(x) − λ·(g(x) − c)
en el óptimo: ∇f = λ·∇g
λ = ∂f*/∂c  (precio sombra)

Desarrollo

Con una restricción de igualdad, el mínimo ya no está donde el gradiente se anula sino donde el gradiente del objetivo es paralelo al de la restricción. La razón geométrica es clara: si tuvieran una componente distinta, se podría avanzar a lo largo de la restricción reduciendo el objetivo.

El Lagrangiano convierte esa condición en un sistema de ecuaciones. Se construye restando la restricción multiplicada por una incógnita nueva λ, y se anulan todas las derivadas parciales, incluida la de λ, que reproduce la restricción original. El problema restringido se transforma en uno irrestricto con una variable más.

El multiplicador tiene un significado económico preciso y muy útil: es el precio sombra de la restricción, la derivada del óptimo respecto del nivel c. Si λ = 3, relajar la restricción una unidad mejora el óptimo en 3 unidades. Eso convierte a λ en la respuesta cuantitativa a «¿cuánto pagaría por más presupuesto?».

En aprendizaje automático el Lagrangiano aparece en la formulación dual de las SVM, en la derivación de la distribución de máxima entropía —de donde sale softmax—, y en el entrenamiento con restricciones de equidad o de presupuesto. La versión con desigualdades es la clase siguiente.

Ejemplo trabajado

Punto de la recta x + y = 4 más cercano al origen.

minimizar   f(x,y) = x² + y²
sujeto a    x + y = 4

L = x² + y² − λ(x + y − 4)

∂L/∂x = 2x − λ = 0    →   2x = λ
∂L/∂y = 2y − λ = 0    →   2y = λ
∂L/∂λ = x + y − 4 = 0

De las dos primeras: x = y.  Sustituyendo: 2x = 4, x = 2.

solución = (2, 2)      valor óptimo = 8,0
λ = 4

Interpretación de λ: si la restricción pasara a x+y = 5,
el óptimo subiría aproximadamente en 4 unidades.

Qué calcula el laboratorio

Restricción de igualdad resuelta con el Lagrangiano.

python classes/part-12-optimizacion-matematica-y-computacional/256-restricciones-y-lagrangianos/lab.py
compmath run 256

Salidas del laboratorio (10)

Muestra de la ejecución real

{
  "objetivo": "min x² + y²",
  "restriccion": "x + y = 4",
  "lagrangiano": "L = x² + y² - λ(x + y - 4)",
  "condiciones": [
    "2x = λ",
    "2y = λ",
    "x + y = 4"
  ],
  "solucion": [
    2.0,
    2.0
  ],
  "valor_optimo": 8.0
}

Errores comunes

Dónde se usa

SVM en su forma dual, distribución de máxima entropía, asignación óptima de recursos y entrenamiento con restricciones.

Idea rectora de la parte

En un problema convexo todo mínimo local es global; fuera de él no hay garantía.

Error a evitar

Comparar optimizadores sin fijar semilla ni presupuesto de iteraciones.

Conexión con IA

AdamW es el optimizador por defecto del entrenamiento moderno; entender su actualización explica el weight decay, el warmup y el gradient clipping.

Bibliografía de la clase

Archivos de la clase