🧮 Computational Mathematics

Inicio · Parte 10 — Estadística e inferencia

204 — Estimadores y propiedades

universitario-avanzado clase 4 de 20 4 horas demostración estimators

Insesgado no significa bueno: hay que mirar también la varianza.

Fórmulas

sesgo(θ̂) = E[θ̂] − θ
ECM = sesgo² + varianza
consistencia: θ̂ₙ → θ cuando n → ∞

Desarrollo

Un estimador es una receta para calcular un parámetro desconocido a partir de la muestra. Como depende de datos aleatorios, es él mismo una variable aleatoria, y se juzga por las propiedades de su distribución: sesgo, varianza y comportamiento asintótico.

El sesgo mide si el estimador acierta en promedio. Dividir entre n al calcular la varianza muestral produce un estimador sesgado a la baja, porque las desviaciones se miden respecto de una media ajustada a los propios datos; dividir entre n−1 corrige ese sesgo. Es la corrección de Bessel de la clase 190, vista ahora desde la teoría de estimación.

Pero insesgado no equivale a bueno. El error cuadrático medio se descompone en sesgo² + varianza, y hay estimadores sesgados con ECM mucho menor que el insesgado. Toda la regularización en aprendizaje automático se apoya en ese intercambio: introducir sesgo a cambio de reducir varianza. Es la misma descomposición sesgo-varianza que reaparecerá en la parte 14.

La consistencia es la garantía mínima que se le pide a un estimador: converger al parámetro cuando los datos crecen. Es una propiedad asintótica y no dice nada sobre el comportamiento con la muestra que realmente se tiene, que suele ser pequeña y es donde el sesgo y la varianza deciden.

Ejemplo trabajado

Dos estimadores de la varianza con muestras de tamaño 8.

varianza real = 25,0        n = 8      10 000 réplicas

estimador dividiendo entre n:
  E[σ̂²] = 21,7438        sesgo = −3,2562    (−13 %)

estimador dividiendo entre n−1:
  E[s²]  = 24,8501        sesgo = −0,1499    (−0,6 %)

Factor de corrección teórico: (n−1)/n = 7/8 = 0,875
  21,7438 / 0,875 = 24,85                              ✓

Con n = 100 el sesgo del primero baja al 1 %: ambos son
consistentes, pero solo el segundo es insesgado.

Qué calcula el laboratorio

Sesgo, varianza y consistencia de dos estimadores de la varianza.

python classes/part-10-estadistica-e-inferencia/204-estimadores-y-propiedades/lab.py
compmath run 204

Salidas del laboratorio (8)

Muestra de la ejecución real

{
  "varianza_real": 25.0,
  "tamaño_muestral": 8,
  "E[estimador_/n]": 21.7438,
  "sesgo_/n": -3.2562,
  "E[estimador_/(n-1)]": 24.8501,
  "sesgo_/(n-1)": -0.1499
}

Errores comunes

Dónde se usa

Regularización como sesgo deliberado, estimación de varianza en normalización, evaluación de estimadores de gradiente y elección entre modelos simples y complejos.

Idea rectora de la parte

Correlación no implica causalidad, pero causalidad sí restringe la correlación.

Error a evitar

p-hacking por comparaciones múltiples sin corrección.

Conexión con IA

Evaluar un modelo es inferencia estadística: métricas con intervalo, comparaciones múltiples corregidas y detección de leakage.

Bibliografía de la clase

Archivos de la clase