🧮 Computational Mathematics

Inicio · Parte 10 — Estadística e inferencia

209 — Potencia estadística

universitario-avanzado clase 9 de 20 4 horas demostración statistical_power

Sin potencia declarada, un resultado no significativo no distingue entre no hay efecto y no hay datos.

Fórmulas

potencia = 1 − β = P(rechazar H0 | H1 cierta)
d de Cohen = (μ₁ − μ₀) / σ
n ≈ 16/d²  para 80 % de potencia con α = 0,05

Desarrollo

La potencia es la probabilidad de detectar un efecto que realmente existe. Depende de tres cosas: el tamaño del efecto, el nivel α y el tamaño muestral. Fijadas las dos primeras, es el n el que decide, y por eso el cálculo de potencia es un paso de diseño, no de análisis.

Un estudio con potencia baja tiene un problema doble, y el segundo es el que casi nadie menciona. El primero es obvio: probablemente no detectará el efecto. El segundo es más grave: si lo detecta, la magnitud estimada estará inflada, porque solo las muestras con desviación favorable superan el umbral. Es el fenómeno de la maldición del ganador, y explica buena parte de la crisis de replicación.

El tamaño del efecto —la d de Cohen, la diferencia en unidades de desviación— es la pieza que hay que estimar antes de empezar, a partir de literatura previa o de un estudio piloto. Es independiente de n, a diferencia del p-value, y es lo que debe reportarse junto a la significancia.

La regla práctica n ≈ 16/d² da el orden de magnitud para un 80 % de potencia. Detectar un efecto mediano necesita unas 64 observaciones por grupo; detectar uno pequeño de d = 0,2 necesita unas 400. Descubrir eso al terminar el experimento, y no al planificarlo, es descubrir que el estudio nunca pudo concluir nada.

Ejemplo trabajado

Potencia frente a tamaño muestral con efecto d = 0,5 y α = 0,05.

d = 0,5      α = 0,05

     n      potencia
    10       0,3526
    30       0,7819
    64       0,9666
   100       0,9963

n necesario para 80 % de potencia: 32 por grupo
regla práctica 16/d² = 16/0,25 = 64 (conservadora, dos grupos)

Con n = 10 y resultado no significativo:
  la probabilidad de detectar el efecto era del 35 %
  no rechazar no informa casi nada

Efectos pequeños (d = 0,2) exigen n ≈ 400 por grupo.

Qué calcula el laboratorio

Potencia en función del tamaño muestral.

python classes/part-10-estadistica-e-inferencia/209-potencia-estadistica/lab.py
compmath run 209

Salidas del laboratorio (6)

Muestra de la ejecución real

{
  "tamaño_del_efecto_d": 0.5,
  "alfa": 0.05,
  "informe": [
    {
      "n": 10,
      "potencia": 0.3526
    },
    {
      "n": 30,
      "potencia": 0.7819
    },
    {
      "n": 64,
      "potencia": 0.9793
    },
    {
      "n": 100,
      "potencia": 0.9988
    },
    {
      "n": 200,
      "potencia": 1.0
    }
  ],
  "n_para_potencia_80%": 32,
  "regla_practica": "n ≈ 16/d² para 80 % de potencia",
  "estudio_sin_potencia": "un resultado no significativo no dice nada"
}

Errores comunes

Dónde se usa

Planificación de experimentos A/B, dimensionado de ensayos clínicos, diseño de estudios de usabilidad y evaluación de si una comparación de modelos puede concluir algo.

Idea rectora de la parte

Correlación no implica causalidad, pero causalidad sí restringe la correlación.

Error a evitar

Evaluar sobre datos que participaron en la selección del modelo.

Conexión con IA

Evaluar un modelo es inferencia estadística: métricas con intervalo, comparaciones múltiples corregidas y detección de leakage.

Bibliografía de la clase

Archivos de la clase