🧮 Computational Mathematics

Inicio · Parte 09 — Probabilidad y procesos aleatorios

185 — Independencia

universitario clase 5 de 20 4 horas demostración independence

La independencia es una igualdad que se verifica, no una suposición cómoda.

Fórmulas

A ⫫ B  ⟺  P(A∩B) = P(A)·P(B)
equivalente: P(A|B) = P(A)
independencia mutua exige la factorización para todo subconjunto

Desarrollo

Dos eventos son independientes cuando saber que uno ocurrió no cambia la probabilidad del otro. La definición operativa es la factorización P(A∩B) = P(A)·P(B), y la forma equivalente P(A|B) = P(A) deja claro el contenido intuitivo: la información no aporta nada.

Independencia no es lo mismo que exclusión mutua; de hecho son casi opuestas. Si A y B son excluyentes y ambos tienen probabilidad positiva, saber que ocurrió A garantiza que B no ocurrió, lo cual es una dependencia máxima. Confundir ambos conceptos es el error más común de esta clase.

Con más de dos eventos, la independencia por pares no basta. Existen tríos donde cada par factoriza pero el trío no, y en esos casos las conclusiones extraídas de suponer independencia mutua son falsas. La independencia mutua exige que la factorización se cumpla para todos los subconjuntos, no solo para los pares.

En la práctica, la independencia casi nunca es exacta: es una aproximación de modelado. Naive Bayes supone que las palabras de un texto son condicionalmente independientes dadas las clases, lo cual es falso, y aun así funciona razonablemente. El pecado no es suponer independencia, es suponerla sin decirlo y luego interpretar los resultados como si fuera cierta.

Ejemplo trabajado

Tres eventos sobre dos lanzamientos de moneda.

Ω = {CC, CX, XC, XX}, equiprobables

A = "primera cara"       P(A) = 0,5
B = "segunda cara"       P(B) = 0,5
C = "ambas iguales"      P(C) = 0,5

A∩B = {CC}   P = 0,25 = 0,5 × 0,5     A ⫫ B    ✓
A∩C = {CC}   P = 0,25 = 0,5 × 0,5     A ⫫ C    ✓
B∩C = {CC}   P = 0,25 = 0,5 × 0,5     B ⫫ C    ✓

A∩B∩C = {CC}  P = 0,25
producto de los tres = 0,125          0,25 ≠ 0,125

Independientes por pares, NO mutuamente independientes.

Qué calcula el laboratorio

Independencia se comprueba, no se supone.

python classes/part-09-probabilidad-y-procesos-aleatorios/185-independencia/lab.py
compmath run 185

Salidas del laboratorio (9)

Muestra de la ejecución real

{
  "P(A)": 0.5,
  "P(B)": 0.5,
  "P(A∩B)": 0.25,
  "A_y_B_independientes": true,
  "P(C)": 0.5,
  "P(A∩C)": 0.25
}

Errores comunes

Dónde se usa

Naive Bayes, análisis de fiabilidad de componentes, validación cruzada con datos temporales y todo supuesto de muestras iid en aprendizaje automático.

Idea rectora de la parte

Una cadena de Markov ergódica olvida su estado inicial.

Error a evitar

Ignorar la probabilidad base al interpretar un test positivo.

Conexión con IA

Un modelo de lenguaje es una distribución condicional sobre el siguiente token; la difusión es un proceso estocástico con reverso aprendido.

Bibliografía de la clase

Archivos de la clase