Inicio · Parte 09 — Probabilidad y procesos aleatorios
A ⫫ B ⟺ P(A∩B) = P(A)·P(B)
equivalente: P(A|B) = P(A)
independencia mutua exige la factorización para todo subconjunto
Dos eventos son independientes cuando saber que uno ocurrió no cambia la probabilidad del otro. La definición operativa es la factorización P(A∩B) = P(A)·P(B), y la forma equivalente P(A|B) = P(A) deja claro el contenido intuitivo: la información no aporta nada.
Independencia no es lo mismo que exclusión mutua; de hecho son casi opuestas. Si A y B son excluyentes y ambos tienen probabilidad positiva, saber que ocurrió A garantiza que B no ocurrió, lo cual es una dependencia máxima. Confundir ambos conceptos es el error más común de esta clase.
Con más de dos eventos, la independencia por pares no basta. Existen tríos donde cada par factoriza pero el trío no, y en esos casos las conclusiones extraídas de suponer independencia mutua son falsas. La independencia mutua exige que la factorización se cumpla para todos los subconjuntos, no solo para los pares.
En la práctica, la independencia casi nunca es exacta: es una aproximación de modelado. Naive Bayes supone que las palabras de un texto son condicionalmente independientes dadas las clases, lo cual es falso, y aun así funciona razonablemente. El pecado no es suponer independencia, es suponerla sin decirlo y luego interpretar los resultados como si fuera cierta.
Tres eventos sobre dos lanzamientos de moneda.
Ω = {CC, CX, XC, XX}, equiprobables
A = "primera cara" P(A) = 0,5
B = "segunda cara" P(B) = 0,5
C = "ambas iguales" P(C) = 0,5
A∩B = {CC} P = 0,25 = 0,5 × 0,5 A ⫫ B ✓
A∩C = {CC} P = 0,25 = 0,5 × 0,5 A ⫫ C ✓
B∩C = {CC} P = 0,25 = 0,5 × 0,5 B ⫫ C ✓
A∩B∩C = {CC} P = 0,25
producto de los tres = 0,125 0,25 ≠ 0,125
Independientes por pares, NO mutuamente independientes.
Independencia se comprueba, no se supone.
python classes/part-09-probabilidad-y-procesos-aleatorios/185-independencia/lab.py
compmath run 185
P(A)P(B)P(A∩B)A_y_B_independientesP(C)P(A∩C)A_y_C_independientesP(A∩B∩C)independencia_por_pares_no_implica_conjunta{
"P(A)": 0.5,
"P(B)": 0.5,
"P(A∩B)": 0.25,
"A_y_B_independientes": true,
"P(C)": 0.5,
"P(A∩C)": 0.25
}
Naive Bayes, análisis de fiabilidad de componentes, validación cruzada con datos temporales y todo supuesto de muestras iid en aprendizaje automático.
Un modelo de lenguaje es una distribución condicional sobre el siguiente token; la difusión es un proceso estocástico con reverso aprendido.