Inicio · Parte 09 — Probabilidad y procesos aleatorios
conjunta: p(x,y) = P(X=x, Y=y), Σ p(x,y) = 1
marginal: p(x) = Σᵧ p(x,y)
condicional: p(y|x) = p(x,y) / p(x)
independencia ⟺ p(x,y) = p(x)·p(y) para todo parCuando dos variables se observan a la vez, la descripción completa es la distribución conjunta: una probabilidad por cada par de valores. Todo lo demás se deriva de ella, y esa es la razón de que la conjunta sea el objeto fundamental y las marginales solo resúmenes.
Marginalizar es sumar sobre la variable que no interesa. El nombre viene de las tablas de doble entrada, donde esas sumas se escribían literalmente en los márgenes. Marginalizar pierde información: dos conjuntas muy distintas pueden tener exactamente las mismas marginales, y por eso conocer cada variable por separado no basta para saber cómo se relacionan.
Condicionar es dividir por la marginal correspondiente, lo cual reescala una fila o columna para que vuelva a sumar 1. La comparación entre p(x,y) y p(x)·p(y) es el test de independencia: si coinciden para todos los pares, las variables son independientes; si difieren en alguno, no lo son.
Esta es la maquinaria de los modelos gráficos y de todo el modelado probabilístico moderno. Un modelo generativo aprende una conjunta sobre datos y etiquetas; la inferencia consiste en condicionar sobre lo observado y marginalizar lo latente. En el caso continuo las sumas se vuelven integrales, y esas integrales intratables son las que motivan la inferencia variacional y los métodos de la parte 17.
Conjunta de dos variables binarias.
p(x,y) y=0 y=1 | marginal X
x=0 0,20 0,30 | 0,50
x=1 0,10 0,40 | 0,50
------------------------------------------
marginal Y 0,30 0,70 | 1,00 ✓
Condicional:
p(y=1 | x=1) = 0,40 / 0,50 = 0,80
p(y=1 | x=0) = 0,30 / 0,50 = 0,60
Test de independencia en el par (1,1):
p(1,1) = 0,40
p(1)·p(1) = 0,50 × 0,70 = 0,35
0,40 ≠ 0,35 → X e Y NO son independientesDistribución conjunta, marginales y condicional.
python classes/part-09-probabilidad-y-procesos-aleatorios/195-distribuciones-conjuntas-y-marginales/lab.py
compmath run 195conjuntasumamarginal_Xmarginal_YP(Y=1|X=1)producto_de_marginales_(1,1)independientes{
"conjunta": {
"(0, 0)": 0.2,
"(0, 1)": 0.3,
"(1, 0)": 0.1,
"(1, 1)": 0.4
},
"suma": 1.0,
"marginal_X": {
"0": 0.5,
"1": 0.5
},
"marginal_Y": {
"0": 0.30000000000000004,
"1": 0.7
},
"P(Y=1|X=1)": 0.8,
"producto_de_marginales_(1,1)": 0.35
}Modelos gráficos probabilísticos, inferencia bayesiana, tablas de contingencia y distribuciones latentes en modelos generativos.
Un modelo de lenguaje es una distribución condicional sobre el siguiente token; la difusión es un proceso estocástico con reverso aprendido.