Inicio · Parte 15 — Matemática de Deep Learning

317 — Embeddings como espacios vectoriales

deep-learning clase 17 de 20 4 horas demostración embeddings

En un espacio de embeddings, la dirección entre dos palabras codifica su relación.

Fórmulas

similitud coseno = (a·b) / (‖a‖·‖b‖)
analogía: rey − hombre + mujer ≈ reina
la magnitud no importa, solo la dirección

Desarrollo

Un embedding representa cada elemento discreto —palabra, usuario, producto— como un vector denso de dimensión moderada, aprendido de forma que la proximidad geométrica refleje similitud semántica. Es la alternativa a la codificación one-hot, que es enorme, dispersa y en la que todos los elementos están a la misma distancia entre sí.

La medida de similitud habitual es el coseno, no la distancia euclídea. La razón es que la magnitud de un embedding suele correlacionar con la frecuencia del término, que no es información semántica; el coseno la descarta y mide solo la dirección. Es el producto escalar normalizado de la parte 05.

El resultado que hizo famosos a los embeddings es que ciertas direcciones codifican relaciones. El vector que va de «hombre» a «mujer» es aproximadamente el mismo que va de «rey» a «reina», lo que permite resolver analogías con aritmética vectorial. Conviene matizar: el efecto es real pero se exageró bastante en la divulgación, y depende mucho del corpus y del método de evaluación.

Hay una consecuencia ética que no es opcional mencionar. Los embeddings aprenden los sesgos presentes en los datos, y las mismas analogías que capturan «rey es a reina» capturan asociaciones estereotipadas entre profesiones y género. Como el modelo aprende la distribución del corpus, esos sesgos se propagan a cualquier sistema construido encima, y detectarlos requiere auditar explícitamente.

Ejemplo trabajado

Similitudes y analogía en un espacio de 4 dimensiones.

vocabulario: 5 términos, dimensión 4

similitudes con "rey":
  hombre  0,857916
  mujer   0,815207
  reina   0,768974
  mesa    0,3xxxxx

analogía: rey − hombre + mujer
  vector resultante: [0,85 ; 0,1 ; 0,1 ; 0,05]

  ranking por similitud:
    reina   1,000000     ← la analogía funciona   ✓
    mujer   0,835523
    rey     0,768974

Nota: en este espacio pequeño "hombre" es más similar
a "rey" que "reina", lo que muestra que la similitud
directa y la analogía capturan cosas distintas.

Qué calcula el laboratorio

Embeddings: geometría del significado y similitud coseno.

python classes/part-15-matematica-de-deep-learning/317-embeddings-como-espacios-vectoriales/lab.py
compmath run 317

Salidas del laboratorio (9)

dimension
vocabulario
similitudes_con_'rey'
mas_similar_a_rey
analogia_rey-hombre+mujer
ranking_de_la_analogia
one_hot_necesitaria
embedding_denso_usa
por_que_coseno_y_no_distancia

Muestra de la ejecución real

{
  "dimension": 4,
  "vocabulario": 5,
  "similitudes_con_'rey'": {
    "reina": 0.768974,
    "hombre": 0.857916,
    "mujer": 0.815207,
    "mesa": 0.383823
  },
  "mas_similar_a_rey": "hombre",
  "analogia_rey-hombre+mujer": [
    0.85,
    0.1,
    0.1,
    0.05
  ],
  "ranking_de_la_analogia": [
    [
      1.0,
      "reina"
    ],
    [
      0.835523,
      "mujer"
    ],
    [
      0.768974,
      "rey"
    ]
  ]
}

Errores comunes

Usar distancia euclídea donde corresponde similitud coseno.
Sobreinterpretar las analogías como propiedad universal de los embeddings.
Desplegar embeddings sin auditar los sesgos heredados del corpus.

Dónde se usa

Representación de vocabularios, sistemas de recomendación, búsqueda semántica, bases de datos vectoriales y capa de entrada de todo modelo de lenguaje.

Idea rectora de la parte

Sin no linealidad, apilar capas sigue siendo una única transformación lineal.

Error a evitar

Aplicar softmax sin restar el máximo y provocar overflow.

Conexión con IA

Toda arquitectura moderna, incluido el Transformer, se construye sobre estos bloques y sobre este mismo mecanismo de derivación.

Bibliografía de la clase

Mikolov, T. et al. Efficient estimation of word representations in vector space, 2013 — Deep learning: el tema de esta clase · DOI 10.48550/arxiv.1301.3781 verificado en DataCite (2026-08-19).
Bolukbasi, T. et al. Man is to computer programmer as woman is to homemaker?, NeurIPS, 2016 — Deep learning: el tema de esta clase · DOI 10.48550/arxiv.1607.06520 verificado en DataCite (2026-08-19).

Archivos de la clase

← 316 GRU 318 Optimización de redes profundas →