{"id":159494,"date":"2026-02-19T14:39:46","date_gmt":"2026-02-19T13:39:46","guid":{"rendered":"https:\/\/multi.liora.io\/?p=159494"},"modified":"2026-08-24T18:43:49","modified_gmt":"2026-08-24T17:43:49","slug":"nlp-word-embedding-word2vec-es","status":"publish","type":"post","link":"https:\/\/liora.io\/es\/nlp-word-embedding-word2vec-es","title":{"rendered":"Word2vec : NLP y Word Embedding"},"content":{"rendered":"\n

El Word Embedding designa un conjunto de m\u00e9todos de aprendizaje que pretende representar las palabras de un texto mediante vectores de n\u00fameros reales. Hoy vamos a presentarte la 3.\u00aa parte de nuestro dosier NLP.<\/strong><\/p>\n\n\n

Esta secci\u00f3n pretende explicar c\u00f3mo funciona el famoso algoritmo Word2vec<\/strong> en Python<\/strong> y su implementaci\u00f3n.<\/p>\n\n\n

Word Embedding<\/h2>\n\n\n

Como recordatorio, el Word Embedding es capaz de capturar el contexto, la similitud sem\u00e1ntica y sint\u00e1ctica (g\u00e9nero, sin\u00f3nimos, etc.) de una palabra reduciendo su dimensi\u00f3n.<\/em><\/p>\n\n\n

Por ejemplo, cabr\u00eda esperar que las palabras \u00abnotable\u00bb y \u00abadmirable\u00bb estuvieran representadas por vectores relativamente cercanos en el espacio vectorial donde se definen estos vectores.<\/p>\n\n\n

El m\u00e9todo de embedding que se usa habitualmente para reducir la dimensi\u00f3n de un vector consiste en utilizar el resultado que devuelve una capa densa, es decir, multiplicar una matriz de embedding W por la representaci\u00f3n \u00abone hot\u00bb de la palabra :<\/p>\n\n\n

En forma vectorial :<\/p>\n\n\n

\"Word2vec\"<\/figure>\n\n\n
\"auto<\/a>
Autocodificador<\/figcaption><\/figure>\n\n\n

Embedding con la ayuda de Word2vec<\/h2>\n\n\n

Sin embargo, para evitar las limitaciones del primer m\u00e9todo, es posible entrenar la matriz W de forma no supervisada<\/strong> solo con texto<\/strong> utilizando el famoso algoritmo Word2Vec<\/strong>.<\/p>\n\n\n

\u00bfC\u00f3mo funciona word2vec?<\/h3>\n\n\n

Existen dos variantes de Word2vec, ambas utilizan una red neuronal de 3 capas (1 capa de entrada, 1 capa oculta, 1 capa de salida): Common Bag Of Words (CBOW) y Skip-gram.<\/p>\n\n\n

En la siguiente imagen, la palabra del recuadro azul se llama palabra objetivo y las palabras de los recuadros blancos se llaman palabras de contexto<\/strong> en una ventana de tama\u00f1o 5.<\/strong><\/p>\n\n\n

\"Embedding<\/figure>\n\n\n

CBOW : El modelo se alimenta del contexto<\/strong> y predice la palabra objetivo. El resultado de la capa oculta es la nueva representaci\u00f3n de la palabra (\u210e1, …, \u210e?).<\/p>\n\n\n\n

Avanza con el programa de NLP<\/a><\/div><\/div>\n\n\n\n\n

Skip Gram: El modelo se alimenta de la palabra objetivo<\/strong> y predice las palabras del contexto. El resultado de la capa oculta es la nueva representaci\u00f3n de la palabra (\u210e1, …, \u210e?).<\/p>\n\n\n

\"word2vec\"<\/figure>\n\n\n

Formateo de los datos :<\/h3>\n\n\n

Aqu\u00ed presentaremos el modelo CBOW<\/strong>, es decir, el contexto es la entrada<\/strong> de nuestro modelo y la palabra objetivo (palabra azul) es la salida<\/strong>. Definimos una ventana de longitud 5 para el contexto (entrada).<\/p>\n\n\n

\"Embedding<\/figure>\n\n\n
\"Ilustraci\u00f3n<\/figure>\n\n\n

Modelo :<\/h3>\n\n\n

El modelo CBOW tiene similitudes con el modelo de clasificaci\u00f3n que acabamos de implementar en la secci\u00f3n anterior. Nuestro modelo estar\u00e1 compuesto por las siguientes capas :<\/p>\n\n\n

\"cbow\"
Arquitectura CBOW<\/figcaption><\/figure>\n\n\n
    \n
  1. La capa Embedding transformar\u00e1 cada palabra del contexto en un vector de embedding<\/strong>. La matriz W de embedding se aprender\u00e1 a medida que se entrena el modelo. Las dimensiones resultantes son: (lot, context_size, embedding).<\/li>\n
  2. A continuaci\u00f3n, la capa GlobalAveragePooling1D permite sumar los diferentes embbeding<\/strong> y obtener una dimensi\u00f3n de salida (batch_size, embedding).<\/li>\n
  3. Por \u00faltimo, la capa densa de tama\u00f1o \u00abvoc_size\u00bb permite predecir la palabra objetivo<\/strong>.<\/li>\n<\/ol>\n\n\n
    <!-- wp:code {\"style\":{\"spacing\":{\"margin\":{\"top\":\"var:preset|spacing|columns\",\"bottom\":\"var:preset|spacing|columns\"}}},\"fontSize\":\"xsmall\"} -->\n<pre class=\"wp-block-code has-xsmall-font-size\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><code>from tensorflow.keras import Sequential\nfrom tensorflow.keras.layers import Embedding, Dense, GlobalAveragePooling1D\n\nembedding_dim = 300\n\nmodel = Sequential()\nmodel.add(Embedding(vocab_size, embedding_dim))\nmodel.add(GlobalAveragePooling1D())\nmodel.add(Dense(vocab_size, activation='softmax'))<\/code><\/pre>\n<!-- \/wp:code --><\/code><\/pre>\n\n\n
    La funci\u00f3n de p\u00e9rdida cross-entropy se suele utilizar para entrenar al modelo :<\/p>\n\n\n\n
    Profundiza en Modelo con Machine Learning Engineer<\/a><\/div><\/div>\n\n\n\n\n
    model.compile(optimizer='adam',\n              loss='sparse_categorical_crossentropy',\n              metrics=['accuracy'])\n\nhistory = model.fit(X, y,\n    batch_size = 256,\n    epochs=10)<\/code><\/pre>\n\n\n
    M\u00e9trica en este espacio :<\/h2>\n\n\n
    Ahora que el modelo est\u00e1 entrenado, puede ser interesante comparar la distancia entre las palabras.<\/p>\n\n\n
    La \u201cCosine similarity\u201d <\/strong>se utiliza por lo general como m\u00e9trica para medir la distancia cuando la norma de los vectores no tiene importancia.<\/strong> Esta m\u00e9trica capta la similitud entre dos palabras.<\/p>\n\n\n
    Cuanto m\u00e1s se acerque la cosine similarity a 1, m\u00e1s relacionadas estar\u00e1n las dos palabras.<\/p>\n\n\n
    \"Ilustraci\u00f3n<\/figure>\n\n\n
    Con esta m\u00e9trica y en este subespacio vectorial, las 5 palabras m\u00e1s cercanas a \u00abbody\u00bb<\/strong> son :<\/p>\n\n\n
    intestines\u00a0 --\u00a0 0.30548161268234253<\/code><\/pre>\n\n\n
    bodies\u00a0 --\u00a0 0.2691531181335449<\/code><\/pre>\n\n\n
    arm\u00a0 --\u00a0 0.24878980219364166<\/code><\/pre>\n\n\n
    chest\u00a0 --\u00a0 0.2261650413274765<\/code><\/pre>\n\n\n
    leg\u00a0 --\u00a0 0.2193179428577423<\/code><\/pre>\n\n\n
    Los n\u00fameros anteriores representan las distancias de similitud coseno entre la palabra \u00abbody\u00bb y las palabras m\u00e1s cercanas.<\/p>\n\n\n
    Para la palabra \u00ab zombie<\/strong> \u00bb :<\/p>\n\n\n
    slasher\u00a0 --\u00a0 0.3172745406627655<\/code><\/pre>\n\n\n
    cannibal\u00a0 --\u00a0 0.28496912121772766<\/code><\/pre>\n\n\n
    zombies\u00a0 --\u00a0 0.2767203450202942<\/code><\/pre>\n\n\n
    horror\u00a0 --\u00a0 0.2607246935367584<\/code><\/pre>\n\n\n
    zombi\u00a0 --\u00a0 0.25878411531448364<\/code><\/pre>\n\n\n
    Para la palabra \u00ab amazing <\/strong>\u00bb :<\/p>\n\n\n
    brilliant\u00a0 --\u00a0 0.3372475802898407<\/code><\/pre>\n\n\n
    extraordinary\u00a0 --\u00a0 0.319326251745224<\/code><\/pre>\n\n\n
    great\u00a0 --\u00a0 0.29579296708106995<\/code><\/pre>\n\n\n
    breathtaking\u00a0 --\u00a0 0.2907085716724396<\/code><\/pre>\n\n\n
    fantastic\u00a0 --\u00a0 0.2871546149253845<\/code><\/pre>\n\n\n
    Para la palabra \u00ab god<\/strong> \u00bb :<\/p>\n\n\n
    heavens\u00a0 --\u00a0 0.268303781747818<\/code><\/pre>\n\n\n
    jesus\u00a0 --\u00a0 0.26807624101638794<\/code><\/pre>\n\n\n
    goodness\u00a0 --\u00a0 0.2618488669395447<\/code><\/pre>\n\n\n
    gods\u00a0 --\u00a0 0.24795521795749664<\/code><\/pre>\n\n\n
    doom\u00a0 --\u00a0 0.22242328524589539<\/code><\/pre>\n\n\n
    Propiedades aritm\u00e9ticas :<\/strong><\/p>\n\n\n
    Ahora podemos preguntarnos si nuestro subespacio vectorial de palabras tiene propiedades aritm\u00e9ticas. Veamos el siguiente ejemplo famoso :<\/p>\n\n\n
    \ud835\udc3e\ud835\udc56\ud835\udc5b\ud835\udc54\u00a0\u2212\u00a0\ud835\udc40\ud835\udc4e\ud835\udc5b\u00a0+\u00a0\ud835\udc4a\ud835\udc5c\ud835\udc5a\ud835\udc4e\ud835\udc5b\u00a0=\u00a0<\/span>\ud835\udc44\ud835\udc62\ud835\udc52\ud835\udc52\ud835\udc5b<\/span><\/p>\n\n\n
    En este ejemplo la propiedad aritm\u00e9tica es la realeza<\/strong>. Queremos comprobar si esta propiedad se propagar\u00e1 a \u00abwoman\u00bb. Es decir, buscaremos las palabras m\u00e1s cercanas al siguiente vector :<\/p>\n\n\n
    arithmetic_vector = word2vec[index_word1] – word2vec[index_word2] + word2vec [index_word3]<\/p>\n\n\n
    Aqu\u00ed, la palabra \u00abqueen\u00bb no est\u00e1 muy representada en nuestra serie de datos, lo que explica la escasa representaci\u00f3n. Por esta raz\u00f3n, nos centraremos en la propiedad num\u00e9rica <\/strong>:<\/p>\n\n\n
    Men<\/span><\/i>\u00a0\u2212\u00a0\ud835\udc40\ud835\udc4e\ud835\udc5b\u00a0+\u00a0\ud835\udc4a\ud835\udc5c\ud835\udc5a\ud835\udc4e\ud835\udc5b\u00a0=\u00a0Women<\/span><\/p>\n\n\n
    Utilizando la operaci\u00f3n definida anteriormente y una m\u00e9trica de similitud coseno, las 5 palabras m\u00e1s cercanas son :<\/strong><\/p>\n\n\n
    women\u00a0 --\u00a0 0.2889893054962158<\/code><\/pre>\n\n\n
    females\u00a0 --\u00a0 0.272260844707489<\/code><\/pre>\n\n\n
    strangers\u00a0 --\u00a0 0.24558939039707184<\/code><\/pre>\n\n\n
    teens\u00a0 --\u00a0 0.2443128377199173<\/code><\/pre>\n\n\n
    daughters\u00a0 --\u00a0 0.24117740988731384<\/code><\/pre>\n\n\n
    El resultado para Zombies \u2212 Zombie + ????? :<\/p>\n\n\n
    women\u00a0 --\u00a0 0.2547883093357086<\/code><\/pre>\n\n\n
    females\u00a0 --\u00a0 0.23258551955223083<\/code><\/pre>\n\n\n
    ladies\u00a0 --\u00a0 0.22764989733695984<\/code><\/pre>\n\n\n
    stripper\u00a0 --\u00a0 0.22274985909461975<\/code><\/pre>\n\n\n
    develops\u00a0 --\u00a0 0.2202150821685791<\/code><\/pre>\n\n\n
    El resultado para Men \u2212 Man + Soldier :<\/p>\n\n\n
    soldiers\u00a0 --\u00a0 0.3547001779079437<\/code><\/pre>\n\n\n
    daughters\u00a0 --\u00a0 0.21896378695964813<\/code><\/pre>\n\n\n
    letters\u00a0 --\u00a0 0.21452251076698303<\/code><\/pre>\n\n\n
    backyard\u00a0 --\u00a0 0.21437858045101166<\/code><\/pre>\n\n\n
    veterans\u00a0 --\u00a0 0.21067838370800018<\/code><\/pre>\n\n\n
    El resultado para Zombies \u2212 Zombie + monster :<\/p>\n\n\n
    werewolves\u00a0 --\u00a0 0.2724993824958801<\/code><\/pre>\n\n\n
    monsters\u00a0 --\u00a0 0.25695472955703735<\/code><\/pre>\n\n\n
    creature\u00a0 --\u00a0 0.24453674256801605<\/code><\/pre>\n\n\n
    dragons\u00a0 --\u00a0 0.22363890707492828<\/code><\/pre>\n\n\n
    bloke\u00a0 --\u00a0 0.21858260035514832<\/code><\/pre>\n\n\n
    Aqu\u00ed la palabra \u00abmonsters\u00bb y \u00abwerewolves\u00bb parecen estar muy cerca en el contexto de nuestra serie de datos.<\/p>\n\n\n
    Utilizando un ACP, podemos encontrar la dimensi\u00f3n de la propiedad num\u00e9rica <\/strong>:<\/p>\n\n\n
    \"propri\u00e9t\u00e9<\/figure>\n\n\n
    Utilizando el mismo razonamiento para captar el g\u00e9nero <\/strong>:<\/p>\n\n\n
    \"word2vec\"<\/figure>\n\n\n
    Utilizando el mismo razonamiento entre los verbos en infinitivo y los verbos terminados en -ed <\/strong>:<\/p>\n\n\n
    \u201cWord2vec embedding\u201d captura eficazmente las propiedades sem\u00e1nticas y aritm\u00e9ticas de una palabra. <\/strong>Tambi\u00e9n permite reducir el tama\u00f1o del problema y, por tanto, la tarea de aprendizaje.<\/strong><\/p>\n\n\n
    Podemos imaginarnos el uso del algoritmo word2vec para preentrenar la matriz de embedding del modelo de clasificaci\u00f3n.<\/strong> Como resultado, nuestro modelo de clasificaci\u00f3n tendr\u00e1 una representaci\u00f3n mucho mejor de las palabras en la fase de aprendizaje de los sentimientos.<\/p>\n\n\n
    \u00bfTe gustar\u00eda acceder a un curso<\/a> m\u00e1s detallado sobre los diferentes puntos tratados en este art\u00edculo?\u00a0\u00a0<\/p>\n\n\n
    \"word2vec\"<\/figure>\n\n\n
    \n
    \u00a1Descubre todos nuestros m\u00f3dulos!<\/a><\/div>\n<\/div>\n\n\n