{"id":165131,"date":"2026-02-19T14:42:01","date_gmt":"2026-02-19T13:42:01","guid":{"rendered":"https:\/\/liora.io\/de\/?p=165131"},"modified":"2026-02-23T17:10:31","modified_gmt":"2026-02-23T16:10:31","slug":"word2vec","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/word2vec","title":{"rendered":"Word2vec : NLP & Word Embedding"},"content":{"rendered":"\n

Word Embedding bezeichnet eine Reihe von Lernmethoden, die darauf abzielen, W\u00f6rter in einem Text durch Vektoren reeller Zahlen darzustellen.  Heute pr\u00e4sentieren wir dir den dritten Teil unseres NLP-Dossiers.<\/b><\/strong><\/p>\n\n\n\n

Hast du die ersten Episoden verpasst? Keine Sorge, hier sind sie:<\/b><\/p>\n\n\n\n

    \n
  1. \u00a0 Einf\u00fchrung in NLP<\/a><\/li>\n\n\n\n
  2. Word embedding –<\/b> Word2vec<\/a>\n
      \n
    1. \u00a0 Definition von word embedding<\/a><\/li>\n\n\n\n
    2. \u00a0 Embedding mit Word2vec<\/a><\/li>\n\n\n\n
    3. \u00a0 Metrisch in diesem Raum<\/a><\/li>\n<\/ol>\n<\/li>\n\n\n\n
    4. \u00a0 NLP – Wort\u00fcbersetzung<\/a><\/li>\n\n\n\n
    5. \u00a0 NLP Twitter – Gef\u00fchlsanalyse<\/a><\/li>\n<\/ol>\n\n\n\n

      Dieser Abschnitt soll die Funktionsweise erkl\u00e4ren und den ber\u00fchmten Word2vec-Algorithmus in Python <\/b>implementieren.<\/p>\n\n\n\n

      Word Embedding<\/h2>\n\n\n\n

      Zur Erinnerung: Word Embedding ist in der Lage, den Kontext, die semantische und syntaktische \u00c4hnlichkeit (Genus, Synonyme, …) eines Wortes zu erfassen, indem es die Dimensionen verringert<\/b>.<\/p>\n\n\n\n

      Man k\u00f6nnte z. B. erwarten, dass die W\u00f6rter „bemerkenswert“ und „bewundernswert“ durch Vektoren dargestellt werden, die in dem Vektorraum, in dem diese Vektoren definiert sind, relativ wenig voneinander entfernt sind.<\/p>\n\n\n\n

      Die allgemein verwendete Einbettungsmethode, um die Gr\u00f6\u00dfe eines Vektors zu reduzieren, besteht darin, das <\/b>Ergebnis zu verwenden, das eine dichte Schicht zur\u00fcckgibt, d. h. eine Einbettungsmatrix W mit der „one hot“-Darstellung des Wortes zu multiplizieren.<\/p>\n\n\n\n

      In Vektorform :<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n
      \"\"<\/a>
      Auto-Encoder<\/figcaption><\/figure>\n\n\n\n

      Embedding mit Word2vec<\/h2>\n\n\n\n

      Um die Einschr\u00e4nkungen der ersten Methode zu vermeiden, ist es jedoch m\u00f6glich, die W-Matrix mithilfe des bekannten Word2Vec-Algorithmus un\u00fcberwacht mit einfachem Text zu <\/b>trainieren.<\/p>\n\n\n\n

      Wie funktioniert Word2vec?<\/h3>\n\n\n\n

      Es gibt zwei Varianten des Word2vec, beide verwenden ein neuronales Netz mit drei Schichten (1 Eingabeschicht, 1 verborgene Schicht, 1 Ausgabeschicht): Common Bag Of Words (CBOW) und Skip-gram.<\/p>\n\n\n\n

      In der folgenden Abbildung wird das Wort im blauen Feld als Zielwort bezeichnet <\/b>und die W\u00f6rter in den wei\u00dfen Feldern werden als Kontextw\u00f6rter <\/b>in einem Fenster der Gr\u00f6\u00dfe 5 bezeichnet<\/b>.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      CBOW: Das Modell wird mit dem Kontext gef\u00fcttert <\/b>und sagt das Zielwort voraus. Das Ergebnis der verborgenen Schicht ist die neue Repr\u00e4sentation des Wortes (\u210e1, …, \u210e?).<\/p>\n\n\n\n

      Skip Gram: Das Modell wird mit dem Zielwort gef\u00fcttert <\/b>und sagt die W\u00f6rter im Kontext voraus. Das Ergebnis der verborgenen Schicht ist die neue Darstellung des Wortes (\u210e1, …, \u210e?).<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      Formatierung der Daten:<\/h4>\n\n\n\n

      Hier werden wir das CBOW-Modell vorstellen, <\/b>d. h. der Kontext ist der Input <\/b>unseres Modells und das Zielwort (blaues Wort) ist der Output<\/b>. Wir definieren ein Fenster mit der L\u00e4nge 5 f\u00fcr den Kontext (Eingabe).<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n
      \"\"<\/figure>\n\n\n\n

      Modell:<\/h4>\n\n\n\n

      Das CBOW-Modell hat \u00c4hnlichkeiten mit dem Klassifikationsmodell, das wir gerade im vorherigen Abschnitt implementiert haben. Unser Modell wird aus den folgenden Schichten bestehen:<\/p>\n\n\n\n

      \"\"
      CBOW-Architektur<\/figcaption><\/figure>\n\n\n\n
        \n
      1. Die Embedding-Schicht wird jedes Wort im Kontext in einen Embedding-Vektor umwandeln<\/b>. Die W-Matrix des Embeddings wird im Laufe des Workouts des Modells erlernt. Die resultierenden Dimensionen sind: (lot, context_size, embedding).<\/li>\n\n\n\n
      2. Anschlie\u00dfend k\u00f6nnen mit der GlobalAveragePooling1D-Schicht die verschiedenen Einbettungen summiert werden, <\/b>um eine Ausgabegr\u00f6\u00dfe zu erhalten (batch_size, embedding).<\/li>\n\n\n\n
      3. Schlie\u00dflich kann der Dense-Layer mit der Gr\u00f6\u00dfe „voc_size“ das Zielwort vorhersagen<\/b>.<\/li>\n<\/ol>\n\n\n\n
        from tensorflow.keras import Sequential\nfrom tensorflow.keras.layers import Embedding, Dense, GlobalAveragePooling1D\n\nembedding_dim = 300\n\nmodel = Sequential()\nmodel.add(Embedding(vocab_size, embedding_dim))\nmodel.add(GlobalAveragePooling1D())\nmodel.add(Dense(vocab_size, activation='softmax'))<\/code><\/pre>\n\n\n\n
        Die Cross-Entropy-Loss-Funktion wird in der Regel zum Workout des Modells :<\/p>\n\n\n\n
        model.compile(optimizer='adam',\n              loss='sparse_categorical_crossentropy',\n              metrics=['accuracy'])\n\nhistory = model.fit(X, y,\n    batch_size = 256,\n    epochs=10)<\/code><\/pre>\n\n\n\n
        Metrisch in diesem Raum:<\/h3>\n\n\n\n
        Da das Modell nun trainiert ist, kann es interessant sein, den Abstand zwischen den W\u00f6rtern zu vergleichen.<\/p>\n\n\n\n
        Die „Cosine similarity“ wird im Allgemeinen als <\/b>Metrik zur Messung der Entfernung verwendet, wenn die Norm der Vektoren keine Rolle spielt.<\/b> Diese Metrik erfasst die \u00c4hnlichkeit zwischen zwei W\u00f6rtern.<\/p>\n\n\n\n
        Je n\u00e4her die „cosine similarity“ an 1 liegt, desto mehr sind die beiden W\u00f6rter miteinander verwandt.<\/b><\/p>\n\n\n\n
        \"\"<\/figure>\n\n\n\n
        Mit dieser Metrik und in diesem Untervektorraum sind die 5 W\u00f6rter, die am n\u00e4chsten an „body“ liegen, :<\/b><\/p>\n\n\n\n
        intestines - 0.30548161268234253\nbodies - 0.2691531181335449\narm - 0.24878980219364166\nchest - 0.2261650413274765\nleg - 0.2193179428577423<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Die obigen Zahlen stellen die Cos-similar-Distanzen zwischen dem Wort „body“ und den n\u00e4chstliegenden W\u00f6rtern dar.<\/p>\n\n\n\n
        Zum Wort „Zombie<\/b>„:<\/p>\n\n\n\n
        Slasher - 0.3172745406627655\ncannibal - 0.28496912121772766\nzombies - 0.2767203450202942\nhorror - 0.2607246935367584\nzombi - 0.25878411531448364<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Zum Wort „amazing<\/b>„:<\/p>\n\n\n\n
        gl\u00e4nzend - 0.3372475802898407\nextraordinary - 0.319326251745224\ngreat - 0.29579296708106995\nbreathtaking - 0.2907085716724396\nfantastic - 0.2871546149253845<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Zum Wort „god<\/b>„:<\/p>\n\n\n\n
        heavens - 0.268303781747818\njesus - 0.26807624101638794\ngoodness - 0.2618488669395447\ngods - 0.24795521795749664\ndoom - 0.22242328524589539<\/pre>\n\n\n\n
        Arithmetische Eigenschaften:<\/h3>\n\n\n\n
        Wir k\u00f6nnen uns nun die Frage stellen, ob unser Untervektorraum der W\u00f6rter arithmetische Eigenschaften hat. Nehmen wir das folgende ber\u00fchmte Beispiel:<\/p>\n\n\n\n
        \ud835\udc3e\ud835\udc56\ud835\udc5b\ud835\udc54\u00a0\u2212\u00a0\ud835\udc40\ud835\udc4e\ud835\udc5b\u00a0+\u00a0\ud835\udc4a\ud835\udc5c\ud835\udc5a\ud835\udc4e\ud835\udc5b\u00a0=\u00a0<\/span>\ud835\udc44\ud835\udc62\ud835\udc52\ud835\udc52\ud835\udc5b<\/span><\/p>\n\n\n\n
        In diesem Beispiel ist <\/b>die arithmetische Eigenschaft das K\u00f6nigtum<\/b>. Wir m\u00f6chten \u00fcberpr\u00fcfen, ob sich diese Eigenschaft auf „woman“ ausbreiten wird. Das hei\u00dft, wir werden nach den W\u00f6rtern suchen, die dem folgenden Vektor am n\u00e4chsten liegen:<\/p>\n\n\n\n
        arithmetic_vector = word2vec[index_word1] – word2vec[index_word2] + word2vec [index_word3].<\/p>\n\n\n\n
        Hier ist das Wort „queen“ in unserem Datensatz nicht sehr stark vertreten, was eine schlechte Darstellung erkl\u00e4rt. Aus diesem Grund werden wir uns stattdessen mit der Zahleneigenschaft <\/b>:<\/p>\n\n\n\n
        Men<\/span><\/i>\u00a0\u2212\u00a0\ud835\udc40\ud835\udc4e\ud835\udc5b\u00a0+\u00a0\ud835\udc4a\ud835\udc5c\ud835\udc5a\ud835\udc4e\ud835\udc5b\u00a0=\u00a0Women<\/span><\/p>\n\n\n\n
        Unter Verwendung der oben definierten Operation und einer Metrik f\u00fcr die Kos\u00e4hnlichkeit sind die f\u00fcnf \u00e4hnlichsten W\u00f6rter :<\/b><\/p>\n\n\n\n
        women - 0.2889893054962158\nweiblich - 0.272260844707489\nstrangers - 0.24558939039707184\nteens - 0.2443128377199173\ndaughters - 0.24117740988731384<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Das Ergebnis f\u00fcr Zombies – Zombie + ????? :<\/p>\n\n\n\n
        women - 0.2547883093357086\nweiblich - 0.23258551955223083\nladies - 0.22764989733695984\nstripper - 0.22274985909461975\ndevelops - 0.2202150821685791<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Das Ergebnis f\u00fcr Men – Man + Soldier :<\/p>\n\n\n\n
        soldiers - 0.3547001779079437\ndaughters - 0.21896378695964813\nletters - 0.21452251076698303\nbackyard - 0.21437858045101166\nveterans - 0.21067838370800018<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Das Ergebnis f\u00fcr Zombies – Zombie + Monster :<\/p>\n\n\n\n
        werewolves - 0.2724993824958801\nmonsters - 0.25695472955703735\ncreature - 0.24453674256801605\nDrachen - 0.22363890707492828\nbloke - 0.21858260035514832<\/pre>\n\n\n\n
        <\/div>\n\n\n\n
        Hier scheinen die W\u00f6rter „monsters“ und „werewolves“ im Zusammenhang mit unserem Datensatz sehr \u00e4hnlich zu sein.<\/p>\n\n\n\n
        Mithilfe einer PCA k\u00f6nnen wir die Dimension der Zahleneigenschaft :<\/b><\/p>\n\n\n\n
        \"\"<\/figure>\n\n\n\n
        Mit der gleichen Argumentation wird das Geschlecht erfasst:<\/b><\/p>\n\n\n\n
        \"\"<\/figure>\n\n\n\n
        Mit der gleichen Argumentation zwischen Verben im Infinitiv und Verben, die auf -ed enden:<\/b><\/p>\n\n\n\n
        \"\"<\/figure>\n\n\n\n
        Das „word2vec embedding“ erfasst effektiv die semantischen und arithmetischen Eigenschaften eines Wortes<\/b>. Es reduziert <\/b>au\u00dferdem die Dimension des Problems und damit die Lernaufgabe<\/b>.<\/p>\n\n\n\n
        Wir k\u00f6nnen uns vorstellen, den word2vec-Algorithmus zu verwenden, um die Einbettungsmatrix des Klassifikationsmodells vorab zu trainieren.<\/b> Infolgedessen wird unser Klassifikationsmodell w\u00e4hrend der Lernphase der Gef\u00fchle eine viel bessere Darstellung der W\u00f6rter haben.<\/p>\n\n\n\n
        Hast du Lust, eine <\/b>ausf\u00fchrlichere Schulung <\/b>zu den verschiedenen Aspekten, die in diesem Artikel behandelt werden, zu beginnen?<\/b><\/p>\n\n\n\n
        \n
        Entdecke alle unsere Module!<\/a><\/div>\n<\/div>\n\n\n\n