{"id":163601,"date":"2022-09-13T17:56:12","date_gmt":"2022-09-13T16:56:12","guid":{"rendered":"https:\/\/liora.io\/de\/?p=163601"},"modified":"2026-02-23T08:46:55","modified_gmt":"2026-02-23T07:46:55","slug":"word-embedding","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/word-embedding","title":{"rendered":"Das Word Embedding"},"content":{"rendered":"\n

In einem fr\u00fcheren Artikel<\/a> haben wir den Begriff Natural Language Processing (NLP) definiert. In diesem Artikel besch\u00e4ftigen wir uns mit einer der wichtigsten NLP-Methoden, das Verfahren des Word Embedding (dt. Worteinbettung). Word Embedding bezeichnet eine Reihe von Lernmethoden, die darauf abzielen, W\u00f6rter in einem Text durch Vektoren reeller Zahlen zu repr\u00e4sentieren. In diesem Artikel entdeckst Du drei Hauptmethoden, um ein Wort als Vektor darzustellen:<\/strong><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

One hot encoding<\/h2>\n\n\n\n

One hot encoding ist die klassische vektorielle Darstellung. Dabei wird jedem Wort des Wortschatzes eine Dimension zugewiesen. Jedes Wort des Wortschatzes wird als bin\u00e4rer Vektor dargestellt, wobei alle seine Werte mit Ausnahme des Wortindex 0 sind.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Nehmen wir diesen Satz als praktisches Beispiel:<\/p>\n\n\n\n

\"I think, therefore I am\".<\/pre>\n\n\n\n
<\/div>\n\n\n\n
Das Prinzip des One-Hot-Encodding besteht darin, jedem Wort des Wortschatzes<\/b> einen Index zuzuweisen. Der Wortschatz sieht dann wie ein W\u00f6rterbuch aus:<\/p>\n\n\n\n
{'am': 0, 'i': 1, 'therefore': 2, 'think': 3}.<\/pre>\n\n\n\n
<\/div>\n\n\n\n
In diesem Fall besteht der Wortschatz aus den vier einzigartigen W\u00f6rtern unseres Korpus<\/b>. Die Methode besteht darin, das Wort des Wortschatzes als Vektor der Dimension 4 (Wortschatzgr\u00f6\u00dfe) darzustellen. Die Werte des Vektors sind alle 0 au\u00dfer dem Wortindex.<\/p>\n\n\n\n
Onehot('i')=0 1 0 0<\/pre>\n\n\n\n
<\/div>\n\n\n\n
Bei dieser Darstellung haben alle W\u00f6rter den gleichen Abstand und die gleiche \u00c4hnlichkeit.<\/b> Das Verfahren des One-Hot-Encoding<\/b> liefert also nur die Information, dass sich ein Wort von einem anderen unterscheidet<\/b>.<\/p>\n\n\n\n
Image Embedding<\/h2>\n\n\n\n
Die Gr\u00f6\u00dfe eines Bildes wird durch seine Pixelzahl definiert. Konvolutionen<\/b> werden benutzt, um Merkmale zu extrahieren, die relevanter sind als der Wert der Pixel.<\/b> Beispielsweise k\u00f6nnten die Kerne, die zur Erkennung von Kanten dienen, n\u00fctzlich sein, um bestimmte geometrische Formen zu klassifizieren.<\/p>\n\n\n\n
\"\"<\/a>
Convolution Neuronal Network<\/figcaption><\/figure>\n\n\n\n
Mit Image embedding werden Convolutions\/Pooling angewendet, um das Bild zu kodieren und Linearit\u00e4tsbeziehungen zwischen Eigenschaften (Kunststil, spezifische Form …) und neuen Merkmalen unseres Bildes zu extrahieren.<\/b><\/p>\n\n\n\n
\"\"<\/a>
Hauptkomponentenanalyse bei Image Embedding<\/figcaption><\/figure>\n\n\n\n
Word Embedding<\/h2>\n\n\n\n
Genauso kann man mit Word Embedding durch Verringerung der Dimension den Kontext, die semantische und syntaktische \u00c4hnlichkeit (Genus, Synonyme, …) eines Wortes erfassen<\/b>. Beispielsweise w\u00fcrde man erwarten, dass die W\u00f6rter \u201eHund\u201c und \u201eKatze\u201c durch Vektoren dargestellt werden, die in dem Vektorraum, in dem diese Vektoren definiert sind, relativ wenig voneinander entfernt sind.<\/p>\n\n\n\n
Wie bei Bildern m\u00f6chten wir, dass das Modell die relevantesten Merkmale ausw\u00e4hlt, die das Wort repr\u00e4sentieren<\/b>. Zum Beispiel k\u00f6nnte das Merkmal „Lebewesen“ interessant sein, um „Hund“ von „Computer“ zu unterscheiden und „Hund“ und „Katze“ einander anzun\u00e4hern.<\/p>\n\n\n\n
\n