{"id":135148,"date":"2023-04-25T14:26:42","date_gmt":"2023-04-25T13:26:42","guid":{"rendered":"https:\/\/multi.liora.io\/?p=135148"},"modified":"2026-02-20T08:32:46","modified_gmt":"2026-02-20T07:32:46","slug":"nlp-natural-language-processing-eine-einfuhrung","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/nlp-natural-language-processing-eine-einfuhrung","title":{"rendered":"Was ist Natural Language Processing (NLP) ?"},"content":{"rendered":"\n<p><strong>Hast Du Dich jemals gefragt, wie pers\u00f6nliche KI-AssistentInnen wie Siri oder Cortana funktionieren? Wie konnte Deine Rechtschreibpr\u00fcfung Syntaxfehler erkennen, die Du selbst sonst nicht bemerkt h\u00e4ttest? Wie schafft es Deine Suchmaschine, die W\u00f6rter, die Du gerade schreiben wolltest, in den ersten Buchstaben zu erraten?<\/strong><\/p>\n\n\n\n<p>Obwohl diese Werkzeuge f\u00fcr v\u00f6llig unterschiedliche Zwecke eingesetzt werden, basieren sie <b>alle auf gemeinsamen Methoden<\/b>: Den Methoden des <b>Natural Language Processing (NLP)<\/b> oder <b>Linguistische Datenverarbeitung (LDV) <\/b>auf Deutsch.<\/p>\n\n\n\n<p>Ziel dieses Artikels ist es, einen \u00dcberblick \u00fcber <i>NLP<\/i> zu schaffen. Am Ende der Lekt\u00fcre wirst Du genau wissen :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Was ist <i>Natural Language Processing <\/i>?<\/li>\n\n\n\n<li>Was sind die Hauptanwendungsbereiche des <i>NLP<\/i>?<\/li>\n\n\n\n<li>Was sind die g\u00e4ngigsten <i>NLP<\/i>-Methoden?<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-nlp-natural-language-processing-definition\">NLP &#8211; Natural Language Processing<br>Definition<\/h2>\n\n\n\n<p>NLP steht f\u00fcr <b>Natural Language Processing <\/b>(<b>Linguistische Datenverarbeitung<\/b> auf Deutsch) und ist eine Disziplin, die sich mit dem <b>Verstehen<\/b>, der <b>Bearbeitung<\/b> und der <b>Erzeugung<\/b> <b>nat\u00fcrlicher Sprache durch Maschinen<\/b> besch\u00e4ftigt. <i>NLP<\/i> befindet sich also tats\u00e4chlich an der Schnittstelle zwischen Informatik und Linguistik. Es handelt sich um die F\u00e4higkeit der Maschine, direkt mit dem Menschen zu interagieren.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe title=\"What is NLP (Natural Language Processing)?\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/fLvJ8VdHLA0?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-welche-probleme-werden-mit-nlp-behandelt\">Welche Probleme werden mit NLP behandelt?<\/h2>\n\n\n\n<figure class=\"wp-block-image aligncenter\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2021\/12\/NLP.png\" alt=\"Anwendungsbereiche des Natural Language Processing\" \/><figcaption class=\"wp-element-caption\">Anwendungsbereiche des NLP<\/figcaption><\/figure>\n\n\n\n<p>NLP ist ein recht allgemeiner Begriff, der ein sehr breites Spektrum von Anwendungen abdeckt. Hier sind die beliebtesten Anwendungen:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-maschinenubersetzung\">Maschinen\u00fcbersetzung<\/h3>\n\n\n\n<p>Die Entwicklung der <b>Algorithmen f\u00fcr die Maschinen\u00fcbersetzung<\/b> hat die Art und Weise, wie Texte heute \u00fcbersetzt werden, wirklich revolutioniert. Anwendungen wie <b>Google Translator<\/b> sind in der Lage, <b>ganze Texte ohne menschliches Eingreifen zu \u00fcbersetzen<\/b>.<\/p>\n\n\n\n<p>Da nat\u00fcrliche Sprache von Natur aus mehrdeutig und variabel ist, beruhen diese Anwendungen nicht auf einer Wort-f\u00fcr-Wort-\u00dcbersetzung, sondern erfordern eine tats\u00e4chliche Textanalyse und -modellierung, die als statistische maschinelle \u00dcbersetzung (Statistical Machine Translation auf Englisch) bezeichnet wird.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-sentiment-analyse\">Sentiment-Analyse<\/h3>\n\n\n\n<p>Bei der <b>Stimmungsanalyse<\/b>, die auch als \u201e<b><i>Opinion Mining<\/i><\/b>\u201d bezeichnet wird, geht es darum, subjektive Informationen in einem Text zu identifizieren, um <b>die Meinung der Autorin bzw. des Autors zu extrahieren<\/b>. Wenn eine Marke beispielsweise ein neues Produkt auf den Markt bringt, kann sie die in den sozialen Netzwerken gesammelten Kommentare nutzen, um die von den KundInnen insgesamt geteilte positive oder negative Stimmung zu ermitteln.<\/p>\n\n\n\n<p>Im Allgemeinen kann die <b>Stimmungsanalyse<\/b> dazu gebraucht werden, den Grad der KundInnenzufriedenheit mit den von einem Unternehmen oder einer Organisation angebotenen Produkten oder Dienstleistungen zu messen. Sie kann sogar <b>effektiver sein als traditionelle Methoden<\/b> wie Umfragen.<\/p>\n\n\n\n<p>W\u00e4hrend die Menschen oft nicht bereit sind, lange Frageb\u00f6gen auszuf\u00fcllen, <b>teilen immer mehr VerbraucherInnen ihre Meinung in sozialen Netzwerken<\/b>. So kann die Suche nach negativen Texten und die Identifizierung der wichtigsten Beschwerden dazu beitragen, Produkte zu verbessern, die Werbung anzupassen und den Grad der Unzufriedenheit der KundInnen zu verringern.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-marketing\">Marketing<\/h3>\n\n\n\n<p><b>MarketingspezialistInnen<\/b> nutzen NLP auch, um <b>Personen<\/b> zu finden, die <b>wahrscheinlich einen Kauf t\u00e4tigen<\/b> werden. Grundlage daf\u00fcr ist das <b>NutzerInnenverhalten<\/b> auf Websites, in sozialen Netzwerken und bei Suchanfragen. <b>Diese Art der Analyse erm\u00f6glicht es Google, einen erheblichen Gewinn zu erzielen, indem es den richtigen Leuten die richtige Werbung anbietet<\/b>. <b>Jedes Mal, wenn BesucherInnen auf eine Anzeige klicken, zahlt der Inserent bis zu 50 Dollar!<\/b><\/p>\n\n\n\n<p>Ganz allgemein k\u00f6nnen <b>NLP-Methoden<\/b> eingesetzt werden, um ein umfassendes Bild des bestehenden Marktes, der KundInnen, der Probleme, der Konkurrenz und des Wachstumspotenzials neuer Produkte und Dienstleistungen eines Unternehmens zu erstellen. Zu den Quellen der Prim\u00e4rdaten f\u00fcr diese Analyse geh\u00f6ren Rechnungsb\u00fccher, Umfragen und soziale Medien\u2026<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-chatbots\">Chatbots<\/h3>\n\n\n\n<p><a href=\"https:\/\/liora.io\/de\/chatgpt-wie-funktioniert-dfer-nlp-algorithmus\">NLP-Methoden, wie sie von fortschrittlichen Technologien wie ChatGPT<\/a> und <a href=\"https:\/\/liora.io\/de\/open-ai-chatgpt-gpt-4-ist-da\">Open AI<\/a> angeboten werden, stehen heute im Mittelpunkt der Funktionsweise moderner Chatbots. Diese Systeme haben sich in den letzten Jahren kontinuierlich weiterentwickelt und k\u00f6nnen jetzt Standardaufgaben problemlos bew\u00e4ltigen, wie zum Beispiel Kundinnen \u00fcber Produkte oder Dienstleistungen informieren, Fragen beantworten und vieles mehr.<\/p>\n\n\n\n<p>Chatbots werden \u00fcber verschiedene Kan\u00e4le wie das Internet, Apps und Instant-Messaging-Dienste eingesetzt, um eine nahtlose und effiziente Interaktion mit den Nutzerinnen zu erm\u00f6glichen. Besonders die \u00d6ffnung von Facebook Messenger f\u00fcr Chatbots im Jahr 2016 hat zu einer rapiden Entwicklung dieser Technologie beigetragen und neue M\u00f6glichkeiten er\u00f6ffnet.<\/p>\n\n\n\n<p>Fragen wir doch mal ChatGPT zum Beruf des Data Scientists:<\/p>\n\n\n\n<figure class=\"wp-block-image aligncenter is-resized\"><img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/chatgpt-1.png\" alt=\"chatgpt\" style=\"width:auto;height:400px\" \/><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-was-ist-natural-language-processing-vs-ki\">Was ist Natural Language Processing vs. KI ?<\/h3>\n\n\n\n<p>Nat\u00fcrliche Sprachverarbeitung (NLP) ist ein Teilgebiet der <a href=\"https:\/\/liora.io\/de\/tf-idf\">K\u00fcnstlichen Intelligenz (KI)<\/a>, das sich mit der Interaktion zwischen Computern und menschlicher Sprache befasst. NLP-Methoden erm\u00f6glichen es Maschinen, menschliche Sprache zu verstehen, zu analysieren und darauf zu reagieren. In der heutigen Zeit spielen NLP-Methoden eine entscheidende Rolle in der Funktionsweise von Chatbots.<\/p>\n\n\n\n<p>Chatbots sind automatisierte Systeme, die menschen\u00e4hnliche Gespr\u00e4che f\u00fchren k\u00f6nnen. Sie nutzen <strong>NLP-Methoden<\/strong>, um Texteingaben von Nutzerinnen zu analysieren, zu verstehen und darauf zu antworten.<\/p>\n\n\n\n<p>Durch den Einsatz von fortschrittlichen Algorithmen und maschinellem Lernen sind moderne Chatbots in der Lage, in Echtzeit auf die Anfragen von Nutzerinnen zu reagieren und intelligente Antworten zu generieren.<\/p>\n\n\n\n<p>Die Einsatzm\u00f6glichkeiten von Chatbots sind vielf\u00e4ltig. Sie k\u00f6nnen in Kundenservice, Verkauf, Marketing und vielen anderen Bereichen eingesetzt werden, um Nutzer*innen zu unterst\u00fctzen und ihnen eine personalisierte Erfahrung zu bieten. Chatbots k\u00f6nnen beispielsweise Produktempfehlungen geben, Bestellungen entgegennehmen, Buchungen durchf\u00fchren, FAQ beantworten und vieles mehr.<\/p>\n\n\n\n<p>Ein wichtiger Fortschritt im Bereich der <strong>NLP-Methoden f\u00fcr Chatbots ist die F\u00e4higkeit zur Sentiment-Analyse,<\/strong> also zur Erkennung von Emotionen und Stimmungen in Texten. Moderne Chatbots k\u00f6nnen nicht nur den Inhalt einer Nachricht verstehen, sondern auch die Emotionen dahinter erkennen, um entsprechend darauf zu reagieren.<\/p>\n\n\n\n<p>Es ist jedoch wichtig zu beachten, dass Chatbots noch nicht perfekt sind und ihre F\u00e4higkeiten weiterhin verbessert werden k\u00f6nnen. Die Herausforderungen in der NLP-Forschung und Entwicklung von Chatbots liegen unter anderem in der Verbesserung der Sprachverst\u00e4ndnis-F\u00e4higkeiten, der Erkennung von Ironie, der Unterst\u00fctzung von mehreren Sprachen und der Ber\u00fccksichtigung von kulturellen Unterschieden.<\/p>\n\n\n\n<p>Trotzdem ist die Kombination von NLP-Methoden und Chatbots ein spannendes Feld mit gro\u00dfem Potenzial f\u00fcr die Zukunft. Mit der<strong> Weiterentwicklung von KI-Technologien<\/strong> wie ChatGPT und Open AI werden wir voraussichtlich noch fortschrittlichere und leistungsf\u00e4higere Chatbots sehen, die in der Lage sind, menschen\u00e4hnliche Gespr\u00e4che zu f\u00fchren und noch mehr Aufgaben effizient zu bew\u00e4ltigen.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"h-andere-anwendungsbereiche\">Andere Anwendungsbereiche<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li><b>Textklassifizierung<\/b>: Hier geht es darum, <b>einem gegebenen Text eine Reihe vordefinierter Kategorien zuzuordnen<\/b>. Textklassifikatoren k\u00f6nnen angewandt werden, um eine Reihe von Texten zu organisieren, zu strukturieren und zu kategorisieren.<\/li>\n\n\n\n<li><b>Zeichenerkennung<\/b>: Diese Funktion <b>extrahiert<\/b> <b>Schl\u00fcsselinformationen<\/b> aus Quittungen, Rechnungen, Schecks, juristischen Abrechnungsunterlagen usw. auf der Grundlage der Zeichenerkennung.<\/li>\n\n\n\n<li><b>Automatische Korrektur<\/b>: Die meisten Texteditoren verf\u00fcgen heute \u00fcber eine Rechtschreibpr\u00fcfung, die <b>den Text auf Rechtschreibfehler \u00fcberpr\u00fcft<\/b>.<\/li>\n\n\n\n<li><b>Automatische Zusammenfassung<\/b>: <b>NLP-Methoden<\/b> werden auch eingesetzt, um <b>kurze, pr\u00e4zise und fl\u00fcssige Zusammenfassungen<\/b> eines l\u00e4ngeren Textdokuments zu erstellen.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-was-sind-die-wichtigsten-methoden-im-nlp\">Was sind die wichtigsten Methoden im NLP?<\/h2>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p>Im Gro\u00dfen und Ganzen k\u00f6nnen wir zwei Aspekte unterscheiden, die f\u00fcr jedes NLP-Problem wesentlich sind:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Der <b>\u201elinguistische\u201d Teil<\/b>, der aus der Vorverarbeitung und Umwandlung der eingegebenen Informationen in einen verwertbaren Datensatz besteht.<\/li>\n\n\n\n<li>Der <b>Teil<\/b> des \u201e<b>maschinellen Lernens<\/b>&#8220; oder von &#8222;<a href=\"https:\/\/liora.io\/de\/weiterbildung-data-scientist\">Data Science<\/a>&#8222;, der die Anwendung von <b>Modellen von Machine Learning <\/b>oder <b>Deep Learning<\/b> auf diesen Datensatz beinhaltet.<\/li>\n<\/ul>\n<\/blockquote>\n\n\n\n<figure class=\"wp-block-image aligncenter\"><a href=\"https:\/\/www.peakindicators.com\/blog\/unlocking-insights-from-unstructured-data-with-text-mining%20\"><img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/07\/www.peakindicators.png\" alt=\"NLP\" \/><\/a><figcaption class=\"wp-element-caption\">Datenverarbeitung und Modellierung im NLP<\/figcaption><\/figure>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\/data-ki\">Entdecke unsere Data Science-Schulungen<\/a><\/div>\n<\/div>\n\n\n\n<p>Im Folgenden werden wir diese beiden Aspekte er\u00f6rtern, die <b>wichtigsten Methoden<\/b> kurz beschreiben und die gr\u00f6\u00dften Herausforderungen hervorheben. Nehmen wir ein klassisches Beispiel: die Spam-Erkennung.<\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"die-vorverarbeitungsphase-vom-text-zu-den-daten\">Die Vorverarbeitungsphase: vom Text zu den Daten<\/h3>\n\n\n\n<p>Nehmen wir an, Du m\u00f6chtest in der Lage sein, allein anhand des Inhalts einer E-Mail festzustellen, ob es sich um Spam handelt oder nicht. Dazu ist es notwendig,<b> die Prim\u00e4rdaten <\/b>(den Text der E-Mail) in <b>verwertbare Daten<\/b> <b>umzuwandeln<\/b>.<\/p>\n\n\n\n<p>Die wichtigsten Schritte sind:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Bereinigung<\/strong>: Je nach Datenquelle besteht diese Phase aus der Durchf\u00fchrung von Aufgaben wie L\u00f6schen von URLs, Emoji usw.<\/li>\n\n\n\n<li><strong>Normalisierung der Daten:<\/strong>\n<ul class=\"wp-block-list\">\n<li><strong>Tokenisierung<\/strong>, d. h. Aufteilung des Textes in mehrere Teile, die Tokens genannt werden.<\/li>\n\n\n\n<li><strong>Beispiel<\/strong>: \u201eSie finden das betreffende Dokument in der Anlage\u201d; \u201eSie\u201d, \u201efinden&#8220;, \u201ein der Anlage&#8220;, \u201edas Dokument&#8220;, \u201ebetreffend&#8220;.<\/li>\n\n\n\n<li><strong>Stemming<\/strong>: Ein und dasselbe Wort kann in verschiedenen Formen vorkommen, je nach Geschlecht (m\u00e4nnlich, weiblich, neutral), Zahl (Singular, Plural), Person (ich, du, sie, usw.), usw. Stemming bezieht sich im Allgemeinen auf den groben heuristischen Prozess des Abschneidens von Wortendungen, um nur den Wortstamm zu erhalten. <em>Beispiel: \u201efinden&#8220; -&gt; \u201efind-&#8222;.<\/em><\/li>\n\n\n\n<li><b>Lemmatisierung<\/b>: Diese besteht darin, dieselbe Aufgabe auszuf\u00fchren, aber mit einem Wortschatz und einer genauen Analyse des Wortaufbaus. Die <b>Lemmatisierung<\/b> erm\u00f6glicht es, nur die unflexiblen Endungen zu entfernen und so die <b>kanonische Form des Wortes<\/b>, das so genannte Lemma, zu isolieren. <i>Beispiel: \u201egefunden&#8220; -&gt; \u201efinden\u201d<\/i><\/li>\n\n\n\n<li><b>Andere Operationen<\/b>: L\u00f6schen von Zahlen, Interpunktionszeichen, Symbolen und <i>stopwords<\/i>, Umstellung auf Kleinschreibung.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<p>Um Machine Learning-Methoden auf nat\u00fcrlichsprachliche Probleme anwenden zu k\u00f6nnen, m\u00fcssen <b>Textdaten in numerische Daten umgewandelt <\/b>werden.<\/p>\n\n\n\n<p>Es gibt mehrere Ans\u00e4tze, von denen die wichtigsten die folgenden sind:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><b><i>Term-Frequency (TF)<\/i><\/b>: Diese Methode besteht darin, die Anzahl der Vorkommen von Tokens im Korpus f\u00fcr jeden Text zu z\u00e4hlen. Jeder Text wird dann durch einen <b>Vektor von Vorkommnissen<\/b> dargestellt. Dies wird im Allgemeinen als <b><i>Bag-Of-Word <\/i><\/b>bezeichnet.<\/li>\n<\/ul>\n\n\n\n<figure class=\"wp-block-image aligncenter size-large\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2017\/06\/word-embeddings-count-word2veec\/\"><img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/2020\/07\/Capture-d\u2019e\u0301cran-2020-07-19-a\u0300-11.17.46-e1764156512737.png\" alt=\"NLP\" \/><\/a><\/figure>\n\n\n\n<p>Dieser Ansatz hat jedoch einen gro\u00dfen Nachteil: Einige W\u00f6rter werden von Natur aus h\u00e4ufiger verwendet als andere, was das Modell <b>zu fehlerhaften Ergebnissen f\u00fchren kann<\/b>.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Term Frequency-Inverse Document Frequency (TF-IDF)<\/strong>: Diese Methode besteht darin, die <b>Anzahl der Vorkommen der <i>Token<\/i> im Korpus f\u00fcr jeden Text zu z\u00e4hlen<\/b>, die dann durch die Gesamtzahl der Vorkommen derselben <i>Token<\/i> im gesamten Korpus geteilt wird.<\/li>\n<\/ul>\n\n\n\n<p>F\u00fcr das X-Element, der im Y-Dokument&nbsp; vorkommt, k\u00f6nnen wir seine Wichtigkeit durch die folgende Beziehung definieren:<\/p>\n\n\n\n<figure class=\"wp-block-image aligncenter size-large is-resized\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><img decoding=\"async\" width=\"1024\" height=\"203\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-1024x203.png\" alt=\"\" class=\"wp-image-219123\" style=\"width:auto;height:100px\" srcset=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-1024x203.png 1024w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-300x60.png 300w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-768x153.png 768w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-440x87.png 440w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-785x156.png 785w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-210x42.png 210w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf-322x64.png 322w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/04\/tf-idf.png 1536w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Wo :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>t\u0192<sub>x,y<\/sub>\u00a0ist die H\u00e4ufigkeit des Begriffs x in y ;<\/li>\n\n\n\n<li>d\u0192<sub>x <\/sub>\u00a0ist die Anzahl der Dokumente, die x enthalten;<\/li>\n\n\n\n<li>N ist die Gesamtzahl der Dokumente.<\/li>\n<\/ul>\n\n\n\n<p>Dieser Ansatz liefert also f\u00fcr jeden Text eine Vektordarstellung, die Vektoren der Wichtigkeit und nicht mehr der Vorkommen enth\u00e4lt.<\/p>\n\n\n\n<p>Die Effizienz dieser Methoden ist je nach Anwendungsfall unterschiedlich. Sie weisen jedoch zwei wesentliche Einschr\u00e4nkungen auf:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Je umfangreicher das Vokabular des Korpus ist, desto <b>gr\u00f6\u00dfer sind die Vektoren<\/b>, was ein <b>Problem<\/b> f\u00fcr die im n\u00e4chsten Schritt verwendeten <b>Lernmodelle<\/b> darstellen kann.<\/li>\n\n\n\n<li>Das Z\u00e4hlen der Wortvorkommen erlaubt es uns nicht, die Anordnung der W\u00f6rter und damit <b>die Bedeutung der S\u00e4tze<\/b> zu <b>ber\u00fccksichtigen<\/b>.<\/li>\n<\/ul>\n\n\n\n<p>Es gibt einen weiteren Ansatz, der <b>diese Probleme beheben kann<\/b>: <i>Word Embedding<\/i>. Sie besteht darin, Vektoren fester Gr\u00f6\u00dfe zu konstruieren, <b>die den Kontext ber\u00fccksichtigen, in dem die W\u00f6rter gefunden werden<\/b>.<\/p>\n\n\n\n<p>Zwei W\u00f6rter, die in einem \u00e4hnlichen Kontext stehen, haben also engere Vektoren (in Bezug auf den Vektorabstand). Auf diese Weise lassen sich sowohl semantische als auch syntaktische oder thematische \u00c4hnlichkeiten von W\u00f6rtern erfassen.<\/p>\n\n\n\n<p>Eine genauere Beschreibung dieser Methode wird in einem sp\u00e4teren Abschnitt gegeben.<\/p>\n\n\n\n<p>&gt;&gt; Auch interessant: <a href=\"https:\/\/liora.io\/de\/nltk-python\">Nat\u00fcrliche Sprachverarbeitung in Python<\/a><\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"die-lernphase-von-den-daten-zum-modell\">Die Lernphase: Von den Daten zum Modell<\/h3>\n\n\n\n<p>Insgesamt lassen sich <b>3 wesentliche NLP-Ans\u00e4tze<\/b> unterscheiden: <b>regelbasierte Methoden<\/b>, klassische <a href=\"https:\/\/liora.io\/de\/machine-learning-definition-funktionsweise-anwendungen\">Machine Learning<\/a>-Modelle und <a href=\"https:\/\/liora.io\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\">Deep Learning<\/a>-Modelle.<\/p>\n\n\n<h4 class=\"wp-block-heading\" id=\"regelbasierte-methoden\"><u>Regelbasierte Methoden<\/u><\/h4>\n\n\n\n<p>Regelbasierte Methoden beruhen in hohem Ma\u00dfe auf der <b>Entwicklung dom\u00e4nenspezifischer Regeln <\/b>(z. B. regul\u00e4re Ausdr\u00fccke). Sie k\u00f6nnen zur L\u00f6sung einfacher Probleme wie der Extraktion strukturierter Daten aus unstrukturierten Daten (z. B. Webseiten) angewandt werden.<\/p>\n\n\n\n<p>Im Falle der <b>Spam-Erkennung<\/b> k\u00f6nnte dies bedeuten, dass E-Mails, die <b>Schlagworte<\/b> wie \u201ePromotion&#8220;, \u201ebegrenztes Angebot&#8220; usw. enthalten, als <b>Spam<\/b> eingestuft werden.<\/p>\n\n\n\n<p>Diese einfachen Methoden k\u00f6nnen jedoch schnell von der Komplexit\u00e4t der nat\u00fcrlichen Sprache \u00fcberfordert werden und sich als unwirksam erweisen.<\/p>\n\n\n<h4 class=\"wp-block-heading\" id=\"klassische-modelle-des-machine-learning\"><u>Klassische Modelle des Machine Learning<\/u><\/h4>\n\n\n\n<p>Klassische maschinelle Lernverfahren k\u00f6nnen zur L\u00f6sung schwierigerer Probleme eingesetzt werden. Im Gegensatz zu Methoden, die auf vordefinierten Regeln beruhen, basieren sie auf Methoden, bei denen es wirklich um Sprachverst\u00e4ndnis geht. Sie nutzen Daten, die beispielsweise mit einer der oben beschriebenen Methoden aus vorverarbeitetem Prim\u00e4rtext gewonnen wurden. Sie k\u00f6nnen auch Daten \u00fcber die Satzl\u00e4nge, das Vorkommen bestimmter W\u00f6rter usw. anwenden. Sie implementieren in der Regel ein <b>statistisches maschinelles Lernmodell<\/b> wie <b>Naive Bayes<\/b>, <b>Logit-Modell<\/b> usw.<\/p>\n\n\n<h4 class=\"wp-block-heading\" id=\"modelle-fuer-tiefes-lernen\"><u>Modelle f&uuml;r tiefes Lernen<\/u><\/h4>\n\n\n\n<p>Die Anwendung von Deep-Learning-Modellen f\u00fcr NLP-Probleme ist derzeit Gegenstand zahlreicher Forschungsarbeiten.<\/p>\n\n\n\n<p>Diese Modelle lassen sich noch besser verallgemeinern als klassische Lernans\u00e4tze, da sie <b>eine weniger ausgefeilte Textvorverarbeitungsphase<\/b> erfordern: Die <b>neuronalen Schichten<\/b> k\u00f6nnen als <b>automatische Merkmalsextraktoren<\/b> betrachtet werden.<\/p>\n\n\n\n<p>Dies erm\u00f6glicht die Erstellung von End-to-End-Modellen mit geringer Datenvorverarbeitung. Abgesehen vom <i>Feature-Engineering<\/i> sind die <b>Lernf\u00e4higkeiten von <\/b><b><i>Deep-Learning<\/i><\/b><b>-Algorithmen im Allgemeinen leistungsf\u00e4higer als die des klassischen <\/b><b><i>Machine Learning<\/i><\/b>, was erm\u00f6glicht, <b>bei verschiedenen komplexen, schwierigen NLP-Aufgaben<\/b> wie z. B. \u00dcbersetzungen <b>bessere Ergebnisse<\/b> zu erzielen.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<iframe title=\"K\u00dcNSTLICHE INTELLIGENZ vs. MACHINE LEARNING vs. DEEP LEARNING\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/Ip1a2JHdt3E?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\/data-ki\">Lerne, Modelle des Machine Learning anzuwenden<\/a><\/div>\n<\/div>\n\n\n<h2 class=\"wp-block-heading\" id=\"was-sind-die-perspektiven-und-herausforderungen-des-nlp\">Was sind die Perspektiven und Herausforderungen des NLP?<\/h2>\n\n\n\n<p>Die Regeln, die f\u00fcr die Umwandlung von nat\u00fcrlichem Text in Informationen gelten, sind f\u00fcr Computer nicht leicht zu verstehen. Man muss sowohl die W\u00f6rter verstehen als auch die Art und Weise, wie die Konzepte miteinander verbunden sind, um die gew\u00fcnschte Botschaft zu vermitteln.<\/p>\n\n\n\n<p>Zu den wichtigsten Herausforderungen geh\u00f6ren:<\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"zweideutigkeit\">Zweideutigkeit<\/h3>\n\n\n\n<p>In der nat\u00fcrlichen Sprache sind <b>W\u00f6rter eindeutig, k\u00f6nnen aber in verschiedenen Kontexten unterschiedliche Bedeutungen haben<\/b>, was zu lexikalischer, syntaktischer und semantischer Mehrdeutigkeit f\u00fchrt. Um dieses Problem zu l\u00f6sen, schl\u00e4gt das NPL mehrere Methoden vor, z. B. die <b>Bewertung des Kontexts<\/b>. Die semantische Bedeutung der W\u00f6rter in einem Satz zu verstehen, ist jedoch noch nicht ganz ausgereift.<\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"synonymie\">Synonymie<\/h3>\n\n\n\n<p>Ein weiteres Schl\u00fcsselph\u00e4nomen der nat\u00fcrlichen Sprache ist, dass wir <b>dieselbe Idee mit verschiedenen Begriffen ausdr\u00fccken<\/b> k\u00f6nnen, die auch vom jeweiligen Kontext abh\u00e4ngen.<\/p>\n\n\n\n<p>Beispielsweise k\u00f6nnen die Begriffe \u201egro\u00df&#8220; und \u201ebreit&#8220; bei der Beschreibung eines Gegenstands oder eines Geb\u00e4udes synonym sein, aber sie sind nicht in allen Zusammenh\u00e4ngen austauschbar: \u201egro\u00df&#8220; kann auch wichtig bedeuten.<\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"koreferenz\">Koreferenz<\/h3>\n\n\n\n<p>Bei Koreferenzaufgaben geht es darum, <b>alle Ausdr\u00fccke zu finden, die sich auf dieselbe Entit\u00e4t beziehen<\/b>. Dies ist ein wichtiger Schritt f\u00fcr <b>viele anspruchsvolle NLP-Aufgaben<\/b>, die ein <b>Verst\u00e4ndnis des gesamten Textes<\/b> erfordern, wie z. B. die Zusammenfassung von Dokumenten, die Beantwortung von Fragen und die Informationsextraktion. Dieses Problem wurde mit der Einf\u00fchrung<b> moderner <\/b><b><i>Deep-Learning<\/i><\/b><b>-Techniken <\/b>wiederbelebt.<\/p>\n\n\n<h3 class=\"wp-block-heading\" id=\"schreibstil\">Schreibstil<\/h3>\n\n\n\n<p>Je nach der Pers\u00f6nlichkeit, den Absichten und den Gef\u00fchlen der AutorInnen kann ein und derselbe Gedanke auf unterschiedliche Weise ausgedr\u00fcckt werden. Einige AutorInnen z\u00f6gern nicht, <b>Ironie<\/b> oder <b>Sarkasmus<\/b> zu verwenden und damit eine Bedeutung zu vermitteln, die <b>der w\u00f6rtlichen Bedeutung entgegengesetzt<\/b> ist. W\u00e4hrend Menschen eine Sprache leicht beherrschen k\u00f6nnen, sind es die Mehrdeutigkeit und die Ungenauigkeit nat\u00fcrlicher Sprachen, die es Maschinen schwer machen, NLP zu implementieren.<\/p>\n\n\n\n<p>Willst Du die Kunst des NLP beherrschen? Der Rest unserer Features folgt in K\u00fcrze! N\u00e4chste Folge: Wie kann ein Wort dank Word Embedding durch einen Vektor dargestellt werden?<\/p>\n\n\n\n<p><b>Referenzen:<\/b><\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li><a href=\"https:\/\/www.ekino.com\/articles\/introduction-to-nlp-part-i\">P. Olivier, Introduction to NLP (Part. I), Ekino<\/a>\u00a0<\/li>\n\n\n\n<li><a href=\"https:\/\/www.ekino.com\/articles\/introduction-to-nlp-part-ii\">P. Olivier, Introduction to NLP (Part. I), Ekino<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/towardsdatascience.com\/introduction-to-natural-language-processing-nlp-323cc007df3d\">I. ElDen, Introduction to Natural Language Processing (NLP), Towards Data Science, September 2017<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/towardsdatascience.com\/natural-language-processing-nlp-top-10-applications-to-know-b2c80bd428cb\">O. Kharkovyna, Natural Language Processing (NLP): Top 10 Applications to Know, Towards Data Science, December 2019<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/medium.com\/sciforce\/biggest-open-problems-in-natural-language-processing-7eb101ccfc9\">Sciforce, Biggest Open Problems in Natural Language Processing, February 2020<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/www.analyticsvidhya.com\/blog\/2017\/06\/word-embeddings-count-word2veec\/\">An Intuitive Understanding of Word Embeddings: From Count Vectors to Word2Vec, Analytics Vidhya, June 2017<\/a><\/li>\n\n\n\n<li><a href=\"http:\/\/www.datascience.manchester.ac.uk\/research\/methodologies\/natural-language-processing-nlp-text-mining\/\">S. Ananiadou, J. McNaught, The Natural Language Processing and Text Mining, University of Manchester<\/a><\/li>\n\n\n\n<li><a href=\"https:\/\/www.peakindicators.com\/blog\/unlocking-insights-from-unstructured-data-with-text-mining\">P. Clough and F. Borg, Unlocking Insights from Unstructured Data with Text Mining, December 2019<\/a><\/li>\n<\/ol>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\/data-ki\">Entdecke unsere Weiterbildungen<\/a><\/div>\n<\/div>\n\n\n\n<script type=\"application\/ld+json\">\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [\n    {\n      \"@type\": \"Question\",\n      \"name\": \"NLP \u2013 Natural Language Processing Definition\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"NLP (Natural Language Processing) ist eine Disziplin an der Schnittstelle von Informatik und Linguistik, die sich mit dem Verstehen, Bearbeiten und Erzeugen nat\u00fcrlicher Sprache durch Maschinen besch\u00e4ftigt. Es erm\u00f6glicht die direkte Interaktion zwischen Mensch und Maschine.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Welche Probleme werden mit NLP behandelt?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"NLP deckt ein breites Anwendungsspektrum ab: Maschinen\u00fcbersetzung (z.B. Google Translator), Sentiment-Analyse (Meinungsextraktion aus Texten), Marketing (zielgerichtete Werbung basierend auf Nutzerverhalten), Chatbots (automatisierte Gespr\u00e4chssysteme), Textklassifizierung, Zeichenerkennung, automatische Korrektur und automatische Zusammenfassung langer Dokumente.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Was ist Natural Language Processing vs. KI ?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"NLP ist ein Teilgebiet der K\u00fcnstlichen Intelligenz, das sich mit der Interaktion zwischen Computern und menschlicher Sprache befasst. Moderne Chatbots nutzen NLP-Methoden zur Textanalyse und -beantwortung, einschlie\u00dflich Sentiment-Analyse zur Erkennung von Emotionen. Trotz Fortschritten (z.B. ChatGPT) bleiben Herausforderungen wie Sprachverst\u00e4ndnis, Ironieerkennung und kulturelle Unterschiede. Die Weiterentwicklung von KI-Technologien verspricht zuk\u00fcnftig noch leistungsf\u00e4higere Chatbots.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Was sind die wichtigsten Methoden im NLP?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"NLP-Methoden gliedern sich in zwei Hauptphasen: 1. Vorverarbeitung (Bereinigung, Tokenisierung, Stemming\/Lemmatisierung, Entfernung von Stoppw\u00f6rtern) und Umwandlung von Text in numerische Daten (TF, TF-IDF, Word Embedding). 2. Lernphase mit drei Ans\u00e4tzen: regelbasierte Methoden (einfache dom\u00e4nenspezifische Regeln), klassische Machine Learning-Modelle (Naive Bayes, Logit-Modelle) und Deep Learning-Modelle (aktuelle Forschung mit besserer Generalisierung).\"\n      }\n    }\n  ]\n}\n<\/script>\n","protected":false},"excerpt":{"rendered":"<p>Hast Du Dich jemals gefragt, wie pers\u00f6nliche KI-AssistentInnen wie Siri oder Cortana funktionieren? Wie konnte Deine Rechtschreibpr\u00fcfung Syntaxfehler erkennen, die Du selbst sonst nicht bemerkt h\u00e4ttest? Wie schafft es Deine Suchmaschine, die W\u00f6rter, die Du gerade schreiben wolltest, in den ersten Buchstaben zu erraten? Obwohl diese Werkzeuge f\u00fcr v\u00f6llig unterschiedliche Zwecke eingesetzt werden, basieren sie [&hellip;]<\/p>\n","protected":false},"author":50,"featured_media":219119,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-135148","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/135148","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/50"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=135148"}],"version-history":[{"count":5,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/135148\/revisions"}],"predecessor-version":[{"id":219126,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/135148\/revisions\/219126"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/219119"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=135148"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=135148"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}