{"id":165110,"date":"2023-02-02T20:40:19","date_gmt":"2023-02-02T19:40:19","guid":{"rendered":"https:\/\/liora.io\/de\/?p=165110"},"modified":"2026-02-23T09:57:54","modified_gmt":"2026-02-23T08:57:54","slug":"tf-idf","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/tf-idf","title":{"rendered":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF"},"content":{"rendered":"\n

Die zahlreichen Fortschritte in NLP<\/a> erm\u00f6glichen es bis heute, es auf zahlreiche Aufgaben anzuwenden: \u00dcbersetzung, Texterzeugung, Zusammenfassung … In diesem Artikel wollen wir uns mit einem einfachen Aspekt der Zusammenfassung befassen: der extraktiven Zusammenfassung. Dabei handelt es sich nicht um eine zusammenfassende Zusammenfassung, sondern vielmehr um eine Extraktion der interessantesten, bedeutungstragenden S\u00e4tze.<\/strong><\/p>\n\n\n\n

Dazu werden wir den Begriff TF-IDF einf\u00fchren, der im Mittelpunkt des Algorithmus zum Zusammenfassen steht, und dann Schritt f\u00fcr Schritt die Schritte untersuchen, die zum Zusammenfassen f\u00fchren.<\/p>\n\n\n\n

Was ist TF-IDF? Definition<\/h3>\n\n\n\n

Term Frequency – Inverse Document Frequency <\/i><\/b>ist ein Ma\u00df, mit dem man aus einer Reihe von Texten die relative Bedeutung der einzelnen W\u00f6rter ablesen kann.<\/b><\/p>\n\n\n\n

\n

Eine schlechte Idee w\u00e4re es zu glauben, dass ein Wort umso wichtiger in einem Satz ist, je h\u00e4ufiger es vorkommt.<\/em><\/p>\n<\/blockquote>\n\n\n\n

Dies w\u00fcrde jedoch dazu f\u00fchren, dass man sich sehr schnell mit Schl\u00fcsselw\u00f6rtern wie „der“, „du“, „a“… wiederfindet, die alles andere als n\u00fctzlich sind! TF-IDF erm\u00f6glicht es, dies zu korrigieren.<\/p>\n\n\n\n

Stelle dir vor, dass wir eine Reihe von Texten <\/b>haben (z. B. alle Werke von Goethe). Und wir wollen die wichtigsten W\u00f6rter aus seinen Werken extrahieren. <\/p>\n\n\n\n

TF dient dazu, die relative Bedeutung eines Wortes in einem Dokument zu messen. Sie ist definiert durch die Formel<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

wobei {i das Wort und j das Dokument L<\/i>j <\/i> die Gesamtzahl der W\u00f6rter im Text j Freqi,j die H\u00e4ufigkeit des Wortes i in Dok j<\/i><\/p>\n\n\n\n

i das Wort und j das Dokument Lj die Gesamtzahl der W\u00f6rter im Text j Freqi,j die H\u00e4ufigkeit des Wortes . <\/p>\n\n\n\n

IDF misst die Bedeutung eines Begriffs nicht anhand seiner H\u00e4ufigkeit in einem bestimmten Dokument, sondern anhand seiner Verteilung und Verwendung in der Gesamtheit der Dokumente.  Je mehr Potenzial ein Begriff hat, desto h\u00f6her ist die Inverse Document Frequency<\/b>.<\/p>\n\n\n\n

Im Idealfall kommt ein Begriff sehr h\u00e4ufig in nur wenigen Texten vor. W\u00f6rter, die in fast allen Dokumenten oder nur sehr selten vorkommen, sind von geringer Bedeutung. Die Punktzahl erh\u00e4lt man durch folgende Formel:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

wobei {N<\/i>D<\/i> die Gesamtzahl der Dokumente im Korpus f<\/i>i<\/i> die Anzahl der Dokumente, in denen das Wort i vorkommt  <\/i><\/p>\n\n\n\n

Wir nehmen den Logarithmus, da bei einem gro\u00dfen Korpus der Wert dieses Terms explodieren kann.<\/p>\n\n\n\n

Nachdem die beiden Terme berechnet wurden, berechnet man seinen Wert durch :<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

L\u00f6schen, l\u00f6schen<\/h3>\n\n\n\n

Der arbeits- und zeitaufw\u00e4ndigste Teil des NLP <\/b>ist das Preprocessing <\/b>– die Aufgabe, unser Dataset so zu bearbeiten, <\/b>dass es effizient ausgewertet werden kann. Wir m\u00fcssen daran denken, den Text so weit wie m\u00f6glich zu harmonisieren, um dem Algorithmus die Arbeit zu erleichtern. Die wichtigsten Schritte f\u00fcr unsere Fallstudie sind : <\/p>\n\n\n\n