{"id":164902,"date":"2026-01-28T16:45:43","date_gmt":"2026-01-28T15:45:43","guid":{"rendered":"https:\/\/liora.io\/de\/?p=164902"},"modified":"2026-02-19T15:44:33","modified_gmt":"2026-02-19T14:44:33","slug":"bert","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/bert","title":{"rendered":"BERT: Ein innovatives Tool zur Sprachverarbeitung"},"content":{"rendered":"\n<p><strong>Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht. Dieses Modell kann mehrere NLP-Probleme l\u00f6sen.<\/strong><\/p>\n\n\n\n<p><a href=\"https:\/\/liora.io\/de\/nlp-natural-language-processing-eine-einfuhrung\">Natural Language Processing<\/a> ist ein Teilbereich des Machine Learning, der Computerprogrammen die F\u00e4higkeit verleihen soll, menschliche Sprache zu verstehen und zu verarbeiten.<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><div class=\"wp-block-embed__wrapper\">\n<iframe title=\"Le NLP, qu&#039;est-ce que c&#039;est ? Data Insights#5\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube.com\/embed\/fX1jw0fEs7M?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe>\n<\/div><\/figure>\n\n\n\n<p>Seit seiner Ver\u00f6ffentlichung hat BERT die Aufmerksamkeit der Data-Science-Community auf sich gezogen, da es<strong> &#8222;State-of-the-Art&#8220; <\/strong>Ergebnisse liefert. BERT liefert derzeit die besten Ergebnisse f\u00fcr einen Gro\u00dfteil der NLP-Aufgaben.<strong> <a style=\"text-align: var(--text-align);background-color: #ffffff\" href=\"https:\/\/arxiv.org\/pdf\/1810.04805.pdf\">Google<\/a><\/strong> hat sogar behauptet, dass <b style=\"text-align: var(--text-align)\">das Modell <\/b>bei einigen Aufgaben <b style=\"text-align: var(--text-align)\">die menschliche Leistung \u00fcbertrifft, <\/b>was ein gro\u00dfer Schritt f\u00fcr jeden Machine-Learning-Algorithmus ist.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-die-welt-vor-bert\">Die Welt vor BERT:<\/h2>\n\n\n\n<p>Um zu verstehen, was BERT ist und was die innovative Idee hinter diesem Modell ist, werden wir uns auf eine typische NLP-Aufgabe st\u00fctzen. Nehmen wir den folgenden Satz:<\/p>\n\n\n\n<p><i>&#8222;Die Person geht in den Supermarkt und kauft eine ____ mit Schuhen. &#8222;<\/i><\/p>\n\n\n\n<p>Hier ist das Ziel klar. Der Satz soll Satz vervollst\u00e4ndigt werden. Die Antwort ist daher f\u00fcr einen Menschen offensichtlich, aber f\u00fcr einen Algorithmus jedoch weniger.<\/p>\n\n\n\n<p><b>Pre-BERT-Modelle <\/b>h\u00e4tten diese Textsequenz von links nach rechts oder in Kombination von links nach rechts und von rechts nach links betrachtet. Dieser <i>unidirektionale Ansatz <\/i>funktioniert gut, um S\u00e4tze zu erstellen. Wir k\u00f6nnen das n\u00e4chste Wort vorhersagen, es der Sequenz hinzuf\u00fcgen und dann das n\u00e4chste Wort vorhersagen, bis wir einen vollst\u00e4ndigen Satz erhalten. Hier w\u00fcrden pre-BERT-Modelle etwa 70% der Zeit das Wort (Paar) und den Rest der Zeit W\u00f6rter wie &#8222;Caddie&#8220; oder &#8222;Koffer&#8220; liefern.<\/p>\n\n\n\n<p>BERT geht aber nicht auf diese Weise vor. BERT steht f\u00fcr <b>Bidirectional Encoder Representations from Transformers. <\/b>Dieses Modell arbeitet bidirektional, was zu einem besseren Verst\u00e4ndnis des Textes f\u00fchrt.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-die-bert-methode\">Die BERT-Methode:<\/h2>\n\n\n\n<p>Nehmen wir dieselbe Aufgabe noch einmal und schauen wir uns an, was BERT macht. Anstatt das n\u00e4chste Wort in einem Satz vorherzusagen, verwendet BERT eine neue Technik namens <b>Masked LM <\/b>(MLM). Er <b>maskiert zuf\u00e4llig W\u00f6rter im <\/b>Satz und versucht dann, sie vorherzusagen. Unter \u201cMaskieren\u201d versteht man, dass das Modell in beiden Richtungen schaut und den kompletten Kontext des Satzes (links und rechts) verwendet, um das maskierte Wort vorherzusagen. Im Gegensatz zu fr\u00fcheren Sprachmodellen ber\u00fccksichtigt es das vorhergehende und das nachfolgende Wort gleichzeitig. Den bisherigen Modellen fehlte dieser <b>&#8222;simultane<\/b>&#8220; <b>Ansatz<\/b>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-wie-funktioniert-es-technisch\">Wie funktioniert es technisch?<\/h2>\n\n\n\n<p>BERT ist ein Modell des Typs <b><i>Transformer<\/i><\/b>. Um zu funktionieren, f\u00fchrt ein Transformer eine kleine und konstante Anzahl von Schritten aus. Bei jedem Schritt wendet es einen <b>Aufmerksamkeitsmechanismus <\/b>an, um die Beziehungen zwischen den W\u00f6rtern im Satz zu verstehen, unabh\u00e4ngig von ihren jeweiligen Positionen. Nehmen wir ein einfaches Beispiel:&nbsp;<\/p>\n\n\n\n<p><i>&#8222;Hast du eine neue Maus f\u00fcr deinen Computer? &#8222;<\/i><\/p>\n\n\n\n<p>Um die Bedeutung des Wortes &#8222;<i>Maus&#8220;<\/i>, das Objekt und nicht das Tier, zu bestimmen, wird der Transformator <b>auf das Wort &#8222;Computer&#8220; achten <\/b>und darauf basierend eine Entscheidung treffen.&nbsp;<\/p>\n\n\n\n<p>Um dies zu erm\u00f6glichen, basiert sich BERT daher auf der Architektur von Transformern, d. h. bestehend aus einem <i>Encoder, <\/i>der den Text liest, und einem <i>Decoder, <\/i>der eine Vorhersage macht. BERT beschr\u00e4nkt sich auf einen <em>Encoder<\/em>, da sein Ziel darin besteht, ein Modell zur Darstellung von Sprache zu erstellen, das dann f\u00fcr NLP-Aufgaben verwendet werden kann. (Es erm\u00f6glicht das Verstehen von Sprache).<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"h-wie-wird-es-verwendet\">Wie wird es verwendet?<\/h2>\n\n\n\n<p>Vor der Verwendung von BERT ist es entscheidend, die folgenden <b><i>Daten vorzubereiten:&nbsp;<\/i><\/b><\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><b>Tokenisierung von W\u00f6rtern <\/b>und Hinzuf\u00fcgen von Satzanfangs- und Satzende-Tokens<\/li>\n\n\n\n<li><b>Marker <\/b>an jedem Satz <b>hinzugef\u00fcgt, <\/b>um sie zu unterscheiden<\/li>\n<\/ul>\n\n\n\n<p>Ein <b>Positionsmarker <\/b>wird zu jedem Token (Wort) hinzugef\u00fcgt, um seine Position anzuzeigen.<\/p>\n\n\n\n<figure class=\"wp-block-image is-style-not-rounded\" style=\"margin-top:var(--wp--preset--spacing--columns);margin-bottom:var(--wp--preset--spacing--columns)\"><img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/tab-08.png\" alt=\"bert: representation of entries\" \/><\/figure>\n\n\n\n<p>Danach muss man sein BERT-Modell ausw\u00e4hlen.&nbsp; Es gibt verschiedene Typen in unterschiedlichen Gr\u00f6\u00dfen. Es liegt am Benutzer, <b>die Komplexit\u00e4t zu w\u00e4hlen, die f\u00fcr seine Aufgabe geeignet ist<\/b>. Schlie\u00dflich musst Du das Modell noch importieren und in Deine Architektur einbauen. Wenn Du diese Schritte erledigt hast, musst Du nur noch die Vorhersagen machen!<\/p>\n\n\n\n<p>BERT ist ein <b>sehr m\u00e4chtiges Sprachrepr\u00e4sentationsmodell<\/b>, das einen Meilenstein in der maschinellen Sprachverarbeitung darstellt. Es hat unsere F\u00e4higkeit, Transfer Learning in NLP zu betreiben, erheblich erweitert. Mit BERT kannst du zum Beispiel <b>Tweets nach der Stimmung, <\/b>die sie hervorrufen, <b>klassifizieren <\/b>oder <b>einen virtuellen Assistenten erstellen, <\/b>der Fragen intelligent beantworten kann.&nbsp;<\/p>\n\n\n\n<p>Um besser zu verstehen, wie BERT und Transformers funktionieren, oder um <a href=\"https:\/\/liora.io\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\">Deep Learning<\/a> und <a href=\"https:\/\/liora.io\/de\/nlp-natural-language-processing-eine-einfuhrung\">NLP<\/a> zu entdecken und zu Deinem Beruf zu machen, nimm an unseren <a href=\"https:\/\/liora.io\/de\/unsere-aus-und-weiterbildungen\">Liora Weiterbildungen <\/a>teil.<\/p>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center\">\n<div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\">Entdecke unsere Weiterbildungen<\/a><\/div>\n<\/div>\n\n\n\n<script type=\"application\/ld+json\">\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Die Welt vor BERT:\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Vor BERT arbeiteten Sprachmodelle unidirektional (von links nach rechts oder kombiniert). Bei einer Satzerg\u00e4nzungsaufgabe betrachteten sie nur den vorherigen Kontext. Dies f\u00fchrte zu Trefferquoten von etwa 70%. BERT hingegen arbeitet bidirektional und betrachtet den gesamten Satzkontext gleichzeitig, was zu einem deutlich besseren Textverst\u00e4ndnis f\u00fchrt.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Die BERT-Methode:\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"BERT verwendet eine Technik namens Masked LM (MLM): Es maskiert zuf\u00e4llig W\u00f6rter im Satz und sagt sie dann vorher. Dabei schaut es gleichzeitig in beide Richtungen (links und rechts vom maskierten Wort) und nutzt den vollst\u00e4ndigen Kontext. Dieser simultane Ansatz unterscheidet BERT grundlegend von fr\u00fcheren Sprachmodellen.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Wie funktioniert es technisch?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"BERT basiert auf der Transformer-Architektur und verwendet einen Encoder, der den Text liest. Bei jedem Schritt wendet es einen Aufmerksamkeitsmechanismus an, um die Beziehungen zwischen W\u00f6rtern unabh\u00e4ngig von ihrer Position zu verstehen. Dadurch kann es z.B. die Bedeutung von 'Maus' im Satz durch den Kontext 'Computer' korrekt interpretieren.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Wie wird es verwendet?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Die Verwendung von BERT umfasst mehrere Schritte: Zuerst werden Daten vorbereitet (Tokenisierung der W\u00f6rter, Hinzuf\u00fcgen von Satzanfangs-\/Ende-Tokens sowie Positionsmarkern). Dann w\u00e4hlt man das passende BERT-Modell aus verschiedenen Gr\u00f6\u00dfen. Nach dem Import des Modells in die eigene Architektur k\u00f6nnen Vorhersagen gemacht werden. BERT eignet sich f\u00fcr Aufgaben wie Stimmungsanalyse von Tweets oder intelligente Frage-Antwort-Systeme.\"\n      }\n    }\n  ]\n}\n<\/script>\n","protected":false},"excerpt":{"rendered":"<p>Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht. Dieses Modell kann mehrere NLP-Probleme l\u00f6sen.<\/p>\n","protected":false},"author":47,"featured_media":164903,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-164902","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/164902","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=164902"}],"version-history":[{"count":5,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/164902\/revisions"}],"predecessor-version":[{"id":218777,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/164902\/revisions\/218777"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/164903"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=164902"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=164902"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}