{"id":206078,"date":"2025-06-23T06:30:00","date_gmt":"2025-06-23T05:30:00","guid":{"rendered":"https:\/\/liora.io\/de\/?p=206078"},"modified":"2026-08-07T16:40:58","modified_gmt":"2026-08-07T14:40:58","slug":"wie-funktioniert-das-gpt-modell","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/wie-funktioniert-das-gpt-modell","title":{"rendered":"Das GPT-Modell: Wie generative KI wirklich funktioniert"},"content":{"rendered":"\n

Was genau ist eigentlich ein GPT-Modell? Es handelt sich um die Technologie, die vielen modernen KI-Anwendungen zugrunde liegt , einschlie\u00dflich ChatGPT.<\/strong><\/p>\n\n\n\n

Auch interessant: ChatGPT und seine Konkurrenz<\/a><\/div><\/div>\n\n\n\n

Hier geht es nicht um ChatGPT direkt , aber genau von dort kommt der Name.<\/p>\n\n\n\n

Falls Du noch nie von GPT geh\u00f6rt hast, bist Du vermutlich trotzdem schon in Ber\u00fchrung damit gekommen: in Form von textgenerativer KI oder „LLM“ (Large Language Model). GPT ist ein Typ solcher Modelle , und die Grundlage f\u00fcr fast alle Systeme, \u00fcber die gerade gesprochen wird.<\/p>\n\n\n\n

GPT steht f\u00fcr „Generative Pre-trained Transformer<\/a>“ , ein Name, der ziemlich genau beschreibt, wie das Ganze funktioniert.\u00a0<\/p>\n\n\n\n

Klingt trocken? Keine Sorge, wir machen es anschaulich.<\/p>\n\n\n\n

Stell Dir GPT als einen Super-Experten f\u00fcr Wortvorhersagen vor. Sein Haupttalent besteht darin, zu erraten, welches Wort wohl am ehesten einen begonnenen Satz vervollst\u00e4ndigen w\u00fcrde. Indem er diese Vorhersage immer wieder macht, Wort f\u00fcr Wort, baut er ganze S\u00e4tze, Abs\u00e4tze und sogar ganze Artikel!<\/p>\n\n\n\n

GPT hat ein wenig bei der Erschaffung dieses Artikels geholfen, aber es gibt immer noch einen Menschen dahinter \u2026<\/i><\/p>\n\n\n\n

Lass uns gemeinsam die verschiedenen Arbeitsphasen der GPT-Modelle detailliert betrachten, um ihren Lernprozess \u00fcber die menschliche Sprache zu verstehen.<\/p>\n\n\n\n\n\n

Schritt 1: W\u00f6rter in Zahlen umwandeln<\/h2>\n\n\n\n

F\u00fcr uns Menschen haben W\u00f6rter Bedeutung , sie wecken Bilder, Gef\u00fchle oder Assoziationen. Ein Computer hingegen sieht in Begriffen wie \u201eKatze\u201c oder \u201eHaus\u201c lediglich eine Folge von Zeichen. Damit ein GPT-Modell Sprache verarbeiten kann, muss es W\u00f6rter in eine f\u00fcr Maschinen verst\u00e4ndliche Form \u00fcbersetzen: in Zahlen<\/strong>.<\/p>\n\n\n\n

Genau das leisten sogenannte\u00a0Embeddings<\/a>.\u00a0Sie geben jedem Wort (oder sogar jedem Wortteil) einen einzigartigen Zahlen-Code mit , einen sogenannten Vektor. Doch dieser Code ist mehr als nur eine Identifikationsnummer: Er speichert auch Informationen \u00fcber die Bedeutung und den Zusammenhang des Wortes mit anderen.<\/p>\n\n\n\n

Auch interessant: Personalisierte GPTs<\/a><\/div><\/div>\n\n\n\n

Stell Dir eine riesige Bibliothek vor. Jedes Buch darin (also jedes Wort) bekommt ein spezielles Etikett mit einem Barcode (der Embedding-Vektor). B\u00fccher, die thematisch verwandt sind, haben \u00e4hnliche Barcodes.\u00a0Zum Beispiel die Barcodes der Science-Fiction-B\u00fccher untereinander und auf der anderen Seite die der Kochb\u00fccher untereinander. Und, wenn es sich um Science-Fiction-B\u00fccher handelt, in denen au\u00dferdem Roboter mitspielen, w\u00e4ren ihre Barcodes noch \u00e4hnlicher!<\/i><\/p>\n\n\n\n

Je \u00e4hnlicher die Bedeutung zweier W\u00f6rter ist, desto \u201en\u00e4her\u201c ist ihre Liste von Zahlen (ihr Embedding-Vektor) in einem imagin\u00e4ren Raum.\u00a0Ein klassisches Beispiel: Die Embeddings von \u201eK\u00f6nig\u201c und \u201eK\u00f6nigin\u201c liegen nahe beieinander. Und der Unterschied zwischen \u201eK\u00f6nig\u201c und \u201eMann\u201c \u00e4hnelt dem zwischen \u201eK\u00f6nigin\u201c und \u201eFrau\u201c. Das zeigt, dass GPT nicht nur W\u00f6rter erkennt, sondern auch Beziehungen zwischen ihnen.<\/p>\n\n\n\n

Wenn GPT einen Text verarbeitet, ist der erste Schritt, jedes Wort in seinen zugeh\u00f6rigen Embedding-Vektor zu \u00fcbersetzen. Nur so kann das Modell \u00fcberhaupt mit Sprache umgehen , indem es Bedeutung in Zahlen verwandelt.<\/p>\n\n\n\n

\"Illustration<\/figure>\n\n\n\n

Schritt 2: Die Wortreihenfolge verstehen (Positionale Kodierung)<\/h2>\n\n\n\n

Wir haben nun f\u00fcr jedes Wort eine Zahlenliste. Doch Sprache besteht nicht nur aus den W\u00f6rtern selbst, sondern auch aus ihrer Reihenfolge. \u201eDie Katze schl\u00e4ft\u201c ist etwas anderes als \u201eSchl\u00e4ft die Katze\u201c. Du erkennst sofort den Unterschied , f\u00fcr das GPT-Modell ist das jedoch nicht selbstverst\u00e4ndlich. Denn das Modell verarbeitet die W\u00f6rter parallel , also gleichzeitig , um schneller zu arbeiten. Dabei geht die Reihenfolge der W\u00f6rter verloren.<\/p>\n\n\n\n

Um dieses Problem zu l\u00f6sen, bekommt jedes Wort eine zus\u00e4tzliche Information mit: einenPositionsmarker. Auch dieser besteht aus einer Zahlenliste , man nennt siepositionale Kodierung<\/strong>. Sie wird mithilfe mathematischer Formeln berechnet und dr\u00fcckt aus, an welcher Stelle im Satz das jeweilige Wort steht.<\/p>\n\n\n\n

Was ist ein ChatGPT Jailbreak?<\/a><\/div><\/div>\n\n\n\n

Wir gehen hier nicht ins Detail , nur so viel: Diese Technik funktioniert erstaunlich gut!<\/i><\/p>\n\n\n\n

Die positionalen Kodierungen werden einfach zu den urspr\u00fcnglichen Embedding-Vektoren addiert , also zu den \u201eBarcodes\u201c, die die Wortbedeutung enthalten. So entsteht f\u00fcr jedes Wort ein kombinierter Vektor, der sowohl dessen Bedeutung als auch seine Position im Satz widerspiegelt.<\/p>\n\n\n\n

Das Ergebnis ist eine Liste von Vektoren, die den ganzen Satz abbildet , mit vollst\u00e4ndiger Information \u00fcber was<\/em> gesagt wird und wo<\/em> es im Satz steht. Damit kann GPT den Satz korrekt interpretieren.<\/p>\n\n\n\n\n\n

Schritt 3: Der Transformer<\/h2>\n\n\n\n

Keine Sorge , dieser Transformer hat nichts mit Optimus Prime zu tun.<\/i><\/p>\n\n\n\n

Der kl\u00fcgste Teil von GPT ist seine\u00a0Transformator-Architektur<\/a>. Du kannst sie Dir wie das Gehirn des Modells vorstellen: Sie analysiert die Zahlenlisten aus den vorherigen Schritten, um den Kontext zu erfassen und das n\u00e4chste Wort vorherzusagen.<\/p>\n\n\n\n

GPT verwendet eine vereinfachte Version des urspr\u00fcnglichen Transformers , genauer gesagt nur den Decoder<\/strong>. Warum? Weil GPT Texte generiert<\/strong> , und genau daf\u00fcr ist der Decoder zust\u00e4ndig.<\/p>\n\n\n\n

Dieser Transformer-Decoder besteht aus mehreren identischen \u201eBl\u00f6cken\u201c, die \u00fcbereinandergestapelt sind. Je mehr Bl\u00f6cke, desto leistungsf\u00e4higer das Modell.<\/p>\n\n\n\n

Jeder dieser Bl\u00f6cke verarbeitet die Embedding-Vektoren der W\u00f6rter in mehreren Phasen:<\/p>\n\n\n\n

1. Aufmerksamkeit : die geniale Idee hinter dem Transformer<\/h3>\n\n\n\n

Wenn Du einen Satz liest, achtest Du nicht auf jedes Wort gleich stark. Um den Sinn zu erfassen, legst Du den Fokus gezielt auf bestimmte W\u00f6rter. Zum Beispiel: In \u201eDer Student bei Liora, der gut gelernt hatte, hat seine Pr\u00fcfung bestanden\u201c konzentrierst Du Dich auf \u201eStudent\u201c und \u201ePr\u00fcfung\u201c, um das Wort \u201ebestand\u201c richtig einzuordnen.<\/p>\n\n\n\n

\"Illustration<\/figure>\n\n\n\n

DerSelf-Attention-Mechanismus <\/strong>macht genau das: Das Modell schaut sich f\u00fcr jedes Wort alle vorherigen W\u00f6rter an und bewertet, welche besonders wichtig sind , um das aktuelle Wort zu verstehen und das n\u00e4chste sinnvoll vorherzusagen.<\/p>\n\n\n\n

Weiterbildung um KI zu beherrschen<\/a><\/div><\/div>\n\n\n\n

Meistens nutzt der Transformer mehrere Aufmerksamkeitsschichten<\/strong> gleichzeitig. Das ist, als w\u00fcrden mehrere Personen denselben Satz lesen, wobei jede sich auf etwas anderes konzentriert: eine auf Grammatik, eine auf Bedeutung, eine auf Satzstruktur. Am Ende flie\u00dfen alle Perspektiven zusammen.<\/p>\n\n\n\n

2. Die Reflexion : oder: Feed-Forward-Schicht<\/h3>\n\n\n\n

Nachdem das Modell durch Aufmerksamkeit erkannt hat, welche W\u00f6rter f\u00fcr den Kontext wichtig sind, verarbeitet es jedes Wort noch einmal einzeln weiter. Daf\u00fcr durchl\u00e4uft der Embedding-Vektor eines jeden Wortes mehrere Schichten mathematischer Funktionen. Diese bestehen aus Zahlenoperationen mit sogenannten Gewichten<\/strong> , das Ganze nennt man ein\u00a0neuronales Netz<\/a>.<\/p>\n\n\n\n

Diese Phase erm\u00f6glicht dem Modell, die durch Aufmerksamkeit gewonnenen Informationen noch tiefer zu analysieren und in abstraktere Bedeutungen zu \u00fcberf\u00fchren.<\/p>\n\n\n\n\n\n

Schritt 4: Viele Schichten : viel Verstehen<\/h2>\n\n\n\n

Die eigentliche St\u00e4rke von GPT liegt nicht darin,was es tut , sondernwie oft. Denn GPT besteht nicht nur aus einem Transformer-Block, sondern aus vielen: Dutzende, manchmal sogar Hunderte werden \u00fcbereinandergestapelt.<\/p>\n\n\n\n

Stell Dir das Modell wie eine mehrst\u00f6ckige Fabrik vor. Auf jeder Etage werden die Embedding-Vektoren durch Aufmerksamkeit und Feed-Forward<\/strong> weiterverarbeitet. Die Ergebnisse aus einer Schicht dienen dabei als Eingang f\u00fcr die n\u00e4chste , Etage f\u00fcr Etage wird die Information verfeinert.<\/p>\n\n\n\n

Die unteren Schichten erkennen einfache Zusammenh\u00e4nge zwischen W\u00f6rtern , zum Beispiel, dass \u201eKatze\u201c oft mit \u201eschnurren\u201c zusammen vorkommt.<\/p>\n\n\n\n

Die mittleren Schichten kombinieren diese Informationen zu komplexeren Strukturen: Sie verstehen etwa, wie sich ein Nebensatz in einen Hauptsatz einf\u00fcgt.<\/p>\n\n\n\n

Die oberen Schichten erkennen schlie\u00dflich den Gesamtsinn, den Tonfall, den Stil , oder ob ein Satz vielleicht ironisch gemeint ist.<\/p>\n\n\n\n

Je h\u00f6her wir hinaufsteigen, desto abstrakter wird das, was das Modell versteht , und desto schwerer f\u00e4llt es uns Menschen, diese \u201eGedankeng\u00e4nge\u201c nachzuvollziehen.<\/i><\/p>\n\n\n\n

\"Illustration<\/figure>\n\n\n\n
Zu unseren Weiterbildungen<\/a><\/div><\/div>\n\n\n\n

Schritt 5: Das Training<\/h2>\n\n\n\n

Stell Dir vor, wir geben dem Modell Milliarden von Texten: B\u00fccher, Artikel, Webseiten \u2026 Und in jedem Satz decken wir ein Wort ab und sagen: \u201eRate, welches fehlt!\u201c<\/p>\n\n\n\n

Das ist das Grundprinzip des Trainings<\/strong>.<\/p>\n\n\n\n

GPT versucht, das n\u00e4chste Wort auf Basis der bisherigen W\u00f6rter vorherzusagen. Am Anfang liegt es oft daneben , aber jedes Mal sagen wir: \u201eNein, das richtige Wort war dieses<\/em>.\u201c Dann passt das Modell seine internen Einstellungen (die sogenannten Gewichte<\/strong>) an.<\/p>\n\n\n\n

Diesen Lernprozess nennt man\u00a0Gradientenabstieg<\/a>: Bei jedem Fehler wird das Modell ein kleines St\u00fcck kl\u00fcger.<\/p>\n\n\n\n

Indem GPT dieses Vorhersagespiel Milliardenfach wiederholt, lernt es nicht nur, welche W\u00f6rter h\u00e4ufig zusammengeh\u00f6ren , es entwickelt ein Gesp\u00fcr f\u00fcr Grammatik, Satzbau, Sprachstile und sogar f\u00fcr komplexe Konzepte. So wird aus reinem Raten nach und nach beeindruckende Sprachkompetenz.<\/p>\n\n\n\n\n\n

Letzter Schritt: Die Textgenerierung<\/h2>\n\n\n\n

Sobald das GPT-Modell trainiert ist, kann es Texte generieren , und zwar basierend auf einer Eingabe, dem sogenannten Prompt<\/strong>.<\/p>\n\n\n\n

    \n
  1. Das Modell nimmt Deinen Prompt, wandelt die W\u00f6rter in Zahlen (Embeddings) um und schickt sie durch alle seine Transformer-Bl\u00f6cke.\u00a0<\/li>\n
  2. Es gibt eine Liste von Wahrscheinlichkeiten f\u00fcr jedes m\u00f6gliche n\u00e4chste Wort <\/strong>aus. Zum Beispiel: Nach \u201eEs war einmal\u2026\u201c k\u00f6nnte \u201eein\u201c mit 80\u202f% Wahrscheinlichkeit folgen, \u201eeine\u201c mit 10\u202f%, \u201eder\u201c mit 5\u202f% und so weiter.<\/li>\n
  3. GPT w\u00e4hlt nun ein Wort aus dieser Liste. Dabei nimmt es nicht immer das wahrscheinlichste , sonst w\u00fcrden die Texte schnell eint\u00f6nig wirken. Stattdessen w\u00e4hlt es zuf\u00e4llig aus den wahrscheinlichsten Kandidaten aus.<\/li>\n
  4. Das gew\u00e4hlte Wort wird an den Text angeh\u00e4ngt, z.\u202fB.: \u201eEs war einmal ein\u201c. Diese neue Sequenz wird erneut durch das Modell geschickt, um das n\u00e4chste Wort vorherzusagen.<\/li>\n<\/ol>\n\n\n\n
    Data Scientist Weiterbildung entdecken<\/a><\/div><\/div>\n\n\n\n

    Und so geht es weiter , Wort f\u00fcr Wort , bis ein spezielles Endsignal erzeugt wird oder die maximale Textl\u00e4nge erreicht ist.<\/p>\n\n\n\n

    \"Illustration<\/figure>\n\n\n\n

    Fazit: Kein Denken, aber beeindruckende Vorhersagekraft<\/h2>\n\n\n\n

    Die St\u00e4rke von GPT liegt in der Kombination mehrerer Schl\u00fcsselelemente:<\/p>\n\n\n\n

      \n
    • \n

      Der Transformer-Architektur<\/strong> mit ihrem Aufmerksamkeitsmechanismus<\/strong>, die es dem Modell erlaubt, auch in langen Texten den Kontext zu erfassen.<\/p>\n<\/li>\n

    • \n

      Der gestapelten Schichtenstruktur<\/strong>, die zunehmend komplexere Sprachmuster erlernt , von Wortbeziehungen bis hin zu Stil und Ton.<\/p>\n<\/li>\n

    • \n

      Dem umfangreichen Training<\/strong> auf riesigen Textmengen, das GPT ein breites Sprachverst\u00e4ndnis und viel Weltwissen verleiht.<\/p>\n<\/li>\n

    • \n

      Dem Wort-f\u00fcr-Wort-Vorhersageprinzip<\/strong>, das nat\u00fcrliche, fl\u00fcssige und \u00fcberraschend kreative Texte erm\u00f6glicht.<\/p>\n<\/li>\n<\/ul>\n\n\n\n

      GPT \u201edenkt\u201c nicht wie ein Mensch. Aber es ist extrem gut darin, komplexe statistische Muster in der Sprache zu erkennen<\/strong> , und so sehr \u00fcberzeugend vorherzusagen, was als N\u00e4chstes kommt.<\/p>\n\n\n\n

      Das Ergebnis? Texte, die f\u00fcr uns intelligent, relevant und manchmal sogar originell wirken.<\/p>\n\n\n\n

        <\/ul>\n\n\n\n

        Wenn Dich das Thema fasziniert: Liora<\/strong> bietet praxisnahe Weiterbildungen an, die ideal sind, um noch tiefer in die Funktionsweise von Modellen wie GPT einzusteigen.<\/p>\n\n\n\n","protected":false},"excerpt":{"rendered":"

        Was genau ist eigentlich ein GPT-Modell? Es handelt sich um die Technologie, die vielen modernen KI-Anwendungen zugrunde liegt , einschlie\u00dflich ChatGPT. Hier geht es nicht um ChatGPT direkt , aber genau von dort kommt der Name. Falls Du noch nie von GPT geh\u00f6rt hast, bist Du vermutlich trotzdem schon in Ber\u00fchrung damit gekommen: in Form […]<\/p>\n","protected":false},"author":74,"featured_media":206080,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-206078","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/206078","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/74"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=206078"}],"version-history":[{"count":5,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/206078\/revisions"}],"predecessor-version":[{"id":225355,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/206078\/revisions\/225355"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/206080"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=206078"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=206078"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}