Was gab es vor den Transformern?<\/h2>\n\n\n\n
Vor 2017 waren die dominierenden Modelle f\u00fcr die Verarbeitung von Sequenzen (Text, Sprache) die rekurrenten neuronalen Netze (RNN)<\/a> und ihre Ableitungen wie die LSTM (Long Short-Term Memory). Diese Architekturen verarbeiteten Daten sequentiell und hielten einen \u201eGed\u00e4chtniszustand\u201c aufrecht, der bei jedem Schritt aktualisiert wurde. Sie litten jedoch unter zwei Hauptproblemen:<\/p>\n\n\n\n Um diese M\u00e4ngel zu \u00fcberwinden, f\u00fchrten Forscher Aufmerksamkeitsschichten<\/strong> ein, die es den Modellen erm\u00f6glichten, sich auf relevante Teile des Inputs zu konzentrieren. Bei einer englisch-franz\u00f6sischen \u00dcbersetzungsaufgabe konnte das Modell beispielsweise direkt auf die Schl\u00fcsselw\u00f6rter im Quelltext zugreifen, um eine pr\u00e4zise Ausgabe zu erzeugen. Dennoch blieben diese Mechanismen mit RNNs gekoppelt… bis zur Transformers-Revolution<\/strong>.<\/p>\n\n\n\n Beschrieben im bahnbrechenden Artikel \u201eAttention Is All You Need\u201c<\/i><\/a> (Vaswani et al., 2017), verzichtet diese Architektur auf RNNs zugunsten von purer Aufmerksamkeit, kombiniert mit innovativen Techniken.<\/p>\n\n\n\n Sie besitzt diese Schl\u00fcsselkomponenten:<\/b><\/p>\n\n\n\n Im Gegensatz zu RNNs behandeln Transformer Tokens nicht in Reihenfolge<\/b>. Um die sequentielle Information zu bewahren, erh\u00e4lt jedes Wort einen Positionsvektor (sinusoidal oder lernend), der seinen Platz im Satz angibt.<br>.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=“.svg“]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/p>\n\n\n\n Das Herzst\u00fcck des Transformers ist in den Selbstaufmerksamkeitsschichten, wo jedes Token mit allen anderen \u00fcber drei gelernte Matrizen interagiert:<\/p>\n\n\n\n Die Aufmerksamkeitsgewichte werden durch Skalarprodukt zwischen Anfragen und Schl\u00fcsseln berechnet und anschlie\u00dfend durch eine Softmax<\/i>-Funktion normalisiert.<\/p>\n\n\n\n Dieser Mechanismus erm\u00f6glicht es jedem Token, auf den gesamten Kontext des Satzes zur\u00fcckzugreifen, unabh\u00e4ngig von seiner Position, was eine bessere Verst\u00e4ndnis der sprachlichen Beziehungen f\u00f6rdert.<\/p>\n\n\n\n Um verschiedene Arten von Beziehungen (syntaktische, semantische) einzufangen, verwendet jede Schicht mehrere Aufmerksamkeitsk\u00f6pfe parallel. Jeder Aufmerksamkeitskopf lernt eine andere Darstellung, sodass das Modell gleichzeitig mehrere Bedeutungsebenen extrahieren kann, wie grammatikalische Abh\u00e4ngigkeiten und Bedeutungsbeziehungen.<\/p>\n\n\n\n Die Ergebnisse werden verkettet und durch ein Feed-Forward-Neuronales Netz transformiert.<\/p>\n\n\n\n Zuallererst ChatGPT und die LLMs<\/b>. Die generativen Transformer (Generative Pretrained Transformer – GPT<\/a>, PaLM) erzeugen koh\u00e4renten Text, indem sie das n\u00e4chste Token vorhersagen. ChatGPT, das durch Verst\u00e4rkungstraining trainiert wurde, brilliert im Dialog und bei der Inhaltserstellung.<\/p>\n\n\n\n Dann die Kontextuelle Verst\u00e4ndnis mit BERT<\/b>. Im Gegensatz zu GPT verwendet BERT einen bidirektionalen Encoder, um den globalen Kontext zu erfassen. 2019 verbesserte es 70 % der Google-Suchanfragen.<\/p>\n\n\n\n Dar\u00fcber hinaus gibt es die Vision Transformer (ViT)<\/b>: Indem sie ein Bild in 16×16-Patches zerlegen, konkurriert ViT mit CNNs bei der Klassifizierung, Objekterkennung usw., dank seiner F\u00e4higkeit, Langstreckenbeziehungen zu modellieren.<\/p>\n\n\n\n Die folgende Abbildung skizziert die Architektur der Transformer sowie die von GPT und BERT im Vergleich, die einen Teil der Transformer-Architektur nutzen:<\/p>\n\n\n\n Durch Parallelisierung<\/b> der Schritte werden sie effizienter<\/b>: Vermeidung der sequentiellen Verarbeitung erm\u00f6glicht es den Transformern, GPUs<\/a>\/TPUs voll auszusch\u00f6pfen, wodurch die Trainingszeiten im Vergleich zu RNNs um 50 bis 80 % reduziert werden.<\/p>\n\n\n\n Ihre Architektur erm\u00f6glicht ein massives Vortraining auf unmarkierten Korpora<\/b> wie Wikipedia oder Buchinhalten. Modelle wie BERT oder GPT-3 erreichen beispiellose Leistungen mit Hunderten von Milliarden Parametern.<\/p>\n\n\n\n Urspr\u00fcnglich f\u00fcr NLP entwickelt, sind die Transformer heute vielseitig<\/b> und erstrecken sich nun auf:<\/p>\n\n\n\n Zuallererst ist der rechnerische und Umweltkosten<\/b>: Das Training von Modellen wie GPT-3 verbraucht mehrere Megawattstunden und wirft ethische und \u00f6kologische Fragen auf.<\/p>\n\n\n\n Dazu reproduzieren die Transformer Verzerrungen<\/b>, die in ihren Trainingsdaten vorhanden sind. Dies stellt ein erhebliches Risiko dar, wenn sie f\u00fcr kritische Entscheidungen verwendet werden, wie z.B. die Rekrutierung durch CV-Screening oder gar die medizinische Entscheidungsunterst\u00fctzung, da implizite Verzerrungen beibehalten und sogar verst\u00e4rkt werden k\u00f6nnen. Dar\u00fcber hinaus k\u00f6nnen sie falsche, aber plausible Aussagen generieren, wie z.B. die Erfindung nicht existierender akademischer Referenzen oder die Behauptung, dass ein fiktives Ereignis tats\u00e4chlich stattgefunden hat. Diese Aussagen sind Halluzinationen<\/b>.<\/p>\n\n\n\n Eine weitere unvermeidliche Einschr\u00e4nkung ist die Komplexit\u00e4t der Interpretation<\/b>. Tats\u00e4chlich bleiben die Aufmerksamkeitsmechanismen, obwohl m\u00e4chtig, \u201eBlack Boxes\u201c, was die Identifizierung von systemischen Fehlern erschwert.<\/p>\n\n\n\n Die schnelle Entwicklung der Transformer hat viele Bereiche grundlegend ver\u00e4ndert, wodurch eine Forschung zur Optimierung und Reduzierung ihres Energieverbrauchs unerl\u00e4sslich geworden ist. Heute bieten sich vielversprechende Perspektiven f\u00fcr die Nutzung der Transformer an:<\/p>\n\n\n\n Die Transformer haben die Grenzen der KI neu definiert<\/b>, indem sie Effizienz, Vielseitigkeit und Leistung kombinieren. Trotz technischer und ethischer Herausforderungen bleiben sie das R\u00fcckgrat der aktuellen Fortschritte, von virtuellen Assistenten bis hin zur medizinischen Forschung, insbesondere durch Diagnoseunterst\u00fctzungswerkzeuge. Ihre Entwicklung hin zu verantwortungsvolleren und energieeffizienteren Systemen wird wahrscheinlich das n\u00e4chste Jahrzehnt der k\u00fcnstlichen Intelligenz<\/a> pr\u00e4gen.<\/p>\n\n\n\n\n
Wie wurden die Transformer entwickelt?<\/h2>\n\n\n\n
1. Positionsembeddings<\/h3>\n\n\n\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2025\/05\/transformers-model-datascientest-1.webp\"){kind=spacer}
<\/figure>\n\n\n\n2. Selbstaufmerksamkeit<\/h3>\n\n\n\n
\n
3. Mehrkopf-Aufmerksamkeit<\/h3>\n\n\n\n
4. Encoder-Decoder<\/h3>\n\n\n\n
\n
Wie werden die Transformer-Modelle genutzt?<\/span><\/h2>\n\n\n\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2025\/05\/transformers-model.webp\"){kind=spacer}
<\/figure>\n\n\n\nWas sind die Vorteile der Transformer-Modelle?<\/h2>\n\n\n\n
\n
Was sind die Grenzen der Transformer-Modelle?<\/h2>\n\n\n\n
Zuk\u00fcnftige Perspektiven der Transformer-Modelle<\/h2>\n\n\n\n
\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2025\/05\/transformers-model-datascientest-2.webp\"){kind=spacer}
<\/figure>\n\n\n\nFazit<\/h2>\n\n\n\n