{"id":189475,"date":"2023-11-25T10:04:50","date_gmt":"2023-11-25T09:04:50","guid":{"rendered":"https:\/\/liora.io\/de\/?p=189475"},"modified":"2026-02-06T06:07:52","modified_gmt":"2026-02-06T05:07:52","slug":"neuronale-netze-automatische-suche-nach-neuronaler-architektur-unser-leitfaden","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/neuronale-netze-automatische-suche-nach-neuronaler-architektur-unser-leitfaden","title":{"rendered":"Neuronale Netze & Automatische Suche nach neuronaler Architektur: Unser Leitfaden"},"content":{"rendered":"

Neuronale Netze Architektur: Der Einsatz von Deep-Learning-Modellen wird f\u00fcr Unternehmen immer notwendiger. Ihre Implementierung stellt jedoch eine Herausforderung dar, wenn es darum geht, ein Modell zu erstellen, das sich gut an die Bed\u00fcrfnisse anpasst und gleichzeitig effizient und ressourcenschonend ist. Daraus ergibt sich die Notwendigkeit, KI mit einem tieferen Verst\u00e4ndnis und mehr Autonomie auszustatten.<\/strong><\/p>\t\t\n\t\t

In diesem Artikel erf\u00e4hrst du alles \u00fcber die aufkommende Revolution, neuronale Netze Architektur, die Entwickler von der m\u00fchsamen Arbeit des manuellen Designs und der Optimierung befreit. Der Artikel beleuchtet die Herausforderungen, die Funktionsweise und die potenziellen Anwendungen in verschiedenen Bereichen, die eine faszinierende Zukunft f\u00fcr selbstlernende KI<\/a> erwarten lassen.<\/p>\t\t\n\t\t\t

Woher kommt der LLM?<\/h3>\t\t\n\t\t

Die automatische Suche nach neuronaler Architektur (NAS, Neural Architecture Search)<\/strong> entstand aus dem Bed\u00fcrfnis heraus, die Erstellung und Parametrisierung von Machine-Learning-Modellen zu optimieren.<\/a> NAS versucht, die Frage zu beantworten, ob es m\u00f6glich ist, einen Algorithmus zu entwickeln, der neuronale Netze erstellt,<\/a> die besser sind als die von Hand erstellten und parametrisierten.<\/p>

Die ersten Artikel, die sich mit diesem Thema besch\u00e4ftigen, stammen aus dem Jahr 2016. Zun\u00e4chst Barret Zoph und Quoc V in ihrem Artikel Neural Architecture Search<\/strong> with Reinforcement Learning. Und kurz darauf Bozen Baken, Otkrist Gupta, Nikhil Naik und Ramesh Raskar in ihrem Artikel Designing Neural Network Architectures<\/strong> using Reinforcement Learning.<\/a><\/p>

Neuronale Netze sind oft schwierig zu erstellen, wenn die zu l\u00f6senden Probleme komplexer werden: Die Erstellung ist nicht nur zeitaufwendig, sondern auch anstrengend, erfordert Fachwissen und viele Anpassungen der Parameter.<\/p>

Um diese Ressourcen besser zu nutzen, automatisieren NAS die Erstellung von neuronalen Netzen.<\/strong><\/p>\t\t\n\t\t\t\n

Alles \u00fcber die NAS<\/a><\/div><\/div>\n\n\t\t\t

Die automatische Suche nach neuronaler Architektur verstehen<\/h3>\t\t\n\t\t

Die automatische Suche nach neuronalen Architekturen<\/a> ist von Anfang an ein Teilbereich von AutoML oder Automated Machine Learning<\/a>, einem Bereich, der die langwierigen und iterativen Aufgaben bei der Entwicklung von Machine-Learning-Modellen automatisiert. Die Optimierung von Hyperparametern ist ein Teilbereich der NAS.<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t
<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t

Nachdem wir die Rolle der SINs definiert<\/strong> haben, stellt sich nat\u00fcrlich eine Frage: Wo genau sind sie am Prozess der Modellentwicklung beteiligt?<\/p>

Nun, die automatische Suche nach der neuronalen Architektur<\/strong> findet im Zugteil des Arbeitsablaufs statt: Wie der Name schon sagt, wird nach der optimalen Architektur des neuronalen Netzes gesucht.<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t
<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t

KI, die KI schafft<\/h3>\t\t\n\t\t

Die automatische Suche nach neuronalen Architekturen<\/strong> hat vier Hauptachsen oder Bausteine, die sie bei der Erstellung eines neuronalen Netzes verwendet:<\/p>

  1. Der Suchraum:<\/strong> Er besteht aus der Menge der Architekturkandidaten, aus denen man ausw\u00e4hlen kann, sowie den Operatoren, aus denen sie bestehen.<\/li>
  2. Die Suchstrategie:<\/strong> Sie bestimmt die Art und Weise, wie die Suche durchgef\u00fchrt wird. Sie f\u00fchrt eine Stichprobe unter den vorgeschlagenen Architekturen durch, ohne das Modell zu konstruieren oder zu trainieren, sodass man eine Sch\u00e4tzung der theoretischen Leistung des Modells erhalten kann.<\/li>
  3. Der Suchalgorithmus:<\/strong> Er erh\u00e4lt die gesch\u00e4tzten Leistungen und optimiert die Parameter, um Kandidaten zu erhalten, die besser abschneiden.<\/li>
  4. Die Bewertung:<\/strong> Die Modelle werden von der NAS erstellt und sie werden bewertet und verglichen.<\/li><\/ol>

    Um die Interaktion zwischen diesen Achsen besser zu verstehen, kann man das folgende Diagramm betrachten.<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\n

    Mehr lernen zum Thema NAS<\/a><\/div><\/div>\n\n\t\t\t

    Die verschiedenen Arten von Ans\u00e4tzen<\/h3>\t\t\n\t\t\t

    Verst\u00e4rktes Lernen<\/h5>\t\t\n\t\t

    Die allerersten Ans\u00e4tze nutzten das Lernen durch Verst\u00e4rkung.<\/strong> Bei dieser Art von Ansatz wird der Suchraum als eine Umgebung betrachtet, in der man sich bewegen kann und in der man eine Belohnung vergibt, die nach der Methode zur Bewertung der Leistung der erstellten Architektur berechnet wird.<\/p>

    Diese Methode hat jedoch einige Nachteile:<\/p>

    Vor allem die Ressourcen, die ben\u00f6tigt werden, um eine ausreichend leistungsf\u00e4hige Architektur zu erhalten – Tausende von GPU-Stunden sind daf\u00fcr notwendig.<\/a><\/p>\t\t\n\t\t\t

    Gradientenabstieg<\/h4>\t\t\n\t\t

    Eine andere M\u00f6glichkeit, nach einer differenzierbaren neuronalen Architektur<\/strong> zu suchen, besteht darin, eine Reihe von Parametern durch stochastischen Gradientenabstieg zu optimieren.<\/a> In diesem Fall stellen die Parameter, auch Gewichte genannt (kontinuierliche Variablen, die mit ? denotiert werden), die Operationen dar, die von der Kandidatenarchitektur ausgef\u00fchrt werden.<\/strong><\/p>

    Sobald die Suche abgeschlossen ist, wird das endg\u00fcltige Modell erstellt, indem die Operationen, aus denen die Architektur unter Ber\u00fccksichtigung der Gewichte ? besteht, abgetastet werden.<\/p>

    Die Methoden des Samplings k\u00f6nnen variieren, wie z. B. ? mithilfe einer Softmax-Funktion in eine Wahrscheinlichkeitsverteilung umzuwandeln.<\/a><\/p>

    Zus\u00e4tzlich k\u00f6nnen Rechen- und Zeitressourcen durch die Implementierung von Mechanismen zum Teilen von Parametern weiter eingespart werden, so dass der Suchraum in mehrere Zellen aufgeteilt wird, die elementare Komponenten darstellen und aus denen eine vollst\u00e4ndige neuronale Architektur aufgebaut werden kann.<\/strong><\/p>

    Der Vorteil dieses Mechanismus liegt darin, dass es nicht mehr notwendig ist, die gesamte Architektur zu suchen, sondern nur noch einige Teile.<\/p>

    Infolgedessen nehmen die differenzierbaren Methoden nur einige Dutzend GPU-Stunden in Anspruch.<\/p>\t\t\n\t\t\t

    Genetische Algorithmen<\/h4>\t\t\n\t\t

    In diesem Fall wird das darwinistische Prinzip der genetischen Algorithmen angewandt. Hier werden Architekturkandidaten als die Menge von Individuen betrachtet, die sich untereinander fortpflanzen k\u00f6nnen, indem sie ihre Operationen (Gene) so mischen, dass neue Architekturen entstehen.<\/strong> Auf diese Weise wird eine Startpopulation schrittweise verfeinert, indem nur die besten Individuen, die nach einer bestimmten Bewertungsmethode ausgew\u00e4hlt wurden, sich fortpflanzen d\u00fcrfen.<\/p>

    \u00c4hnlich wie bei den Ans\u00e4tzen zum Lernen durch Verst\u00e4rkung sind diese Methoden teuer in den GPU-Stunden.<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t

    \n\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t
    <\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t

    Die Anwendungen<\/h3>\t\t\n\t\t

    NAS<\/strong> ist ein wachsender Bereich, der sich mit hoher Geschwindigkeit weiterentwickelt und immer wieder handgefertigte Architekturen \u00fcberholt. Es ist auch ein Bereich mit enorm vielen Anwendungen, um nur einige zu nennen:<\/p>