Catastrophic Interference ist ein Phänomen, das dazu führt, dass die KI vergisst, was sie gelernt hat. Finde heraus, warum dies ein großes Problem beim maschinellen Lernen ist und wie man es beheben kann!
Mit dem Aufkommen von Tools wie ChatGPT ist künstliche Intelligenz nun allgegenwärtig. Diese Technologie wird in unserem persönlichen und beruflichen Leben immer mehr an Bedeutung gewinnen. Aber auch KI ist nicht unfehlbar. Genau wie ein Mensch kann sie Fehler machen und sogar Gedächtnislücken haben. Leider kann Vergesslichkeit für ein neuronales Netz eine echte Katastrophe sein. Im Bereich des Machine Learning wird dieses Phänomen als „katastrophale Interferenz“ oder „catastrophic interference“ bezeichnet. ? Auch interessant:| Dataiku KI Tool |
| Google MusicLM KI |
| KI braucht Schlaf |
| Kibana – Tool zur Datenvisualisierung mit Elasticsearch |
| Diese Data Engineering Skills machen dich erfolgreich |
| Chord AI |
Was ist ein neuronales Netz?
Neuronale Netze sind eine Form des Machine Learning, die sehr beliebt ist und massiv für Vorhersagen eingesetzt wird. Wie der Name schon sagt, orientiert sich diese Art von System an der Art und Weise, wie das menschliche Gehirn neue Informationen lernt. Auf die Art und Weise, wie Neuronen miteinander verbunden sind, werden mehrere mathematische Gleichungen miteinander verknüpft. Und so wie das Gehirn reagiert, wenn die Sinne etwas wahrnehmen, wird auch das künstliche neuronale Netz aktiviert, wenn es Daten erhält. Je nach Art der empfangenen Informationen werden bestimmte Pfade aktiviert und andere gehemmt. Am Ende des Prozesses, als Ergebnis, produziert ein Knoten eine neue Information, wie z. B. eine Vorhersage. Wenn du z. B. einen Hund siehst, identifiziert dein Gehirn ihn sofort. Auch ein neuronales Netz kann lernen, einen Hund zu erkennen. Um dies zu tun, muss es jedoch zunächst darauf trainiert werden, einen Hund von einer Katze zu unterscheiden. Dazu muss es mit Daten gefüttert werden. Während dieser Trainingsphase wird das neuronale Netz mit Datensätzen gefüttert. Um mit demselben Beispiel fortzufahren, könnte es sich dabei um eine Reihe von Bildern handeln, die mit einer Legende versehen sind, die angibt, ob sie einen Hund oder eine Katze zeigen. Später wird ein weiterer Datensatz verwendet, um das Netzwerk zu testen, um zu sehen, ob das Training erfolgreich war. Dies ist die Vorhersagephase. Wenn das neuronale Netz eine ausreichende Rate an korrekten Vorhersagen erreicht, ist es bereit für den Einsatz. Allerdings ist der Test nicht immer erfolgreich…
Was ist „Catastrophic Interference“?
Eine wichtige Eigenschaft unterscheidet das menschliche Gehirn von künstlichen neuronalen Netzen: die Plastizität. Dabei handelt es sich um die Fähigkeit des Menschen, ständig zu lernen. Nachdem wir gelernt haben, Hunde von Katzen zu unterscheiden, lernen wir auch, andere Tiere, Pflanzen, Bäume und die ganze Welt um uns herum zu erkennen. Die Neural Networks ihrerseits sind stärker eingeschränkt. Wenn sie eine neue Aufgabe lernen, neigen sie dazu, das zu vergessen, was sie zuvor verinnerlicht haben. In einem sehr berühmten Experiment von McCloskey und Cohen aus dem Jahr 1989 trainierten die Forscher beispielsweise ein neuronales Netz darauf, mathematische Probleme anhand von Beispielen zu lösen, die die Zahl 1 enthielten. Anschließend fütterten sie das Modell mit einer weiteren Reihe von Problemen, die diesmal die Zahl 2 enthielten. Von da an lernte das neuronale Netz, wie man Probleme mit einer 2 löst, vergaß aber, wie man Probleme mit einer 1 löst. Wie lässt sich dieses Phänomen erklären? Das neuronale Netz hat die Pfade zwischen den Knoten während der Trainingsphase dynamisch aus den Daten erstellt, die ihm zur Verfügung gestellt wurden. Wenn es nun mit neuen Informationen gefüttert wurde, wurden neue Pfade gebildet. Dies führt manchmal dazu, dass ein Algorithmus frühere Aufgaben, für die er trainiert wurde, „vergisst“. Das Ausmaß dieser Amnesie kann unterschiedlich sein. Es kann sich um eine einfache Erhöhung der Fehlermarge handeln, aber es kann auch bis zum völligen Vergessen einer zuvor gelernten Aufgabe gehen. Beachte, dass eine katastrophale Interferenz auch dann auftreten kann, wenn die Datensätze, die dem neuronalen Netz nacheinander zugeführt werden, nicht so unterschiedlich sind. Die verschiedenen Schichten zwischen der Eingabe und der Ausgabe eines neuronalen Netzes sind verborgen und funktionieren wie eine Blackbox. Daher ist es unmöglich zu wissen, welche Daten einen Pfad unterbrechen können, bevor dies geschieht.Wieso ist Catastrophic Interference ein Problem?
Die meisten heutigen neuronalen Netze werden mit überwachtem Lernen trainiert. Die Ingenieure wählen die Daten, mit denen sie das Netz füttern, manuell aus und bereinigen sie, um Verzerrungen und andere Probleme zu vermeiden, die von den Datenbeständen herrühren könnten. Bei dieser Art von neuronalem Netz ist eine katastrophale Interferenz kein wirkliches Problem. Mit zunehmender Entwicklung des maschinellen Lernens nähern sich die Agenten jedoch dem autonomen und kontinuierlichen Lernen. Solche neuronalen Netze sind in der Lage, anhand neuer Daten weiter zu lernen, ohne dass sie sogar von Menschen beaufsichtigt werden müssen. Diese Entwicklung bietet großartige Möglichkeiten, bringt aber auch neue Risiken mit sich. Es ist nicht mehr wirklich möglich zu wissen, welche Art von Daten das Netz zum Lernen verwendet. Und wenn es sich entscheidet, Daten zu verwenden, die weit von seinem ursprünglichen Training entfernt sind, kann dies zu einem katastrophalen Vergessen führen.
