Inhaltsverzeichnis:<\/b><\/p>\n Andrew Ng, leitender Wissenschaftler bei Baidu <\/i>und Professor in Stanford, <\/i>hat in seinem beliebten NIPS-Tutorial 2016 <\/i>erkl\u00e4rt, dass Transfer Learning der n\u00e4chste Motor f\u00fcr den kommerziellen Erfolg von Machine Learning sein wird. Und er ist nicht der Einzige, der das Potenzial von Transfer Learning <\/i><\/b>lobt … <\/b>In diesem Artikel erz\u00e4hlen wir dir alles \u00fcber diesen Begriff, der immer mehr in aller Munde ist. <\/b>Liora hilft dir dabei, drei grundlegende <\/b>Fragen zu beantworten: <\/p>\n Beginnen wir zun\u00e4chst mit einer Definition dieses Begriffs, der in der Data Science immer <\/i>h\u00e4ufiger verwendet wird.<\/p>\n Transfer Learning <\/i>bezeichnet alle Methoden, die es erm\u00f6glichen, das aus der L\u00f6sung eines bestimmten Problems gewonnene Wissen auf die Bearbeitung eines anderen Problems zu \u00fcbertragen. <\/p><\/blockquote>\n Transfer Learning <\/i>hat mit dem Aufschwung des Deep Learning einen <\/i>gro\u00dfen Erfolg erlebt. Die in diesem Bereich verwendeten Modelle erfordern oft hohe Rechenzeiten <\/b>und einen gro\u00dfen Ressourcenbedarf. <\/b>Durch die Verwendung von vortrainierten Modellen als Ausgangspunkt erm\u00f6glicht Transfer Learning die <\/i>schnelle Entwicklung von leistungsf\u00e4higen Modellen und die effiziente L\u00f6sung komplexer Probleme im Bereich Computer Vision <\/i>oder Natural Language Processing<\/i>, NLP<\/i>.<\/p>\n Intuitiv orientiert sich Transfer Learning <\/i>stark an dem Prozess, mit dem wir lernen. <\/p>\n Nehmen wir zum Beispiel jemanden, der das Gitarrenspiel beherrscht und Klavierspielen lernen m\u00f6chte. Er kann seine Musikkenntnisse nutzen, um ein neues Instrument zu erlernen. In \u00e4hnlicher Weise kann ein Modell zur Erkennung von Autos sehr schnell auf die Erkennung von Lastwagen umgestellt werden.<\/p><\/blockquote>\n Transfer Learning beruht <\/i>auf der einfachen Idee, das in anderen Konstellationen erworbene Wissen (Quellen) zur L\u00f6sung eines bestimmten Problems (Ziel) erneut zu nutzen. In diesem Zusammenhang lassen sich verschiedene Ans\u00e4tze unterscheiden, je nachdem, was man \u00fcbertragen m\u00f6chte, wann und wie man den Transfer durchf\u00fchrt. Insgesamt k\u00f6nnen wir drei Arten von <\/b>Transfer Learning <\/i><\/b>unterscheiden:<\/p>\n 1. Inductive Transfer Learning<\/i><\/b>, oder <\/b>induktives Transferlernen<\/i><\/b><\/strong><\/p>\n In dieser Konfiguration sind die Quell- und Zieldom\u00e4nen gleich (dieselben Daten), aber die Quell- und Zielaufgaben sind unterschiedlich, aber nahe beieinander. Die Idee besteht nun darin, bestehende Modelle zu nutzen, <\/b>um den Anwendungsbereich m\u00f6glicher Modelle vorteilhaft einzuschr\u00e4nken <\/b>(Modellverzerrung), wie in der folgenden Abbildung dargestellt.<\/p>\n Beispielsweise ist es m\u00f6glich, ein Modell, das auf die Erkennung von Tieren auf Bildern trainiert wurde, zu verwenden, um ein Modell zu erstellen, das Hunde identifizieren kann. <\/p>\n 2. Unsupervised Transfer Learning<\/i><\/b>, oder un\u00fcberwachtes <\/b>Transferlernen<\/i><\/b><\/p>\n Wie beim induktiven Transferlernen sind die Quell- und Zieldom\u00e4nen \u00e4hnlich, die Aufgaben sind jedoch unterschiedlich. Allerdings werden die Daten der beiden Dom\u00e4nen nicht mit einem Label versehen.<\/p>\n Es ist oft einfacher, gro\u00dfe Mengen an ungelabelten Daten, z. B. aus Datenbanken und Quellen im Internet, zu erhalten als gelabelte Daten. Daher besteht gro\u00dfes Interesse <\/b>an der Idee, un\u00fcberwachtes Lernen in Kombination mit <\/b>Transfer Learning einzusetzen<\/i><\/b>. <\/p>\n Als Beispiel sei das Self-taught clustering genannt<\/i>, ein Ansatz, bei dem kleine Sammlungen von nicht gelabelten Zieldaten mit Hilfe einer gro\u00dfen Menge nicht gelabelter Quelldaten geclustert werden. <\/i>Dieser Ansatz erweist sich als leistungsf\u00e4higer <\/b>als die traditionell verwendeten Spitzenans\u00e4tze, wenn die Zieldaten irrelevant gelabelt sind.<\/p>\n 3. Transduktives Transfer<\/i><\/b>lernen, oder <\/b>Transductive Transfer Learning <\/i><\/b>:<\/b><\/p>\n In dieser Konfiguration sind die Quell- und Zielaufgaben \u00e4hnlich, aber die entsprechenden Bereiche unterscheiden sich entweder in Bezug auf die Daten oder die Verteilungen der Randwahrscheinlichkeiten. <\/p>\n Zum Beispiel werden NLP-Modelle<\/i>, wie sie f\u00fcr die morpho-syntaktische Kennzeichnung von W\u00f6rtern, Part-Of-Speech Tagger (POS Tagger) auf Englisch, verwendet werden, normalerweise mit Nachrichtendaten wie denen des Wall Street Journal <\/i>trainiert und getestet. Sie k\u00f6nnen an Daten aus sozialen Netzwerken angepasst werden, deren Inhalt anders, aber \u00e4hnlich wie der Zeitungen ist.<\/p>\n Nachdem wir Transfer Learning <\/i><\/b>definiert haben, wollen wir uns nun mit seiner Anwendung auf Probleme des Deep <\/b>Learning <\/i><\/b>besch\u00e4ftigen, einem Bereich, in dem Transfer <\/i><\/b>Learning <\/b>heute sehr erfolgreich ist.<\/p>\n Die Verwendung von Transfer Learning-Methoden <\/i>im Deep Learning <\/i>besteht haupts\u00e4chlich darin, vorab trainierte neuronale Netze zu nutzen<\/p>\n In der Regel entsprechen diese Modelle sehr leistungsf\u00e4higen Algorithmen, die anhand gro\u00dfer Datenbanken entwickelt und trainiert wurden und heute frei geteilt werden.<\/p>\n In diesem Zusammenhang k\u00f6nnen 2 Arten von Strategien unterschieden werden:<\/p>\n 1. Verwendung von vorab trainierten Modellen als <\/b>Feature-Extraktoren <\/i><\/b>:<\/b><\/p>\n Die Architektur von Deep-Learning-Modellen wird <\/i>sehr h\u00e4ufig in Form eines Stapels von Neuronenschichten dargestellt<\/b>. Diese Schichten lernen verschiedene Merkmale, je nachdem, auf welcher Ebene sie sich befinden. Die letzte Schicht (im Falle des \u00fcberwachten Lernens normalerweise eine vollst\u00e4ndig verbundene Schicht) wird verwendet, um die endg\u00fcltige Ausgabe zu erhalten. Die folgende Abbildung zeigt die Architektur eines Deep-Learning-Modells, das <\/i>f\u00fcr die Erkennung von Katzen\/Hunden verwendet wird. Je tiefer die Schicht liegt, desto mehr spezifische <\/b>Features <\/i><\/b>k\u00f6nnen extrahiert werden<\/b>.<\/p>\n Die Idee ist also, ein vorab trainiertes Netzwerk ohne seine Endschicht wiederzuverwenden. Dieses neue Netzwerk fungiert dann als Extraktor von fixen Features, <\/i>um andere Aufgaben zu erledigen.<\/p>\n Um diese Strategie zu veranschaulichen, nehmen wir den Fall an, dass wir ein Modell erstellen<\/strong> wollen, das die Art einer Blume anhand ihres Bildes identifizieren kann<\/strong>. Dann ist es m\u00f6glich, die ersten Schichten des Modells eines faltenden neuronalen Netzes zu verwenden AlexNet<\/a>, das urspr\u00fcnglich auf die Bilddatenbank trainiert wurde. ImageNet<\/a> f\u00fcr die Bildklassifizierung verwendet werden.<\/p>\n Auch wenn die Idee einfach erscheint, k\u00f6nnte man sich fragen, wie leistungsf\u00e4hig ein solcher Ansatz ist. In der Praxis funktioniert er sehr gut, wie die folgende Abbildung zeigt.<\/p>\n 2. Anpassen von vortrainierten Modellen :<\/b><\/p>\n Dies ist eine komplexere Technik<\/b>, bei der nicht nur die letzte Schicht ersetzt wird, um die Klassifizierung oder Regression durchzuf\u00fchren, sondern auch andere Schichten selektiv neu trainiert werden. Tiefe neuronale Netze sind n\u00e4mlich hochgradig konfigurierbare Architekturen <\/b>mit verschiedenen Hyperparametern. Au\u00dferdem erfassen die ersten Schichten generische Merkmale, w\u00e4hrend die letzten Schichten sich mehr auf die spezifische Aufgabe konzentrieren, die es zu erf\u00fcllen gilt, wie die folgende Abbildung zeigt<\/p>\n Die Idee ist also, w\u00e4hrend des Trainings bestimmte Schichten einzufrieren (d. h. die Gewichte zu fixieren) und den Rest zu verfeinern, um das Problem zu l\u00f6sen. <\/p>\n Diese Strategie erm\u00f6glicht es, das Wissen \u00fcber die Gesamtarchitektur des Netzwerks wiederzuverwenden und seine Zust\u00e4nde als Ausgangspunkt f\u00fcr das Training zu nutzen. Sie f\u00fchrt daher zu einer besseren Leistung bei k\u00fcrzerer Trainingszeit.<\/b><\/p>\n Die folgende Abbildung fasst die wichtigsten Transfer Learning-Ans\u00e4tze <\/i>zusammen, die gemeinhin im Deep Learning <\/i>verwendet werden<\/p>\n Eine der grundlegenden Anforderungen an das <\/b>Transfer Learning ist das Vorhandensein von Modellen, <\/b>die auf den Quellaufgaben gut funktionieren. Gl\u00fccklicherweise werden heute viele der f\u00fchrenden Deep-Learning-Architekturen von ihren jeweiligen Teams frei geteilt. Diese erstrecken sich \u00fcber verschiedene Bereiche wie Computer Vision oder Computer Vision und Natural Language Processing oder NLP, zwei sehr beliebte Bereiche des Deep Learning.<\/p>\n Zu den sehr h\u00e4ufig verwendeten Vorlagen geh\u00f6ren :<\/p>\n Transfer Learning <\/i>entspricht der F\u00e4higkeit, vorhandenes Wissen, das zur L\u00f6sung gegebener Probleme entwickelt wurde, zur L\u00f6sung eines neuen Problems zu nutzen. Wir haben uns mit verschiedenen Ans\u00e4tzen des Transfer Learning <\/i>befasst. Um die am besten geeignete Strategie ausw\u00e4hlen zu k\u00f6nnen, ist es wichtig, die folgenden drei Fragen zu untersuchen: <\/p>\n Wie soll das Transfer Leaning durchgef\u00fchrt werden? <\/b>Wenn wir die Fragen „Was“ und „Wann“ beantwortet haben, k\u00f6nnen wir damit beginnen, die Transfer-Leaning-Technik zu <\/i>identifizieren, die f\u00fcr das Problem, das wir l\u00f6sen wollen, am besten geeignet ist.<\/p>\n","protected":false},"excerpt":{"rendered":" In diesem f\u00fcnften und letzten Teil unserer Serie \u00fcber Deep Learning erf\u00e4hrst du mehr \u00fcber die Definition und die Funktionsweise von Transfer Learning. Wenn du auf die ersten Artikel zur\u00fcckgreifen m\u00f6chtest, findest du hier eine Liste : Einf\u00fchrung in Deep Learning Neuronale Netzwerke: biologisch oder k\u00fcnstlich Convolutional Neural Network Funktionsweise von Netzen neuronalen Transfer Learning […]<\/p>\n","protected":false},"author":47,"featured_media":165031,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-165029","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/165029","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=165029"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/165029\/revisions"}],"predecessor-version":[{"id":217736,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/165029\/revisions\/217736"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/165031"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=165029"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=165029"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\n
\n
\n
Transfer Learning: Definition<\/h3>\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.28.webp\")
Auf welchen Strategien beruhen die Techniken des Transfer Learning?<\/h3>\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.33.webp\")
Wie wird Transfer Learning konkret zur L\u00f6sung von Deep-Learning-Problemen eingesetzt?<\/h3>\n
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.40.webp\")
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.46.webp\")
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.52.webp\")
![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2022\/11\/Capture-de\u0301cran-2020-07-21-a\u0300-08.45.58.webp\")
\n
Schl\u00fcsselpunkte, an die du dich erinnern solltest<\/h3>\n
\n
\n