{"id":171236,"date":"2023-03-08T06:58:04","date_gmt":"2023-03-08T05:58:04","guid":{"rendered":"https:\/\/liora.io\/de\/?p=171236"},"modified":"2026-02-06T07:01:55","modified_gmt":"2026-02-06T06:01:55","slug":"style-transfer-deep-learning","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/style-transfer-deep-learning","title":{"rendered":"Style Transfer & Deep Learning"},"content":{"rendered":"

Style Transfer: Hast Du Dir jemals gew\u00fcnscht, wie Van Gogh malen zu k\u00f6nnen? Die \u00c4sthetik von Monet in modernen Landschaften wiederzugeben?
\nIn diesem Artikel stellen wir Dir eine Technik vor, die Deep Learning nutzt, um den Stil eines anderen Bildes auf ein Originalbild anzuwenden. Diese Optimierungstechnik ist als Neural Style Transfer bekannt und wurde erstmals in Leon A. Gatys Artikel „Neural Algorithmus“ beschrieben: Gatys, A Neural Algorithm of Artistic Style.<\/a><\/strong><\/p>\n

Style Transfer, was ist das eigentlich ?<\/h3>\n

Style Transfer<\/strong> ist eine der kreativsten Anwendungen von Convolutive Neuronal Networks (Du willst mehr \u00fcber CNNs erfahren? Wir haben k\u00fcrzlich einen Artikel zu diesem Thema ver\u00f6ffentlicht)<\/a><\/p>\n

Sie erm\u00f6glicht es, den Stil eines Bildes abzurufen<\/strong> und ihn in einem beliebigen anderen Bild wiederzugeben. Dies ist eine interessante Technik, die die internen F\u00e4higkeiten und Darstellungen neuronaler Netze aufzeigt. Sie kann sich auch in einigen wissenschaftlichen Bereichen als n\u00fctzlich erweisen, wenn es um die Augmentation oder Simulation von Bilddaten geht.<\/p>\n

Die fast unendlichen Kombinationen von m\u00f6glichen Inhalten und Stilen<\/strong> bringen unter den Anh\u00e4ngern neuronaler Netze einzigartige und immer kreativere Ergebnisse hervor, manchmal sogar echte Meisterwerke.<\/p>\n

Um zu funktionieren, muss ein Referenzbild f\u00fcr den Inhalt und ein Referenzbild f\u00fcr den Stil ausgew\u00e4hlt werden (z. B. das Kunstwerk eines ber\u00fchmten Malers). Ein drittes Bild, das mit dem Inhaltsbild initialisiert wird, wird dann nach und nach optimiert, bis es dem Inhaltsbild \u00e4hnelt, aber im Stil des zweiten Bildes „gemalt“ ist.<\/p>\n

Das Prinzip der Stil\u00fcbertragung besteht haupts\u00e4chlich darin, zwei Abstandsfunktionen zu definieren:<\/p>\n

Die eine beschreibt den Unterschied zwischen den Inhalten zweier Bilder.<\/em>
\nDie andere beschreibt den Unterschied zwischen zwei Bildern in Bezug auf ihre Stile.<\/em><\/p>\n

Diese beiden Abst\u00e4nde m\u00fcssen dann mithilfe einer Backpropagation-Technik minimiert werden, um nach der Optimierung ein Bild zu erhalten, das dem Inhalt des Inhaltsbildes und dem Stil des Stilbildes entspricht.<\/p>\n

Die Abst\u00e4nde, die wir verwenden, werden weiter unten beschrieben und aus den Bildern berechnet, die aus den Zwischenschichten des neuronalen Netzes extrahiert werden. <\/p>\n

Ein beeindruckender Aspekt dieser Technik ist, dass kein neues Training von neuronalen Netzen<\/a> erforderlich ist – die Verwendung von vortrainierten Netzen wie VGG19 ist ausreichend und funktioniert bestens. Wenn du dich fragst, wie das funktioniert, kannst du dir gerne unseren Artikel \u00fcber Transfer Learning ansehen.<\/p>\n

In diesem Artikel stelle ich Dir ein konkretes Beispiel f\u00fcr die Anwendung von Stil\u00fcbertragung vor, indem ich die Bibliothek Tensorflow<\/a> <\/b> verwende.<\/p>\n

Der hier verwendete Ansatz ahmt die Methoden des Originalpapiers so genau wie m\u00f6glich nach. Der vollst\u00e4ndige Code dieses Artikels ist unter dieser Adresse verf\u00fcgbar <\/a><\/p>\n

Indem wir jeweils nur zwei Basisbilder verwenden, k\u00f6nnen wir Meisterwerke wie diese Darstellung von Botticellis „Die Geburt der Venus“ schaffen, wenn sie vier Jahrhunderte sp\u00e4ter von Marc Chagall gemalt worden w\u00e4re.<\/p>\n

\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n

F\u00fcr unser Beispiel brauchen wir zwei Grundbilder, die wir zusammen „mischen“ wollen. Das erste steht f\u00fcr den Inhalt, den wir behalten m\u00f6chten. In meinem Fall werde ich das bekannte Gem\u00e4lde „Die Geburt der Venus“ von Sandro Botticelli verwenden :<\/p>\n

\n\t\t\t\t\t\t\t\t\t\t\t
\n\"\"\t\t\t\t\t\t\t\t<\/a>
<\/figcaption><\/figure>\n

Das zweite Bild wird den Stil enthalten, den wir beibehalten und auf das erste Bild anwenden wollen.<\/p>\n

Nehmen wir als Beispiel ich den unvergleichlichen Stil des ikonischen Malers des 20. Jahrhunderts, Marc Chagall,<\/strong> durch eines seiner Werke mit dem Titel La vie.<\/p>\n

\n\t\t\t\t\t\t\t\t\t\t\t
\n\"\"\t\t\t\t\t\t\t\t<\/a>
<\/figcaption><\/figure>\n

Hochladen und Vorverarbeitung von Bildern<\/h3>\n

Zun\u00e4chst werden wir die Daten laden und vorbereiten,<\/strong> um sie demselben Vorverarbeitungsprozess zu unterziehen, der auch beim Training der VGG-Netze<\/strong> verwendet wird. Dann werden wir auch eine Funktion erstellen, die den umgekehrten Prozess durchf\u00fchrt, damit wir unser endg\u00fcltiges Bild anzeigen k\u00f6nnen.<\/p>\n

[]<\/p>\n

Wie kann man den Stil und den Inhalt eines Bildes unterscheiden?<\/h4>\n

Wenn ein konvolutives neuronales Netz (wie VGG19) trainiert wird, um eine Bildklassifizierung durchzuf\u00fchren, muss es das Bild kennen und verstehen.<\/p>\n

Im Gegensatz zum klassischen Machine Learning<\/a> werden beim Deep Learning die Features w\u00e4hrend des Backpropagation-Lernens vom Netzwerk selbst generiert.<\/em><\/p>\n

Beim Training verwendet das neuronale Netz die Pixel der gelieferten Bilder,<\/strong> um durch verschiedene Transformationen eine interne Repr\u00e4sentation des Bildes zu erstellen.  Nachdem das Netz trainiert wurde, wird das eingegebene Rohbild in eine Folge von komplexen Merkmalen umgewandelt, die im Bild vorhanden sind, um die Klasse, zu der das Bild geh\u00f6rt, vorherzusagen.<\/p><\/blockquote>\n

So k\u00f6nnen in den mittleren Schichten des Netzwerks einige der Merkmale eines Bildes extrahiert werden, um seinen Inhalt und seinen Stil zu beschreiben.<\/p>\n

Um sowohl den Inhalt als auch den Stil unserer Bilder zu erhalten, werden wir daher einige Zwischenschichten aus unserem Modell extrahieren. <\/strong> Ausgehend von der Eingangsschicht des Netzwerks repr\u00e4sentieren die ersten Schichtaktivierungen Merkmale auf niedrigerer Ebene wie Kanten und Texturen. Die letzten Schichten repr\u00e4sentieren Merkmale auf h\u00f6herer Ebene, wie Ohren oder Augen.<\/p>\n

Wir werden also eine der letzten Ebenen verwenden, um den Inhalt darzustellen, und einen Satz von 5 Ebenen (die ersten in jedem Block), um den Stil der Bilder darzustellen.<\/p>\n

Wir laden die vorab trainierte Vorlage mit ihren Gewichten und erstellen eine neue Vorlage, die als Eingabe ein Bild nimmt und die Zwischenschichten zur\u00fcckgibt, die dem Inhalt und dem Stil des Bildes entsprechen.interm\u00e9diaires<\/b> correspondant au contenu <\/b>et au style<\/b> de l\u2019image.<\/p>\n

Style Transfer: Definition und Erstellung von Verlustfunktionen<\/h3>\n

Unsere Definition der Verlustfunktion<\/strong> f\u00fcr Inhalte ist recht einfach. Wir \u00fcbertragen sowohl das Bild des gew\u00fcnschten Inhalts als auch unser grundlegendes Eingangsbild an das Netzwerk<\/a>. Damit k\u00f6nnen wir die Ausgaben der mittleren Schichten unseres Modells zur\u00fcckgeben. Dann nehmen wir einfach den mittleren quadratischen Fehler zwischen den beiden Zwischendarstellungen dieser Bilder.<\/p>\n

Der Zweck dieser Verlustfunktion ist es, sicherzustellen, dass das erzeugte Bild einige der „globalen“ Eigenschaften des Inhaltsbildes beibeh\u00e4lt. <\/em><\/p>\n

In unserem Beispiel wollen wir sicherstellen, dass das erzeugte Bild die Pose der G\u00f6ttin, die in einer Muschelschale steht, sowie die Figuren um sie herum wiedergibt. Das bedeutet, dass Formen wie K\u00f6rper, Haare und die Muschel erkennbar sein m\u00fcssen.<\/p>\n

Wir f\u00fchren die Backpropagation auf die \u00fcbliche Weise durch, um diesen Inhaltsverlust zu minimieren. Wir ver\u00e4ndern also das Ausgangsbild so lange, bis es am Ausgang der gew\u00e4hlten Zwischenebene eine \u00e4hnliche Antwort erzeugt wie das Bild mit dem urspr\u00fcnglichen Inhalt.<\/p>\n

F\u00fcr den Stil wird aufgrund der Anzahl der Ebenen die Verlustfunktion<\/strong> anders aussehen.<\/p>\n

Anstatt die Ausgaben der rohen Zwischenebenen des Basis-Eingabebildes und des Stilbildes zu vergleichen, verwenden die Autoren des Originalpapiers die Differenz zwischen den Gram-Matrizen<\/strong> der ausgew\u00e4hlten Ebenen.<\/p>\n

Die Gram-Matrix ist eine quadratische Matrix, die die Produkte der Punkte zwischen jedem vektorisierten Filter der Ebene enth\u00e4lt. Die Gram-Matrix kann daher als eine nicht-normalisierte Korrelationsmatrix f\u00fcr die Filter einer Ebene betrachtet werden.<\/p>\n

Um einen Stil f\u00fcr unser Eingabebild zu erzeugen, f\u00fchren wir einen Gram-Abstieg vom Inhaltsbild<\/strong> aus, um es in ein Bild umzuwandeln, das den Stil des Stilbildes kopiert.<\/p>\n

Jetzt m\u00fcssen wir nur noch eine Funktion erstellen, um unsere verschiedenen Bilder zu laden, sie durch unsere Vorlage laufen zu lassen, um die Inhalts- und Stildarstellungen zur\u00fcckzugeben, dann die Verlustfunktionen und den Gradienten zu berechnen, um mit der Optimierung fortzufahren.<\/p>\n

Und das war’s!<\/p>\n

Wir k\u00f6nnen die Methode dann auf eine Reihe von Bildern anwenden, um unseren Style Transfer zu testen. Hier sind einige Beispiele:<\/p>\n

\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n
\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n
\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n
\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n

Du m\u00f6chtest gerne mehr \u00fcber Deep Learning lernen? Starte bald einen unserer Data Scientist-Kurse! <\/a><\/strong><\/p>\n

?Auch interessant:<\/p>\n\n\n<\/colgroup>\n\n\n\n\n\n\n\n
Deep Neural Network<\/a><\/td>\n<\/tr>\n
Alphacode Deepminds<\/a><\/td>\n<\/tr>\n
Deep Learning vs. Machine Learning<\/a><\/td>\n<\/tr>\n
Deep Learning – was ist das eigentlich ?<\/a><\/td>\n<\/tr>\n
Deep Fake Gefahren<\/a><\/td>\n<\/tr>\n
Python Deep Learning Basics<\/a><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n","protected":false},"excerpt":{"rendered":"

Style Transfer: Hast Du Dir jemals gew\u00fcnscht, wie Van Gogh malen zu k\u00f6nnen? Die \u00c4sthetik von Monet in modernen Landschaften wiederzugeben? In diesem Artikel stellen wir Dir eine Technik vor, die Deep Learning nutzt, um den Stil eines anderen Bildes auf ein Originalbild anzuwenden. Diese Optimierungstechnik ist als Neural Style Transfer bekannt und wurde erstmals […]<\/p>\n","protected":false},"author":47,"featured_media":171241,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-171236","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/171236","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=171236"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/171236\/revisions"}],"predecessor-version":[{"id":217699,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/171236\/revisions\/217699"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/171241"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=171236"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=171236"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}