- \n
- CNN-Architektur<\/a><\/li>\n
- Convolutional Layer<\/a><\/li>\n
- Pooling Layer<\/a><\/li>\n
- Implementierung eines CNN<\/a><\/li>\n<\/ol>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"modele](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-1.png\")
\t\t\t\t\t\t\t\t<\/a>Erkennung eines Weihnachtsmanns durch ein CNN-Modell<\/figcaption><\/figure>\n CNN-Architektur<\/h3>\n
CNNs sind eine Unterkategorie der neuronalen Netze<\/a> und geh\u00f6ren derzeit zu den leistungsf\u00e4higsten Modellen f\u00fcr die Bildklassifizierung<\/b>.<\/p>\n
Ihre Funktionsweise ist auf den ersten Blick recht einfach: Benutzer geben ein Bild in Form einer Pixelmatrix<\/b> ein.<\/p>\n
Diese hat 3 Dimensionen:<\/p>\n
- \n
- Zwei Dimensionen<\/b> f\u00fcr ein Graustufenbild.<\/li>\n
- Eine dritte Dimension <\/b>um die Grundfarben (Rot, Gr\u00fcn, Blau) darzustellen.<\/li>\n<\/ul>\n
Im Gegensatz zu einem klassischen MLP-Modell<\/b> (Multi Layers Perceptron), das nur eine Klassifizierungsschicht enth\u00e4lt, hat die Architektur des Convolutional Neural Network schon einen Convolutive Layer und besteht daher aus zwei verschiedenen Teilen:<\/p>\n
- \n
- einem Konvolutionsteil<\/b>: Damit werden spezifische Merkmale eines jeden Bildes extrahiert, indem sie komprimiert werden um die urspr\u00fcngliche Gr\u00f6\u00dfe zu reduzieren. Das Eingangsbild wird durch eine Reihe von Filtern geleitet, wodurch neue Bilder entstehen, die Convolutional Layers genannt werden. Schlie\u00dflich werden die resultierenden Layers zu Matrizen definierter Gr\u00f6\u00dfe.<\/li>\n
- einem Klassifizierungsteil <\/b>: Die Matrizen definierter Gr\u00f6\u00dfe werden dann als Eingabe in eine zweite Schicht bereitgestellt, die aus vollst\u00e4ndig verkn\u00fcpften Schichten besteht, die Multi Layers Perceptron (MLP f\u00fcr Mehrlagige Perzeptronen) genannt werden. So werden Merkmale der Matrizen kombiniert, um das Bild zu klassifizieren.<\/li>\n<\/ul>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"convolutional](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-2.png\")
\t\t\t\t\t\t\t\t<\/a>Darstellung der Architektur eines CNN <\/figcaption><\/figure>\n
\nMehr \u00fcber CNNs erfahren
\n<\/a><\/p>\nConvolutional Layer<\/h3>\n
Wozu gibt es Convolutional Layers?<\/h4>\n
Die Konvolution<\/b> (engl. convolution<\/i>) ist eine einfache mathematische Operation, die in der Regel f\u00fcr die Bildverarbeitung und -erkennung<\/b> verwendet wird. Durch Konvolutionen wird ein Bild wie folgt gefiltert:<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"neural](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-3.png\")
\t\t\t\t\t\t\t\t<\/a>Darstellung des Verlaufs der Filterung bzw. des Filterfensters auf dem Bild.<\/figcaption><\/figure>\n - \n
- Zun\u00e4chst wird die Gr\u00f6\u00dfe des Filterfensters<\/b>, das sich oben links befindet, festgelegt<\/b>.<\/li>\n
- Das Filterfenster das das Feature darstellt, bewegt sich schrittweise von links nach rechts<\/b> um eine zuvor festgelegte Anzahl von Einheiten, bis es am Ende des Bildes angelangt ist.<\/li>\n
- Bei jedem erreichten Bildausschnitt wird eine Konvolution berechnet, die eine Merkmalskarte<\/b> (Feature Map<\/b>) ergibt, um zu wissen, wo sich die Features im Bild befinden: Je h\u00f6her die Feature Map ist, desto pr\u00e4ziser \u00e4hnelt der gefilterte Bildausschnitt dem Feature.<\/li>\n<\/ol>\n
\nMehr \u00fcber Konvolution erfahren
\n<\/a><\/p>\nBeispiel f\u00fcr klassische Faltungsmatrizen<\/h3>\n
Im Conventional Layer eines Convolutional Neural Network durchl\u00e4uft das eingegebene Bild eine Reihe von Faltungsmatrizen<\/b>. So gibt es beispielsweise h\u00e4ufig verwendete Faltungsmatrizen, mit denen sich relevantere Merkmale als Pixel extrahieren lassen, wie die Kantendetektion (Kantenfilter) oder die Erkennung von geometrischen Formen. Die Auswahl und Anwendung der Faltungsmatrizen erfolgt automatisch durch das Modell.<\/p>\n
Zu den bekanntesten Faltungsmatrizen<\/b> geh\u00f6ren der Mittelwertfilter<\/b> (berechnet f\u00fcr jedes Pixel den Mittelwert des Pixels mit seinen acht n\u00e4chsten Nachbarn) oder auch der Gau\u00df-Filter<\/b>, um das Bildrauschen zu vermindern:<\/p>\n
Hier ein Beispiel f\u00fcr die Auswirkungen dieser beiden unterschiedlichen Filter auf ein Bild mit starkem Rauschen (z. B. ein Foto, das wenig belichtet wurde). Allerdings wird das Bildrauschen oft zusammen mit der Bildsch\u00e4rfe reduziert:<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t ![\"CNN](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-4.png\")
Effekt der Mittelwert- und Gau\u00dffilter – Liora.<\/figcaption><\/figure>\n Wie man sehen kann, reduziert der Gau\u00dffilter im Gegensatz zum Mittelwertfilter das Rauschen, ohne dass die Sch\u00e4rfe dabei wesentlich verringert wird.<\/p>\n
Neben der Filterfunktion ist der Convolutional<\/b> Layer eines CNN <\/b>auch interessant, weil man die M\u00f6glichkeit hat, einzigartige Merkmale zu extrahieren<\/b>: Die Bilder werden so komprimiert, dass ihre urspr\u00fcngliche Gr\u00f6\u00dfe durch Methoden der Unterabtastung wie Max-Pooling reduziert wird.<\/p>\n
Methode der Unterabtastung: Max-Pooling<\/h3>\n
Max-Pooling ist ein Diskretisierungsprozess, das auf Beispiele basiert. Das Ziel? Die Unterabtastung der Eingabedarstellung (Bild, Hidden-Layer-Ausgabematrix, usw.) und die Reduzierung ihrer Dimension. Der Vorteil? Der Rechenaufwand wird durch die Verringerung der Anzahl der zu erlernenden Parameter<\/b> reduziert und die Invarianz durch kleine Translationen gesichert<\/b> (wenn eine kleine Translation das Maximum des abgetasteten Feldes nicht ver\u00e4ndert, bleibt das Maximum jedes Feldes gleich und somit auch die neu erstellte Matrix).<\/p>\n
Hier ein konkretes Beispiel f\u00fcr Max-Pooling: Stellen wir uns vor, wir haben eine 4\u00d74-Matrix, die unsere urspr\u00fcngliche Eingabe darstellt, und einen Filter eines Fensters der Gr\u00f6\u00dfe 2\u00d72, den wir auf unsere Eingabe anwenden. F\u00fcr jedes Feld, das der Filter abtastet, nimmt Max-Pooling das Maximum an. Dadurch entsteht gleichzeitig eine neue Ausgabematrix, in der jedes Element dem Maximum jedes abgetasteten Feldes entspricht.<\/p>\n
So der Prozess:<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"convolutional](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-5.png\")
\t\t\t\t\t\t\t\t<\/a>Max-Polling-Prozess<\/figcaption><\/figure>\n Das Filterfenster bewegt sich um zwei Pixel nach rechts (Stride\/Schritt = 2). Bei jedem Schritt wird den Operator arg max berechnet, der dem gr\u00f6\u00dften Wert der vier Pixelwerte entspricht.<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"reseau](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-6.png\")
\t\t\t\t\t\t\t\t<\/a>Beispiel f\u00fcr einen Max-Pooling-Effekt.<\/figcaption><\/figure>\n So der Vorteil eines Convolutive Layer eines CNN<\/b>: Im Gegensatz zu einem klassischen MLP-Modell erh\u00e4lt man durch den Convolutive Layer eine \u201eMerkmalskarte<\/b>“ (Feature Map) <\/b>oder Faltungsmatrizen<\/b> (Pixelmatrix rechts im Beispiel<\/b>), die kleiner<\/b> sind als das Eingangsbild. Die Anzahl der im Modell zu berechnenden Parameter<\/b> wird stark reduziert<\/b>.<\/p>\n
\nMax-Pooling lernen
\n<\/a><\/p>\nBeispiel einer CNN-Architektur und ihr Ergebnis<\/h3>\n
Nach dem Convolutional Layer eines CNN folgt der Fully-connected Layer. Dies wird bei der Klassifizierung angewendet, die allen Modellen von neuronalen Netzen gemein ist. Der Fully-connected Layer entspricht einem mehrlagigen Perzeptron-Modell (MLP)<\/a>.<\/p>\n
Seine Aufgabe: jedes Datenbeispiel nach Klassenzugeh\u00f6rigkeit zu sortieren.<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"reseau](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-7.png\")
\t\t\t\t\t\t\t\t<\/a>Darstellung eines mehrlagigen Perzeptrons <\/figcaption><\/figure>\n Ein Algorithmus wird von den Perzeptronen verwendet, um ihre Gewichte (oder Netzwerkkoeffizienten) zu aktualisieren, n\u00e4mlich der Backpropagation-Algorithmus<\/b>, den wir sp\u00e4ter noch genauer betrachten werden. <\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"reseau](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-8.png\")
\t\t\t\t\t\t\t\t<\/a>Beispiel einer CNN-Architektur <\/figcaption><\/figure>\n Allgemein ist die Architektur eines Convolutional Neural Network<\/b> wesentlich die gleiche:<\/p>\n
- \n
- Convolutional Layer<\/b> (CONV): Diese erste Schicht analysiert die eingegebenen Bilder<\/b> analysieren und erkennt das Vorhandensein einer Reihe von Merkmalen<\/b>. So erh\u00e4lt man eine Reihe von Feature Maps (siehe oben: Wozu gibt es Convolutional Layers denn?).<\/li>\n
- Pooling Layer <\/b>(POOL): Der Pooling Layer ist eine Operation, die normalerweise zwischen zwei Convolutional Layers angewandt wird. Sie erh\u00e4lt als Eingabe die Feature Maps, die als Ausgabe der Convolutional Layers gebildet werden. Sie reduziert die Gr\u00f6\u00dfe der Bilder und erh\u00e4lt gleichzeitig ihre wesentlichsten Merkmale<\/b>. Zu den am h\u00e4ufigsten verwendeten Methoden geh\u00f6ren das bereits erw\u00e4hnte Max-Pooling und das Average Pooling, bei dem der Durchschnittswert des Filterfensters in jedem Schritt beibehalten wird.<\/li>\n<\/ul>\n
Schlie\u00dflich erh\u00e4lt man am Ende dieses Pooling Layers die gleiche Anzahl von Feature Maps wie am Eingang, jedoch deutlich komprimiert.<\/p><\/blockquote>\n
- \n
- Die Aktivierungsfunktion ReLU (Rectified Linear Units)<\/b>: Dadurch werden alle negativen Werte, die als Eingaben empfangen werden, durch Nullen ersetzt<\/b>. So bleibt das Modell nicht linear, sondern wird damit komplexer.<\/li>\n<\/ul>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"ReLU](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-9.png\")
\t\t\t\t\t\t\t\t<\/a>Aktivierungsfunktion ReLU<\/figcaption><\/figure>\n - \n
- Fully Connected (FC) Layer: <\/b>Diese Layer befinden sich am Ende der CNN-Architektur und sind vollst\u00e4ndig mit allen Outputs verbunden <\/b>(daher der Begriff \u201efully-connected\u201d).
\n<\/b>Der Fully Connected Layer erh\u00e4lt einen Vektor als Eingabe und wendet nacheinander eine Linearkombination<\/b> und dann eine Aktivierungsfunktion<\/b> an, um das Input-Bild<\/b> zu klassifizieren<\/b> (siehe folgendes Schema). Schlie\u00dflich ergibt sich ein Vektor der Gr\u00f6\u00dfe d, der der Anzahl der Klassen entspricht<\/b>, wobei jede Komponente die Wahrscheinlichkeit darstellt, dass das Input-Bild zu einer Klasse geh\u00f6rt.<\/li>\n<\/ul>\n\n\t\t\t\t\t\t\t\t\t\t ![\"couche](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-10.png\")
Neuronales Netzwerk mit zwei hidden Layers<\/figcaption><\/figure>\n
\nLernen, CNN-Architektur zu erstellen
\n<\/a><\/p>\nImplementierung eines mit Python vorab trainierten CNN:<\/h3>\n
F\u00fcr praktische Anwendungen und angesichts der Komplexit\u00e4t, leistungsf\u00e4hige<\/b> \u201ehandgemachte\u201d CNNs zu erstellen, werden wir vorab trainierte Netzwerke verwenden, die im Modul Torchvision<\/a> verf\u00fcgbar sind. Wir werden sehen, wie dieses in Python implementiert werden kann:<\/p>\n
Anwendung eines CNN: Identifizierung beliebiger Bilder aus dem ImageNet-Dataset: zehn Millionen sortierte Bilder.<\/h3>\n
ImageNet ist eine Datenbank mit \u00fcber zehn Millionen sortierten Bildern, die von der gleichnamigen Organisation f\u00fcr Forschungsarbeiten im Bereich Computer Vision produziert wird.<\/p>\n
Hier ein Auszug aus diesem umfangreichen Dataset :<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t\t
\n![\"Extrait](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-11.png\")
\t\t\t\t\t\t\t\t<\/a>Auszug aus der Datenbank ImageNet <\/figcaption><\/figure>\n Vorbereitung:<\/b> Als Erstes importieren wir jede Bibliothek, die wir sp\u00e4ter brauchen werden.<\/p>\n
1. Schritt:<\/b> Trainieren des vortrainierten Modells VGG16<\/p>\n
2. Schritt: <\/b>Importieren der 3 Bilder, die sortiert werden sollen<\/p>\n
\n![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-12.png\")
\t\t\t\t\t\t\t\t<\/a>
\n
\n![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-13.png\")
\t\t\t\t\t\t\t\t<\/a>
\n
\n![\"\"](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-14-150x150.png\")
\t\t\t\t\t\t\t\t<\/a><\/p>\n3. Schritt: <\/b>Preprocessing der Bilder<\/p>\n
4. Schritt: <\/b>Vorhersage des Modells<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t ![\"prediction](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/cnn.png\")
Darstellung der Vorhersage des Modells VGG16<\/figcaption><\/figure>\n Man kann sich auch die f\u00fcnf Labels anzeigen lassen, die von dem Modell VGG16 als am wahrscheinlichsten eingestuft wurden:<\/p>\n
\n\t\t\t\t\t\t\t\t\t\t ![\"prediction](\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2020\/06\/CNN-15-.png\")
die f\u00fcnf wahrscheinlichsten Labels vom Modell VGG16<\/figcaption><\/figure>\n \u2192 VGG16 konnte also mit gro\u00dfer Sicherheit (95,6%) vorhersagen, dass es sich bei dem eingegebenen Bild nicht nur um einen Wolf handelte, sondern gab sogar die Rasse an, n\u00e4mlich hier die eines grauen Ostwolfs (timber wolf). Beeindruckend, nicht wahr?<\/b><\/p>\n
Das Funktionsprinzip eines CNN ist einfach zu verstehen, aber paradoxerweise bleibt die Implementierung eines solchen Verfahrens zur Klassifizierung von Bildern sehr komplex, da eine betr\u00e4chtliche Anzahl von Parametern definiert werden muss: Anzahl, Gr\u00f6\u00dfe, Verschiebung der Filter, Wahl der Pooling-Methode, Wahl der Anzahl der Layers, Anzahl der Neuronen pro Layer usw. Die meisten dieser Parameter sind jedoch nicht in der Lage, die Bilder zu klassifizieren.<\/p>\n
Daher bietet Python \u00fcber das Modul Torchvision die M\u00f6glichkeit, leistungsf\u00e4hige, vorab trainierte CNN-Modelle wie VGG16, Resnet101 usw. zu nutzen.<\/p>\n
In diesem Artikel haben wir die Funktionsweise und die Architektur von Convolutional Neural Networks beschrieben und uns dabei auf ihre Besonderheit, den Convolutive Layer, konzentriert.<\/p>\n
Nun m\u00fcssen wir noch diese Klassifizierung weiter verstehen: die R\u00fcckverbreitung des Backpropagation<\/b>-Algorithmus. Keine Sorge, ein n\u00e4chster Artikel zu diesem Thema kommt bald!<\/p>\n
Ist ein Convolutional Neural Network Machine Learning oder Deep Learning ?<\/h3>\n
Ein Convolutional Neural Network (CNN) geh\u00f6rt<\/strong> zur Familie der k\u00fcnstlichen neuronalen Netzwerke und wird in der Regel dem Bereich des Deep Learning zugeordnet.<\/p>\n
Machine Learning<\/a> ist ein Oberbegriff, der sich mit Algorithmen und Techniken befasst, die es Computern erm\u00f6glichen, aus Daten zu lernen und Vorhersagen oder Entscheidungen zu treffen, ohne explizit programmiert zu werden. Es gibt verschiedene Ans\u00e4tze im Machine Learning, darunter \u00fcberwachtes Lernen, un\u00fcberwachtes Lernen und verst\u00e4rkendes Lernen.<\/p>\n
Deep Learning<\/a> ist eine spezifische Methode des Machine Learnings, die auf k\u00fcnstlichen neuronalen Netzwerken mit vielen Schichten (daher der Begriff „tief“) basiert.<\/p>\n
Diese Netzwerke k\u00f6nnen komplexe Muster und Zusammenh\u00e4nge in Daten erkennen und lernen, indem sie hierarchische Darstellungen der Daten erzeugen.<\/p>\n
Convolutional Neural Networks<\/strong> sind eine spezielle Art von k\u00fcnstlichen neuronalen Netzwerken, die besonders gut f\u00fcr die Verarbeitung von Daten mit r\u00e4umlicher Struktur geeignet sind, wie zum Beispiel Bilder. CNNs verwenden Convolutional Layers, Pooling Layers und Fully Connected Layers,<\/strong> um Merkmale in den Daten zu extrahieren und Klassifizierungen oder Vorhersagen zu treffen.<\/p>\n
Insgesamt kann man sagen, dass Convolutional Neural Networks eine Technik des Deep Learning sind, das wiederum ein Teilbereich des Machine Learnings ist.<\/p>\n
Artikel 1 :<\/strong> Einf\u00fchrung in das Deep Learning<\/a><\/p>\n
Artikel 2 :<\/strong> Neuronale Netze<\/a><\/p>\n
Artikel 3 :<\/strong> Alles rund um K\u00fcnstliche Intelligenz<\/a><\/p>\n
- Fully Connected (FC) Layer: <\/b>Diese Layer befinden sich am Ende der CNN-Architektur und sind vollst\u00e4ndig mit allen Outputs verbunden <\/b>(daher der Begriff \u201efully-connected\u201d).
- Pooling Layer <\/b>(POOL): Der Pooling Layer ist eine Operation, die normalerweise zwischen zwei Convolutional Layers angewandt wird. Sie erh\u00e4lt als Eingabe die Feature Maps, die als Ausgabe der Convolutional Layers gebildet werden. Sie reduziert die Gr\u00f6\u00dfe der Bilder und erh\u00e4lt gleichzeitig ihre wesentlichsten Merkmale<\/b>. Zu den am h\u00e4ufigsten verwendeten Methoden geh\u00f6ren das bereits erw\u00e4hnte Max-Pooling und das Average Pooling, bei dem der Durchschnittswert des Filterfensters in jedem Schritt beibehalten wird.<\/li>\n<\/ul>\n
- Das Filterfenster das das Feature darstellt, bewegt sich schrittweise von links nach rechts<\/b> um eine zuvor festgelegte Anzahl von Einheiten, bis es am Ende des Bildes angelangt ist.<\/li>\n
- einem Klassifizierungsteil <\/b>: Die Matrizen definierter Gr\u00f6\u00dfe werden dann als Eingabe in eine zweite Schicht bereitgestellt, die aus vollst\u00e4ndig verkn\u00fcpften Schichten besteht, die Multi Layers Perceptron (MLP f\u00fcr Mehrlagige Perzeptronen) genannt werden. So werden Merkmale der Matrizen kombiniert, um das Bild zu klassifizieren.<\/li>\n<\/ul>\n
- Eine dritte Dimension <\/b>um die Grundfarben (Rot, Gr\u00fcn, Blau) darzustellen.<\/li>\n<\/ul>\n
- Convolutional Layer<\/a><\/li>\n