{"id":172734,"date":"2023-03-27T12:47:38","date_gmt":"2023-03-27T11:47:38","guid":{"rendered":"https:\/\/liora.io\/de\/?p=172734"},"modified":"2026-02-06T06:58:01","modified_gmt":"2026-02-06T05:58:01","slug":"pykana-die-app-zur-erkennung-japanischer-schriftzeichen","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/pykana-die-app-zur-erkennung-japanischer-schriftzeichen","title":{"rendered":"PyKana &#8211; Die App zur Erkennung japanischer Schriftzeichen"},"content":{"rendered":"<p><strong>Das PyKana-Projekt ist der letzte Teil der Pr\u00fcfung von vier unserer Sch\u00fcler, Raouf, Franck, Diahana und Marius, die am Data Scientist-Bootcamp im M\u00e4rz 2021 teilgenommen haben. Ihr Ziel war es, verschiedene Algorithmen des maschinellen Lernens und des Deep Learning zu verwenden, um Kanas, japanische Schriftzeichen, zu erkennen.<\/strong><\/p>\n<h3>Wie kamen sie auf die Idee f\u00fcr das Projekt? Sie erz\u00e4hlen es Dir.<\/h3>\n&#8222;Wir teilen ein gemeinsames Interesse an der japanischen Kultur. Au\u00dferdem lebte Dahiana, ein Mitglied unseres Teams, in Japan. Sie spielte eine wichtige Rolle dabei, die Grundlagen der verschiedenen japanischen Schriftsysteme zu erlernen. Wir hatten Gl\u00fcck, dass sie zu unseren Teammitgliedern geh\u00f6rte. Andererseits hatten einige von uns bereits an Themen der Bildverarbeitung gearbeitet. So war der Anreiz f\u00fcr das Projekt ganz nat\u00fcrlich.&#8220;\n\nDar\u00fcber hinaus l\u00e4sst die Umsetzung dieses Projekts konkrete Anwendungen in der Realit\u00e4t erwarten: die Erkennung von Schriftzeichen (hier japanisch, kann aber auch auf andere verallgemeinert werden), die zu \u00dcbersetzungen in Echtzeit oder zum Lesen von digitalisierten <strong>handschriftlichen Dateien<\/strong> f\u00fchren. Auch wenn es diese Anwendungen bereits gibt, ist es immer lohnenswert, an einem Projekt zu arbeiten, dessen Tragweite sp\u00fcrbar ist.\n\nSchlie\u00dflich konnten wir bei diesem Projekt vor allem die Dinge anwenden, die wir w\u00e4hrend unserer Ausbildung bei Liora gelernt haben, wie z. B. Datenvisualisierung,<a href=\"https:\/\/liora.io\/de\/machine-learning-data-sets-top-5-websites\"> Machine Learning<\/a>, Deep Learning und Webanwendungen.&#8220;\n\nDie Codes, die w\u00e4hrend dieses Projekts entwickelt wurden, findest du in diesem <a href=\"https:\/\/github.com\/Liora\/\">GitHub-Repository.<\/a>\n\nDu kannst die komplette Streamlit-Demo auf der <a href=\"https:\/\/studio.liora.io\/project\/pykana\/\">Studio-Website von Liora finden.<\/a>\n<h2>PyKana Projekt<\/h2>\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">1. Data Exploration<\/a>\n\nDie japanischen Schriftzeichen werden haupts\u00e4chlich in 2 Kategorien unterteilt:\n<ul>\n \t<li>Kanji: Sie stammen aus dem Chinesischen und dienen dazu, einen Teil der japanischen Sprache zu lesen und zu schreiben, indem sie mit Kanas verbunden werden.<\/li>\n \t<li>Kanjis bestehen aus 2.000 bis 4.000 Zeichen.<\/li>\n \t<li>Kana: dienen dazu, die japanische Sprache phonetisch zu notieren und bestehen aus 2 Untergruppen.<\/li>\n \t<li>Hiragana: 48 Zeichen<\/li>\n \t<li>Katakana: 48 Zeichen<\/li>\n<\/ul>\nDa es sich um supervisiertes Lernen handelt und angesichts der Rechenleistung, die uns zur Verf\u00fcgung stand, haben wir uns auf die Erkennung von Kana beschr\u00e4nkt.\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">2. Data Visualisation<\/a>\n\nF\u00fcr unsere Studie haben wir uns auf den Datensatz der <a href=\"\/\">ETL-Website Character Database<\/a> gest\u00fctzt, die uns komprimierte Bilder von Kanas, alle in Graustufen, zur Verf\u00fcgung gestellt hat.\n\nWir hatten also ungef\u00e4hr 6100 Hiragana und 10600 Katakana zur Verf\u00fcgung, die von 120 bzw. 106 Personen geschrieben wurden, die jedes Kana zwei- oder dreimal schreiben mussten.\n\n<img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/2021\/07\/OK1HftidkOG0Au5rz2_i9-HH47AbkatKD7rDgbzA1SkssVmjdvGHydolZTnirlVoZ1ELszEiCUmUz-J34b6Amn3qWwVQsEtq_flaAaKQe-EXBTzUFECAuNTRBRa37i4vi-300x260.jpg\" alt=\"extrait de la base de donn\u00e9es Hiragana\" width=\"300\" height=\"260\">\n\nAbb. 2.1 Auszug aus der Hiragana-Rohdatenbank.\n\nDie Zeichen in der Datenbank waren in Bildern verkettet, die wir trennen mussten, so dass wir die Erkennungsarbeit an jedem Kana einzeln durchf\u00fchren konnten.\n\nNach eingehender Betrachtung der Hiragana- und Katakana-Rohdatenbanken stellten wir fest, dass unser Untersuchungsset ziemlich verrauscht war, wie wir unten sehen k\u00f6nnen:\n\n<img decoding=\"async\" style=\"color: var( --e-global-color-text ); font-family: Metropolis, sans-serif; font-size: 16px; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400;\" src=\"https:\/\/liora.io\/app\/uploads\/2021\/07\/rqURfOOIjRBxttMtW1C6RaGoHWi9dR1ke31xuUWok5R9Ots6HOE3o2bF6ObT24khyagnbbTZIzq3-RKHok2z155bl32YkWfcuK2Qz75LjBihspA3qyRAk5uI9w9uGSEgO-300x139.jpg\" alt=\"Fig. 2.2 Extraits de Hiragana bruts\" width=\"300\" height=\"139\">\n\nAbb. 2.2 Rohe Hiragana-Ausschnitte\n\nUrspr\u00fcnglich dachten wir, dass das Rauschen unsere Studie verzerren k\u00f6nnte. Daher haben wir unsere Algorithmen auf unsere rohen und gefilterten Daten angewendet, um diese Verzerrung zu bewerten. Im Folgenden sind einige Ausz\u00fcge aus unseren gefilterten Kanas zu sehen:\n\n<img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/2021\/07\/rqURfOOIjRBxttMtW1C6RaGoHWi9dR1ke31xuUWok5R9Ots6HOE3o2bF6ObT24khyagnbbTZIzq3-RKHok2z155bl32YkWfcuK2Qz75LjBihspA3qyRAk5uI9w9uGSEgO-1-300x139.jpg\" alt=\"Fig. 2.3 Extraits de Katakana filtr\u00e9s\" width=\"300\" height=\"139\">\n\nAbb. 2.3 Gefilterte Katakana-Ausz\u00fcge\n\nIm Folgenden k\u00f6nnen wir sehen, dass unser Datensatz bei Hiragana und Katakana ziemlich ausgeglichen war:\n\n<img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/2021\/07\/2JBq2j-wThWdCDJ8XrEfxG5ghcu-v5vTMsYLfkn7X7p2T19XZLTXp1c1GQSDoBMMXY5vyj0QdzjtqRdPtzq0FgPCzJmhP5IMhpcG0VE9m_BTSnZpsVLAR3DbDbh9fkCdp-290x300.jpg\" alt=\"Distribution des Hiragana et Katakana dans la base d\u2019images\" width=\"290\" height=\"300\">\n\n<img decoding=\"async\" src=\"https:\/\/liora.io\/app\/uploads\/2021\/07\/G3f42MN5T2XpdeL5eKfqakw54Zs5Xh1U3RHfu5vukNDcfoFbSFxwlVShejT8SIQKgZSOKYEFyh8-iKpLPPvBK7lZNFfS52jEEk3zdpTNt_NjAOw6Pltv1lcDj44dWHCWy-290x300.jpg\" alt=\"Distribution des Hiragana et Katakana dans la base d\u2019images\" width=\"290\" height=\"300\">\nAbb. 2.4 Verteilung von Hiragana und Katakana in der Bilddatenbank\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">3. Machine Learning<\/a>\n\nWir haben vier klassische Machine-Learning-Modelle ausgew\u00e4hlt, die mit einem Voting Classifier kombiniert wurden, um unser Klassifikationsproblem zu l\u00f6sen:\n<ul>\n \t<li>Random Forest<\/li>\n \t<li>KNN (K-Nearest Neighbors oder K n\u00e4chste Nachbarn)<\/li>\n \t<li>SVM (Support Vector Machine)<\/li>\n \t<li>Logistische Regression (Logistic Regression).<\/li>\n<\/ul>\nWir versuchten, diese Modelle unabh\u00e4ngig voneinander zu optimieren und f\u00fchrten diese Arbeit an unseren Rohdaten durch, die mit Canny (Kantenextraktor) gefiltert wurden. Auf diese Weise konnten wir sehen, ob die Reduzierung des Eingangsrauschens die Leistung der Modelle beeinflusst. Dann haben wir jedes Modell mit seinen besten Parametern f\u00fcr den Voting Classifier kombiniert.\n\nWir verwendeten 80% der Daten f\u00fcr das Training und die restlichen 20% der Daten f\u00fcr den Test. Um die Leistung der verschiedenen Modelle vergleichen zu k\u00f6nnen, legten wir diese Trainings- und Tests\u00e4tze fest.\n\nSchlie\u00dflich erhielten wir die folgenden Vorhersagewerte:\n\n<img decoding=\"async\" src=\"https:\/\/i0.wp.com\/liora.io\/app\/uploads\/2021\/07\/Logistic-Regr.jpg?resize=800%2C450&amp;ssl=1\" alt=\"les scores de pr\u00e9dictions\" width=\"800\" height=\"450\" data-recalc-dims=\"1\" data-lazy-loaded=\"1\">\nDie Vorhersage-Scores\n\nDie erste interessante Beobachtung, die wir machen k\u00f6nnen, ist, dass entgegen unserer anf\u00e4nglichen Annahme die Filterung unserer Bilder die Qualit\u00e4t unserer Vorhersagen verschlechtert.\n\nZweitens scheint das SVM-Modell die besten Vorhersageergebnisse zu liefern, was mit der Tatsache \u00fcbereinstimmt, dass es f\u00fcr die Problematik der Bildklassifizierung als leistungsf\u00e4hig gilt.\n\nWir haben dann den Voting Classifier verwendet, um zu versuchen, die Ergebnisse zu optimieren. Die erzielte Verbesserung der Punktzahl ist jedoch im Vergleich zur ben\u00f6tigten Rechenzeit zu gering. Wenn wir auf diesem Niveau der Studie bleiben, sind die effizientesten Machine-Learning-Modelle, die wir verwenden k\u00f6nnen, Random Forest oder<strong> SVM f\u00fcr die Erkennung von Kanas.<\/strong>\n\nSchlie\u00dflich scheinen Katakana leichter vorherzusagen zu sein als Hiragana. Wenn man sich genauer mit der Form dieser Kanas besch\u00e4ftigt, erscheint dies logisch, da die Form der Hiragana viel \u201erunder\u201c und komplexer ist als die der Katakana (vgl. Abbildungen 2.2, 2.3).\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">4. Deep Learning<\/a>\n\nAngesichts der Einschr\u00e4nkungen, die die <a href=\"https:\/\/liora.io\/de\/machine-learning-data-sets-top-5-websites\">Machine-Learning-Algorithmen<\/a> f\u00fcr unsere Studie aufwiesen, haben wir auf Deep Learning mit CNN (Convolutional Neural Network) umgestellt.\n<h4>Das verwendete CNN-Modell<\/h4>\nWir haben die folgende CNN-Architektur entwickelt (Abb. 2.5):\n\n<img decoding=\"async\" src=\"https:\/\/i0.wp.com\/liora.io\/app\/uploads\/2021\/07\/qzkEnC8cM2ahpDoDeq-IchsEOtpkQFMX2FUFkVMzR-fVcAHc4TSjD4qoK36G78dnmmdv1isaEL41muKOTLC6Q3dh8j4Euq3saW79oebpeKWGqc9dC3RkvVjgNQqbFBBd0.jpg?resize=800%2C450&amp;ssl=1\" alt=\"Architecture du mod\u00e8le CNN utilis\u00e9 \" width=\"800\" height=\"450\" data-recalc-dims=\"1\" data-lazy-loaded=\"1\">\n\nAbb. 2.5: Architektur des verwendeten CNN-Modells.\n\n<img decoding=\"async\" src=\"https:\/\/i0.wp.com\/liora.io\/app\/uploads\/2021\/07\/Layer-type.jpg?resize=589%2C511&amp;ssl=1\" alt=\"R\u00e9sum\u00e9 du mod\u00e8le CNN utilis\u00e9\" width=\"589\" height=\"511\" data-recalc-dims=\"1\" data-lazy-loaded=\"1\">\n\nNachfolgend eine detaillierte Darstellung der Schichten, aus denen das verwendete CNN-Modell besteht (Abb. 2.6) :\n\nAbb. 2.6 Zusammenfassung des verwendeten CNN-Modells.\n\nMit diesem CNN-Modell erhielten wir :\n<table width=\"254\">\n<tbody>\n<tr>\n<td><b>Metrik<\/b><\/td>\n<td><b>Hiragana<\/b><\/td>\n<td><b>Katakana<\/b><\/td>\n<\/tr>\n<tr>\n<td>Score<\/td>\n<td>89%<\/td>\n<td>99%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nMetrik Hiragana Katakana\nPunktzahl 89% 99%.\n\nBei Hiragana erzielten wir recht zufriedenstellende Ergebnisse 89% und eine Kurve, die zu einem Maximum konvergiert und sich nach einem Training von 50 Epochs bei diesem Wert stabilisiert hat.\n\nBei Katakana haben wir im Testdatensatz sehr ausreichende Ergebnisse von 99 % und eine Kurve, die auf ein Maximum zul\u00e4uft und sich nach einem Training von 50 Epochs auf diesen Wert stabilisiert hat, erzielt.\n\nWir k\u00f6nnen feststellen, dass wir im Vergleich zu den verwendeten Machine-Learning-Modellen bereits eine gro\u00dfe Verbesserung der Punktzahl haben.\n\nObwohl die Ergebnisse mit dem verwendeten CNN-Modell recht zufriedenstellend waren, wollten wir diesen Ansatz durch Data Augmentation optimieren: Dies ist ein Mittel, mit dem man aus einem Datensatz die f\u00fcr das Training des Netzwerks verf\u00fcgbaren Daten vervielfachen kann, um mehr Daten f\u00fcr das Training und die Aktualisierung der Gewichte des Netzwerks zur Verf\u00fcgung zu haben.\n\nMit der Datenvermehrung erhielten wir :\n<table>\n<tbody>\n<tr>\n<td><b>Metrik<\/b><\/td>\n<td><b>Hiragana<\/b><\/td>\n<td><b>Katakana<\/b><\/td>\n<\/tr>\n<tr>\n<td>Score<\/td>\n<td>95%<\/td>\n<td>99%<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nMetrik Hiragana Katakana\nPunktzahl 95% 99%.\n\nDieses Netzwerk ist sehr leistungsstark:\n\nAuf Katakana, eine Punktzahl von \u00fcber 99% f\u00fcr die Zeichenerkennung.\nAuf Hiragana, eine Punktzahl von \u00fcber 95% f\u00fcr die Zeichenerkennung.\n\nAus Zeitmangel konnten wir nicht alle M\u00f6glichkeiten aussch\u00f6pfen, um unser Modell zu verbessern und zu optimieren, oder sogar ein Modell f\u00fcr jede Art von Kana zu erstellen, eines speziell f\u00fcr Hiragana und eines speziell f\u00fcr Katakana.\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">5. Grenzen \/ Verbesserungsm\u00f6glichkeiten<\/a>\n\n<strong>1. Modelle f\u00fcr Machine Learning<\/strong>\n\nUm die Genauigkeit der verwendeten Machine-Learning-Algorithmen zu verbessern, k\u00f6nnen wir uns vorstellen :\n\n<strong>Transfer Learning<\/strong>\n\nErstellung eines Hybridmodells, das die besten Machine-Learning-Modelle (SVM und Random Forest) oder Machine\/Deep Learning kombiniert, insbesondere um die Leistung bei Hiragana zu steigern.\n\n<strong>Andere Methode zur Entfernung von Rauschen<\/strong>\n\nWir hatten nur Zeit, den Canny-Filter zu testen, um die Rauschunterdr\u00fcckung bei unseren Eingabezeichen durchzuf\u00fchren, aber dieser Filter ist vielleicht nicht f\u00fcr unser Problem geeignet. Die Verwendung eines anderen Filters k\u00f6nnte zu besseren Ergebnissen f\u00fchren.\n\n<strong>\u201eVerallgemeinerung\u201c des Modells<\/strong>\n\nIm Rahmen unseres Projekts haben wir nur Modelle verwendet, die die Erkennung jeweils nur eines Zeichens erm\u00f6glichen. Die Verwendung von Modellen, die mit Zeichensequenzen arbeiten, w\u00fcrde unserem Projekt eine viel gr\u00f6\u00dfere Dimension an Anwendungen verleihen.\n\n<strong>2. Modell f\u00fcr Deep Learning<\/strong>\n\nUm unser (bereits erfolgreiches) CNN-Modell zu verbessern, k\u00f6nnten wir Folgendes in Betracht ziehen:\n\nOptimierung der Netzwerkarchitektur.\nAnzahl der Convolutions-\/Pooling-Schichten.\nMit den Convolutions- und Pooling-Schichten verbundene Parameter (strides, filters, kernel_size\u2026).\nRegularization Layer (Begrenzung des Overfittings).\nOptimierung der Datenverarbeitung\nParameter f\u00fcr Bildtransformationen (Drehen, Zoomen, Flip \u2026)\nAnzahl der Transformationen\nAnzahl der Trainingsbilder\nZusammenf\u00fcgen von Vorlagen\nEs ist m\u00f6glich, mehrere verschiedene Modelle zusammenzuf\u00fcgen.\nDie Vorhersagen werden dann zwischen den verschiedenen Modellen gemittelt.\n\u201eVerallgemeinerung\u201c des Modells\n\nIm Rahmen unseres Projekts haben wir nur Modelle verwendet, die die Erkennung jeweils nur eines Zeichens erm\u00f6glichen. Die Verwendung von Modellen, die mit Zeichensequenzen arbeiten, w\u00fcrde unserem Projekt eine viel gr\u00f6\u00dfere Dimension an Anwendungen verleihen.\n<h2>D\u00e9roulement du projet<\/h2>\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">Aufgetretene Schwierigkeiten<\/a>\n\nDie gr\u00f6\u00dfte Schwierigkeit, auf die wir zu Beginn des Projekts stie\u00dfen, war die Verarbeitung\/Extraktion unserer Rohdaten aus der ETL Character Database. Wir stellten fest, dass es Probleme mit der Kodierung gab, die das Extrahieren der Bilder erschwerten. Wir konnten sie jedoch auf einem unserer Computer abrufen und auf den anderen duplizieren, so dass alle mit derselben Datenbank arbeiten konnten.\n\nBei den Modellen, die wir ausprobieren wollten, hatten wir keine gro\u00dfen Schwierigkeiten, au\u00dfer dass wir nicht direkt zu den Modellen des Deep Learning \u00fcbergingen, die sp\u00e4ter im Kurs behandelt wurden. Allerdings konnten wir so sehen, dass es m\u00f6glich ist, mit Machine-Learning-Modellen ordentliche Ergebnisse zu erzielen (wenn auch nicht so gut wie mit Deep-Learning-Modellen), und dass eine bessere Rauschfilterarbeit an unseren Eingabebildern diese Ergebnisse vielleicht noch verbessern k\u00f6nnte.\n\nWas den Zeitplan betrifft, so dauerte es aufgrund von Kodierungsproblemen im Allgemeinen l\u00e4nger als erwartet, bis wir unsere Daten abrufen konnten. Dasselbe gilt f\u00fcr die Optimierung unserer Machine-Learning-Modelle, da die Laufzeit f\u00fcr die Grid Search (Suche nach den besten Parametern f\u00fcr jedes Modell) zu lang war. Dies wirkte sich vor allem auf das Ende unseres Projekts aus, wo wir gerne ein Transfer Learning-Modell oder ein Hybridmodell zwischen Machine Learning und Deep Learning eingesetzt h\u00e4tten, um unsere Ergebnisse f\u00fcr Hiragana zu verbessern.\n\nWie bereits beschrieben, hatten wir anfangs aufgrund der Kodierung Probleme beim Lesen unserer Daten. Um die Menge der einzelnen Bilder zu bew\u00e4ltigen, entschieden wir uns au\u00dferdem, die Daten in CSV-Dateien umzuwandeln, die einfacher zu importieren waren und weniger Speicherplatz ben\u00f6tigten.\n\nSchlie\u00dflich dachten wir, dass wir vor allem am Anfang ein Problem mit Rauschen in unseren Bildern hatten, das die Leistung unserer Modelle beeintr\u00e4chtigen w\u00fcrde.\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">Betreuung<\/a>\n\nZus\u00e4tzlich zu den von Liora durchgef\u00fchrten Masterclasses standen uns die verschiedenen Online-Module auf der Plattform zur Verf\u00fcgung, die uns bei der Entwicklung unserer verschiedenen Algorithmen halfen. Liora bot uns auch einen Zeitplan f\u00fcr den Projektablauf an, auf den wir uns st\u00fctzten, um mit agilen Methoden zu arbeiten.\n\nW\u00e4hrend unseres Projekts wurden wir auch von Louis betreut, der uns durch seine Erfahrung sehr gut beraten hat, was den Ablauf der einzelnen Projektphasen betrifft:\n\nTools, die wir f\u00fcr die Erstellung der Datenvisualisierung verwenden sollten.\nDie relevantesten Algorithmen, die wir f\u00fcr unsere Studie verwenden sollten.\nValidierung der Konsistenz der erhaltenen Ergebnisse.\n\nAu\u00dferdem erm\u00f6glichte es uns Louis\u2018 Blick, unsere Arbeit ein wenig aus der Vogelperspektive zu betrachten, damit sie auch f\u00fcr Personen au\u00dferhalb des Projekts verst\u00e4ndlich war.\n\n<svg viewBox=\"0 0 192 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M0 384.662V127.338c0-17.818 21.543-26.741 34.142-14.142l128.662 128.662c7.81 7.81 7.81 20.474 0 28.284L34.142 398.804C21.543 411.404 0 402.48 0 384.662z\"><\/path><\/svg>\n<svg viewBox=\"0 0 320 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M288.662 352H31.338c-17.818 0-26.741-21.543-14.142-34.142l128.662-128.662c7.81-7.81 20.474-7.81 28.284 0l128.662 128.662c12.6 12.599 3.676 34.142-14.142 34.142z\"><\/path><\/svg>\n<a href=\"\">Erlernte F\u00e4higkeiten<\/a>\n\nDie erste Lektion, die wir aus einem Datenprojekt wie <strong>PyKana<\/strong> gelernt haben, ist, dass die Zeit f\u00fcr die Verarbeitung\/Extraktion der Basisdaten, um sie nutzbar zu machen, nicht zu vernachl\u00e4ssigen ist. Es ist wichtig, sich dies bei jeder Art von Projekt zu vergegenw\u00e4rtigen, da f\u00fcr diesen Schritt ein wichtiger Zeitrahmen im Projektkalender vorgesehen werden muss.\n\nZweitens erweisen sich die Vermutungen, die man \u00fcber die Ergebnisse haben kann, nicht immer als richtig. Wir haben das am eigenen Leib erfahren, als wir annahmen, dass unsere Modelle auf unserer <strong>gefilterten Datenbasis<\/strong> bessere Ergebnisse liefern w\u00fcrden als auf unserer Rohdatenbasis. Die Realit\u00e4t hat uns eines Besseren belehrt, da unsere Rohdatenbank stark verrauscht war, aber vielleicht war die Wahl des Filters (Canny), die wir getroffen hatten, nicht die richtige.\n\nDanach wurde uns schnell klar, dass ein <strong>Datenprojekt eine intelligente Aufgabenverteilung<\/strong> innerhalb des Teams erfordert, um die Effizienz zu steigern. Zum Beispiel war die Entscheidung, die Implementierung der verschiedenen<a href=\"https:\/\/liora.io\/de\/deep-learning-vs-machine-learning\"> Machine\/Deep Learning-Modelle<\/a> separat unter uns aufzuteilen, entscheidend, um unsere Arbeit zu parallelisieren und nicht redundant zu sein. Wir haben auch unsere Aufgaben so verteilt, dass sie den Vorlieben jedes Einzelnen entsprechen.\n\nSchlie\u00dflich ist die Nutzung von Tools zur Zusammenarbeit unerl\u00e4sslich, vor allem, wenn man parallel arbeitet. Sie erm\u00f6glicht es, die Arbeit zu versionieren und <strong>Datenverluste bei der Zusammenf\u00fchrung von Codes<\/strong>, die von zwei Mitgliedern desselben Teams entwickelt wurden, zu vermeiden.\n\nVielen Dank an Pykana f\u00fcr ihren Erfahrungsbericht!\n\nM\u00f6chtest auch Du ein <strong>Data-Science-Projekt von A bis Z entwickeln<\/strong> und von erfahrenen Ausbildern betreut werden? <a href=\"https:\/\/liora.io\/de\/terminvereinbarung\">Vereinbare online einen Termin mit unserem Team&nbsp; um deine Lernziele zu besprechen.<\/a>\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center\"><div class=\"wp-block-button \"><a class=\"wp-block-button__link wp-element-button \" href=\"https:\/\/liora.io\/de\/terminvereinbarung\">Termin vereinbaren<\/a><\/div><\/div>\n","protected":false},"excerpt":{"rendered":"<p>Das PyKana-Projekt ist der letzte Teil der Pr\u00fcfung von vier unserer Sch\u00fcler, Raouf, Franck, Diahana und Marius, die am Data Scientist-Bootcamp im M\u00e4rz 2021 teilgenommen haben. Ihr Ziel war es, verschiedene Algorithmen des maschinellen Lernens und des Deep Learning zu verwenden, um Kanas, japanische Schriftzeichen, zu erkennen. Wie kamen sie auf die Idee f\u00fcr das [&hellip;]<\/p>\n","protected":false},"author":74,"featured_media":172735,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-172734","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/172734","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/74"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=172734"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/172734\/revisions"}],"predecessor-version":[{"id":217656,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/172734\/revisions\/217656"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/172735"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=172734"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=172734"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}