Lass uns von diesem Schema ausgehen, um uns die verschiedenen Phasen<\/strong>, die Daten durchlaufen, vor Augen zu f\u00fchren. Zur Erinnerung: Der Data Engineer<\/strong><\/a> wird vor allem in den ersten drei Phasen t\u00e4tig sein (die letzte Phase betrifft Data Scientists und Data Analysts). Wir werden auf die Werkzeuge eingehen, die in diesen Phasen verwendet werden, aber sie k\u00f6nnen von Unternehmen zu Unternehmen unterschiedlich sein.<\/p>\t\t\n\t\t\t Der erste Schritt besteht also darin, diese Daten mithilfe von Datenquellen zu sammeln.<\/a> Es ist \u00fcblich, hier Python zu finden, um diese Daten zu sammeln. Wir werden zum Beispiel APIs<\/a> wie OpenWeatherMap<\/a> f\u00fcr Wetterdaten oder Binance f\u00fcr Finanzdaten anfordern. Es ist auch m\u00f6glich, Webscraping zu betreiben, um Daten von Webseiten \u00fcber die Python-Pakete BeautifulSoup<\/a> oder Selenium abzurufen.<\/a><\/p> Mit dem Internet der Dinge werden Daten \u00fcber Sensoren von vernetzten Objekten gestreamt (kontinuierlich). Daher ist es wichtig, bestimmte Aktionen zum richtigen Zeitpunkt durchzuf\u00fchren, da sonst unerwartetes Verhalten unserer verbundenen Objekte auftreten kann. Hier kommt Apache Kafka<\/a> mit seinem Nachrichtensystem ins Spiel. Rabbit MQ wird ebenfalls zur Verarbeitung von Streaming-Daten<\/a> verwendet, ebenso wie die Programmiersprache Scala.<\/p>\t\t\n\t\t\t Nachdem die Daten in Form einer Datei gesammelt wurden,<\/strong> m\u00fcssen sie gespeichert werden. Dies kann in zwei Schritte unterteilt werden, wie es uns das Schema gezeigt hat. In diesem Fall werden die Daten in ihrem Rohzustand<\/strong> in einem Data Lake<\/a> f\u00fcr eine m\u00f6gliche zuk\u00fcnftige Nutzung gespeichert. In diesem Data Lake werden die Daten \u00fcber Metadaten oder \u00fcber ein herk\u00f6mmliches Dateisystem organisiert. Mit Hadoop<\/a> k\u00f6nnen wir ein solches zusammenstellen.<\/p> Wenn die Daten f\u00fcr eine spezifische Nutzung vorgesehen sind, kann der Data Engineer diese auch in ein Data Warehouse \u00fcbertragen.<\/p> Im Gegensatz zu einem Data Lake sind die Daten in einem Data Warehouse strukturiert und stehen direkt den Data Analysts oder Data Scientists zur Verf\u00fcgung.<\/p> Eine weitere M\u00f6glichkeit zur Datenspeicherung bieten Datenbanken. Relationale Datenbanken sind am weitesten verbreitet, und wir verwenden SQL, um sie zu verwalten. Heutzutage verarbeiten wir jedoch auch gro\u00dfe Datenmengen, wof\u00fcr NoSQL-Datenbanken zum Einsatz kommen.<\/p> F\u00fcr semi-strukturierte Daten eignet sich beispielsweise MongoDB besonders gut, w\u00e4hrend Neo4j optimal f\u00fcr die Speicherung von Graphdaten ist. Daher muss ein Data Engineer geschickt zwischen verschiedenen Datenbanken jonglieren.<\/p>\t\t\n\t\t\t Der Data Engineer kann auch bei der Industrialisierung der L\u00f6sungen eingreifen. Die Arbeit, die der Data Scientist oder der Data Analyst<\/a> geleistet hat, ist n\u00e4mlich noch nicht f\u00fcr alle zug\u00e4nglich und deshalb wird der Data Engineer eine API f\u00fcr die L\u00f6sung erstellen, damit der Kunde eine Schnittstelle nutzen kann, um einfach die Modelle des Data Scientists zu verwenden.<\/p> Dann m\u00fcssen wir einen Container f\u00fcr unsere L\u00f6sung erstellen, um sie einzusetzen, aber auch um sie mit anderen Komponenten zu kombinieren, und daf\u00fcr verwenden wir das Flaggschiff-Tool Docker.<\/a><\/p>\t\t\n\t\t\t Nous avons list\u00e9 quelques outils open source, mais de nos jours, il est de plus en plus courant d’utiliser un fournisseur de cloud comme AWS,<\/a> GCP ou Azure pour r\u00e9pondre \u00e0 nos diff\u00e9rents besoins. Par exemple, si nous voulons utiliser un data lake, avec AWS, nous passerons par S3, tandis qu’avec GCP, ce sera Google Cloud Storage<\/a> et avec Azure, simplement Azure Data Lake.<\/a><\/p>\t\t\n\t\t\t Wenn unsere gesamte Datenpipeline funktioniert, m\u00fcssen wir die verschiedenen Schritte unseres ETL-Systems in einem bestimmten Rhythmus automatisieren. Die Datenquellen werden n\u00e4mlich Daten senden, die zun\u00e4chst in einem Data Lake<\/strong> gespeichert und dann in ein Data Warehouse<\/a> oder eine Datenbank umgewandelt werden m\u00fcssen.<\/p> Um dies zu tun, verwenden wir einen Orchestrator. Der bekannteste ist Airflow, aber wenn du Echtzeitdaten hast, ist es besser, Nifi zu verwenden. Wenn unsere Datenpipeline vollst\u00e4ndig ist, gibt es Tools von Cloud-Anbietern wie Cloud Composer von GCP oder Glue von AWS.<\/strong><\/p>\t\t\n\t\t\t Jetzt wei\u00dft du mehr \u00fcber die Werkzeuge, die ein Data Engineer am h\u00e4ufigsten benutzt.<\/p> Wenn du lernen m\u00f6chtest, wie du die Tools, die du gerade kennengelernt hast, einsetzen kannst, dann schau dir den Data Engineer-Kurs von Liora an.<\/p>\t\t\n\t\t\t\nDie Datenquellen <\/h2>\t\t\n\t\t
Die Datenspeicherung ist auch ein Werkzeug, das von Dateningenieuren verwendet wird.<\/h2>\t\t\n\t\t
Der erste Schritt besteht darin, die Daten ohne Transformationen zu speichern.<\/p>In Produktion gehen\n<\/h2>\t\t\n\t\t
Die Cloud ist ein unverzichtbares Werkzeug f\u00fcr Dateningenieure<\/h2>\t\t\n\t\t
Automatisierung von Abl\u00e4ufen<\/h2>\t\t\n\t\t
Fazit<\/h2>\t\t\n\t\t