{"id":177568,"date":"2023-06-02T09:49:33","date_gmt":"2023-06-02T08:49:33","guid":{"rendered":"https:\/\/liora.io\/de\/?p=177568"},"modified":"2026-08-03T12:40:38","modified_gmt":"2026-08-03T10:40:38","slug":"apache-oozie-vereinfache-die-verwaltung-deiner-big-data-workflows","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/apache-oozie-vereinfache-die-verwaltung-deiner-big-data-workflows","title":{"rendered":"Apache Oozie: Vereinfache die Verwaltung deiner Big Data-Workflows"},"content":{"rendered":"\n<p><strong>Apache Oozie ist ein Open-Source-Tool f\u00fcr die Ablaufplanung, das urspr\u00fcnglich 2007 von Yahoo! entwickelt wurde, um die Koordination von Hadoop-Jobs zu erleichtern. Oozie wurde 2011 als Apache Incubator-Projekt akzeptiert und 2012 zum Apache Top-Level-Projekt bef\u00f6rdert.<\/strong><\/p>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center wp-container-core-buttons-is-layout-5ee10de4\" style=\"margin-top:32px;margin-bottom:32px\"><div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\/data-ki\/data-engineer\">Mehr \u00fcber den oozie Workflow lernen<\/a><\/div><\/div>\n\n\n\n<p>Seit seiner Gr\u00fcndung hat sich das Projekt st\u00e4ndig verbessert und neue Funktionen hinzugef\u00fcgt bekommen. Die Version 5.0.0, die 2017 ver\u00f6ffentlicht wurde, war eine gro\u00dfe Weiterentwicklung mit vielen Verbesserungen, darunter die Unterst\u00fctzung f\u00fcr langfristige Planung und die Unterst\u00fctzung f\u00fcr SSL-Zertifikate.<\/p>\n\n\n\n<p><strong>Apache Oozie<\/strong> wird heute in vielen Unternehmen f\u00fcr die Koordination von Hadoop-Jobs und -Workflows eingesetzt.<\/p>\n\n\n\n<div class=\"wp-block-group has-background has-global-padding is-layout-constrained wp-container-core-group-is-layout-7441ce17 wp-block-group-is-layout-constrained\" style=\"border-left-color:#ff5c43;border-left-width:4px;border-radius:12px;background-color:#fff5f2;margin-top:32px;margin-bottom:32px;padding-top:24px;padding-right:28px;padding-bottom:24px;padding-left:28px\">\n\n<p style=\"margin-top:0;margin-bottom:16px;font-size:clamp(14.642px, 0.915rem + ((1vw - 3.2px) * 0.575), 22px);font-style:normal;font-weight:600\">Auch interessant<\/p>\n\n\n\n<ul style=\"margin-top:0;margin-bottom:0;padding-left:20px\" class=\"wp-block-list\">\n<li><a href=\"https:\/\/liora.io\/de\/apache-spark\" rel=\"noopener\" target=\"_blank\">Apache Spark<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-kafka\" rel=\"noopener\" target=\"_blank\">Apache Kafka<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-cassandra-die-beliebteste-nosql-bdd\" rel=\"noopener\" target=\"_blank\">Apache Cassandra<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-schulung-wie-lerne-ich-hadoop-spark-und-cassandra\" rel=\"noopener\" target=\"_blank\">Apache Schulung<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-airflow-was-ist-das-und-wie-kann-man-es-nutzen\" rel=\"noopener\" target=\"_blank\">Apache Airflow<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-flume-was-ist-das-wozu-dient-es\" rel=\"noopener\" target=\"_blank\">Apache Flume<\/a><\/li><li><a href=\"https:\/\/liora.io\/de\/apache-storm-was-ist-das-wozu-benutzt-man-es\" rel=\"noopener\" target=\"_blank\">Apache Storm<\/a><\/li>\n<\/ul>\n\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"wie-funktioniert-apache-oozie\">Wie funktioniert Apache Oozie ?<\/h2>\n\n\n\n<p><strong>Apache Oozie<\/strong> ist ein Scheduling-System zur Verwaltung und Ausf\u00fchrung von <a href=\"https:\/\/liora.io\/de\/hdfs-hadoop-distributed-file-system-was-ist-das\">Hadoop-Jobs i<\/a>n einer verteilten Umgebung. Du kannst Pipelines erstellen, indem du verschiedene Jobs wie Hive, MapReduce oder auch Pig kombinierst.<\/p>\n\n\n\n<p>Als<a href=\"https:\/\/liora.io\/de\/open-source-definition\"> Open-Source<\/a>-Java-Webanwendung ist Oozie f\u00fcr das Ausl\u00f6sen deiner verschiedenen Workflows verantwortlich. Die Fertigstellung von Aufgaben wird nach einem Callback- und Polling-Prinzip erkannt. Wenn Oozie eine Aufgabe startet, stellt es automatisch eine eindeutige HTTP-Callback-URL f\u00fcr die Aufgabe zur Verf\u00fcgung und benachrichtigt diese URL, sobald die Aufgabe abgeschlossen ist. F\u00fcr den Fall, dass die Aufgabe es nicht schafft, die Callback-URL aufzurufen, kann Oozie die Aufgabe sondieren, um zu \u00fcberpr\u00fcfen, ob sie abgeschlossen ist.<\/p>\n\n\n\n<p>Apache Oozie verf\u00fcgt \u00fcber drei Arten von Jobs:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"apache-oozie-workflow\">Apache Oozie Workflow<\/h3>\n\n\n\n<p>Ein Apache <strong>Oozie-Workflow<\/strong> ist eine Abfolge von Aktionen, die als <a href=\"https:\/\/www.bigdata-insider.de\/was-ist-ein-directed-acyclic-graph-dag-a-1075296\/\">gerichteter azyklischer Graph (DAG)<\/a> organisiert sind. Diese Aktionen h\u00e4ngen voneinander ab, so dass die n\u00e4chste Aktion erst ausgef\u00fchrt werden kann, wenn die vorherige Aktion beendet wurde.<\/p>\n\n\n\n<p>Je nach Bedarf k\u00f6nnen verschiedene Arten von Aktionen erstellt werden. Der Workflow und die Skripte oder .jar-Dateien m\u00fcssen im <strong>HDFS-Pfad<\/strong> positioniert werden, bevor der Workflow ausgef\u00fchrt wird.<\/p>\n\n\n\n<p>F\u00fcr den Fall, dass wir mehrere Jobs parallel ausf\u00fchren wollen, k\u00f6nnen wir Fork verwenden.<\/p>\n\n\n\n<p>F\u00fcr jede Verwendung von Fork muss am Ende von Fork eine Verbindung (Join) verwendet werden.<\/p>\n\n\n\n<p>Join geht davon aus, dass alle parallel laufenden Knoten Kinder eines einzigen Forks sind, wie das folgende Diagramm zeigt.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\" style=\"margin-top:32px;margin-bottom:32px\"><img alt=\"Illustration zu \u201eApache Oozie Workflow\u201c\" decoding=\"async\" height=\"470\" loading=\"lazy\" sizes=\"(max-width: 955px) 100vw, 955px\" src=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/06\/image2-4.png\" srcset=\"https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/06\/image2-4.png 955w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/06\/image2-4-300x148.png 300w, https:\/\/liora.io\/app\/uploads\/sites\/8\/2023\/06\/image2-4-768x378.png 768w\" style=\"width:100%;height:auto\" width=\"955\"\/><\/figure>\n\n\n\n\n\n<h3 class=\"wp-block-heading\" id=\"oozie-koordinator\">Oozie-Koordinator<\/h3>\n\n\n\n<p>Der<strong> Oozie-Koordinator<\/strong> erm\u00f6glicht es dir, komplexe Workflows zu terminieren. Er l\u00f6st diese Workflows auf der Grundlage von Zeit-, Daten- oder Ereignispr\u00e4dikaten aus. So beginnen die Workflows, sobald die gegebene Bedingung erf\u00fcllt ist.<\/p>\n\n\n\n<p>Die erforderlichen Definitionen f\u00fcr Koordinationsjobs sind wie folgt:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>start:<\/strong> Datum und Uhrzeit des Arbeitsbeginns.<\/li>\n<li><strong>end:<\/strong> Datum und Uhrzeit des Arbeitsendes\ntimezone: Zeitzone der Koordinationsanwendung.<\/li>\n<li><strong>frequency:<\/strong> In Minuten, die H\u00e4ufigkeit f\u00fcr die Ausf\u00fchrung der Arbeit<\/li>\n<\/ul>\n\n\n\n<p>Einige zus\u00e4tzliche Eigenschaften sind auch f\u00fcr Kontrollinformationen verf\u00fcgbar:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>timeout:<\/strong> Die maximale Zeit in Minuten, die eine Aktion auf die Erf\u00fcllung der Bedingungen wartet, bevor sie abgelehnt wird.<\/li>\n<li><strong>concurrency:<\/strong> Die maximale Anzahl von Aktionen, die parallel ausgef\u00fchrt werden k\u00f6nnen.<\/li>\n<li><strong>execution:<\/strong> Die Ausf\u00fchrungsreihenfolge, die aus FIFO, LIFO und LAST_ONLY ausgew\u00e4hlt werden kann.<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\" id=\"oozie-bundle\">Oozie Bundle<\/h3>\n\n\n\n<p>Oozie-Bundles sind keine Jobart im eigentlichen Sinne. Es handelt sich um ein B\u00fcndel von mehreren Koordinatoren- oder Workflow-Jobs. Die Bundles generieren so ihren Lebenszyklus.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"die-funktionen-von-apache-oozie\">Die Funktionen von Apache Oozie<\/h2>\n\n\n\n<p><strong>Apache Oozie<\/strong> bietet eine Vielzahl von Funktionen, die es dir erm\u00f6glichen, deine <a href=\"https:\/\/liora.io\/de\/hadoop\">Hadoop-Arbeiten<\/a> effektiv zu planen und zu koordinieren. Hier sind einige der wichtigsten Funktionen von Oozie :<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Automatisierte Workflow-Planung:<\/strong> Wie bereits erw\u00e4hnt, kannst du mit Oozie deine Workflows anhand von Zeit-, Daten- oder Ereignisbedingungen planen.<\/li>\n<li><strong>Integration:<\/strong> Oozie ist so konzipiert, dass es sich einfach mit anderen beliebten Hadoop-Tools wie Hive, MapReduce, Spark oder HBase integrieren l\u00e4sst.<\/li>\n<li><strong>Fehlermanagement:<\/strong> Es wird eine erweiterte Fehlermanagementfunktion bereitgestellt, die es den Nutzern erm\u00f6glicht, im Falle eines Problems die richtigen Entscheidungen zu treffen.<\/li>\n<li><strong>GUI:<\/strong> Oozie wird mit einer benutzerfreundlichen GUI geliefert, die es den Nutzern erm\u00f6glicht, ihre Workflows effizient zu visualisieren und zu verwalten. Diese GUI bietet auch Echtzeit-\u00dcberwachungsfunktionen f\u00fcr laufende Jobs.<\/li>\n<\/ul>\n\n\n\n<div class=\"wp-block-buttons is-layout-flex wp-block-buttons-is-layout-flex is-content-justification-center wp-container-core-buttons-is-layout-5ee10de4\" style=\"margin-top:32px;margin-bottom:32px\"><div class=\"wp-block-button\"><a class=\"wp-block-button__link wp-element-button\" href=\"https:\/\/liora.io\/de\/weiterbildung\/data-ki\/data-engineer\">Data Engineer Weiterbildung entdecken<\/a><\/div><\/div>\n\n\n\n<h2 class=\"wp-block-heading\" id=\"fazit\">Fazit<\/h2>\n\n\n\n<p><strong>Apache Oozie<\/strong> ist ein leistungsstarkes und flexibles Werkzeug, das eine effiziente und koordinierte Verwaltung von<strong> Hadoop-Jobs und -Workflows erm\u00f6glicht.<\/strong> Dank seiner erweiterten Funktionen, die in diesem Artikel besprochen werden, ist Oozie zu einem Muss f\u00fcr die Analyse verteilter Daten geworden.<\/p>\n\n\n\n<p>Wenn du oder dein Kunde nach einer effektiven M\u00f6glichkeit zur Verwaltung von <strong>Hadoop-Workflows<\/strong> sucht, ist Apache Oozie ein Werkzeug, das ernsthaft in Betracht gezogen werden sollte.<\/p>\n\n","protected":false},"excerpt":{"rendered":"<p>Apache Oozie ist ein Open-Source-Tool f\u00fcr die Ablaufplanung, das urspr\u00fcnglich 2007 von Yahoo! entwickelt wurde, um die Koordination von Hadoop-Jobs zu erleichtern. Oozie wurde 2011 als Apache Incubator-Projekt akzeptiert und 2012 zum Apache Top-Level-Projekt bef\u00f6rdert. Seit seiner Gr\u00fcndung hat sich das Projekt st\u00e4ndig verbessert und neue Funktionen hinzugef\u00fcgt bekommen. Die Version 5.0.0, die 2017 ver\u00f6ffentlicht [&hellip;]<\/p>\n","protected":false},"author":76,"featured_media":177569,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-177568","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/177568","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/76"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=177568"}],"version-history":[{"count":4,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/177568\/revisions"}],"predecessor-version":[{"id":223649,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/177568\/revisions\/223649"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/177569"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=177568"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=177568"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}