{"id":177568,"date":"2023-06-02T09:49:33","date_gmt":"2023-06-02T08:49:33","guid":{"rendered":"https:\/\/liora.io\/de\/?p=177568"},"modified":"2026-02-06T06:42:59","modified_gmt":"2026-02-06T05:42:59","slug":"apache-oozie-vereinfache-die-verwaltung-deiner-big-data-workflows","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/apache-oozie-vereinfache-die-verwaltung-deiner-big-data-workflows","title":{"rendered":"Apache Oozie: Vereinfache die Verwaltung deiner Big Data-Workflows"},"content":{"rendered":"

Apache Oozie ist ein Open-Source-Tool f\u00fcr die Ablaufplanung, das urspr\u00fcnglich 2007 von Yahoo! entwickelt wurde, um die Koordination von Hadoop-Jobs zu erleichtern. Oozie wurde 2011 als Apache Incubator-Projekt akzeptiert und 2012 zum Apache Top-Level-Projekt bef\u00f6rdert.<\/strong><\/p>\nSeit seiner Gr\u00fcndung hat sich das Projekt st\u00e4ndig verbessert und neue Funktionen hinzugef\u00fcgt bekommen. Die Version 5.0.0, die 2017 ver\u00f6ffentlicht wurde, war eine gro\u00dfe Weiterentwicklung mit vielen Verbesserungen, darunter die Unterst\u00fctzung f\u00fcr langfristige Planung und die Unterst\u00fctzung f\u00fcr SSL-Zertifikate.\n\nApache Oozie<\/strong> wird heute in vielen Unternehmen f\u00fcr die Koordination von Hadoop-Jobs und -Workflows eingesetzt.\n\n?Auch interessant:\n\n\n<\/colgroup>\n\n\n\n\n\n\n\n\n
Apache Spark<\/a><\/td>\n<\/tr>\n
Apache Kafka<\/a><\/td>\n<\/tr>\n
Apache Cassandra<\/a><\/td>\n<\/tr>\n
Apache Schulung<\/a><\/td>\n<\/tr>\n
Apache Airflow<\/a><\/td>\n<\/tr>\n
Apache Flume<\/a><\/td>\n<\/tr>\n
Apache Storm<\/a><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Wie funktioniert Apache Oozie ?<\/h3>\nApache Oozie<\/strong> ist ein Scheduling-System zur Verwaltung und Ausf\u00fchrung von Hadoop-Jobs i<\/a>n einer verteilten Umgebung. Du kannst Pipelines erstellen, indem du verschiedene Jobs wie Hive<\/a>, MapReduce oder auch Pig kombinierst.\n\nAls Open-Source<\/a>-Java-Webanwendung ist Oozie f\u00fcr das Ausl\u00f6sen deiner verschiedenen Workflows verantwortlich. Die Fertigstellung von Aufgaben wird nach einem Callback- und Polling-Prinzip erkannt. Wenn Oozie eine Aufgabe startet, stellt es automatisch eine eindeutige HTTP-Callback-URL f\u00fcr die Aufgabe zur Verf\u00fcgung und benachrichtigt diese URL, sobald die Aufgabe abgeschlossen ist. F\u00fcr den Fall, dass die Aufgabe es nicht schafft, die Callback-URL aufzurufen, kann Oozie die Aufgabe sondieren, um zu \u00fcberpr\u00fcfen, ob sie abgeschlossen ist.\n\nApache Oozie verf\u00fcgt \u00fcber drei Arten von Jobs:\n

Apache Oozie Workflow<\/h4>\nEin Apache Oozie-Workflow<\/strong> ist eine Abfolge von Aktionen, die als gerichteter azyklischer Graph (DAG)<\/a> organisiert sind. Diese Aktionen h\u00e4ngen voneinander ab, so dass die n\u00e4chste Aktion erst ausgef\u00fchrt werden kann, wenn die vorherige Aktion beendet wurde.\n\nJe nach Bedarf k\u00f6nnen verschiedene Arten von Aktionen erstellt werden. Der Workflow und die Skripte oder .jar-Dateien m\u00fcssen im HDFS-Pfad<\/strong> positioniert werden, bevor der Workflow ausgef\u00fchrt wird.\n\nF\u00fcr den Fall, dass wir mehrere Jobs parallel ausf\u00fchren wollen, k\u00f6nnen wir Fork verwenden.\n\nF\u00fcr jede Verwendung von Fork muss am Ende von Fork eine Verbindung (Join) verwendet werden.\n\nJoin geht davon aus, dass alle parallel laufenden Knoten Kinder eines einzigen Forks sind, wie das folgende Diagramm zeigt.\n
\n\t\t\t\t\t\t\t\t\t\t\"\"
<\/figcaption><\/figure>\n\n
Mehr \u00fcber den oozie Workflow lernen<\/a><\/div><\/div>\n\n

Oozie-Koordinator<\/h4>\nDer Oozie-Koordinator<\/strong> erm\u00f6glicht es dir, komplexe Workflows zu terminieren. Er l\u00f6st diese Workflows auf der Grundlage von Zeit-, Daten- oder Ereignispr\u00e4dikaten aus. So beginnen die Workflows, sobald die gegebene Bedingung erf\u00fcllt ist.\n\nDie erforderlichen Definitionen f\u00fcr Koordinationsjobs sind wie folgt:\n