{"id":174593,"date":"2023-04-20T05:46:16","date_gmt":"2023-04-20T04:46:16","guid":{"rendered":"https:\/\/liora.io\/de\/?p=174593"},"modified":"2026-02-06T06:54:23","modified_gmt":"2026-02-06T05:54:23","slug":"hdfs-hadoop-distributed-file-system-was-ist-das","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/hdfs-hadoop-distributed-file-system-was-ist-das","title":{"rendered":"HDFS (Hadoop Distributed File System): Was ist das?"},"content":{"rendered":"

Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist die Verbindung zwischen HDFS und Hadoop? Wie funktioniert HDFS? All diese Fragen werden wir mithilfe dieses Artikels beantworten. <\/strong><\/p>\t\t\n\t\t\t

HDFS: Was ist Hadoop?<\/h3>\t\t\n\t\t

Hadoop<\/a> ist ein Open-Source-Tool<\/a>, das die Welt der Informatik revolutioniert hat. Es ist insbesondere der Grund f\u00fcr die Entstehung von Big Data. Mit Big Data (Massendaten)<\/a> sind wir gezwungen, gro\u00dfe Datenmengen zu verarbeiten, und das ist mit herk\u00f6mmlichen Werkzeugen eine langwierige und m\u00fchsame Aufgabe. Mit Hadoop<\/a> gehen wir den Weg \u00fcber eine verteilte Architektur, die Kosteneinsparungen und Leistungssteigerungen erm\u00f6glicht.<\/p>

Der Unterschied zwischen einer verteilten und einer herk\u00f6mmlichen Architektur besteht darin, dass ein Cluster von Maschinen, also eine Gruppe von Computern, verwendet wird.<\/p>

Seit Hadoop werden die Daten zwischen den Rechnern im Cluster geteilt, sodass die Operationen parallelisiert werden. Dabei wird zwischen den Maschinen im Cluster unterschieden: Einige Maschinen besitzen die Daten und verarbeiten sie, w\u00e4hrend eine Maschine die Daten koordiniert. Diese Architektur wird allgemein als „master-slave“ (Meister-Sklave) bezeichnet. In Hadoop wird der „Master“-Rechner als Namenode bezeichnet und die „Slave“-Rechner werden als Datanodes bezeichnet.<\/p>

Nachdem wir nun die Grundkenntnisse \u00fcber Hadoop haben, k\u00f6nnen wir anfangen, \u00fcber HDFS<\/strong> zu sprechen. Um mehr Informationen \u00fcber Hadoop zu erhalten, kannst du diesen Artikel lesen.<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t
<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t

Wozu dient HDFS ?<\/h3>\t\t\n\t\t

Wir haben die Operationen erw\u00e4hnt, die mit Hadoop durchgef\u00fchrt werden, aber dieses Tool besteht aus mehreren Komponenten. Wir verarbeiten die Daten mit MapReduce-Operationen,<\/strong> w\u00e4hrend die Yarn-Komponente<\/strong> dazu dient, die verschiedenen Maschinen in deinem Cluster zu \u00fcberwachen und ihnen die n\u00f6tigen Ressourcen zuzuweisen. HDFS wurde f\u00fcr die Speicherung von Dateien entwickelt. Wie der Name schon sagt (Hadoop Distributed File System zur Erinnerung), handelt es sich um ein Dateisystem.<\/p>

\u00c4hnlich wie beim Dateisystem unseres Betriebssystems k\u00f6nnen mit HDFS<\/strong> alle Dateitypen in verschiedenen Ordnern organisiert werden („hierarchical file system“). Dies gilt sowohl f\u00fcr „klassische“ Dateien wie csv oder json als auch f\u00fcr andere Dateitypen, die f\u00fcr Big-Data-Aufgaben verwendet werden, wie parquet, avro und orc. Wir sind nicht wie in einer relationalen Datenbank eingeschr\u00e4nkt, sondern sehen HDFS<\/strong> eher als Data Lake<\/a>. Wir speichern dort die Rohdaten aus unserer Datenpipeline und verarbeiten sie dann in einem Data Warehouse<\/a> oder in Datenbanken.<\/p>\t\t\n\t\t\t\n

Hadoop lernen<\/a><\/div><\/div>\n\n\t\t\t

Wie funktionieren HDFS ?<\/h3>\t\t\n\t\t

Wenn man es mit einem klassischen Dateisystem eines Betriebssystems vergleichen kann, gibt es jedoch Unterschiede in der Nutzung und Speicherung.<\/p>

Wir befinden uns in einem Cluster von Maschinen, also wie k\u00f6nnen wir wissen, auf welcher Maschine im Cluster unsere Daten gespeichert sind?<\/p>

Wie du wahrscheinlich schon vermutet hast, werden wir Namenode<\/strong> verwenden. Um die verschiedenen Maschinen im Cluster verwalten zu k\u00f6nnen, muss der Namenode \u00fcber den Status jeder Maschine Bescheid wissen, weshalb wir dort Metadaten<\/strong> finden k\u00f6nnen.<\/p>

Insbesondere werden wir wissen, auf welchen Maschinen die Daten gespeichert sind. Ein weiterer Vorteil eines Hadoop-Clusters ist, dass wir „fault tolerant“ (ausfalltolerant)<\/strong> sind. Da wir mehrere Maschinen zur Verf\u00fcgung haben, k\u00f6nnen wir Kopien unserer Daten erstellen und sie auf die Maschinen verteilen.<\/a> Wenn also ein Rechner ausf\u00e4llt, k\u00f6nnen wir immer noch auf die Daten zugreifen. Au\u00dferdem werden die Daten nicht „vollst\u00e4ndig“ auf die Maschinen verteilt, sondern in Bl\u00f6cke segmentiert. Dies erm\u00f6glicht es uns, uns gegen das Risiko eines Maschinenausfalls zu sch\u00fctzen, indem wir unsere Daten nur teilweise verlieren.<\/p>

Betrachten wir das folgende Schema, um die Datenspeicherung in HDFS<\/strong> zu verstehen:<\/p>\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t

\n\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t
<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t

Wie bereits erw\u00e4hnt, finden wir im Namenode die Metadaten unserer Datei: ihren Namen, die Anzahl der Replikate und ihre Segmentierung in Bl\u00f6cke, aber es gibt auch andere Metadaten.<\/p>

Diese Elemente best\u00e4tigen, dass sich die Verwendung von HDFS<\/strong> von der Verwendung eines Dateisystems \u00fcber eine Tortendiagramm-Schnittstelle<\/a> unterscheidet. Tats\u00e4chlich verwenden wir es eher unter dem Aspekt der Batchverarbeitung und greifen auf unsere Daten \u00fcber einen Link wie diesen zu: „hdfs:\/cluster-ip:XXXX\/\/data\/users.csv“.<\/p>\t\t\n\t\t\t

Weiterf\u00fchrende Informationen<\/h3>\t\t\n\t\t

Nachdem wir verstanden haben, wie Hadoop<\/strong> funktioniert, wollen wir nun das HDFS-Dateisystem und die Hadoop-Suite \u00fcben. Allerdings ist es schwierig, sie als Privatperson zu verwenden.<\/p>

Der erste Grund ist einfach, dass wir nicht \u00fcber einen Cluster von Rechnern verf\u00fcgen. Der zweite Grund ist, dass wir selbst mit einem Maschinencluster immer noch Hadoop darauf installieren und es in Big-Data-Problemen<\/a> verwenden m\u00fcssen, was f\u00fcr eine Privatperson selten notwendig ist.<\/p>

Du kannst mehr \u00fcber die verschiedenen Komponenten des Hadoop-Tools lernen, indem du den Data Engineer-Kurs von Liora absolvierst.<\/p>\t\t\n\t\t\t\n

Data Engineer Weiterbildung<\/a><\/div><\/div>\n\n\t\t

In unserer Weiterbildung wirst Du auch mehr \u00fcber seinen „kleinen Bruder“ erfahren: Spark, das gro\u00dfe Datenmengen<\/a> viel schneller als Hadoop verarbeiten kann, aber keinen Speicheraspekt hat, weshalb es neben HDFS unterrichtet wird.<\/p>","protected":false},"excerpt":{"rendered":"

Das Akronym HDFS steht f\u00fcr Hadoop Distributed File System. Wie der Name schon sagt, ist HDFS eng mit dem Hadoop-Tool verbunden. Wozu dient HDFS? Was ist die Verbindung zwischen HDFS und Hadoop? Wie funktioniert HDFS? All diese Fragen werden wir mithilfe dieses Artikels beantworten. HDFS: Was ist Hadoop? Hadoop ist ein Open-Source-Tool, das die Welt […]<\/p>\n","protected":false},"author":76,"featured_media":174594,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-174593","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/174593","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/76"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=174593"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/174593\/revisions"}],"predecessor-version":[{"id":217614,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/174593\/revisions\/217614"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/174594"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=174593"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=174593"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}