{"id":220021,"date":"2026-03-11T16:18:58","date_gmt":"2026-03-11T15:18:58","guid":{"rendered":"https:\/\/liora.io\/de\/hugging-face-storage-buckets-ki-workflow"},"modified":"2026-08-03T14:48:39","modified_gmt":"2026-08-03T12:48:39","slug":"hugging-face-storage-buckets-ki-workflow","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/hugging-face-storage-buckets-ki-workflow","title":{"rendered":"Hugging Face Storage Buckets treiben Wandel im KI-Workflow voran"},"content":{"rendered":"\n

\nHugging Face hat am 10. M\u00e4rz 2026 die Storage Buckets eingef\u00fchrt und damit eine native Objektspeicher-L\u00f6sung vorgestellt, die darauf ausgelegt ist, die in KI-Entwicklungs-Workflows \u00fcblichen, massiven und sich h\u00e4ufig \u00e4ndernden Dateien zu verwalten. Das neue Feature, direkt in die Hugging Face Hub-Plattform integriert, bietet Entwicklern S3-\u00e4hnliche Speicherfunktionen, optimiert f\u00fcr das Verwalten von Modell-Checkpoints, Logs und verarbeiteten Datens\u00e4tzen, ohne die Einschr\u00e4nkungen traditioneller Versionskontrollsysteme.\n<\/strong><\/p>\n\n\n\n

Die neuen Storage Buckets arbeiten als nicht versionierte Container<\/strong> innerhalb der Namespaces der Nutzer und unterscheiden sich damit von den traditionellen, Git-basierten Repositories der Plattform. Laut der Ank\u00fcndigung von Hugging Face nutzt der Service Xet<\/strong>, ein Chunk-basiertes Speicher-Backend, das inhaltsbasierte Deduplizierung durchf\u00fchrt, Dateien in kleinere St\u00fccke zerlegt und nur einzigartige Bl\u00f6cke speichert. Von dieser Architektur profitieren insbesondere Enterprise-Plan-Kunden<\/strong>, die auf Basis des deduplizierten Speicherbedarfs und nicht nach den urspr\u00fcnglichen Dateigr\u00f6\u00dfen abgerechnet werden.<\/p>\n\n\n\n

Die Plattform adressiert einen der kritischsten Schwachpunkte in Machine-Learning-Workflows, bei dem Gits Versionierungsmodell eher hinderlich als hilfreich ist. Hugging Face hat die Buckets ausdr\u00fccklich f\u00fcr h\u00e4ufige \u00dcberschreibungen und L\u00f6schungen<\/strong> ohne das Anlegen von Versionshistorien entworfen und positioniert sie im Vergleich zu Git LFS als \u201edie richtige Abstraktion\u201c f\u00fcr ver\u00e4nderliche ML-Artefakte.<\/p>\n\n\n\n

Developer Tools und Integration<\/h2>\n\n\n\n
\"Screenshot<\/figure>\n\n\n\n

Entwickler k\u00f6nnen \u00fcber mehrere Schnittstellen mit Storage Buckets interagieren, darunter die hf CLI<\/strong> mit Befehlen zum Erstellen, Synchronisieren und Kopieren von Daten. Die huggingface_hub<\/strong> Python Library (Version 1.5.0+) und die @huggingface\/hub<\/strong> JavaScript Library (Version 2.10.5+) bieten laut der Unternehmensdokumentation programmatischen Zugriff.<\/p>\n\n\n\n

Eine zentrale technische Neuerung ist die fsspec-Kompatibilit\u00e4t<\/strong>, die es den Buckets erm\u00f6glicht, \u00fcber das hf:\/\/-Protokoll als natives Dateisystem zu fungieren. Diese Integration erlaubt es Data Scientists, Dateien direkt mit g\u00e4ngigen Bibliotheken wie Pandas, Polars und Dask<\/strong> zu lesen, ohne bestehenden Code wesentlich zu \u00e4ndern.<\/p>\n\n\n\n

Der Service umfasst ein \u201ePre-Warming\u201c-Feature<\/strong>, das Bucket-Daten in bestimmten AWS- oder GCP-Regionen zwischenspeichert, wodurch die Latenz verringert und der Durchsatz f\u00fcr verteilte Trainings-Workloads verbessert wird, indem Daten n\u00e4her an Rechenressourcen platziert werden, so Hugging Face.<\/p>\n\n\n\n

Marktpositionierung<\/h2>\n\n\n\n

Storage Buckets positionieren Hugging Face direkter gegen\u00fcber herk\u00f6mmlichen Cloud-Anbietern wie AWS S3<\/strong> und Google Cloud Storage<\/strong> und verst\u00e4rken zugleich das \u00d6kosystem-Lock-in. Das Unternehmen sieht einen zweistufigen Workflow vor: eine \u201eWorking Layer\u201c, die Buckets f\u00fcr transiente Artefakte nutzt, und eine \u201ePublishing Layer\u201c mit versionierten Repositories f\u00fcr dauerhafte Assets.<\/p>\n\n\n\n

MLOps Weiterbildung entdecken<\/a><\/div><\/div>\n\n\n\n

Die Konsolidierung der ML-Projekt-Assets im Hugging Face Hub er\u00fcbrigt die Notwendigkeit separater Cloud-Speicher-Zugangsdaten und Abrechnungen und kann die operative Komplexit\u00e4t f\u00fcr KI-Teams verringern. K\u00fcnftige Entwicklungsziele umfassen Unterst\u00fctzung f\u00fcr direkte Transfers<\/strong> zwischen Buckets und Repositories, um den Asset-Freigabeprozess weiter zu verschlanken.<\/p>\n\n\n\n

\n Sources\n <\/h3>\n\n\n\n
    \n
  • https:\/\/huggingface.co\/blog<\/li>\n<\/ul>\n\n","protected":false},"excerpt":{"rendered":"

    Hugging Face hat am 10. M\u00e4rz 2026 Storage Buckets eingef\u00fchrt und damit eine native Object-Storage-L\u00f6sung vorgestellt, die speziell daf\u00fcr ausgelegt ist, die in KI-Entwicklungs-Workflows \u00fcblichen, massiven und h\u00e4ufig wechselnden Datenmengen zu verarbeiten. Das neue Feature, direkt in die Hugging Face Hub Plattform integriert, bietet Entwicklern S3-\u00e4hnliche Speicherfunktionen, die f\u00fcr das Management von Modell-Checkpoints, Logs und fertig verarbeiteten Datens\u00e4tzen optimiert worden sind, v\u00f6llig ohne die Einschr\u00e4nkungen traditioneller Versionskontrollsysteme.<\/p>\n","protected":false},"author":87,"featured_media":220010,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2475],"class_list":["post-220021","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-nachrichten"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/220021","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/87"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=220021"}],"version-history":[{"count":2,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/220021\/revisions"}],"predecessor-version":[{"id":224472,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/220021\/revisions\/224472"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/220010"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=220021"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=220021"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}