{"id":220021,"date":"2026-03-11T16:18:58","date_gmt":"2026-03-11T15:18:58","guid":{"rendered":"https:\/\/liora.io\/de\/hugging-face-storage-buckets-ki-workflow"},"modified":"2026-03-11T16:18:58","modified_gmt":"2026-03-11T15:18:58","slug":"hugging-face-storage-buckets-ki-workflow","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/hugging-face-storage-buckets-ki-workflow","title":{"rendered":"Hugging Face Storage Buckets treiben Wandel im KI-Workflow voran"},"content":{"rendered":"

\nHugging Face hat am 10. M\u00e4rz 2026 die Storage Buckets eingef\u00fchrt und damit eine native Objektspeicher-L\u00f6sung vorgestellt, die darauf ausgelegt ist, die in KI-Entwicklungs-Workflows \u00fcblichen, massiven und sich h\u00e4ufig \u00e4ndernden Dateien zu verwalten. Das neue Feature, direkt in die Hugging Face Hub-Plattform integriert, bietet Entwicklern S3-\u00e4hnliche Speicherfunktionen, optimiert f\u00fcr das Verwalten von Modell-Checkpoints, Logs und verarbeiteten Datens\u00e4tzen, ohne die Einschr\u00e4nkungen traditioneller Versionskontrollsysteme.\n<\/strong><\/p>\n

Die neuen Storage Buckets arbeiten als nicht versionierte Container<\/b> innerhalb der Namespaces der Nutzer und unterscheiden sich damit von den traditionellen, Git-basierten Repositories der Plattform. Laut der Ank\u00fcndigung von Hugging Face nutzt der Service Xet<\/b>, ein Chunk-basiertes Speicher-Backend, das inhaltsbasierte Deduplizierung durchf\u00fchrt, Dateien in kleinere St\u00fccke zerlegt und nur einzigartige Bl\u00f6cke speichert. Von dieser Architektur profitieren insbesondere Enterprise-Plan-Kunden<\/b>, die auf Basis des deduplizierten Speicherbedarfs und nicht nach den urspr\u00fcnglichen Dateigr\u00f6\u00dfen abgerechnet werden.<\/p>

Die Plattform adressiert einen der kritischsten Schwachpunkte in Machine-Learning-Workflows, bei dem Gits Versionierungsmodell eher hinderlich als hilfreich ist. Hugging Face hat die Buckets ausdr\u00fccklich f\u00fcr h\u00e4ufige \u00dcberschreibungen und L\u00f6schungen<\/b> ohne das Anlegen von Versionshistorien entworfen und positioniert sie im Vergleich zu Git LFS als \u201edie richtige Abstraktion\u201c f\u00fcr ver\u00e4nderliche ML-Artefakte.<\/p>\n\n

Developer Tools und Integration<\/h2>
\"Screenshot<\/figure>\n\n

Entwickler k\u00f6nnen \u00fcber mehrere Schnittstellen mit Storage Buckets interagieren, darunter die hf CLI<\/b> mit Befehlen zum Erstellen, Synchronisieren und Kopieren von Daten. Die huggingface_hub<\/b> Python Library (Version 1.5.0+) und die @huggingface\/hub<\/b> JavaScript Library (Version 2.10.5+) bieten laut der Unternehmensdokumentation programmatischen Zugriff.<\/p>

Eine zentrale technische Neuerung ist die fsspec-Kompatibilit\u00e4t<\/b>, die es den Buckets erm\u00f6glicht, \u00fcber das hf:\/\/-Protokoll als natives Dateisystem zu fungieren. Diese Integration erlaubt es Data Scientists, Dateien direkt mit g\u00e4ngigen Bibliotheken wie Pandas, Polars und Dask<\/b> zu lesen, ohne bestehenden Code wesentlich zu \u00e4ndern.<\/p>

Der Service umfasst ein \u201ePre-Warming\u201c-Feature<\/b>, das Bucket-Daten in bestimmten AWS- oder GCP-Regionen zwischenspeichert, wodurch die Latenz verringert und der Durchsatz f\u00fcr verteilte Trainings-Workloads verbessert wird, indem Daten n\u00e4her an Rechenressourcen platziert werden, so Hugging Face.<\/p>\n\n

Marktpositionierung<\/h2>\n\n

Storage Buckets positionieren Hugging Face direkter gegen\u00fcber herk\u00f6mmlichen Cloud-Anbietern wie AWS S3<\/b> und Google Cloud Storage<\/b> und verst\u00e4rken zugleich das \u00d6kosystem-Lock-in. Das Unternehmen sieht einen zweistufigen Workflow vor: eine \u201eWorking Layer\u201c, die Buckets f\u00fcr transiente Artefakte nutzt, und eine \u201ePublishing Layer\u201c mit versionierten Repositories f\u00fcr dauerhafte Assets.<\/p>

Die Konsolidierung der ML-Projekt-Assets im Hugging Face Hub er\u00fcbrigt die Notwendigkeit separater Cloud-Speicher-Zugangsdaten und Abrechnungen und kann die operative Komplexit\u00e4t f\u00fcr KI-Teams verringern. K\u00fcnftige Entwicklungsziele umfassen Unterst\u00fctzung f\u00fcr direkte Transfers<\/b> zwischen Buckets und Repositories, um den Asset-Freigabeprozess weiter zu verschlanken.<\/p>\n

\n

\n Sources\n <\/h3>\n
    \n
  • https:\/\/huggingface.co\/blog<\/li>\n <\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"

    Hugging Face hat am 10. M\u00e4rz 2026 Storage Buckets eingef\u00fchrt und damit eine native Object-Storage-L\u00f6sung vorgestellt, die speziell daf\u00fcr ausgelegt ist, die in KI-Entwicklungs-Workflows \u00fcblichen, massiven und h\u00e4ufig wechselnden Datenmengen zu verarbeiten. Das neue Feature, direkt in die Hugging Face Hub Plattform integriert, bietet Entwicklern S3-\u00e4hnliche Speicherfunktionen, die f\u00fcr das Management von Modell-Checkpoints, Logs und fertig verarbeiteten Datens\u00e4tzen optimiert worden sind, v\u00f6llig ohne die Einschr\u00e4nkungen traditioneller Versionskontrollsysteme.<\/p>\n","protected":false},"author":87,"featured_media":220010,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2475],"class_list":["post-220021","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-nachrichten"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/220021","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/87"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=220021"}],"version-history":[{"count":0,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/220021\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/220010"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=220021"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=220021"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}