{"id":219888,"date":"2026-03-02T17:19:50","date_gmt":"2026-03-02T16:19:50","guid":{"rendered":"https:\/\/liora.io\/de\/diese-neue-ki-hat-die-materialwissenschaften-fuer-immer-veraendert"},"modified":"2026-03-02T17:19:50","modified_gmt":"2026-03-02T16:19:50","slug":"diese-neue-ki-hat-die-materialwissenschaften-fuer-immer-veraendert","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/diese-neue-ki-hat-die-materialwissenschaften-fuer-immer-veraendert","title":{"rendered":"Diese neue KI hat die Materialwissenschaften f\u00fcr immer ver\u00e4ndert"},"content":{"rendered":"

Forscher haben LLaMat entwickelt, eine Familie spezialisierter KI-Sprachmodelle, die gr\u00f6\u00dfere allgemeine Systeme bei Aufgaben der Materialwissenschaft trotz weniger Parameter \u00fcbertreffen. Die Modelle, basierend auf der LLaMA-Architektur von Meta und trainiert auf 30 Milliarden Token wissenschaftlicher Literatur, offenbarten eine unerwartete Erkenntnis: LLaMA-2 passt sich spezialisierterem Training besser an als das neuere LLaMA-3, was darauf hindeutet, dass fortgeschrittene Modelle dom\u00e4nenspezifischem Lernen widerstehen k\u00f6nnten.<\/strong><\/p>\n

Die bahnbrechenden Modelle erreichen ihre Leistung durch einen ausgekl\u00fcgelten zweistufigen Trainingsprozess. Forscher setzten zun\u00e4chst das Vortraining der LLaMA-Basismodelle mit Materialwissenschaftsliteratur fort, dann f\u00fchrten sie eine Instruktions-Feinabstimmung durch, wobei sie sowohl den allgemeinen OpenOrca-Datensatz als auch einen kuratierten Instruktionssatz verwendeten, der laut dem GitHub-Repository des Projekts speziell f\u00fcr Materialwissenschaft und Chemie entworfen wurde.<\/p>\n

Die Trainingsinfrastruktur umfasste Cerebras CS2-Cluster f\u00fcr das Vortraining und NVIDIA A100-80GB-GPUs f\u00fcr die Instruktions-Feinabstimmung. Das Forscherteam baute seine Codebasis auf den Megatron-LLM- und Meditron-LLM-Bibliotheken auf und machte den gesamten Code zur Reproduzierbarkeit \u00f6ffentlich zug\u00e4nglich.<\/p>\n

In Leistungsbewertungen bei materialwissenschaftlichen Aufgaben, einschlie\u00dflich Informationsextraktion und dom\u00e4nenspezifischer NLP-Benchmarks, \u00fcbertrafen die spezialisierten 7-Milliarden- und 13-Milliarden-Parameter<\/strong> LLaMat-Modelle konsequent ihre gr\u00f6\u00dferen allgemeinen Pendants. Dies belegt, dass gezielte Dom\u00e4nenspezialisierung den traditionellen Skalierungsvorteil in KI-Systemen wettmachen kann.<\/p>\n

Unerwartete Entdeckung zur Anpassungsf\u00e4higkeit von Modellen<\/h3>\n

Die Forschung lieferte ein kontraintuitives Ergebnis zur Wahl der Basismodelle. LLaMA-3<\/strong> passte sich, obwohl fortschrittlicher, weniger effektiv an das dom\u00e4nenbasierte Training im Bereich Materialwissenschaften an als das \u00e4ltere LLaMA-2<\/strong>, wie in der Publikation Nature Machine Intelligence beschrieben.<\/p>\n

Diese Entdeckung deutet darauf hin, dass Modelle, die umfassend auf allgemeinen Korpora vortrainiert wurden, eine verringerte F\u00e4higkeit entwickeln k\u00f6nnen, hochspezialisiertes Wissen aufzunehmen. Dies hat erhebliche Auswirkungen f\u00fcr Forschende bei der Wahl von Basismodellen f\u00fcr Dom\u00e4nenanpassungen und suggeriert, dass „neuer“ f\u00fcr spezialisierte Anwendungen nicht immer besser ist.<\/p>\n

Die Entwicklung best\u00e4tigt, dass dom\u00e4nenspezifisches fortgesetztes Vortraining eine hochwirksame Strategie f\u00fcr wissenschaftliche KI-Anwendungen darstellt. Sie demonstriert einen klaren Trade-off zwischen Modellgr\u00f6\u00dfe und Spezialisierung, wobei gut trainierte Modelle mittlerer Gr\u00f6\u00dfe massive generalistische Systeme bei spezifischen Aufgaben \u00fcbertreffen k\u00f6nnen.<\/p>\n

Um Reproduzierbarkeit zu gew\u00e4hrleisten und weitere Forschung zu beschleunigen, hat das Team sowohl die vollst\u00e4ndige Codebasis f\u00fcr Datenverarbeitung, Training und Evaluation ver\u00f6ffentlicht, als auch die vortrainierten und instruktionsfeinabgestimmten LLaMat-Modellgewichte<\/strong> auf dem Hugging Face Hub bereitgestellt. Die Hauptpublikation enth\u00e4lt eine umfassende Dokumentation der Einschr\u00e4nkungen der Modelle und ethischer \u00dcberlegungen, gem\u00e4\u00df Nature Machine Intelligence.<\/p>\n

Diese Arbeit etabliert ein neues Paradigma f\u00fcr die Entwicklung von KI-Werkzeugen f\u00fcr wissenschaftliche Forschung<\/strong> und beweist, dass strategische Spezialisierung eine \u00fcberlegene Leistung liefern kann, w\u00e4hrend weniger Rechenressourcen ben\u00f6tigt werden als bei allgemeinen Allzweck-Alternativen.<\/p>\n

\n

\n Sources
\n <\/h3>\n
    \n
  • Nature Machine Intelligence<\/li>\n<\/ul>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

    Forscher haben LLaMat entwickelt, eine Familie spezialisierter KI-Sprachmodelle, die gr\u00f6\u00dfere allgemeine Systeme bei Aufgaben der Materialwissenschaft trotz weniger Parameter \u00fcbertreffen. Die Modelle, basierend auf der LLaMA-Architektur von Meta und trainiert auf 30 Milliarden Token wissenschaftlicher Literatur, offenbarten eine unerwartete Erkenntnis: LLaMA-2 passt sich spezialisierterem Training besser an als das neuere LLaMA-3, was darauf hindeutet, dass fortgeschrittene Modelle dom\u00e4nenspezifischem Lernen widerstehen k\u00f6nnten.<\/p>\n","protected":false},"author":87,"featured_media":219887,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472,2475],"class_list":["post-219888","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki","category-nachrichten"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/219888","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/87"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=219888"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/219888\/revisions"}],"predecessor-version":[{"id":219896,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/219888\/revisions\/219896"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/219887"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=219888"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=219888"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}