{"id":180220,"date":"2023-07-16T20:28:06","date_gmt":"2023-07-16T19:28:06","guid":{"rendered":"https:\/\/liora.io\/de\/?p=180220"},"modified":"2026-02-06T06:33:13","modified_gmt":"2026-02-06T05:33:13","slug":"xgboost-der-testsieger","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/xgboost-der-testsieger","title":{"rendered":"XGBoost: Der Testsieger"},"content":{"rendered":"<h3>XGBoost steht f\u00fcr eXtreme Gradient Boosting. Wie der Name schon sagt, ist es ein Gradient Boosting-Algorithmus. Er ist in C++ programmiert und in fast allen Programmiersprachen verf\u00fcgbar, die f\u00fcr Machine Learning n\u00fctzlich sind, wie Python, R oder Julia.<\/h3>\n<style>\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style>\n<h3>Was ist Gradient Boosting?<\/h3>\n<p>Gradient Boosting ist ein spezieller Algorithmus des Boosting.<\/p>\n<p>Beim Boosting werden mehrere &#8222;weak learners&#8220; zu einem &#8222;strong learner&#8220; zusammengesetzt, d. h. mehrere Algorithmen mit einer niedrigen Leistung werden zu einem viel effizienteren und zufriedenstellenderen Algorithmus zusammengesetzt. Die Zusammenstellung von &#8222;weak learners&#8220; zu &#8222;strong learners&#8220; erfolgt, indem man sie nacheinander aufruft, um eine interessierende Variable zu sch\u00e4tzen.<\/p>\n<p>Bei einer Regression ist das Prinzip, unsere Outputs mit Modell 1 zu sch\u00e4tzen, dann die Residuen dieses Modells als Zielvariable f\u00fcr Modell 2 zu verwenden und so weiter:<\/p>\n<p>Um einen Output aufgrund eines Inputs vorhersagen zu k\u00f6nnen, dessen Zielvariable unbekannt ist, muss man das Residuum jedes Modells vorhersagen und dann die Summe bilden:<\/p>\n<p>Bei einer <strong>Klassifizierung<\/strong> hat jedes Individuum ein Gewicht, das anfangs gleich ist und das, wenn ein Modell falsch liegt, erh\u00f6ht wird, bevor das n\u00e4chste Modell gesch\u00e4tzt wird (das also diese Gewichte ber\u00fccksichtigt):<\/p>\n<p>Das Besondere am <strong>Gradient Boosting<\/strong> ist, dass <a href=\"https:\/\/liora.io\/de\/klassifikationsalgorithmen-definition-und-hauptmodelle\">bei der Klassifizierung die Aktualisierung der Gewichte<\/a> auf die gleiche Weise berechnet wird wie beim stochastischen Gradientenabstieg und dass bei der <a href=\"https:\/\/liora.io\/de\/logistische-regression-was-ist-das-denn\">Regression<\/a> die Gesamtkostenfunktion die gleiche Struktur hat wie der <strong>stochastische Gradientenabstieg.<\/strong><\/p>\n<p>Gradient Boosting wird meistens mit Entscheidungsbaum-Algorithmen verwendet, die in diesem Rahmen als &#8222;weak learners&#8220; betrachtet werden.<\/p>\n<h3>Besonderheiten von XGBoost<\/h3>\n<p>Der Hauptunterschied zwischen <strong>XGBoost und anderen Implementierungen der Gradient Boosting-Methode<\/strong> besteht darin, dass XGBoost computertechnisch so optimiert ist, dass die verschiedenen Berechnungen, die f\u00fcr die Anwendung von Gradient Boosting notwendig sind, schnell durchgef\u00fchrt werden k\u00f6nnen. Genauer gesagt, verarbeitet <strong>XGBoost<\/strong> die Daten in mehreren komprimierten Bl\u00f6cken, so dass sie viel schneller sortiert und parallel verarbeitet werden k\u00f6nnen.<\/p>\n<p>Die Vorteile von XGBoost liegen jedoch nicht nur in der Implementierung des Algorithmus und damit in seiner Leistung, sondern auch in den verschiedenen Parametern, die er bietet. <strong>XGBoost<\/strong> bietet eine gro\u00dfe Auswahl an Hyperparametern, die es erm\u00f6glichen, die Implementierung des <strong>Gradient Boosting<\/strong> vollst\u00e4ndig zu kontrollieren. Es ist auch m\u00f6glich, verschiedene Regularisierungen in die Verlustfunktion einzuf\u00fcgen, um ein Ph\u00e4nomen zu begrenzen, das bei der Verwendung von Gradient Boosting-Algorithmen h\u00e4ufig auftritt: Overfitting.<\/p>\n<p>Aus diesem Grund ist XGBoost oft der Siegeralgorithmus bei <a href=\"https:\/\/liora.io\/de\/kaggle-alles-was-du-ueber-diese-plattform-wissen-musst\">Kaggle-Wettbewerben<\/a>: Er ist schnell, pr\u00e4zise und effizient und erm\u00f6glicht eine Flexibilit\u00e4t, die beim Gradient Boosting noch nie da gewesen ist. Da Gradient Boosting haupts\u00e4chlich dazu dient, schwache Modelle zu verbessern, wird XGBoost fast immer bessere Ergebnisse erzielen als das schwache Basismodell.<\/p>\n<p>Wenn du mehr \u00fcber XGBoost, Gradient Boosting oder unsere <a href=\"https:\/\/liora.io\/de\/cuml-definition-und-verwendung-in-machine-learning\">Machine-Learning<\/a>-Module erfahren m\u00f6chtest, kannst du dich gerne an unser Team wenden.<\/p>\n<p><a href=\"https:\/\/liora.io\/de\/unsere-aus-und-weiterbildungen\"><br \/>\nEntdecke unsere Weiterbildungen<br \/>\n<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>XGBoost steht f\u00fcr eXtreme Gradient Boosting. Wie der Name schon sagt, ist es ein Gradient Boosting-Algorithmus. Er ist in C++ programmiert und in fast allen Programmiersprachen verf\u00fcgbar, die f\u00fcr Machine Learning n\u00fctzlich sind, wie Python, R oder Julia. Was ist Gradient Boosting? Gradient Boosting ist ein spezieller Algorithmus des Boosting. Beim Boosting werden mehrere &#8222;weak [&hellip;]<\/p>\n","protected":false},"author":76,"featured_media":180221,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"_acf_changed":false,"editor_notices":[],"footnotes":""},"categories":[2472],"class_list":["post-180220","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-data-ki"],"acf":[],"_links":{"self":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/180220","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/users\/76"}],"replies":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/comments?post=180220"}],"version-history":[{"count":1,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/180220\/revisions"}],"predecessor-version":[{"id":217371,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/posts\/180220\/revisions\/217371"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media\/180221"}],"wp:attachment":[{"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/media?parent=180220"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/liora.io\/de\/wp-json\/wp\/v2\/categories?post=180220"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}