{"id":164977,"date":"2026-01-28T16:58:46","date_gmt":"2026-01-28T15:58:46","guid":{"rendered":"https:\/\/liora.io\/de\/?p=164977"},"modified":"2026-02-06T04:21:32","modified_gmt":"2026-02-06T03:21:32","slug":"gradient-boosting-algorithmen","status":"publish","type":"post","link":"https:\/\/liora.io\/de\/gradient-boosting-algorithmen","title":{"rendered":"Boosting-Algorithmen \u2013 AdaBoost, Gradient Boosting, XGBoost"},"content":{"rendered":"

Wenn du dich f\u00fcr Machine-Learning-Algorithmen interessierst, hast du bestimmt schon einmal irgendwo die W\u00f6rter „Boosting“ oder „Boost“ gesehen. Man findet sie in einer Vielzahl von Algorithmus-Wettbewerben und sie erzielen oft sehr gute Ergebnisse. Aber was genau ist Boosting?<\/strong><\/p>\nIn diesem Artikel lernst du den Unterschied zwischen einem Boosting- und einem Bagging-Algorithmus kennen. Danach wirst du die Funktionsweise der Boosting-Algorithmen AdaBoost, Gradient Boost und XGBoost verstehen.\n

Bagging, Boosting, was genau ist das?<\/h2>\n

Bagging<\/h3>\nUm zu definieren, was Boosting ist, sollte zun\u00e4chst definiert werden, was Bagging ist. \n\nBagging ist eine Technik in der k\u00fcnstlichen Intelligenz, bei der eine gro\u00dfe Anzahl von Algorithmen mit geringer Einzelleistung zu einem viel effizienteren Algorithmus zusammengestellt wird. Die Algorithmen mit geringer Leistung werden als „weak learners“ bezeichnet und das resultierende Ergebnis als „strong learner“. \n\nDie Idee hinter diesem Algorithmus ist, dass viele kleine Algorithmen effizienter sein k\u00f6nnen als ein gro\u00dfer Algorithmus.\n\n\"\"\n\nEinfach gesagt, kann man sich diesen Prozess gedanklich als einen gro\u00dfen Wald <\/b>aus kleinen Str\u00e4uchern <\/b>verschiedener Arten vorstellen. Durch die Vielfalt der B\u00e4ume, aus denen der Wald besteht, ist er witterungsbest\u00e4ndiger als eine gro\u00dfe, hundertj\u00e4hrige Eiche. \n\nDie „weak leaners“ k\u00f6nnen unterschiedlicher Natur sein und unterschiedliche Leistungen erbringen, aber sie m\u00fcssen voneinander unabh\u00e4ngig sein.<\/b>\n\nDie Zusammenstellung der „weak learners“ (B\u00fcsche) zu „strong learners“ (Wald) erfolgt durch Abstimmung. Das hei\u00dft, jeder „weak learner“ gibt eine Antwort (eine Stimme) ab und die Vorhersage des „strong learners“ ist der Durchschnitt aller abgegebenen Antworten. \n\nWenn du dich f\u00fcr Bagging interessierst, kannst du dir diesen Artikel ansehen, der die Funktionsweise des ber\u00fchmtesten Bagging-Algorithmus vorstellt: den Random Forest<\/a>.\n

Boosting<\/h3>\nDie Boosting-Algorithmen basieren auf demselben Prinzip wie die Bagging-Algorithmen. Der Unterschied zeigt sich bei der Erstellung von „weak learners“. \n\nBeim Boosting sind die Algorithmen nicht mehr unabh\u00e4ngig. Stattdessen wird jeder „weak learner“ geschult, um die Fehler der vorherigen „weak learner“ zu korrigieren.\n\nWenn wir also das Bild des Waldes aufgreifen, wurde hier jeder Strauch sorgf\u00e4ltig gepflanzt, um den Wald wetterfester zu machen. \n\nIn diesem Artikel werden wir die Funktionsweise der Algorithmen Adaboost<\/b>, Gradient Boosting und <\/b>XGBoost<\/a>. Diese Algorithmen sind wahrscheinlich die bekanntesten Boosting-Algorithmen.\n

Was ist Adaboost?<\/h2>\nAdaboost wurde erstmals von Yoav Freund und Robert Schapire verwendet und gewann 2003 den G\u00f6del-Preis. Adaboost verwendet Entscheidungsb\u00e4ume<\/a>, deren Funktionsweise du in diesem Artikel detailliert nachlesen kannst.\n\nDie „weak learners“ <\/b>in AdaBoost sind normalerweise Entscheidungsb\u00e4ume mit nur zwei Zweigen <\/b>und zwei Bl\u00e4ttern (auch als <\/b>St\u00e4mme bezeichnet), aber es k\u00f6nnen auch andere Arten von Klassifizierern verwendet werden. \n\nHier sind die Schritte zum Aufbau des ersten „weak learners“, <\/b>den wir w1 nennen werden:\n