Bagging (Bootstrap aggregating)
Ensemble-Technik, die mehrere Modelle auf Bootstrap-Stichproben der Trainingsdaten trainiert und ihre Vorhersagen aggregiert, um die Varianz zu senken.
Bagging, kurz für Bootstrap aggregating, ist eine Ensemble-Methode im maschinellen Lernen, die viele Modelle auf verschiedenen Zufallsstichproben desselben Datensatzes trainiert. Jede Stichprobe wird mit Zurücklegen aus dem Trainingsset gezogen, sodass einige Beispiele mehrfach vorkommen und andere ausfallen. Die Vorhersagen der Einzelmodelle werden dann kombiniert, typischerweise per Mehrheitsvote bei Klassifikation oder Mittelwert bei Regression, was die Varianz gegenüber einem einzelnen Modell auf den vollen Daten senkt.
Leo Breiman führte Bagging 1996 ein, und es wurde Baustein der Random Forests, in denen viele per Bagging trainierte Entscheidungsbäume durch zufällige Merkmalswahl pro Split weiter entkoppelt werden. Bagging bleibt ein Standardwerkzeug klassischer Pipelines des überwachten Lernens für tabellarische Daten. Siehe den Artikel zu Random Forests und den Zeitleisten-Eintrag.