Bagging (Bootstrap aggregating)
Technique d'ensemble qui entraîne plusieurs modèles sur des échantillons bootstrap des données d'entraînement et agrège leurs prédictions pour réduire la variance.
Le bagging, abréviation de bootstrap aggregating, est une méthode d’ensemble en apprentissage automatique qui entraîne de nombreux modèles sur différents sous-échantillons aléatoires du même jeu de données. Chaque sous-échantillon est tiré avec remise dans l’ensemble d’entraînement, de sorte que certains exemples apparaissent plusieurs fois et d’autres sont omis. Les prédictions des modèles individuels sont ensuite combinées, typiquement par vote majoritaire en classification ou par moyenne en régression, ce qui réduit la variance par rapport à un modèle unique ajusté sur toutes les données.
Leo Breiman a introduit le bagging en 1996, et il est devenu une brique des forêts aléatoires, où de nombreux arbres de décision entraînés par bagging sont encore décorrélés par une sélection aléatoire de caractéristiques à chaque scission. Le bagging reste un outil standard des pipelines classiques d’apprentissage supervisé pour les données tabulaires. Voir l’article sur les forêts aléatoires et l’entrée de chronologie.