Forêts aléatoires : l'ensemble d'arbres de décision de Leo Breiman (2001)
En octobre 2001 Leo Breiman a publié Random Forests dans Machine Learning, combinant de nombreux arbres de décision décorrélés entraînés sur des échantillons bootstrap pour créer un classifieur polyvalent puissant.
En octobre 2001, Leo Breiman a publié Random Forests dans Machine Learning (volume 45, numéro 1). La méthode construit un grand ensemble d’arbres de décision, chacun entraîné sur un échantillon aléatoire par bagging des données et ne considérant qu’un sous-ensemble aléatoire de caractéristiques à chaque scission. Les prédictions sont combinées par vote majoritaire ou moyenne, ce qui réduit la variance par rapport à un seul arbre.
Pourquoi le hasard aide
Un seul arbre de décision peut surajuster le bruit en développant des branches profondes qui mémorisent les particularités d’entraînement. Les forêts aléatoires injectent délibérément du hasard pour que les arbres individuels commettent des erreurs différentes. L’agrégation de nombreux arbres décorrélés donne souvent une précision robuste sur des données tabulaires sans l’ingénierie de caractéristiques exigée par les premiers systèmes experts. L’approche s’inscrit fermement dans l’apprentissage supervisé et l’apprentissage automatique classique, en parallèle des machines à vecteurs de support (article).
Avant la vague de l’apprentissage profond
Les forêts aléatoires sont devenues un algorithme de travail dans les années 2000 pour la bioinformatique, la télédétection et l’analytique métier, des années avant qu’ImageNet et AlexNet ne rendent l’apprentissage profond dominant en vision. Elles restent courantes quand les jeux de données sont de taille modeste et que l’interprétabilité de l’importance des caractéristiques compte.
Pourquoi c’est important
L’article de Breiman a unifié des idées antérieures sur le bagging et les sous-ensembles aléatoires de caractéristiques en une méthode par défaut simple et solide. Il a montré que la moyenne d’ensembles pouvait égaler ou battre des modèles uniques complexes, un thème qui a réapparu dans d’autres domaines. La date de publication en 2001 le place dans la reprise statistique discrète entre le second hiver de l’IA et l’ère des réseaux de croyances profonds (article).