Réseau de croyances profond (deep belief network)
Réseau de neurones profond construit en empilant goulûment des machines de Boltzmann restreintes puis affiné par rétropropagation ; Hinton et al. 2006 a aidé à relancer l'apprentissage profond.
Un deep belief network (DBN) est un réseau de neurones profond entraîné en empilant goulûment des machines de Boltzmann restreintes (RBM) couche par couche, puis en affinant la pile par rétropropagation. Geoffrey Hinton, Simon Osindero et Yee-Whye Teh ont publié l’algorithme rapide dans Neural Computation en juillet 2006 ; Hinton et Ruslan Salakhutdinov ont démontré une réduction de dimensionnalité puissante dans Science le même mois.
Les DBN ont montré que les réseaux profonds pouvaient à nouveau s’entraîner après des années de scepticisme, aidant la renaissance de l’apprentissage profond accélérée ensuite par ImageNet et AlexNet. Des systèmes ultérieurs ont souvent abandonné le pré-entraînement au profit du ReLU, des GPU et de l’apprentissage supervisé de bout en bout. Voir l’article et l’entrée de la chronologie.