Machine de Boltzmann (Boltzmann machine)
Réseau de neurones stochastique à unités binaires et fonction d'énergie issue de la physique statistique ; apprend des représentations cachées mais exige en général un échantillonnage lent par chaînes de Markov (MCMC).
Une machine de Boltzmann est un réseau de neurones d’unités binaires stochastiques reliées symétriquement. Ses états suivent une fonction d’énergie et la distribution de Boltzmann de la physique statistique. David Ackley, Geoffrey Hinton et Terrence Sejnowski ont publié un algorithme d’apprentissage en 1985 ; le modèle s’appuie sur les réseaux associatifs de John Hopfield et peut apprendre des représentations cachées en apprentissage non supervisé.
L’entraînement exige en général un long échantillonnage avec MCMC fondé sur les chaînes de Markov, ce qui ralentit la génération. Une machine de Boltzmann restreinte (RBM) limite les connexions au sein d’une couche. Geoffrey Hinton a introduit en 2002 la divergence contrastive comme approximation d’entraînement plus rapide qui a rendu les RBM pratiques et a permis ensuite les deep belief networks. Voir l’article et l’entrée de la chronologie.