Rétropropagation (Backpropagation)
Algorithme qui entraîne les réseaux de neurones en propageant l'erreur de sortie vers l'arrière à travers les couches et en calculant la contribution de chaque poids à cette erreur ; base de l'entraînement par descente de gradient.
La rétropropagation est un algorithme d’entraînement pour les réseaux de neurones qui propage l’erreur de sortie vers l’arrière à travers les couches et calcule la contribution de chaque poids à cette erreur. Elle combine un passage avant, une mesure d’erreur (typiquement la moitié de la somme des écarts au carré) et un passage arrière avec la règle de la chaîne, de sorte que les poids se déplacent par descente de gradient.
Le procédé a été décrit en 1986 par David Rumelhart, Ronald Williams et Geoffrey Hinton dans Nature, en s’appuyant sur des travaux antérieurs et en montrant que des réseaux avec couches cachées apprennent des tâches qu’un seul perceptron ne peut pas représenter. En 2006, les deep belief networks ont utilisé la rétropropagation pour l’affinage après pré-entraînement couche par couche. Voir l’article et l’entrée de la chronologie.