Backpropagation
Verfahren, das neuronale Netze trainiert, indem es den Fehler der Ausgabe rückwärts durch die Schichten verteilt und für jedes Gewicht berechnet, wie stark es zum Fehler beigetragen hat; Grundlage des Trainings per Gradientenabstieg.
Backpropagation (auch Fehlerrückführung) ist ein Trainingsverfahren für neuronale Netze, das den Fehler der Ausgabe rückwärts durch die Schichten verteilt und für jedes Gewicht berechnet, wie stark es zum Fehler beigetragen hat. Es kombiniert einen Vorwärtsdurchlauf, ein Fehlermaß (typischerweise die halbe Summe quadrierter Ausgabeabweichungen) und einen Rückwärtsdurchlauf mit der Kettenregel, sodass Gewichte per Gradientenabstieg angepasst werden.
Das Verfahren beschrieben 1986 David Rumelhart, Ronald Williams und Geoffrey Hinton in Nature, aufbauend auf früherer Arbeit und mit dem Nachweis, dass Netze mit verborgener Schicht Aufgaben lernen, die ein einzelnes Perzeptron nicht darstellen kann. 2006 nutzten Deep Belief Networks Backpropagation zum Feintuning nach dem Schicht-für-Schicht-Vortraining. Siehe den Artikel und den Zeitleisten-Eintrag.