Gradientenabstieg (Gradient Descent)
Optimierungsverfahren, das die Parameter eines Modells wiederholt ein kleines Stück in die Richtung verschiebt, in der der Fehler am stärksten sinkt; die Schrittweite bestimmt die Lernrate.
Der Gradientenabstieg (auch Gradientenverfahren) ist ein Optimierungsverfahren, das die Parameter eines Modells wiederholt ein kleines Stück in die Richtung verschiebt, in der der Fehler am stärksten sinkt. Die Lernrate legt die Schrittweite fest. Die Fehlerfläche eines tiefen neuronalen Netzes kann lokale Minima enthalten, sodass das Verfahren nicht immer ein globales Optimum findet.
Backpropagation berechnet die Gradienten, mit denen der Gradientenabstieg alle Gewichte beim Training moderner neuronaler Netze anpasst. Zum Ausprobieren eignet sich Geek der Woche: Gradientenabstieg.