Descente de gradient (Gradient descent)
Méthode d'optimisation qui déplace à plusieurs reprises les paramètres d'un modèle d'un petit pas dans la direction où l'erreur diminue le plus ; le taux d'apprentissage fixe la taille du pas.
La descente de gradient est une méthode d’optimisation qui déplace à plusieurs reprises les paramètres d’un modèle d’un petit pas dans la direction où l’erreur diminue le plus. Le taux d’apprentissage fixe la taille du pas. La surface d’erreur d’un réseau de neurones profond peut contenir des minima locaux, de sorte que la méthode ne trouve pas toujours un optimum global.
La rétropropagation calcule les gradients avec lesquels la descente de gradient ajuste tous les poids pendant l’entraînement des réseaux de neurones modernes. Vous pouvez l’essayer dans Geek de la semaine : descente de gradient.