Descenso del gradiente (Gradient descent)
Método de optimización que desplaza repetidamente los parámetros de un modelo un pequeño paso en la dirección en la que más disminuye el error; la tasa de aprendizaje fija el tamaño del paso.
El descenso del gradiente es un método de optimización que desplaza repetidamente los parámetros de un modelo un pequeño paso en la dirección en la que más disminuye el error. La tasa de aprendizaje fija el tamaño del paso. La superficie de error de una red neuronal profunda puede contener mínimos locales, de modo que el método no siempre encuentra un óptimo global.
La retropropagación calcula los gradientes con los que el descenso del gradiente ajusta todos los pesos durante el entrenamiento de las redes neuronales modernas. Puedes probarlo en Geek de la semana: descenso del gradiente.