ReLU (unidad lineal rectificada)

ReLU (unidad lineal rectificada) es la función de activación f(x) = max(0, x): las entradas positivas pasan sin cambio y las negativas se anulan. Es una no linealidad por defecto en muchas redes neuronales modernas.

Popularizada a mediados de los años 2010 (era AlexNet), ReLU sustituyó en gran medida a la sigmoide y a tanh en el aprendizaje profundo: es simple, rápida y ayuda a mitigar el desvanecimiento del gradiente en el aprendizaje automático. Una salvedad conocida es la dying ReLU: unidades que permanecen en cero y dejan de aprender.