ReLU (unité linéaire rectifiée)

ReLU (unité linéaire rectifiée) est la fonction d’activation f(x) = max(0, x) : les entrées positives passent inchangées, les négatives deviennent nulles. C’est une non-linéarité par défaut dans de nombreux réseaux neuronaux modernes.

Popularisée au milieu des années 2010 (ère AlexNet), la ReLU a largement remplacé la sigmoïde et tanh dans l’apprentissage profond : simple, rapide, et utile contre le vanishing gradient en apprentissage automatique. Une limite connue est la dying ReLU, des unités bloquées à zéro qui cessent d’apprendre.