ReLU (rektifizierte lineare Einheit)
Aktivierung f(x) = max(0, x) in tiefen Netzen; ab Mitte der 2010er oft statt Sigmoid/Tanh.
ReLU (rektifizierte lineare Einheit) ist die Aktivierungsfunktion f(x) = max(0, x): positive Werte bleiben erhalten, negative werden null. Sie ist eine Standard-Nichtlinearität in vielen modernen neuronalen Netzen.
Ab Mitte der 2010er (AlexNet-Ära) löste ReLU in vielen Deep-Learning-Architekturen Sigmoid und Tanh ab: einfach, schnell und hilfreich gegen verschwindende Gradienten beim maschinellen Lernen. Ein bekannter Nachteil ist Dying ReLU, Einheiten, die dauerhaft null ausgeben und nicht mehr lernen.