ReLU (rektifizierte lineare Einheit)
Aktivierung f(x) = max(0, x) in tiefen Netzen; ab Mitte der 2010er oft statt Sigmoid/Tanh.
ReLU (rektifizierte lineare Einheit) ist die Aktivierungsfunktion f(x) = max(0, x): positive Werte bleiben erhalten, negative werden null. Sie ist eine Standard-Nichtlinearität in vielen modernen neuronalen Netzen.
Ab Mitte der 2010er, in der Ära von AlexNet, löste ReLU in vielen Architekturen des Deep Learning Sigmoid und Tanh ab: einfach, schnell und hilfreich gegen verschwindende Gradienten beim maschinellen Lernen. Ein bekannter Nachteil ist Dying ReLU, Einheiten, die dauerhaft null ausgeben und nicht mehr lernen.