Kernel-Trick (Kernel trick)
Technik, die innere Produkte in einem hochdimensionalen Merkmalsraum implizit berechnet und linearen Algorithmen ermöglicht, nichtlineare Entscheidungsgrenzen effizient zu fitten.
Der Kernel-Trick ist ein mathematischer Kurzweg, mit dem ein Algorithmus des maschinellen Lernens in einem reichhaltigen Merkmalsraum arbeitet, während er nur paarweise Ähnlichkeiten zwischen Roh-Eingaben berechnet. Eine Kernelfunktion liefert das innere Produkt, das entstünde, wenn jedes Beispiel in eine höherdimensionale Darstellung abgebildet würde, ohne diese Abbildung jemals explizit zu konstruieren. Lineare Methoden wie Support-Vektor-Maschinen (SVMs) können dadurch gekrümmte oder komplexe Entscheidungsgrenzen fitten und das Optimierungsproblem bleibt handhabbar.
Die Idee reicht auf Aizerman, Braverman und Rozonoer (1964) zurück. Bernhard Boser, Isabelle Guyon und Vladimir Vapnik verbanden sie 1992 mit Maximum-Margin-Klassifikatoren und legten damit die Grundlage nichtlinearer SVMs. Corinna Cortes und Vapnik veröffentlichten 1995 die weithin genutzte Formulierung. Häufige Kerne sind polynomiale und radiale Basisfunktionen; vor der Ära des Deep Learning war die Kernelwahl oft genauso wichtig wie die Regularisierung. Siehe den Artikel zu Support-Vektor-Maschinen und den Zeitleisten-Eintrag.