Support-Vektor-Maschinen: Maximum-Margin-Klassifikatoren mit Kerneln (1995)

1995 veröffentlichten Corinna Cortes und Vladimir Vapnik Support-Vector Networks in Machine Learning (Band 20, Heft 3). Das Paper stellte Support-Vektor-Maschinen (SVMs) vor: Klassifikatoren, die eine Maximum-Margin-Grenze zwischen Kategorien finden und Daten nur durch die Trainingspunkte darstellen, die auf dieser Grenze liegen, die Support-Vektoren. Die Methode baute auf früherer Arbeit von Bernhard Boser, Isabelle Guyon und Vapnik zu optimalen Margin-Klassifikatoren (1992) auf, die den Kernel-Trick einführten, um nichtlineare Entscheidungsflächen effizient zu handhaben.

Margin, Kernel und dünnbesetzte Lösungen

Lineare Klassifikatoren versagen, wenn Klassen im Eingaberaum nicht durch eine gerade Linie trennbar sind. SVMs mappen Eingaben per Kernelfunktion in einen höherdimensionalen Merkmalsraum, sodass ein linearer Separator dort einer gekrümmten Grenze im Originalraum entspricht. Der Kernel-Trick berechnet innere Produkte im erweiterten Raum, ohne die vollständige Abbildung ausdrücklich aufzubauen. Das resultierende Modell hängt von einer Teilmenge der Trainingsbeispiele ab, was SVMs attraktiv machte, wenn Daten knapp waren und neuronale Netze während des zweiten KI-Winter außer Mode waren (Artikel).

Ein statistischer Rivale neuronaler Netze

Ende der 1990er und in den 2000er Jahren wurden SVMs zu einem Standardwerkzeug im maschinellen Lernen für Textklassifikation, Bioinformatik und Bild-Benchmarks, oft im Wettbewerb mit Random Forests (Artikel) und später mit tiefem Lernen. Sie verkörperten den Wandel von handkodierten Expertensystemen hin zu überwachtem Lernen mit gelabelten Daten.

Warum es wichtig ist

Support-Vektor-Maschinen brachten rigorose statistische Lerntheorie in breite Praxis. Vapniks frühere Arbeit zur strukturellen Risikominimierung half zu begründen, warum Margin-Maximierung gut generalisieren kann. Auch nach AlexNet belebte neuronale Netze neu, beeinflussten SVM-Ideen, wie Forscher über Margen, Kernel und hochdimensionale Klassifikation dachten.