AlexNet: die Nacht, in der Deep Learning zurückkam (2012)

2012 hatte der ImageNet-Wettbewerb eine klare Rangliste und eine hartnäckige Decke. Die besten Systeme, gebaut auf handentworfenen Merkmalen, lagen bei einer Top-5-Fehlerrate von rund 26 Prozent. Dann drückte ein einziger Beitrag diesen Wert auf etwa 15 Prozent, ein Abstand so groß, dass er wie ein Fehler wirkte. Er war keiner.

Das System war AlexNet, gebaut von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton an der University of Toronto. Es war ein tiefes neuronales Netz, und sein Sieg ist der Moment, auf den die meisten zeigen, wenn sie die moderne Ära des tiefen Lernens datieren.

Was anders war

Neuronale Netze waren 2012 nicht neu. Die Ideen dahinter reichten Jahrzehnte zurück, und nach dem ersten KI-Winter hatten viele Forscher sie abgeschrieben. AlexNet funktionierte, weil endlich mehrere Dinge zusammenkamen:

• Ein großer, beschrifteter Datensatz. ImageNet gab dem Netz mehr als eine Million Trainingsbilder, genug, um reichhaltige visuelle Merkmale zu lernen statt auswendig zu lernen.
• GPUs. Das Team trainierte das Modell auf zwei Consumer-Grafikkarten und nutzte für Videospiele gebaute Hardware für die gewaltige Matrizenrechnung, die ein tiefes Netz braucht.
• Praktische Kniffe. Die ReLU-Aktivierungsfunktion ließ das Netz schneller trainieren, und eine Technik namens Dropout verringerte das Überanpassen.

Keiner dieser Punkte war für sich der Durchbruch. Zusammen machten sie aus einer jahrzehntealten Idee ein System, das auf einem ernsten Maßstab alles andere schlug.

Die Folgen

Das Ergebnis verbreitete sich schnell. Binnen weniger Jahre waren tiefe Faltungsnetze in der Bildverarbeitung Standard, und dieselbe Philosophie, das Modell seine Merkmale selbst lernen zu lassen, griff auf Sprache und Text über. Hinton, Krizhevsky und Sutskever wechselten bald in die Industrie, ein Muster, das sich mit der Kommerzialisierung des Felds wiederholte.

Ebenso wichtig: AlexNet setzte die Erwartungen an Skalierung neu. Die Lehre, dass mehr Daten plus mehr Rechenleistung plus ein tiefes Netz sorgfältige Handarbeit schlagen können, wurde zur Arbeitsannahme des folgenden Jahrzehnts, bis hin zum Transformer und den darauf gebauten großen Sprachmodellen.

Warum es wichtig ist

Deep Blue hatte durch Suche gewonnen, AlexNet gewann durch Lernen. Es war der klarste frühe Beweis, dass gelernte Repräsentationen, mit genug Daten und Rechenleistung, von Hand entworfene Merkmale übertreffen können. Diese Verschiebung ist der rote Faden, der fast alles Folgende verbindet, von der Bilderkennung bis zu den heutigen Allzweckmodellen.