ImageNet: der Datensatz, der Maschinen sehen lehren sollte (2006)
Fei-Fei Li setzte darauf, dass Daten und nicht nur cleverere Algorithmen den Durchbruch bringen. ImageNet wurde der Maßstab, der die Ära des tiefen Lernens zündete.
Mitte der 2000er jagte die Bildverarbeitung meist bessere Algorithmen auf kleinen, sauberen Datensätzen. Fei-Fei Li, damals in Princeton und bald in Stanford, setzte anders an: Der Engpass seien die Daten. Wer die unordentliche visuelle Welt erkennen wolle, müsse diese Welt zuerst in großem Maßstab sehen.
Daraus wurde ImageNet, ein Vorhaben, das Mitte der 2000er begann und 2009 als Datenbank veröffentlicht wurde. Am Ende enthielt es mehr als vierzehn Millionen Bilder, von Hand in tausende Kategorien einsortiert.
Die visuelle Welt ordnen
ImageNet übernahm seine Struktur von WordNet, einer lexikalischen Datenbank, die Wörter in eine Begriffshierarchie einordnet. Jeder Begriff („Golden Retriever”, „Segelboot”, „Erdbeere”) wurde zu einem Behälter, den es mit Beispielfotos zu füllen galt.
Die Beschriftung war der schwierige Teil. Das Team nutzte Amazon Mechanical Turk und verteilte das Sortieren und Prüfen der Bilder auf zehntausende Online-Arbeiter. Es war eine der frühesten Demonstrationen, dass sich große, gut beschriftete Datensätze aus offenem Web und menschlicher Crowd-Beurteilung zusammensetzen lassen.
Der Maßstab, der das Tempo vorgab
Ab 2010 trug ImageNet einen jährlichen Wettbewerb, die ImageNet Large Scale Visual Recognition Challenge, bei der Teams Bilder in tausend Kategorien einordnen mussten. Ein gemeinsamer, öffentlicher Maßstab machte Fortschritt plötzlich messbar: Alle traten bei derselben Aufgabe an, und die Rangliste kümmerte sich nicht um Marketing.
Zwei Jahre lang verbesserten sich die Ergebnisse nur langsam. Dann senkte 2012 ein auf GPUs trainiertes System des tiefen Lernens die Fehlerrate drastisch und veränderte das Feld über Nacht. Dieser Beitrag, AlexNet, gilt meist als Funke des modernen Deep-Learning-Booms, doch er brauchte eine Startbahn, und ImageNet war diese Startbahn.
Warum es wichtig ist
ImageNet stellte eine Grundannahme des maschinellen Lernens neu: dass der Datensatz genauso wichtig sein kann wie das Modell. Große, beschriftete Sammlungen wurden zum Treibstoff für das überwachte Lernen, und das Rezept „erst Daten in großem Maßstab, dann trainieren” trug von der Bildverarbeitung über Sprache bis zu den großen Modellen der 2020er.
Die Lehre überlebte den konkreten Maßstab. Als später argumentiert wurde, Skalierung, also mehr Daten und mehr Rechenleistung, sei selbst eine Forschungsstrategie, verlängerte das nur eine Idee, die ImageNet ein Jahrzehnt zuvor bewiesen hatte.