LeCuns Postleitzahl-Netze: als Faltung auf Backpropagation trifft (1989)

1989 veröffentlichten Yann LeCun, Bernhard Boser, John S. Denker, Donnie Henderson, Richard E. Howard, Wayne Hubbard und Lawrence D. Jackel Backpropagation Applied to Handwritten Zip Code Recognition in Neural Computation (Band 1, Heft 4). Bei AT&T Bell Laboratories trainierten sie ein konvolutionales neuronales Netz (CNN) mit Backpropagation auf Ziffern aus der Postleitzahldatenbank des US Postal Service. Das System lernte lokale Merkmalsdetektoren, die handgeschriebene Ziffern mit nützlicher Genauigkeit erkennen konnten, zu einer Zeit, als sich das Feld noch vom zweiten KI-Winter erholt (Artikel).

Lokale Filter statt voller Verbindungen

Frühere mehrschichtige neuronale Netze verbanden jedes Eingabepixel mit jeder Einheit in der ersten verborgenen Schicht, was bei Bildern teuer ist. Das Bell-Labs-Design nutzte dieselben kleinen Faltungskerne über das Bild wieder und teilte Gewichte unter Wahrung der räumlichen Struktur. Gradientenabstieg durch Backpropagation passte diese Kerne End-to-End an. Die Architektur wies bereits auf LeNet hin, die Familie konvolutioneller Netze, die LeCun in den 1990er Jahren verfeinern würde.

Vom Labordemo zum Scheckleser

Das Ergebnis von 1989 beendete den Winter nicht über Nacht, zeigte aber, dass überwachtes Lernen mit echten Postdaten in der Praxis funktionieren kann. Mitte der 1990er wurden ähnliche konvolutionelle Systeme eingesetzt, um Ziffern auf US-Bankschecks zu lesen, einer der stillen kommerziellen Erfolge, die im Artikel zum zweiten KI-Winter genannt werden. Dieselbe Forschungslinie mündete später in Systeme der ImageNet-Ära wie AlexNet (Artikel).

Warum es wichtig ist

Das Paper verband zwei Ideen, die moderne Bildverarbeitung noch prägen: Faltung für effiziente räumliche Merkmale und Backpropagation zum Lernen aus Daten. LeCun teilte 2018 den Turing-Preis mit Geoffrey Hinton und Yoshua Bengio für Arbeiten unter anderem an dieser konvolutionellen Linie. Interaktiv nachvollziehen lässt sich der Vorgang in Geek der Woche: Faltungs-Spielplatz.