Les réseaux à codes postaux de LeCun : quand la convolution a rencontré la rétropropagation (1989)
En 1989 Yann LeCun et ses collègues aux laboratoires AT&T Bell ont publié un réseau neuronal convolutionnel entraîné par rétropropagation sur des codes postaux manuscrits du service postal américain, une preuve précoce que des filtres locaux pouvaient passer à l'échelle pour le tri du courrier.
En 1989, Yann LeCun, Bernhard Boser, John S. Denker, Donnie Henderson, Richard E. Howard, Wayne Hubbard et Lawrence D. Jackel ont publié Backpropagation Applied to Handwritten Zip Code Recognition dans Neural Computation (volume 1, numéro 4). Aux laboratoires AT&T Bell, ils ont entraîné un réseau neuronal convolutionnel (CNN) par rétropropagation sur des chiffres de la base de codes postaux du service postal américain. Le système a appris des détecteurs de caractéristiques locaux capables de reconnaître des chiffres manuscrits avec une précision utile, à une époque où une grande partie du domaine sortait encore du second hiver de l’IA (article).
Des filtres locaux plutôt que des connexions complètes
Les anciens réseaux de neurones multicouches reliaient chaque pixel d’entrée à chaque unité de la première couche cachée, ce qui est coûteux pour les images. Le design de Bell Labs réutilisait les mêmes petits noyaux convolutifs sur toute l’image, partageait les poids et respectait la structure spatiale. La descente de gradient par rétropropagation ajustait ces noyaux de bout en bout. L’architecture annonçait déjà LeNet, la famille de réseaux convolutifs que LeCun affinera dans les années 1990.
De la démonstration de laboratoire aux lecteurs de chèques
Le résultat de 1989 n’a pas mis fin à l’hiver du jour au lendemain, mais il a montré que l’apprentissage supervisé sur de vraies données postales pouvait fonctionner en pratique. Au milieu des années 1990, des systèmes convolutifs similaires ont été déployés pour lire les chiffres sur les chèques bancaires aux États-Unis, l’un des succès commerciaux discrets cités dans l’article sur le second hiver de l’IA. La même lignée de travail a ensuite alimenté les systèmes de l’ère ImageNet, comme AlexNet (article).
Pourquoi c’est important
L’article a relié deux idées qui définissent encore la vision moderne : la convolution pour des caractéristiques spatiales efficaces et la rétropropagation pour les apprendre à partir des données. LeCun a partagé le prix Turing 2018 avec Geoffrey Hinton et Yoshua Bengio pour des travaux incluant cette lignée convolutive. Vous pouvez explorer le mécanisme de façon interactive dans Geek de la semaine : terrain de jeu de convolution.