Las redes de códigos postales de LeCun: cuando la convolución se encontró con la retropropagación (1989)
En 1989 Yann LeCun y sus colegas en AT&T Bell Laboratories publicaron una red neuronal convolucional entrenada con retropropagación sobre códigos postales manuscritos del Servicio Postal de EE. UU., una prueba temprana de que los filtros locales podían escalar al clasificado real del correo.
En 1989, Yann LeCun, Bernhard Boser, John S. Denker, Donnie Henderson, Richard E. Howard, Wayne Hubbard y Lawrence D. Jackel publicaron Backpropagation Applied to Handwritten Zip Code Recognition en Neural Computation (volumen 1, número 4). Trabajando en AT&T Bell Laboratories, entrenaron una red neuronal convolucional (CNN) con retropropagación sobre dígitos de la base de datos de códigos postales del Servicio Postal de EE. UU. El sistema aprendió detectores de rasgos locales capaces de reconocer números manuscritos con precisión útil, en una época en la que gran parte del campo aún se recuperaba del segundo invierno de la IA (artículo).
Filtros locales en lugar de conexiones completas
Las redes neuronales multicapa anteriores conectaban cada píxel de entrada con cada unidad de la primera capa oculta, lo que resulta costoso para imágenes. El diseño de Bell Labs reutilizaba los mismos núcleos convolucionales pequeños en toda la imagen, compartiendo pesos y respetando la estructura espacial. El descenso del gradiente mediante retropropagación ajustaba esos núcleos de extremo a extremo. La arquitectura anticipaba LeNet, la familia de redes convolucionales que LeCun perfeccionaría a lo largo de los años noventa.
Del laboratorio a los lectores de cheques
El resultado de 1989 no acabó con el invierno de la noche a la mañana, pero demostró que el aprendizaje supervisado con datos postales reales podía funcionar en la práctica. A mediados de los noventa, sistemas convolucionales similares se desplegaron para leer dígitos en cheques bancarios en Estados Unidos, uno de los éxitos comerciales discretos citados en el artículo sobre el segundo invierno de la IA. La misma línea de trabajo alimentó después sistemas de la era ImageNet como AlexNet (artículo).
Por qué importa
El artículo unió dos ideas que siguen definiendo la visión moderna: la convolución para rasgos espaciales eficientes y la retropropagación para aprenderlos a partir de datos. LeCun compartió el Premio Turing de 2018 con Geoffrey Hinton y Yoshua Bengio por un trabajo que incluye esta línea convolucional. Puedes explorar la operación de forma interactiva en Geek de la semana: convolución.