AlexNet: la noche en que volvió el aprendizaje profundo (2012)

En 2012, la competición ImageNet tenía una clasificación clara y un techo obstinado. Los mejores sistemas, construidos sobre características diseñadas a mano, rondaban una tasa de error top-5 del 26 por ciento. Entonces una sola participación la redujo a cerca del 15 por ciento, un margen tan grande que parecía un error. No lo era.

El sistema era AlexNet, obra de Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton en la Universidad de Toronto. Era una red neuronal profunda, y su victoria es el momento que la mayoría señala al fechar la era moderna del aprendizaje profundo.

Qué era distinto

Las redes neuronales no eran nuevas en 2012. Las ideas se remontaban décadas atrás y, tras el primer invierno de la IA, muchos investigadores las habían descartado. AlexNet funcionó porque por fin coincidieron varias cosas:

• Un gran conjunto de datos etiquetado. ImageNet dio a la red más de un millón de imágenes de entrenamiento, suficientes para aprender características visuales ricas en lugar de memorizar.
• GPU. El equipo entrenó el modelo en dos tarjetas gráficas de consumo, aprovechando hardware pensado para videojuegos para el enorme cálculo matricial que necesita una red profunda.
• Trucos prácticos. La función de activación ReLU permitió entrenar más rápido, y una técnica llamada dropout redujo el sobreajuste.

Ninguno era por sí solo el gran avance. Juntos convirtieron una idea de décadas en un sistema que superó a todo lo demás en un referente serio.

Las consecuencias

El resultado viajó rápido. En pocos años, las redes convolucionales profundas eran estándar en visión por computadora, y la misma filosofía de “dejar que el modelo aprenda sus propias características” se extendió al habla y al lenguaje. Hinton, Krizhevsky y Sutskever pronto pasaron a la industria, un patrón que se repetiría al comercializarse el campo.

Igual de importante: AlexNet reajustó las expectativas sobre la escala. La lección de que más datos más más cómputo más una red profunda podían superar la ingeniería manual cuidadosa se convirtió en la hipótesis de trabajo de la década siguiente, hasta el Transformer y los grandes modelos de lenguaje construidos sobre él.

Por qué importa

Deep Blue había ganado por búsqueda; AlexNet ganó por aprendizaje. Fue la prueba temprana más clara de que las representaciones aprendidas, con datos y cómputo suficientes, pueden superar a las características diseñadas a mano. Ese cambio es el hilo conductor que conecta casi todo lo que vino después, desde el reconocimiento de imágenes hasta los modelos de propósito general de hoy.