GPUs para aprendizaje profundo: Raina, Madhavan y Ng en ICML 2009

En ICML 2009 en Montreal, el grupo de Andrew Ng informó aceleraciones de hasta 70 veces al entrenar redes de creencia profunda en procesadores gráficos. Un modelo de unos 100 millones de parámetros entrenó en un día en lugar de semanas en CPU.

Fecha del evento: Publicado:
HistoriaInvestigación

En ICML 2009 en Montreal (14 de junio de 2009 según el programa), Rajat Raina, Anand Madhavan y Andrew Ng presentaron Large-scale Deep Unsupervised Learning using Graphics Processors. El artículo mostró que entrenar redes de creencia profunda (DBN) en una GPU podía ser hasta unas 70 veces más rápido que en una CPU de dos núcleos en sus benchmarks. Una red de cuatro capas con del orden de 100 millones de parámetros podía entrenarse en aproximadamente un día en GPU en lugar de semanas en CPU, haciendo prácticos experimentos de aprendizaje no supervisado a gran escala.

Entre DBN y AlexNet

El resultado se apoyó directamente en la receta de red de creencia profunda de Hinton en 2006: apilar máquinas de Boltzmann restringidas (RBM) y luego afinar. Las tarjetas gráficas de consumo exponían operaciones matriciales paralelas mediante CUDA y APIs similares, de modo que la misma matemática que renderizaba videojuegos podía acelerar el entrenamiento de redes neuronales. Los autores también destacaron la codificación dispersa como carga de trabajo que se beneficiaba del mismo hardware.

El artículo llegó mientras maduraba el benchmark ImageNet y tres años antes de que AlexNet ganara el reto ImageNet con dos GPUs. No sustituyó el entrenamiento end-to-end posterior de redes convolucionales, pero ayudó a establecer las GPUs como acelerador por defecto en la investigación de aprendizaje profundo.

Por qué importa

Antes de clusters GPU asequibles, muchos grupos no podían iterar modelos profundos a escala. Raina, Madhavan y Ng cuantificaron la brecha en tiempo real y recuento de parámetros, no solo en complejidad asintótica. Ese mensaje de ingeniería importó tanto como el renacimiento algorítmico que comenzó con DBN en 2006 y culminó en tuberías industriales de visión tras 2012.

#aprendizaje-profundo#red-neuronal