GPU

Una unidad de procesamiento gráfico (GPU, graphics processing unit) es un procesador diseñado para renderizar imágenes y vídeo ejecutando muchos cálculos pequeños en paralelo. Las tarjetas gráficas de consumo para videojuegos concentran miles de núcleos simples que resultan excelentes para las multiplicaciones matriciales que dominan el entrenamiento de redes neuronales. Antes de las GPU, entrenar modelos profundos en CPU era a menudo demasiado lento.

A finales de los 2000, investigadores como el grupo de Geoffrey Hinton exploraron la aceleración por GPU en modelos apilados como las redes de creencia profunda (artículo). El avance llegó con AlexNet en 2012: Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton entrenaron una red convolucional profunda en dos GPU de videojuegos y arrasaron en el referente ImageNet (artículo). Ese resultado convirtió los clústeres de GPU en infraestructura estándar para el aprendizaje profundo y el aprendizaje automático a gran escala.