CUDA

Plateforme et API de calcul parallèle de NVIDIA pour programmer les GPU à des fins générales comme l'entraînement de réseaux de neurones, introduites en 2007.

CUDA (Compute Unified Device Architecture) est la plateforme NVIDIA pour exécuter du code généraliste sur des processeurs graphiques (GPU). Les développeurs écrivent des kernels en langages proches du C qui lancent des milliers de threads en parallèle, ce qui correspond aux multiplications matricielles de l’entraînement de réseaux de neurones.

À l’ICML 2009, le groupe de Andrew Ng a utilisé du matériel compatible CUDA pour accélérer l’entraînement de deep belief networks (article). Des travaux ultérieurs comme AlexNet se sont appuyés sur la même classe de GPU grand public, faisant des cartes gaming l’infrastructure standard de l’apprentissage profond.