GPU

Une unité de traitement graphique (GPU, graphics processing unit) est un processeur conçu pour afficher images et vidéo en exécutant de nombreux petits calculs en parallèle. Les cartes graphiques grand public pour jeux vidéo regroupent des milliers de cœurs simples qui excellent dans les multiplications matricielles qui dominent l’entraînement des réseaux de neurones. Avant les GPU, entraîner des modèles profonds sur CPU était souvent trop lent.

À la fin des années 2000, des chercheurs dont le groupe de Geoffrey Hinton ont exploré l’accélération GPU pour des modèles empilés comme les deep belief networks (article). La percée vint avec AlexNet en 2012 : Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton ont entraîné un réseau convolutif profond sur deux GPU de jeu et ont écrasé le benchmark ImageNet (article). Ce résultat a fait des clusters GPU l’infrastructure standard de l’apprentissage profond et de l’apprentissage automatique à grande échelle.