GPU pour l'apprentissage profond : Raina, Madhavan et Ng à l'ICML 2009

À l''ICML 2009 à Montréal, le groupe d''Andrew Ng a rapporté des accélérations jusqu''à 70 fois pour l''entraînement de deep belief networks sur processeurs graphiques. Un modèle d''environ 100 millions de paramètres s''entraîne en environ un jour au lieu de semaines sur CPU.

Date de l'événement: Publié:
HistoireRecherche

À l’ICML 2009 à Montréal (14 juin 2009 selon le programme), Rajat Raina, Anand Madhavan et Andrew Ng ont présenté Large-scale Deep Unsupervised Learning using Graphics Processors. L’article a montré qu’entraîner des deep belief networks (DBN) sur un GPU pouvait aller jusqu’à environ 70 fois plus vite que sur un CPU bicœur dans leurs benchmarks. Un réseau à quatre couches avec de l’ordre de 100 millions de paramètres pouvait s’entraîner en environ une journée sur GPU au lieu de semaines sur CPU, rendant pratiques les expériences d’apprentissage non supervisé à grande échelle.

Entre DBN et AlexNet

Le résultat s’appuyait directement sur la recette deep belief network de Hinton en 2006 : empiler des machines de Boltzmann restreintes (RBM), puis affiner. Les cartes graphiques grand public exposaient des opérations matricielles parallèles via CUDA et des API similaires, si bien que le même calcul qui rendait les jeux vidéo pouvait accélérer l’entraînement de réseaux de neurones. Les auteurs ont aussi mis en avant le codage sparse comme charge utile bénéficiant du même matériel.

L’article est arrivé alors que le benchmark ImageNet mûrissait et trois ans avant qu’AlexNet ne remporte le défi ImageNet sur deux GPU. Il n’a pas remplacé l’entraînement bout en bout ultérieur de réseaux convolutifs, mais il a aidé à établir les GPU comme accélérateur par défaut de la recherche en apprentissage profond.

Pourquoi c’est important

Avant des clusters GPU abordables, beaucoup de groupes ne pouvaient pas itérer sur des modèles profonds à l’échelle. Raina, Madhavan et Ng ont quantifié l’écart en temps mur et en nombre de paramètres, pas seulement en complexité asymptotique. Ce message d’ingénierie comptait autant que la renaissance algorithmique commencée avec les DBN en 2006 et aboutie aux pipelines industriels de vision après 2012.

#apprentissage-profond#reseau-neuronal