DQN sur Atari : DeepMind apprend à jouer à partir des pixels (2013)
Le 19 décembre 2013 des chercheurs de DeepMind ont déposé sur arXiv « Playing Atari with Deep Reinforcement Learning », combinant un réseau convolutif avec Q-learning, rejeu d'expérience et réseaux cibles pour contrôler des jeux d'arcade depuis l'écran brut.
Le 19 décembre 2013, des chercheurs de DeepMind dirigés par David Silver et Volodymyr Mnih ont publié sur arXiv Playing Atari with Deep Reinforcement Learning (1312.5602). Le système, plus tard appelé deep Q-network (DQN), a appris à jouer à des classiques Atari 2600 depuis les pixels seuls, avec la même interface manette qu’un humain, sans caractéristiques artisanales par jeu.
Un réseau, plusieurs jeux
L’apprentissage par renforcement (RL) antérieur reposait souvent sur des descriptions d’état soigneusement conçues. DQN a alimenté des images en niveaux de gris empilées dans un réseau de neurones convolutif (CNN) qui approximait des valeurs d’action pour le Q-learning. Une seule architecture pouvait être entraînée sur des dizaines de jeux, seule la couche de sortie changeant par titre. Le rapport arXiv montrait des scores humains sur plusieurs jeux et des courbes d’apprentissage nettes sur d’autres.
Deux stabilisateurs ont rendu le Q-learning profond pratique. Le rejeu d’expérience stockait des transitions dans un tampon et échantillonnait des mini-lots au hasard, cassant les corrélations entre images consécutives. Un réseau cible séparé, mis à jour lentement, a évité le problème de cible mobile. Voir l’entrée rejeu d’expérience du glossaire.
Des bornes d’arcade à Go
Le résultat sur Atari a montré tôt que DeepMind pouvait coupler apprentissage profond et RL à grande échelle, la même recette que AlphaGo contre Lee Sedol plus tard. Pendant que Montréal ouvrait la modélisation générative avec les GAN en 2014, Londres montrait qu’un CNN pouvait apprendre des politiques de contrôle directement depuis une entrée sensorielle haute dimension.
Un article Nature en 2015 a consolidé la méthode et rapporté des performances humaines sur une large suite de jeux.
Pourquoi c’est important
DQN a aidé à établir l’apprentissage de bout en bout depuis les pixels comme alternative crédible à une IA de jeu artisanale. Le rejeu d’expérience et les réseaux cibles sont devenus des ingrédients standard. La ligne des scores Atari au Go de championnat passe par le même mélange d’apprentissage de représentations, de signal essai-erreur et de calcul qui définit une grande partie de l’apprentissage par renforcement moderne.