AlphaGo Zero : Go surhumain sans parties humaines (2017)

Publié en ligne le 19 octobre 2017, AlphaGo Zero de DeepMind a appris le Go uniquement par auto-jouer et a battu la version qui avait vaincu Lee Sedol sans utiliser de parties de maîtres comme données d''entraînement.

Date de l'événement: Publié:
HistoireRecherche

Le 19 octobre 2017, Nature a publié en ligne Mastering the game of Go without human knowledge signé DeepMind. AlphaGo Zero a appris le Go à partir de zéro : aucune partie professionnelle humaine, seulement de l’auto-apprentissage et de l’apprentissage par renforcement. En trois jours il a dépassé l’AlphaGo qui avait battu Lee Sedol en 2016 (article) ; en 40 jours il a atteint des niveaux que d’anciens systèmes atteignaient seulement après des mois de données humaines.

Auto-jouer tabula rasa

La pipeline AlphaGo précédente partait de millions de coups humains, puis s’affûtait par auto-apprentissage. AlphaGo Zero a supprimé cette première étape. Un seul réseau de neurones profond combinait têtes de politique et de valeur et guidait une recherche Monte Carlo contre lui-même. Un jeu plus fort produisait des cibles d’entraînement plus fortes, une boucle que l’équipe de Demis Hassabis avait poussée en recherche sur les jeux, jusqu’à rendre l’enseignement humain optionnel.

David Silver, Julian Schrittwieser et une longue liste de co-auteurs DeepMind ont rapporté que Zero battait la version Lee Sedol 100 à 0, avec une pile plus simple et moins de calcul que le système du match de 2016. La même recette a ensuite produit AlphaZero, généralisant l’auto-apprentissage aux échecs et au shogi depuis le jeu aléatoire.

La même année que le Transformer

2017 regorgeait de jalons. Pendant que Zero maîtrisait le Go sans connaissance humaine, des chercheurs Google publiaient le Transformer pour le TAL, un autre domaine mais la même leçon : échelle, données (même auto-générées) et apprentissage profond peuvent dépasser des pipelines artisanaux.

Pourquoi c’est important

AlphaGo Zero a montré que les jeux de données d’experts humains ne sont pas toujours le meilleur professeur. L’auto-apprentissage à grande échelle peut découvrir des stratégies que les humains n’ont jamais consignées, au-delà du Go lorsque la simulation est bon marché et la récompense claire. Il a bouclé la boucle ouverte par le match Lee Sedol et fixé les attentes pour les systèmes ultérieurs d’apprentissage par renforcement en robotique, planification et recherche sur l’alignement.

#apprentissage-renforcement#apprentissage-profond