AlphaGo Zero: übermenschliches Go ohne menschliche Partien (2017)

Am 19. Oktober 2017 veröffentlichte Nature online den Beitrag „Mastering the game of Go without human knowledge“. DeepMinds AlphaGo Zero lernte Go allein durch Selbstspiel und schlug die Lee-Sedol-Version, ohne Meisterpartien als Trainingsdaten.

Ereignisdatum: Veröffentlicht:
GeschichteForschung

Am 19. Oktober 2017 veröffentlichte Nature online Mastering the game of Go without human knowledge von DeepMind. AlphaGo Zero lernte Go von Grund auf: keine menschlichen Profipartien, nur Selbstspiel und verstärkendes Lernen. In drei Tagen übertraf es das AlphaGo, das 2016 Lee Sedol schlug (Artikel); in 40 Tagen erreichte es Niveaus, für die frühere Systeme Monate menschlicher Daten brauchten.

Tabula-rasa-Selbstspiel

Die frühere AlphaGo-Pipeline startete aus Millionen menschlicher Züge und verfeinerte sich per Selbstspiel. AlphaGo Zero entfernte diese erste Stufe. Ein tiefes neuronales Netz verband Policy- und Value-Köpfe und steuerte Monte-Carlo-Baumsuche gegen sich selbst. Stärkeres Spiel erzeugte stärkere Trainingsziele, eine Rückkopplung, die das Team um Demis Hassabis in der Spielforschung vorangetrieben hatte, jetzt so weit, dass menschliche Vorgaben optional wurden.

David Silver, Julian Schrittwieser und eine große DeepMind-Autorenliste berichteten, Zero schlage die Lee-Sedol-Version 100:0, mit einfacherem Stack und weniger Rechenleistung als das Matchsystem von 2016. Dasselbe Rezept lieferte später AlphaZero, das Selbstspiel auf Schach und Shogi ab zufälligem Spiel verallgemeinerte.

Dasselbe Jahr wie der Transformer

2017 war voll mit Meilensteinen. Während Zero Go ohne menschliches Wissen meisterte, veröffentlichten Google-Forscher den Transformer für NLP, eine andere Domäne, aber dieselbe Lektion: Skalierung, Daten (auch selbst erzeugt) und Deep Learning können handgebaute Pipelines überspringen.

Warum es wichtig ist

AlphaGo Zero zeigte, dass menschliche Experten-Datensätze nicht immer der beste Lehrer sind. Selbstspiel in großem Maßstab kann Strategien finden, die Menschen nie aufzeichneten, relevant über Brettspiele hinaus, wo Simulation günstig und Belohnung klar ist. Es schloss den Kreis, den das Lee-Sedol-Match eröffnet hatte, und setzte Erwartungen an spätere RL-Systeme in Robotik, Planung und Alignment-Forschung.

#verstaerkendes-lernen#tiefes-lernen