AlphaGo Zero: Go sobrehumano sin partidas humanas (2017)
Publicado en línea el 19 de octubre de 2017, AlphaGo Zero de DeepMind aprendió Go solo con autojuego y venció a la versión que derrotó a Lee Sedol sin usar partidas de maestros como datos de entrenamiento.
El 19 de octubre de 2017, Nature publicó en línea Mastering the game of Go without human knowledge de DeepMind. AlphaGo Zero aprendió Go desde cero: sin partidas profesionales humanas, solo autojuego y aprendizaje por refuerzo. En tres días superó al AlphaGo que venció a Lee Sedol en 2016 (artículo); en 40 días alcanzó niveles que antes requerían meses de datos humanos.
Autojuego tabula rasa
La pipeline anterior de AlphaGo partía de millones de jugadas humanas y luego se refinaba con autojuego. AlphaGo Zero eliminó esa primera etapa. Una sola red neuronal profunda combinaba cabezas de política y valor y guiaba búsqueda Monte Carlo contra sí misma. Juego más fuerte generó objetivos de entrenamiento más fuertes, un bucle que el equipo de Demis Hassabis había impulsado en juegos, llevado al extremo de hacer opcional la enseñanza humana.
David Silver, Julian Schrittwieser y una larga lista de coautores de DeepMind informaron que Zero venció a la versión Lee Sedol 100 a 0, con una pila más simple y menos cómputo que el sistema del match de 2016. La misma receta produjo después AlphaZero, generalizando autojuego a ajedrez y shogi desde juego aleatorio.
El mismo año que el Transformer
2017 estuvo lleno de hitos. Mientras Zero dominaba Go sin conocimiento humano, investigadores de Google publicaron el Transformer para PLN, otro dominio pero la misma lección: escala, datos (aunque autogenerados) y aprendizaje profundo pueden saltarse pipelines artesanales.
Por qué importa
AlphaGo Zero demostró que los conjuntos de datos de expertos humanos no siempre son el mejor maestro. El autojuego a escala puede descubrir estrategias que los humanos nunca registraron, relevante más allá del Go cuando la simulación es barata y la recompensa clara. Cerró el bucle abierto por el match con Lee Sedol y fijó expectativas para sistemas posteriores de aprendizaje por refuerzo en robótica, planificación e investigación de alineación.