DQN en Atari: DeepMind aprende a jugar desde píxeles (2013)
El 19 de diciembre de 2013 investigadores de DeepMind publicaron en arXiv «Playing Atari with Deep Reinforcement Learning», combinando una red convolucional con Q-learning, repetición de experiencia y redes objetivo para controlar juegos arcade desde pantalla bruta.
El 19 de diciembre de 2013, investigadores de DeepMind liderados por David Silver y Volodymyr Mnih publicaron en arXiv Playing Atari with Deep Reinforcement Learning (1312.5602). El sistema, después conocido como deep Q-network (DQN), aprendió a jugar clásicos de Atari 2600 solo desde píxeles, con la misma interfaz de mando que un humano, sin características diseñadas a mano por juego.
Una red, muchos juegos
El aprendizaje por refuerzo (RL) anterior a menudo dependía de descripciones de estado ingenierizadas. DQN alimentó fotogramas en escala de grises apilados a una red neuronal convolucional (CNN) que aproximaba valores de acción para Q-learning. Una sola arquitectura podía entrenarse en decenas de juegos, cambiando solo la capa final por título. El informe arXiv mostró puntuaciones a nivel humano en varios juegos y curvas de aprendizaje claras en otros.
Dos estabilizadores hicieron práctico el Q-learning con redes neuronales. La repetición de experiencia guardó transiciones en un búfer y muestreó mini-lotes al azar, rompiendo correlaciones entre fotogramas consecutivos. Una red objetivo separada, actualizada lentamente, evitó el problema del objetivo móvil. Véase la entrada repetición de experiencia en el glosario.
De recreativas a Go
El resultado en Atari señaló pronto que DeepMind podía combinar aprendizaje profundo con RL a escala, la misma receta que después impulsó AlphaGo contra Lee Sedol. Mientras en Montreal abrían el modelado generativo con GAN en 2014, Londres mostraba que una CNN podía aprender políticas de control directamente desde entrada sensorial de alta dimensión.
Un artículo en Nature en 2015 consolidó el método y reportó rendimiento a nivel humano en muchos juegos.
Por qué importa
DQN ayudó a establecer el aprendizaje de extremo a extremo desde píxeles como alternativa creíble a IA de juegos hecha a mano. La repetición de experiencia y las redes objetivo se volvieron ingredientes estándar. La línea desde puntuaciones en Atari hasta Go de campeonato pasa por la misma mezcla de aprendizaje de representaciones, señal de prueba y error y cómputo que define gran parte del aprendizaje por refuerzo moderno.