Netflix Prize 2009: BellKor gana el concurso de recomendación de 1 millón de dólares
Netflix entregó 1 millón de dólares el 21 de septiembre de 2009 a BellKor's Pragmatic Chaos tras un concurso de tres años para superar a Cinematch un 10 % en RMSE. La factorización matricial y las RBM marcaron investigación y producción.
El 21 de septiembre de 2009, Netflix celebró una ceremonia de premios del Netflix Prize, una competición abierta de 1 millón de dólares iniciada el 2 de octubre de 2006. La empresa publicó unos 100.480.507 ratings de aproximadamente 480.189 usuarios sobre 17.770 películas y pidió a los equipos superar la línea base Cinematch un 10 % en RMSE. El equipo ganador BellKor’s Pragmatic Chaos alcanzó RMSE 0,8567 en test; The Ensemble empataría la puntuación pero envió la solución unos 20 minutos después según las reglas.
Factorización, conjuntos y redes neuronales
Las mejores soluciones mezclaron factorización matricial, métodos de conjunto e ingeniería de características ingeniosa. Yehuda Koren, Robert M. Bell y Chris Volinsky documentaron filtrado colaborativo industrial para Netflix en IEEE Computer (2009). Antes, Ruslan Salakhutdinov, Andriy Mnih y Geoffrey Hinton mostraron en ICML 2007 cómo las máquinas de Boltzmann restringidas (RBM) podían modelar valoraciones; su equipo Machine Learning at Toronto ganó el Progress Prize 2007 del concurso.
Netflix escribió después que incorporó ideas del Progress Prize, incluidos componentes de descomposición en valores singulares y RBM, en producción, mientras el conjunto del gran premio era demasiado costoso de desplegar tal cual. El concurso popularizó igualmente los sistemas de recomendación como aplicación estrella de aprendizaje automático junto a métodos como bosques aleatorios y máquinas de vectores de soporte.
Privacidad y una secuela cancelada
Los investigadores Arvind Narayanan y Vitaly Shmatikov demostraron en 2007 que ratings anónimos de Netflix podían reidentificarse cruzando perfiles públicos de IMDb. Una demanda colectiva por privacidad en diciembre de 2009 se resolvió en marzo de 2010, y Netflix canceló un segundo concurso planificado.
Por qué importa
El Netflix Prize convirtió el aprendizaje supervisado sobre datos dispersos usuario-ítem en espectáculo público y conectó la factorización clásica con ideas de máquina de Boltzmann de la era de redes de creencia profunda. Queda entre clásicos de conjuntos como los bosques aleatorios de Breiman y la ola de aprendizaje profundo acelerada por GPU que siguió.