Netflix Prize 2009: BellKor gewinnt den 1-Million-Dollar-Empfehlungswettbewerb

Netflix vergab am 21. September 2009 1 Million Dollar an BellKor's Pragmatic Chaos nach einem dreijährigen Wettbewerb, der Cinematch um 10 % RMSE schlagen sollte. Matrixfaktorisierung und RBMs prägten Forschung und Produktion.

Ereignisdatum: Veröffentlicht:
GeschichteForschung

Am 21. September 2009 hielt Netflix eine Preisverleihung für den Netflix Prize, einen offenen Wettbewerb über 1 Million Dollar, der am 2. Oktober 2006 begonnen hatte. Das Unternehmen veröffentlichte etwa 100.480.507 Bewertungen von rund 480.189 Nutzern zu 17.770 Filmen und forderte Teams auf, die Cinematch-Baseline um 10 % beim RMSE zu schlagen. Das Siegerteam BellKor’s Pragmatic Chaos erreichte im Test RMSE 0,8567; The Ensemble landete bei gleichem Wert, reichte die Lösung aber laut Regeln etwa 20 Minuten später ein.

Faktorisierung, Ensembles und neuronale Netze

Top-Lösungen mischten Matrixfaktorisierung, Ensemble-Methoden und geschicktes Feature Engineering. Yehuda Koren, Robert M. Bell und Chris Volinsky beschrieben industrielles kollaboratives Filtern für Netflix in IEEE Computer (2009). Zuvor zeigten Ruslan Salakhutdinov, Andriy Mnih und Geoffrey Hinton auf der ICML 2007, wie eingeschränkte Boltzmann-Maschinen (RBM) Nutzerbewertungen modellieren können; ihr Team Machine Learning at Toronto gewann den Progress Prize 2007 des Wettbewerbs.

Netflix schrieb später, dass Ideen aus der Progress-Prize-Arbeit, einschließlich Singulärwertzerlegung und RBM-Komponenten, in die Produktion flossen, während das volle Grand-Prize-Ensemble zu teuer für den direkten Rollout war. Der Wettbewerb popularisierte dennoch Empfehlungssysteme als Leitanwendung von maschinellem Lernen neben Methoden wie Random Forests und Support-Vektor-Maschinen.

Datenschutz und eine abgesagte Fortsetzung

Die Forscher Arvind Narayanan und Vitaly Shmatikov zeigten 2007, dass anonymisierte Netflix-Bewertungen durch Abgleich mit öffentlichen IMDb-Profilen reidentifiziert werden konnten. Eine Sammelklage wegen Datenschutzbedenken im Dezember 2009 wurde im März 2010 beigelegt, und Netflix sagte einen geplanten zweiten Wettbewerb ab.

Warum es wichtig ist

Der Netflix Prize machte überwachtes Lernen auf sparse User-Item-Daten zum Publikumssport und verband klassische Faktorisierung mit Ideen aus Boltzmann-Maschinen und der Ära der Deep Belief Networks. Er steht zwischen Ensemble-Klassikern wie Breimans Random Forests und der GPU-beschleunigten Welle des Deep Learning danach.