Kinect 2010 : caméras de profondeur et estimation de pose en temps réel à la maison

Microsoft a lancé Kinect en Amérique du Nord le 4 novembre 2010. L''estimation de pose en temps réel utilisait des forêts aléatoires sur images de profondeur à la vitesse Xbox 360, et l''accessoire a vendu huit millions d''unités en soixante jours.

Date de l'événement: Publié:
HistoireRecherche

Microsoft a commercialisé Kinect pour Xbox 360 en Amérique du Nord le 4 novembre 2010. L’accessoire utilisait une pile caméra de profondeur dérivée de la technologie PrimeSense pour cartographier les salons en 3D et laisser les joueurs commander les jeux par le corps plutôt qu’une manette.

Forêts aléatoires à la vitesse console

Microsoft Research Cambridge et Xbox Incubation ont construit un suivi squelettique en temps réel en classant chaque pixel de profondeur en parties du corps avec des forêts aléatoires d’arbres de décision, suivant la recette d’ensemble de Leo Breiman de 2001 (article). Jamie Shotton, Andrew Fitzgibbon, Andrew Blake et collègues ont entraîné sur des centaines de milliers d’images de profondeur synthétiques (données d’entraînement synthétiques) pour que le modèle généralise dans de vrais salons. Le système tournait en moins de cinq millisecondes par image (environ 200 images par seconde) sur le GPU Xbox 360, permettant une estimation de pose stable pour les jeux et les outils de recherche ultérieurs.

L’article CVPR 2011 a remporté le meilleur article du congrès et citait explicitement les forêts de Breiman. Alex Kipman dirigeait l’effort produit Kinect chez Microsoft.

Record de produit grand public

Kinect a vendu environ huit millions d’unités en soixante jours, ce que Guinness World Records a classé comme appareil électronique grand public le plus vendu rapidement à l’époque. Le lancement a apporté l’apprentissage supervisé sur données de profondeur dans des millions de foyers, des années avant que la RA sur téléphone ne devienne mainstream.

Pourquoi c’est important

Kinect a montré que des ensembles classiques plus le débit GPU pouvaient tenir dans un capteur à 150 dollars, pas seulement en laboratoire. Il a relié les forêts aléatoires à l’apprentissage automatique incarné et a annoncé la profondeur en robotique et téléprésence, tandis que l’apprentissage profond a ensuite repris nombre de tâches de vision qu’AlexNet a contribué à enflammer.