GPUs für Deep Learning: Raina, Madhavan und Ng auf der ICML 2009
Auf der ICML 2009 in Montreal berichtete Andrew Ngs Gruppe über bis zu 70-mal schnelleres Training von Deep Belief Networks auf Grafikprozessoren. Ein Modell mit rund 100 Millionen Parametern trainierte in etwa einem Tag statt wochenlang auf CPUs.
Auf der ICML 2009 in Montreal (14. Juni 2009 laut Konferenzprogramm) präsentierten Rajat Raina, Anand Madhavan und Andrew Ng Large-scale Deep Unsupervised Learning using Graphics Processors. Die Arbeit zeigte, dass das Training von Deep Belief Networks (DBN) auf einer GPU in ihren Benchmarks bis zu etwa 70-mal schneller lief als auf einer Dual-Core-CPU. Ein vierlagiges Netz mit rund 100 Millionen Parametern ließ sich auf der GPU in etwa einem Tag trainieren statt wochenlang auf CPUs, wodurch großskalige unüberwachtes Lernen-Experimente praktikabel wurden.
Zwischen DBNs und AlexNet
Das Ergebnis baute direkt auf Hintons Rezept für Deep Belief Networks von 2006 auf: eingeschränkte Boltzmann-Maschinen (RBM) stapeln, dann feinabstimmen. Consumer-Grafikkarten machten parallele Matrixoperationen über CUDA und ähnliche APIs zugänglich, sodass dieselbe Mathematik wie beim Rendern von Videospielen das Training von neuronalen Netzen beschleunigen konnte. Die Autoren hoben auch Sparse Coding als Workload hervor, der von derselben Hardware profitierte.
Die Arbeit erschien, während der Benchmark ImageNet reifte, und drei Jahre bevor AlexNet die ImageNet-Challenge auf zwei GPUs gewinnen würde. Sie ersetzte nicht das spätere end-to-end-Training konvolutionaler Netze, half aber, GPUs als Standardbeschleuniger für Deep Learning zu etablieren.
Warum es wichtig ist
Vor erschwinglichen GPU-Clustern konnten viele Gruppen tiefe Modelle nicht in großem Maßstab iterieren. Raina, Madhavan und Ng quantifizierten die Lücke in Wandzeit und Parameterzahl, nicht nur in asymptotischer Komplexität. Diese Ingenieursbotschaft war ebenso wichtig wie die algorithmische Wiederbelebung, die 2006 mit DBNs begann und nach 2012 in industriellen Vision-Pipelines mündete.