GPU
Grafikprozessor; parallel arbeitender Prozessor, ursprünglich für Bilddarstellung gebaut, später zur Beschleunigung von Matrixoperationen beim Training neuronaler Netze genutzt.
Ein Grafikprozessor (GPU, graphics processing unit) ist ein Prozessor, der Bilder und Video rendert, indem er viele kleine Berechnungen parallel ausführt. Consumer-Grafikkarten für Videospiele bündeln Tausende einfache Kerne, die zufällig auch die Matrixmultiplikationen beherrschen, die das Training von neuronalen Netzen dominieren. Vor GPUs war das Training tiefer Modelle auf CPUs oft unpraktisch langsam.
Gegen Ende der 2000er erkundeten Forscher, darunter Geoffrey Hintons Gruppe, GPU-Beschleunigung für gestapelte Modelle wie Deep Belief Networks (Artikel). Der Durchbruch kam mit AlexNet 2012: Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton trainierten ein tiefes konvolutionales Netz auf zwei Gaming-GPUs und dominierten den ImageNet-Benchmark (Artikel). Das Ergebnis machte GPU-Cluster zur Standardinfrastruktur für Deep Learning und großskaliges maschinelles Lernen.