CUDA

NVIDIAs Parallel-Computing-Plattform und API zur GPU-Programmierung für allgemeine Workloads wie neuronales Netztraining, eingeführt 2007.

CUDA (Compute Unified Device Architecture) ist NVIDIAs Plattform, um allgemeinen Code auf Grafikprozessoren (GPU) auszuführen. Entwickler schreiben Kernel in C-ähnlichen Sprachen, die Tausende Threads parallel starten, was gut zu Matrixmultiplikationen im neuronalen Netz-Training passt.

Auf der ICML 2009 nutzte die Gruppe um Andrew Ng CUDA-fähige Hardware, um Deep Belief Network-Training zu beschleunigen (Artikel). Spätere Arbeiten wie AlexNet setzten auf dieselbe Klasse Consumer-GPUs und machten Gaming-Karten zur Standard-Deep-Learning-Infrastruktur.