Sparse Coding

Darstellung von Daten mit wenigen aktiven Koeffizienten in einem gelernten Wörterbuch; unüberwachtes Modell verwandt mit neuronalem Feature-Lernen und Kompression.

Sparse Coding lernt ein Wörterbuch von Merkmalen, sodass jede Eingabe aus nur wenigen aktiven Koeffizienten rekonstruiert wird. Die Repräsentation ist sparse: die meisten Koeffizienten bleiben nahe null, was interpretierbare Teile und effiziente Codes liefern kann.

Das ICML-2009-GPU-Paper von Raina, Madhavan und Andrew Ng behandelte Sparse Coding neben Deep Belief Networks als Workload, der von paralleler GPU-Hardware profitiert (Artikel). Die Idee verbindet klassisches unüberwachtes Lernen mit späterem Deep-Learning-Feature-Lernen.