Codage sparse
Représenter des données avec peu de coefficients actifs dans un dictionnaire appris ; modèle non supervisé lié à l'apprentissage de caractéristiques neuronales et à la compression.
Le codage sparse apprend un dictionnaire de caractéristiques pour que chaque entrée soit reconstruite à partir de seulement quelques coefficients actifs. La représentation est sparse : la plupart des coefficients restent proches de zéro, ce qui peut produire des parties interprétables et des codes efficaces.
L’article GPU ICML 2009 de Raina, Madhavan et Andrew Ng a traité le codage sparse aux côtés des deep belief networks comme charge utile bénéficiant du matériel GPU parallèle (article). L’idée relie l’apprentissage non supervisé classique à l’apprentissage de caractéristiques en apprentissage profond.