Astuce du noyau (Kernel trick)
Technique qui calcule implicitement des produits scalaires dans un espace de caractéristiques de haute dimension, permettant à des algorithmes linéaires d'ajuster efficacement des frontières de décision non linéaires.
L’astuce du noyau est un raccourci mathématique qui permet à un algorithme d’apprentissage automatique de travailler dans un espace de caractéristiques riche tout en ne calculant que des similarités par paires entre entrées brutes. Une fonction noyau calcule le produit scalaire qui résulterait si chaque exemple était projeté dans une représentation de plus grande dimension, sans jamais construire explicitement cette projection. Des méthodes linéaires comme les machines à vecteurs de support (SVM) peuvent ainsi ajuster des frontières courbes ou complexes tout en gardant un problème d’optimisation tractable.
L’idée remonte à Aizerman, Braverman et Rozonoer (1964). Bernhard Boser, Isabelle Guyon et Vladimir Vapnik l’ont combinée avec des classifieurs à marge maximale en 1992, posant les bases des SVM non linéaires. Corinna Cortes et Vapnik ont publié la formulation largement utilisée de 1995. Les noyaux courants incluent les fonctions polynomiales et à base radiale ; avant l’ère de l’apprentissage profond, choisir le bon noyau était souvent aussi important que régler la régularisation. Voir l’article sur les machines à vecteurs de support et l’entrée de chronologie.