Mémoire Hopfield : gribouille, brouille, rappelle

Stocke un mini motif dans une mémoire associative façon 1982, retourne des bits au hasard et regarde le rappel asynchrone ramener la forme pendant que l’énergie chute : de la physique sur une grille 10×10.

y26w42

La semaine dernière tu as parlé à un thérapeute à base de règles sans aucun neurone. Cette semaine l’inverse : pas de règles écrites à la main, juste des cellules ±1 et des poids symétriques comme John Hopfield les a décrits en 1982, la même idée de mémoire associative qui lui a valu une part du prix Nobel de physique 2024.

Un réseau de Hopfield est une mémoire adressable par le contenu. Tu montres un motif une fois ; l’apprentissage hebbien grave les corrélations par paires dans les poids. Plus tard tu peux donner une version bruitée ou incomplète et le réseau relaxe case par case jusqu’à ce qu’une forme familière réapparaisse, ou jusqu’à un attracteur « parasite » si tu as stocké trop de motifs. La règle de mise à jour est locale (chaque case écoute ses voisines), mais l’histoire globale est une minimisation d’énergie : chaque bascule abaisse une fonction d’énergie empruntée à la physique statistique.

Comment jouer :

  1. Choisis Smiley, Cœur ou Lettre H (ou dessine le tien), puis Mémoriser.
  2. Règle le Bruit et appuie sur Brouiller jusqu’à ce que la figure soit à peine reconnaissable.
  3. Rappel auto et regarde la grille se reformer pendant que l’Énergie descend. Pas de rappel pour voir chaque balayage.

Stocke deux modèles à la suite, brouille fort et vois si le réseau rappelle le premier, le second ou un mélange fantôme (capacité limitée en format jouet).

Pourquoi c’est important

Avant les matrices géantes du deep learning, les réseaux de Hopfield faisaient sentir l’« apprentissage » comme une dynamique : des souvenirs en vallées d’un paysage d’énergie. Les machines de Boltzmann de Geoffrey Hinton en sont sorties directement. Les transformers sont loin en architecture, mais l’intuition reste : l’inférence comme descente vers un minimum d’énergie.

Lis comment le travail de Hopfield resurgit dans notre article sur le Nobel 2024 ou revisite le perceptron de 1958. Dans le glossaire : réseau neuronal et apprentissage non supervisé : stocker des motifs sans étiquettes, c’est le cœur du jeu.

Éditions manquées ? Perceptron, Markov, morpion minimax, convolution, Q-learning, tokenizer BPE, descente de gradient, k-means, réseau neuronal, attention, bandit multi-bras ou ELIZA.

Modèles

Les réseaux de Hopfield stockent des motifs comme un paysage d’énergie. Mémoriser transforme les cases noires en poids hebbiens ; Brouiller retourne des bits au hasard ; Rappel laisse chaque case suivre ses voisines jusqu’à l’arrêt. Regarde l’énergie descendre pendant que le réseau « roule vers le bas ».