Hopfield-Speicher: kritzeln, verwürfeln, erinnern
Präge ein Mini-Muster in einem assoziativen Speicher von 1982 ein, kippe zufällige Bits und sieh zu, wie asynchrones Erinnern die Form zurückholt: Physik auf einem 10×10-Raster.
Letzte Woche hast du mit einem regelbasierten Therapeuten geredet, ohne Neuronen. Diese Woche das Gegenteil: keine handgeschriebenen Regeln, nur ±1-Zellen und symmetrische Gewichte, wie John Hopfield sie 1982 beschrieb, dieselbe Idee assoziativen Speichers, die ihm einen Teil des Physik-Nobelpreises 2024 einbrachte.
Ein Hopfield-Netz ist inhaltsadressierbarer Speicher. Du zeigst ein Muster einmal; hebbisches Lernen graviert Paarkorrelationen in die Gewichte. Später fütterst du eine verrauschte oder unvollständige Version ein, und das Netz relaxiert Zelle für Zelle, bis eine vertraute Form wieder da ist, oder bis es in einem falschen „spuriösen“ Attraktor landet, wenn du zu viele Muster gespeichert hast. Die Update-Regel ist lokal (jede Zelle hört auf Nachbarn), die globale Geschichte ist Energieminimierung: jeder Flip senkt eine Energiefunktion aus der statistischen Physik.
So spielst du:
- Wähle Smiley, Herz oder Buchstabe H (oder zeichne selbst), dann Einprägen.
- Schiebe Rauschen und drücke Verwürfeln, bis die Form kaum erkennbar ist.
- Erinnerung starten: das Raster schnappt zurück, Energie fällt. Mit Erinnerungsschritt siehst du jeden Sweep.
Speichere zwei verschiedene Vorlagen nacheinander, verwürfle stark und schau, ob das Netz das erste Muster, das zweite oder eine Geister-Mischung zurückgibt (begrenzte Kapazität im Spielzeugformat).
Warum das zählt
Vor den Riesenmatrizen des Deep Learning fühlte sich „Lernen“ bei Hopfield-Netzen wie Dynamik an: Erinnerungen als Täler in einer Energielandschaft. Geoffrey Hintons Boltzmann-Maschinen wuchsen direkt aus diesem Bild. Transformer sind architektonisch weit weg, aber die Intuition bleibt: Inferenz als Einsinken in einen Energietiefpunkt.
Lies in unserem Stück zum Nobelpreis 2024, wie Hopfields Arbeit auftauchte, oder zum Perzeptron von 1958. Im Glossar: neuronales Netz und unüberwachtes Lernen: Muster ohne Labels speichern ist der Punkt.
Verpasste Ausgaben? Perzeptron, Markov-Babbeln, Tic-Tac-Toe Minimax, Convolution, Q-Learning, BPE-Tokenizer, Gradientenabstieg, k-Means, Neuronales Netz-Spielplatz, Attention, Multi-Armed Bandit oder ELIZA.