Softmax-Sampling: Temperatur drehen, nächsten Token würfeln
Fünf Kandidatenwörter, einstellbare Logits, ein Temperatur-Regler und gewichtete Würfel. So wählen Sprachmodelle beim Dekodieren das nächste Token.
Letzte Woche hat A*-Pfadfindung ein Labyrinth mit sichtbarer Frontier durchsucht. Diese Woche macht die Maschine das Gegenteil von Planen: sie rät das nächste Wort und lebt mit Unsicherheit.
Nachdem ein Modell (siehe BPE-Tokens und Attention-Gewichte) Logits ausgibt, einen Score pro Kandidaten-Token, wandelt ein Softmax die Werte in Wahrscheinlichkeiten um, die zusammen 100 % ergeben. Temperatur teilt die Logits vorher: runter drehen und der Top-Token gewinnt fast immer (gierig, sicher, repetitiv); hoch drehen und seltene Wörter bekommen mehr Lotterie (kreativ, riskant, manchmal Unsinn). Der Regler gehört zum Alltag der Inferenz jedes LLM seit ChatGPT.
So spielst du:
- Lies den Satzanfang; darunter fünf Nächster-Token-Kandidaten mit Logit-Reglern (Rohwerte, noch keine Prozent).
- Temperatur ziehen und zuschauen, wie sich die Chance-Balken ändern, ohne die Logits zu verschieben.
- Einmal würfeln oder 10× würfeln; Letzte Züge füllt sich, das hervorgehobene Wort ist der letzte Wurf.
- Presets (Klarer Favorit, Kopf an Kopf, Gleiche Scores), dann Temperatur 0,15 vs 1,80 auf demselben Preset.
Probier das:
- Klarer Favorit bei Temperatur 0,20: der oberste Balken nahe 90 %; zehn Würfe sollten fast immer dasselbe Wort liefern.
- Gleiches Preset bei 1,80: der Top-Balken eher 35–45 %; zehn Würfe mischen Wörter.
- Gleiche Scores bei 1,00: jeder Balken nahe 20 %; lange Serien wie ein fairer Würfel.
- Kopf an Kopf bei 0,25: ein kleiner Logit-Vorsprung dominiert; bei 2,00 wirkt das Rennen fast offen.
Warum das zählt
Die Transformer-Revolution machte Generierung billig; GPT-3 zeigte flüssiges Sampling in großem Maßstab. Produkte bieten Temperatur (und Top-p, hier nicht simuliert), weil dieselben Gewichte wie ein vorsichtiger Schreiber oder ein verwegener Poet klingen können. Training lehrt Was wahrscheinlich ist; Dekodierung wählt wie viel Überraschung du erlaubst. Keine Magie, nur Arithmetik zum Anfassen.
Verpasste Ausgaben? Perzeptron, Markov, Tic-Tac-Toe, Faltung, Q-Learning, BPE, Gradientenabstieg, k-Means, Neuronales Netz, Attention, Bandit, ELIZA, Hopfield, Naive Bayes oder A*.
Die Katze saß auf der …