Échantillonnage softmax : tourne la température, lance le token suivant

Cinq mots candidats, logits réglables, curseur de température et dés pondérés. C'est ainsi que les modèles de langage choisissent le token suivant au décodage.

y26w45

La semaine dernière, A* pathfinding a exploré un labyrinthe avec une frontière visible. Cette semaine, la machine fait l’inverse de planifier : elle devine le mot suivant et vit avec l’incertitude.

Après avoir produit des logits (un score par token candidat ; voir tokens BPE et poids d’attention), un softmax transforme ces scores en probabilités qui totalisent 100 %. La température divise les logits avant cette étape : basse, le token en tête gagne presque toujours (glouton, sûr, répétitif) ; haute, les mots rares entrent dans la loterie (créatif, risqué, parfois absurde). Ce réglage fait partie de l’inférence quotidienne de chaque grand modèle de langage depuis ChatGPT.

Comment jouer :

  1. Lis le début de phrase ; cinq candidats token suivant avec curseurs logit (scores bruts, pas encore des pourcentages).
  2. Fais glisser Température et regarde les barres Chance se remodeler sans changer les logits.
  3. Appuie sur Tirer une fois ou Tirer ×10 ; Derniers tirages se remplit, le mot surligné est le dernier lancer.
  4. Essaie les presets (Favori net, Coude à coude, Scores plats), puis température 0,15 vs 1,80 sur le même preset.

Essaie ceci :

  1. Favori net à température 0,20 : la barre du haut près de 90 % ; dix tirages choisissent presque toujours le même mot.
  2. Même preset à 1,80 : la barre du haut vers 35–45 % ; dix tirages mélangent les mots.
  3. Scores plats à 1,00 : chaque barre près de 20 % ; longues séries comme un dé équitable.
  4. Coude à coude à 0,25 : un petit écart de logit domine ; à 2,00 la course paraît ouverte.

Pourquoi c’est important

La révolution du Transformer a rendu la génération abordable ; GPT-3 a montré un échantillonnage fluide à grande échelle. Les produits exposent la température (et le top-p, non simulé ici) parce que les mêmes poids peuvent sonner comme un scribe prudent ou un poète téméraire. L’entraînement enseigne ce qui est probable ; le décodage choisit combien de surprise tu autorises. Ce n’est pas de la magie : de l’arithmétique visible.

Tu as manqué les numéros précédents ? Perceptron, Markov, morpion, convolution, Q-learning, BPE, descente de gradient, k-means, réseau de neurones, attention, bandit, ELIZA, Hopfield, Naive Bayes ou A*.

Le chat s'est assis sur le …

tapis 0%
sol 0%
toit 0%
lune 0%
paillasson 0%

Derniers tirages
Les logits sont des scores bruts avant softmax. La température les divise : basse écrase vers le max (presque glouton) ; haute aplatit la loterie. Les vrais LLM font pareil au décodage.