Muestreo softmax: gira la temperatura, lanza el siguiente token

Cinco palabras candidatas, logits ajustables, un control de temperatura y dados ponderados. Así eligen los modelos de lenguaje el siguiente token al decodificar.

y26w45

La semana pasada A* pathfinding recorrió un laberinto con una frontera visible. Esta semana la máquina hace lo contrario de planificar: adivina la siguiente palabra y convive con la incertidumbre.

Tras emitir logits (un puntaje por token candidato; mira tokens BPE y pesos de atención), un softmax convierte esos valores en probabilidades que suman 100 %. La temperatura divide los logits antes: baja y el token líder casi siempre gana (codicioso, seguro, repetitivo); sube y las palabras raras entran en la lotería (creativo, arriesgado, a veces absurdo). Ese mando forma parte de la inferencia diaria de cada modelo de lenguaje desde ChatGPT.

Cómo jugar:

  1. Lee el inicio de frase; abajo hay cinco candidatos de siguiente token con controles de logit (puntuaciones crudas, aún no porcentajes).
  2. Mueve Temperatura y mira cómo cambian las barras de Prob. sin tocar los logits.
  3. Pulsa Muestra una o Muestra ×10; Últimas elecciones se llena y la palabra resaltada es el último tiro.
  4. Prueba presets (Favorito claro, Empate, Scores planos), luego temperatura 0,15 frente a 1,80 en el mismo preset.

Prueba esto:

  1. Favorito claro a temperatura 0,20: la barra superior cerca del 90 %; diez muestras casi siempre repiten palabra.
  2. Mismo preset a 1,80: la barra top quizá 35–45 %; diez muestras mezclan palabras.
  3. Scores planos a 1,00: cada barra cerca del 20 %; series largas como un dado justo.
  4. Empate a 0,25: un pequeño empuje en logits domina; a 2,00 la carrera parece abierta.

Por qué importa

La revolución del Transformer abarató la generación; GPT-3 mostró muestreo fluido a escala. Los productos exponen temperatura (y top-p, no simulado aquí) porque los mismos pesos pueden sonar a escriba cauteloso o poeta temerario. El entrenamiento enseña qué es probable; la decodificación elige cuánta sorpresa permites. No es magia: es aritmética visible.

¿Perdiste ediciones anteriores? Perceptrón, Markov, tres en raya, convolución, Q-learning, BPE, descenso de gradiente, k-means, red neuronal, atención, bandit, ELIZA, Hopfield, Naive Bayes o A*.

El gato se sentó en la …

alfombra 0%
suelo 0%
techo 0%
luna 0%
estera 0%

Últimas elecciones
Los logits son puntuaciones crudas antes del softmax. La temperatura los divide: baja aplasta hacia el máximo (casi codicioso); alta aplana la lotería. Los LLM reales usan lo mismo al decodificar.