Muestreo softmax: gira la temperatura, lanza el siguiente token
Cinco palabras candidatas, logits ajustables, un control de temperatura y dados ponderados. Así eligen los modelos de lenguaje el siguiente token al decodificar.
La semana pasada A* pathfinding recorrió un laberinto con una frontera visible. Esta semana la máquina hace lo contrario de planificar: adivina la siguiente palabra y convive con la incertidumbre.
Tras emitir logits (un puntaje por token candidato; mira tokens BPE y pesos de atención), un softmax convierte esos valores en probabilidades que suman 100 %. La temperatura divide los logits antes: baja y el token líder casi siempre gana (codicioso, seguro, repetitivo); sube y las palabras raras entran en la lotería (creativo, arriesgado, a veces absurdo). Ese mando forma parte de la inferencia diaria de cada modelo de lenguaje desde ChatGPT.
Cómo jugar:
- Lee el inicio de frase; abajo hay cinco candidatos de siguiente token con controles de logit (puntuaciones crudas, aún no porcentajes).
- Mueve Temperatura y mira cómo cambian las barras de Prob. sin tocar los logits.
- Pulsa Muestra una o Muestra ×10; Últimas elecciones se llena y la palabra resaltada es el último tiro.
- Prueba presets (Favorito claro, Empate, Scores planos), luego temperatura 0,15 frente a 1,80 en el mismo preset.
Prueba esto:
- Favorito claro a temperatura 0,20: la barra superior cerca del 90 %; diez muestras casi siempre repiten palabra.
- Mismo preset a 1,80: la barra top quizá 35–45 %; diez muestras mezclan palabras.
- Scores planos a 1,00: cada barra cerca del 20 %; series largas como un dado justo.
- Empate a 0,25: un pequeño empuje en logits domina; a 2,00 la carrera parece abierta.
Por qué importa
La revolución del Transformer abarató la generación; GPT-3 mostró muestreo fluido a escala. Los productos exponen temperatura (y top-p, no simulado aquí) porque los mismos pesos pueden sonar a escriba cauteloso o poeta temerario. El entrenamiento enseña qué es probable; la decodificación elige cuánta sorpresa permites. No es magia: es aritmética visible.
¿Perdiste ediciones anteriores? Perceptrón, Markov, tres en raya, convolución, Q-learning, BPE, descenso de gradiente, k-means, red neuronal, atención, bandit, ELIZA, Hopfield, Naive Bayes o A*.
El gato se sentó en la …