Balbuceador de Markov: la máquina original de la próxima palabra
Mucho antes de ChatGPT, las máquinas adivinaban la siguiente palabra contando. Dale a este modelo diminuto cualquier texto y míralo balbucear, una tirada de dados cada vez.
Esta semana la IA se mantiene humilde. Los chatbots de hoy parecen magia, así que vale la pena conocer a su antepasado más antiguo y más tonto: una máquina que escribe contando palabras.
El gadget de abajo es un generador de texto basado en una cadena de Markov. No entiende absolutamente nada. Lee tu texto de entrenamiento, recuerda qué palabra suele seguir a qué palabra y genera texto nuevo tirando dados ponderados, palabra por palabra.
Cómo jugar:
- La caja ya trae algo de texto de entrenamiento. Edítalo o pega el tuyo (letras de canciones, una receta, una noticia, lo que quieras).
- Elige la memoria: con “1 palabra” el modelo solo mira la última palabra antes de adivinar; con “2 palabras” mira las dos últimas, así el resultado se lee con más fluidez pero repite más la fuente.
- Pulsa Generar y míralo escribir. El panel de debajo muestra las palabras candidatas y sus probabilidades, y resalta la que eligieron los dados.
Por qué es el antepasado de los modelos de lenguaje
La idea se remonta a Claude Shannon, que en 1948 usó estadísticas de letras y palabras para generar texto que casi tenía sentido. Ese truco, predecir el siguiente token a partir de los anteriores, es exactamente lo que hace un gran modelo de lenguaje moderno. La diferencia está en la escala y la astucia, no en el movimiento central.
Un balbuceador de Markov tiene una memoria de una o dos palabras. Un modelo moderno considera en la práctica miles y aprende patrones ricos en lugar de recuentos crudos. Pero ambos hacen predicción de la próxima palabra, y ninguno “sabe” lo que dice. Por eso el mismo atajo estadístico también impulsó el antiguo procesamiento del lenguaje natural y el autocompletado de tu teléfono.
Míralo romperse
Pon la memoria en “1 palabra” y la salida se vuelve un disparate alegre: fragmentos gramaticales que se despeñan. Cambia a “2 palabras” y de repente suena más lista, porque se apoya más en tu texto y a veces lo cita palabra por palabra. Esa tensión, entre la originalidad y el mero copiar la fuente, nunca desapareció del todo; es una de las discusiones que hoy se tienen sobre los grandes modelos.
Para conocer otro programa que parecía listo haciendo algo muy simple, visita ELIZA (1966). Y si te lo perdiste, en nuestra primera edición podías entrenar un perceptrón en el navegador.