Babilleur de Markov : la machine originale à mot suivant
Bien avant ChatGPT, les machines devinaient le mot suivant en comptant. Donne à ce petit modèle n'importe quel texte et regarde-le babiller, un coup de dés à la fois.
Cette semaine, l’IA reste modeste. Les chatbots d’aujourd’hui tiennent de la magie, alors autant rencontrer leur ancêtre le plus ancien et le plus bête : une machine qui écrit en comptant les mots.
Le gadget ci-dessous est un générateur de texte fondé sur une chaîne de Markov. Il ne comprend strictement rien. Il lit ton texte d’entraînement, retient quel mot suit souvent quel mot, puis produit un nouveau texte en lançant des dés pondérés, mot après mot.
Comment jouer :
- La zone contient déjà un peu de texte d’entraînement. Modifie-le ou colle le tien (paroles de chanson, une recette, un article, ce que tu veux).
- Choisis la mémoire : avec « 1 mot », le modèle ne regarde que le dernier mot avant de deviner ; avec « 2 mots », il regarde les deux derniers, donc le résultat se lit plus fluidement mais répète davantage la source.
- Appuie sur Générer et regarde-le écrire. Le panneau du dessous montre les mots candidats et leurs probabilités, et met en évidence celui que les dés ont choisi.
Pourquoi c’est l’ancêtre des modèles de langage
L’idée remonte à Claude Shannon, qui en 1948 se servit de statistiques de lettres et de mots pour produire un texte qui avait presque du sens. Ce tour, prédire le token suivant à partir des précédents, est exactement ce que fait un grand modèle de langage moderne. La différence tient à l’échelle et à la finesse, pas au geste central.
Un babilleur de Markov a une mémoire d’un ou deux mots. Un modèle moderne en considère en pratique des milliers et apprend des motifs riches plutôt que de simples décomptes. Mais tous deux font de la prédiction du mot suivant, et aucun ne « sait » ce qu’il dit. C’est pourquoi le même raccourci statistique a aussi porté l’ancien traitement automatique des langues et la saisie automatique de ton téléphone.
Regarde-le se casser
Mets la mémoire sur « 1 mot » et la sortie devient un charabia joyeux : des fragments grammaticaux qui tombent de la falaise. Passe à « 2 mots » et cela paraît soudain plus malin, car il s’appuie davantage sur ton texte, le citant parfois mot pour mot. Cette tension, entre l’originalité et la simple copie de la source, n’a jamais vraiment disparu ; c’est l’un des débats que l’on a aujourd’hui à propos des grands modèles.
Pour un autre programme qui semblait malin en faisant quelque chose de très simple, découvre ELIZA (1966). Et si tu l’as manquée, notre première édition te laissait entraîner un perceptron dans le navigateur.