Markov-Plappermaschine: der ursprüngliche Nächstes-Wort-Automat
Lange vor ChatGPT rieten Maschinen das nächste Wort durch Zählen. Gib diesem winzigen Modell irgendeinen Text und sieh zu, wie es plappert, ein Würfelwurf nach dem anderen.
Diese Woche bleibt die KI bescheiden. Heutige Chatbots wirken wie Zauberei, deshalb lohnt sich ein Blick auf ihren ältesten, dümmsten Vorfahren: eine Maschine, die schreibt, indem sie Wörter zählt.
Das Gadget unten ist ein Textgenerator auf Basis einer Markov-Kette. Es versteht nicht das Geringste. Es liest deinen Trainingstext, merkt sich, welches Wort auf welches Wort folgt, und erzeugt neuen Text, indem es gewichtete Würfel wirft, Wort für Wort.
So geht’s:
- In der Box steht schon etwas Trainingstext. Bearbeite ihn oder füge eigenen ein (Liedtexte, ein Rezept, ein Nachrichtenartikel, was du willst).
- Wähle das Gedächtnis: Bei „1 Wort” schaut das Modell vor dem Raten nur auf das letzte Wort; bei „2 Wörter” auf die letzten zwei, dann liest sich die Ausgabe flüssiger, wiederholt aber die Quelle stärker.
- Drücke Generieren und sieh zu. Das Feld darunter zeigt die möglichen nächsten Wörter samt Wahrscheinlichkeiten und hebt jenes hervor, das der Würfel gewählt hat.
Warum das der Vorfahr der Sprachmodelle ist
Die Idee geht auf Claude Shannon zurück, der 1948 mit Buchstaben- und Wortstatistik Text erzeugte, der fast einen Sinn ergab. Genau dieser Trick, das nächste Token aus den vorherigen vorherzusagen, ist das, was ein modernes großes Sprachmodell tut. Der Unterschied liegt in Maßstab und Raffinesse, nicht im Grundzug.
Eine Markov-Plappermaschine hat ein Gedächtnis von ein oder zwei Wörtern. Ein modernes Modell berücksichtigt faktisch tausende und lernt reiche Muster statt roher Häufigkeiten. Doch beide betreiben Nächstes-Wort-Vorhersage, und keines „weiß”, was es sagt. Deshalb trug dieselbe statistische Abkürzung auch die ältere maschinelle Sprachverarbeitung und die Autovervollständigung auf deinem Telefon.
Sieh zu, wie es zerbricht
Stell das Gedächtnis auf „1 Wort”, und die Ausgabe wird zu fröhlichem Unsinn: grammatische Fetzen, die von der Klippe stürzen. Wechsle auf „2 Wörter”, und plötzlich klingt es klüger, weil es sich stärker auf deinen Text stützt und ihn manchmal wörtlich zitiert. Diese Spannung, zwischen Eigenständigkeit und bloßem Abschreiben der Quelle, ist nie ganz verschwunden; sie ist eine der Debatten, die man heute über große Modelle führt.
Ein weiteres Programm, das clever wirkte und dabei etwas sehr Einfaches tat, ist ELIZA (1966). Und falls du es verpasst hast: In unserer ersten Ausgabe konntest du ein Perzeptron im Browser trainieren.