Token

Kleinste Texteinheit, die ein Sprachmodell verarbeitet (oft Wortteile statt ganzer Wörter).

Ein Token ist die Einheit, in die Text vor der Verarbeitung durch ein LLM zerlegt wird. Tokens sind oft Teilstücke von Wörtern und nicht immer vollständige Wörter.

Die Token-Anzahl ist wichtig für Kosten, Latenz und Kontextfenster. Wenn ein Prompt “zu lang” wirkt, ist meistens die Zahl der Tokens gemeint.