Token

La unidad de texto más pequeña que un modelo de lenguaje procesa (a menudo un fragmento de palabra, no una palabra completa).

Un token es la unidad en la que se divide el texto antes de que un LLM lo procese. Los tokens son a menudo fragmentos subpalabra en lugar de palabras completas.

El recuento de tokens importa para el coste, la latencia y los límites de la ventana de contexto. Cuando la gente dice “este prompt es largo”, generalmente quieren decir “tiene muchos tokens”.