Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells — meist ein Wortteil, nicht ein ganzes Wort. Text wird vor der Verarbeitung in Tokens zerlegt.
Ganze Wörter als Einheiten wären unpraktisch: Es gibt zu viele, und seltene oder neue Wörter ('Donaudampfschiff') kämen nie vor. Stattdessen zerlegt man Text in häufige Bausteine — oft Silben oder Wortstücke, aus denen sich auch unbekannte Wörter zusammensetzen lassen.
Alles, was ein Sprachmodell tut, zählt in Tokens: Das Kontextfenster ist in Tokens begrenzt, und die Kosten einer Anfrage werden pro Token abgerechnet. Als Faustregel entspricht ein Token im Deutschen grob einem halben bis ganzen kurzen Wort.
Ein Token ist nicht dasselbe wie ein Buchstabe oder ein Wort — es liegt dazwischen. Und es ist nicht das Embedding: Das Token ist die Einheit, das Embedding ihre Zahlendarstellung.
Hallo! Ich bin dein KI-Tutor.
Melde dich an, um mit mir zu chatten — ich erinnere mich dann auch an eure letzten Gespräche.
