Das sechste Video auf unserem Kanal ist online und eröffnet die Basics-Reihe. Marcel erklärt in fünfeinhalb Minuten, was Tokens sind und warum sie für eure KI-Kosten und Limits eine Rolle spielen.
Eine KI verarbeitet Text in kleinen Einheiten: Ein Tokenizer zerlegt Wörter und Sätze in Stücke und ordnet ihnen Zahlen zu. Wie viele Tokens dabei entstehen, hängt vom Text und vom verwendeten Tokenizer ab. In Marcels Beispiel braucht dieselbe Bitte um eine Kundenmail auf Englisch 20 Tokens, auf Deutsch 25.
Für den Verbrauch zählt mehr als die letzte Frage. Auch Hintergrundanweisungen, Werkzeugbeschreibungen und der mitgeschickte Chatverlauf gehören zum Input. Dazu kommen die Output-Tokens für die Antwort, die je nach Modell deutlich teurer sein können. Eine kurze Nachfrage kann deshalb mehr Kontext mitbringen, als man auf den ersten Blick denkt.
Für euren Alltag in RelationFlow lassen sich daraus zwei einfache Gewohnheiten mitnehmen: Gebt das gewünschte Antwortformat an, etwa drei Stichpunkte statt einer langen Erklärung. Und startet bei einem unabhängigen Thema einen eigenen Chat, mit den Informationen, die dafür wirklich nötig sind.
Hier geht’s zum Video:
https://www.youtube.com/watch?v=eAn-34KyrgE
Sammelt ihr viele Themen in einem langen Chat oder trennt ihr sie schon? Und welche Frage zu Tokens oder KI-Kosten ist bei euch noch offen? Schreibt es in die Kommentare.
