Kurzer Tipp aus der Technik, weil die Frage öfter kommt: Was dein Limit am schnellsten auffrisst ist meistens nicht die Zahl der Nachrichten, sondern wie viel Kontext bei jeder Nachricht mitgeschleppt wird.
Ein paar Sachen, die im Alltag echt was bringen:
Pro Aufgabe ein neuer Chat. Jede Nachricht schickt den ganzen bisherigen Verlauf nochmal mit. Ein langer Chat wird also mit jeder Runde teurer, auch wenn deine eigentliche Frage kurz ist. Für ein neues Thema lieber einen neuen Chat aufmachen statt ewig im alten weiterzuschreiben.
Nur die Daten reingeben, die der Agent wirklich braucht. Ein ganzes Dokument oder eine komplette Tabelle roh reinzukippen kostet viel. Wenn du vorher auf den relevanten Teil kürzt, holst du dieselbe Antwort für einen Bruchteil.
Tool-Nutzung und Web-Recherche sind die schweren Sachen. Sobald ein Agent im Web sucht oder Tools aufruft, zieht das ordentlich Kontext. Völlig okay wenn du es brauchst, aber gut zu wissen wo die großen Brocken liegen.
Von unserer Seite arbeiten wir parallel dran, deinen Kontext effizienter zu nutzen (Prompt Caching, Context Compression und so weiter). Die Gewohnheiten oben helfen dir aber sofort, ohne auf irgendwas zu warten.
Ein Nachtrag kommt separat: für richtig triviale Sachen wie kurze Mails oder schnelles Umformulieren brauchst du die großen Modelle gar nicht. Dazu mach ich demnächst einen eigenen Beitrag, welche lokalen Modelle taugen und welche Hardware sich lohnt.
Was frisst bei euch am meisten Limit? Schreibt es drunter, dann sammeln wir hier konkrete Tipps.
Ich nutze für meinen Hermes Agent (bzw. OpenHands) als vorgeschaltetes Routing-Gateway 9Router. Es ist ein extrem effizienter Model-Router und funktioniert als zentrale Schnittstelle für alle API-Calls reibungslos.
Gerade bei autonomen Agenten, die viele iterative Schritte durchlaufen, summieren sich die Token-Kosten massiv. Durch den Router kann man einfache Auxiliary-Aufgaben (wie rudimentäre Tool-Calls, Context-Preparation oder einfache Zusammenfassungen) ganz gezielt an kleinere, tokeneffizientere und schnellere Modelle auslagern. Die schweren, teuren Modelle werden dann nur noch für die komplexen Reasoning-Schritte genutzt. So spart man nicht nur Budget und reduziert die Latenz spürbar, sondern behält auch die volle Qualität bei, ohne Overshoot zu produzieren. Ein netter Bonus ist zudem, dass sich so auch Rate-Limits der großen APIs durch Fallback-Routinen viel besser abfangen lassen.
