Agent ohne Cloud: warum mein Hermes trotzdem nicht lokal rechnet

c't 3003 hat den Hermes-Agenten mit einem lokalen Sprachmodell betrieben: Qwen 3.6 mit 27 Milliarden Parametern, kein Cloud-Anbieter, zur Kontrolle das Internetkabel aus dem Router gezogen. Es lief weiter. Bei mir läuft Hermes seit Anfang Juni, aber das Modell dazu kommt über OpenRouter aus der Cloud. Das Video beantwortet damit die Frage, die mein Erfahrungsbericht vom Pi offengelassen hat — und die Antwort steht in einer Zahl aus meinem eigenen Log.

37.588 Token für eine Frage

In der letzten gespeicherten Telegram-Sitzung meines Pi-Agenten steht last_prompt_tokens: 37588. Knapp 38.000 Token gingen in einem einzigen Aufruf raus: System-Prompt, Werkzeug-Definitionen, Skill-Beschreibungen, bisheriger Gesprächsverlauf. Das ist kein Ausreißer, sondern die Bauart. Ein Agent hat kein Gedächtnis zwischen den Aufrufen, also schickt er bei jeder Runde seinen kompletten Arbeitsstand erneut mit.

Damit wird nachvollziehbar, was ich im Erfahrungsbericht nur als trockene Anforderung notiert hatte: mindestens 64K Kontext. Jan-Keno Janssen landet im Video auf derselben Untergrenze, empfiehlt eher 100.000 Token und im besten Fall die vollen 256K, die Qwen 3.6 verkraftet. Darunter beginnt Hermes seinen Kontext zu komprimieren und setzt neu an — im Video sieht man ihn eine Multiple-Choice-Prüfung dreimal fast fertig bearbeiten und wieder von vorn anfangen. Auf einem MacBook Air M2 passten 16K in den Speicher. Für Hermes wertlos.

Die Benchmark-Zahl, die man normalerweise liest, ist die falsche

Wer lokale Modelle vergleicht, schaut auf Token pro Sekunde bei der Ausgabe. Für einen Chat ist das richtig: Man tippt zwei Sätze, das Modell antwortet, die Wartezeit steckt im Schreiben der Antwort.

Bei einem Agenten kippt das Verhältnis. Bevor das erste Ausgabe-Token fällt, muss das Modell erst meine 38.000 Eingabe-Token durchrechnen — dieser Schritt heißt Prompt-Processing oder Prompt-Eval. Janssen nennt das im Video seinen eigenen Messfehler der letzten Jahre: Er habe zu lange nur die Ausgabegeschwindigkeit getestet, weil er mit kurzen Prompts gearbeitet habe. Ein System, das schnell schreibt, aber ewig auf der Eingabe kaut, hilft einem Agenten nicht. Die Spreizung ist erheblich; im Hardware-Vergleich zu Qwen 27B liegt eine RTX 3090 bei rund 1300 Token pro Sekunde Prompt-Eval, eine RTX 5090 bei etwa 4000.

Der Agent muss nicht dort laufen, wo das Modell rechnet

Der Punkt, der mich am Video am meisten überrascht hat, ist eine Selbstverständlichkeit, sobald man sie sieht: Janssen betreibt Hermes auf einem Linux-Rechner, das Modell aber auf einem Gaming-PC mit RTX 4090 im Nebenraum. Der Agent spricht die IP-Adresse an, mehr nicht.

Architektonisch ist das exakt mein Aufbau. Mein Pi 5 rechnet nichts davon selbst, er verwaltet Sitzungen, ruft Werkzeuge auf und schickt Prompts an einen OpenAI-kompatiblen Endpunkt. Ob hinter dieser Adresse OpenRouter steht oder eine Kiste zwei Zimmer weiter, ist dem Agenten gleichgültig. „Lokale KI" ist deshalb keine Entscheidung über den Agenten, sondern eine über einen einzigen Konfigurationswert.

Die Hardware dafür steht hier sogar herum. Mein Beelink hat denselben Ryzen AI Max+ 395, den c't als Framework Desktop testet, mit 64 GB fest zugeteiltem Grafikspeicher — mehr als genug für die 17 GB Gewichte plus großen Kontext. Er läuft nur nicht. Als ich für diesen Artikel das Video transkribieren wollte, war die Kiste über ihren LAN-Adapter nicht erreichbar, hing am WLAN, und das installierte yt-dlp war vier Monate alt und bekam von YouTube nur noch HTTP 403. Auf ihr liegt qwen2.5-coder:32b von vor zwei Monaten, nicht Qwen 3.6.

Genau darin steckt der Grund, warum ich nicht umstelle, und er hat nichts mit Modellqualität zu tun: Ein Agent, der rund um die Uhr auf Telegram hört, und eine Inferenzmaschine, die unter Last 140 Watt zieht, haben unvereinbare Betriebsprofile. Der Pi kostet mich 3 bis 5 Watt im Dauerlauf. Die Alternative wäre, den Beelink durchlaufen zu lassen, damit der Agent nachts um drei antworten kann.

Was der Preis wäre

Janssen ist bei aller Begeisterung deutlich, wo die Grenzen liegen. Ohne Internetzugriff halluziniert das 27B-Modell freimütig — seine Liste mit 20 Attraktionen in Hannover ist zu hundert Prozent erfunden, inklusive einer Telefonzelle, die heute ein Briefkasten sei. Im Umgang mit Sprache patzt es hörbar. Und kleinere Modelle sind anfälliger für Prompt Injection, also für versteckte Anweisungen in Inhalten, die der Agent im Netz aufliest.

Der letzte Punkt trifft mich am ehesten. Meine Leitplanken auf dem Pi sind bewusst grob: eigene Box, Tailnet statt Internet, ein 10-Dollar-Limit auf dem API-Schlüssel. Das Guthaben-Limit ist die einzige davon, die bei einem lokalen Modell ersatzlos entfällt. Ein Agent in der Endlosschleife kostet mich dann keine 10 Dollar mehr, sondern läuft, bis ich es merke.

Fazit

Für den Umstieg auf ein lokales Modell würde ich Hermes heute nicht auf den Beelink umziehen, sondern umgekehrt vorgehen: den Pi als Agent-Host lassen und ihm bei Bedarf eine zweite Modelladresse geben, die auf die eigene Hardware zeigt, wenn sie ohnehin läuft. Das ist eine Zeile in der config.yaml und kostet nichts, solange man sie nicht nutzt.

Quellen

• c't 3003: Wahnsinn: Hermes-Agent + Qwen (Jan-Keno Janssen, 29 Min.)
• Hermes Agent von Nous Research
• Das im Video verwendete Modell: Qwen3.6-27B-UD-Q4_K_XL.gguf (Unsloth)