Lokale LLMs auf Strix Halo: was wirklich geht

AMD bewirbt Mini-PCs mit dem Ryzen AI Max+ 395 („Strix Halo") als lokale KI-Maschinen: Sprachmodelle mit bis zu 200 Milliarden Parametern auf einer Box, 400 Milliarden im Doppelpack. Ich habe seit ein paar Monaten so eine Box auf dem Schreibtisch und habe nachgemessen: was wirklich in den Speicher passt, wie schnell die Modelle antworten und an welcher Stelle die Praxis vom Playbook abweicht.

Warum dieser Chip anders ist

Der Ryzen AI Max+ 395 ist eine APU, also Prozessor und Grafikeinheit auf einem Chip, mit gemeinsamem Zugriff auf 128 GB Arbeitsspeicher. Bei einer klassischen Grafikkarte begrenzt der aufgelötete Videospeicher die Modellgröße; eine RTX 4090 hat 24 GB, und mehr wird es nie. Die Strix-Halo-Boxen heben diese Grenze auf, weil sich die Grafikeinheit einen Großteil der 128 GB nehmen kann. Genau daraus speist sich das Versprechen mit den großen Modellen.

Meine Box ist ein Beelink GTR9 Pro; baugleiche Konzepte gibt es von Framework, GMKtec und weiteren Herstellern.

Wie viel Speicher die GPU wirklich bekommt

Die 128 GB stehen der GPU nicht automatisch zur Verfügung. Zwei Stellschrauben regeln die Aufteilung: Im BIOS wird ein fester Block als Grafikspeicher reserviert, der dem Betriebssystem komplett fehlt. Zusätzlich darf sich die GPU dynamisch Speicher vom System leihen (unter Linux heißt dieser Mechanismus GTT); ab Werk ist das die Hälfte des verbleibenden RAMs. Auf meiner Box sieht das so aus:

amdgpu: VRAM: 65536M (65536M used)
amdgpu: 31968M of GTT memory ready.

64 GB feste Insel plus 31 GB Leihspeicher: real adressiert meine GPU rund 96 GB, nicht 128. Unter Windows ist bei 96 GB grundsätzlich Schluss; unter Linux lässt sich die Grenze mit kleinerem BIOS-Block und einem Kernel-Parameter auf etwa 120 GB schieben. Erst damit werden Modelle jenseits der 100-GB-Marke realistisch.

Gemessen: drei Modelle, eine Box

Drei Modelle aus meinem Alltagsbestand, gleiche Frage, Messung über ollama run --verbose (Generierungsrate, gerundet):

Modell	Architektur	Datei (Q4)	Generierung
Gemma 4 E4B	kompakt	9,6 GB	54 Token/s
Qwen 3.6 27B	dicht, 27 Mrd.	17 GB	12,5 Token/s
Qwen 3.6 35B-A3B	MoE, 3 von 35 Mrd. aktiv	23 GB	61 Token/s

Ein Token ist ein Textbaustein, meist ein Wortteil. Lautes Vorlesen schafft etwa zwei bis drei Wörter pro Sekunde; alles ab rund zehn Token pro Sekunde fühlt sich beim Chatten flüssig an.

Das lehrreichste Ergebnis steckt im Vergleich der beiden Qwen-Modelle. Das 27B-Modell rechnet für jedes Token alle 27 Milliarden Parameter durch. Das 35B-Modell ist ein Mixture-of-Experts-Modell (MoE): Es hält 35 Milliarden Parameter vor, aktiviert pro Token aber nur rund 3 Milliarden davon. Auf meiner Box liefert es 61 Token pro Sekunde, das dichte 27B-Modell 12,5 — fast fünfmal schneller, obwohl es mehr Parameter trägt. MoE ist der Grund, warum Modelle mit hunderten Milliarden Parametern auf dieser Hardwareklasse überhaupt benutzbar sind.

Quantisierung: der zweite Hebel

Lokal betreibt niemand diese Modelle in voller Rechengenauigkeit. Quantisierung speichert die Modellgewichte mit weniger Bits pro Zahl; üblich sind 4 Bit, erkennbar am „Q4" im Dateinamen. Faustregel für den Platzbedarf: Parameterzahl in Milliarden mal 0,6 ergibt ungefähr die Dateigröße in GB. Ein 70B-Modell in Q4 belegt also gut 40 GB und passt bequem auf eine solche Box.

Die Quantisierer von Unsloth verteilen die Bits dabei ungleich. Schichten, die viel Einfluss auf die Qualität haben (Attention, Router, Embeddings), bekommen mehr Bits, selten aktivierte Expertenschichten weniger. Die Datei bleibt gleich groß, die Antwortqualität steigt. Beim Herunterladen lohnt sich deshalb der Griff zur „UD"-Variante, wo es sie gibt.

Und die 400 Milliarden? Nur im Doppelpack

Alex Ziskind hat zwei dieser Boxen nach AMDs offiziellen Anleitungen gekoppelt und durchgemessen. Zwei Wege führen zum Cluster: llama.cpp mit RPC (die zweite Box stellt ihre GPU übers Netz bereit, simpel einzurichten) und vLLM mit Tensor-Parallelität (das Modell wird echt auf beide Maschinen aufgeteilt; mächtiger, aber mit Container-Setup und rund 15 Minuten Startzeit pro Versuch). Das Ergebnis ist in beiden Fällen ähnlich: um die 8 Token pro Sekunde bei GLM 4.7 mit 358 Milliarden Parametern beziehungsweise Qwen 3.5 mit 397 Milliarden, mit vLLM bis 18 Token pro Sekunde bei vier gleichzeitigen Anfragen.

Zur Verkabelung verlangt AMDs Playbook einen 10-Gigabit-Switch zwischen den Boxen. Die Community verbindet sie stattdessen direkt per USB4-Kabel, was ähnliche 9 Gigabit pro Sekunde liefert und den Switch spart.

8 Token pro Sekunde reichen für einen Chat mit einem Modell dieser Größenklasse. Für Agenten-Workloads mit vielen langen Prompts ist das zu wenig; Ziskinds Messungen zeigen, wie die llama.cpp-Variante bei 2048 Token Prompt-Länge auf 5,5 Token pro Sekunde einbricht.

Der Haken, den kein Playbook erwähnt

Bevor jemand für den Cluster-Traum einen Switch bestellt: Bei meiner Box stirbt der eingebaute 10-Gigabit-Netzwerkchip (Intel E610) reproduzierbar, sobald die GPU unter Last geht. Im kontrollierten Test lief der Port im Leerlauf einwandfrei mit voller Drahtrate; dann startete ich ein Sprachmodell, und nach rund 60 Sekunden GPU-Last war der Chip vom PCIe-Bus verschwunden:

ixgbe 0000:c4:00.1: Adapter removed
ixgbe 0000:c4:00.1: Warning firmware error detected FWSM: 0xFFFFFFFF
ixgbe 0000:c4:00.1: Firmware recovery mode detected. Limiting functionality.

Das passiert mit allen offiziellen Fixes (BIOS 1.08, NIC-Firmware 1.30, Kernel 6.17), und nur ein gezogenes Stromkabel holt den Chip zurück. Das Problem ist in Foren breit dokumentiert und betrifft nicht jede Einheit; meine gehört zu den betroffenen. Ich fahre seit Monaten mit einem USB-LAN-Adapter als Ersatz. Wer clustern will, testet den Netzwerkport unter GPU-Volllast, bevor Geld für Switches oder eine zweite Box fließt.

Fazit

Für Modelle bis etwa 30 Milliarden Parameter ist eine Strix-Halo-Box heute ein tauglicher lokaler Arbeitsrechner, und nach dem Speicher-Umbau auf 120 GB kommen auch die 100-GB-Quants in Reichweite. Das 400-Milliarden-Versprechen stimmt rechnerisch. Trotzdem würde ich keine zweite Box kaufen, solange die erste ihren Speicher nicht ausreizt — und solange Basiskomponenten wie der Netzwerkchip unter genau der Last wegknicken, für die diese Rechner gebaut sind.

Quellen

Alex Ziskind: „AMD Says 2 Ryzen AI Halos Can Run a 400B Model... I Tested It" (YouTube, Test der beiden Cluster-Playbooks)
Strix Halo Wiki: Clustering (USB4-Direktverbindung, llama.cpp-RPC-Setup)
Craig Wilson: Beelink GTR9 Pro — From First Impressions to NIC BSODs (Analyse des E610-Problems)
Beelink-Forum: GTR 9 Pro Ethernet Malfunction under load