Der YouTube-Kanal Strata zeigt, wie man ein 125-Milliarden-Parameter-Modell auf einer Standard-Gaming-Grafikkarte zum Laufen bringt. Das gelingt durch die Mixture-of-Experts-Architektur von Qwen 3.8 Flash, bei der pro Token nur 6 Milliarden von 512 Experten aktiv sind. Strata speichert alle Experten im RAM, cacht die meistgenutzten Kopien auf der GPU und nutzt die CPU für den Rest – ein praktisches Beispiel für effiziente lokale KI-Inferenz ohne spezialisierte Hardware.
