Der YouTuber vergleicht zwei populäre Frameworks für lokales LLM-Inferencing: Strata und llama.cpp. Gemessen auf identischer Hardware und Modelldatei zeigt Strata bei mehreren GPU-Generationen (RTX 3060, 5070, 5070 Ti) deutlich höhere Durchsätze – auf der RTX 5070 Ti erreicht Strata 95 Token pro Sekunde gegenüber 23 bei llama.cpp. Das ist praktisch relevant für jeden, der Sprachmodelle lokal betreiben möchte, da die Wahl des Frameworks massive Auswirkungen auf die Nutzbarkeit hat. Der Test mit echten Grafikkarten-Mietpreisen bietet reale Vergleichswerte für die Community.
