Sicherheitsforscher Colin Frasier hatte vor zwei Jahren mit GPT-4o untersucht, wie gut das Modell größere Additionen rechnen und das Ergebnis in Worten ausdrücken kann. Jetzt wurde das Experiment mit dem lokal laufenden Qwen3.8 27B repliziert – mit deutlich schlechteren Ergebnissen: Während GPT-4o bei mittleren Zahlengrößen noch 50-80% Genauigkeit erreichte, fällt Qwen 27B bereits bei kleineren Aufgaben ab und erreicht insgesamt nur 23,57% Genauigkeit. Das Benchmark zeigt ein bekanntes Schwachfeld von LLMs: Sie können numerische Operationen und deren sprachliche Ausdrücke (selbst wenn sie funktional einfach sind) noch nicht zuverlässig kombinieren – ein interessantes Qualitätsmerkmal beim Vergleich von Modellen.
