Benchmarks & Evals

Ein KI-Agent löst im Benchmark TheoPhysEval fast alle unveröffentlichten Rechenaufgaben der theoretischen Physik auf Spezialisten-Niveau – ein Durchbruch für KI in Spitzenwissenschaft?

Google stellt Gemini 4 Argon vor, das bei Knowledge-Work-Benchmarks glänzt, aber bei Coding je nach Test sehr unterschiedlich abschneidet.

Googles Gemini 4 Argon startet heute in den Allgemeinbetrieb, bestätigt aber nur bisherige Erwartungen und Benchmark-Ergebnisse.

Googles Gemini 4 Argon ging heute in die allgemeine Verfügbarkeit, doch die Ankündigung kam bereits vor zwei Wochen – aktuelle Benchmarks bestätigen nur die bisherigen Aussagen.

Google bringt Gemini 4 Argon auf den Markt – ein leistungsstarkes Modell zu Kampfpreisen, das kurzzeitig günstiger ist als Konkurrenz von OpenAI und Anthropic.

Google hat Gemini 4 Argon veröffentlicht – eine neue Frontier-Variante mit erweiterten Fähigkeiten für Code, Multimediales und Agenten.

Meta veröffentlicht mit Muse Wonder neue Top-Modelle, die bei agentischen Aufgaben deutlich zulegen – aber mit erheblich höheren Kosten.

Eine Analyse zeigt: Mehrere KI-Agenten zusammen liefern kaum bessere Ergebnisse als einzelne Agenten, kosten aber bis zu fünfmal mehr.

Ein praktischer Leitfaden zeigt, wie man neue Modelle gegen eigene Aufgaben benchmarkt und dabei Qualität, Geschwindigkeit und Kosten optimal bewertet.

Anthropics neues Haiku-Modell verdrängt seinen Vorgänger massiv in Benchmarks und senkt die Token-Preise um bis zu 90 Prozent – der KI-Preiskampf intensiviert sich weiter.

NVIDIA zeigt mit einer Nemotron-Variante, dass spezialisiertes Fine-Tuning ein Modell sowohl bei der International Olympiad in Informatik als auch in Mathematik auf Gold-Medaillen-Niveau bringt.

Ein Forscher repliziert ein Experiment über die Fähigkeit von LLMs, Additionen in Worten auszudrücken – Qwen 27B zeigt dabei deutlich schlechtere Ergebnisse als GPT-4o.

Neue Studie zeigt: Chinesische Modelle von DeepSeek, Alibaba und Moonshot geben bei politisch heiklen Fragen nur zu 17-41% ausgewogene Antworten, oft mit staatlicher Linie oder Verweigerung.

Ein neuer Benchmark misst, wie gut KI-Agenten einzelne Fotos in editierbaren 3D-Szenen-Code rekonstruieren – GPT-6 Astra führt mit 53 Prozent Genauigkeit.

KI-Modelle überholen lizenzierte Wirtschaftsprüfer bei Routineaufgaben, scheitern aber an komplexeren Szenarien ohne menschliche Überwachung.

US-Firmen senken ihre KI-Ausgaben trotz gestiegener Nutzung – ein Zeichen für sinkende Modellkosten und effizientere Einsätze.

Das KI-System Ataraxos hat den weltbesten Stratego-Spieler deutlich besiegt – ein Durchbruch bei einem der letzten Brettspiele, in denen Menschen KI überlegen waren.