Philip von AI Explained hat einen eigenen Benchmark gebaut, den inzwischen Epoch AI in seinem Dashboard führt. Der YouTuber Morpheus prüft neue Modelle mit einem Hogwarts-Schloss. Ich teste seit Mai mit der Ludwigskirche. Warum sich selbstgebaute Prüfstücke gerade durchsetzen, und was meines über Modelle verrät, das kein Leaderboard zeigt.
Bring Your Own Benchmark
Der Trend hat einen Namen bekommen: BYOB, in Anlehnung an "bring your own bottle". Die Begründung ist überall dieselbe. Öffentliche Benchmarks sind ausgereizt, ihre Fragen stehen teilweise im Trainingsmaterial der Modelle, die sie prüfen sollen. Wer wissen will, ob ein Modell für seine eigene Arbeit taugt, misst selbst. Hugging Face liefert dafür inzwischen ein Werkzeug namens YourBench, das aus eigenen Daten einen Benchmark erzeugt.
Der prominenteste Fall ist SimpleBench. Philip von AI Explained hat Ende 2024 zusammen mit Hemang 213 Multiple-Choice-Fragen zusammengestellt, die Alltagslogik prüfen: Fallen zu Raum, Zeit und sozialen Situationen, die jeder Mensch mit Abitur löst. Menschen kommen auf 83,7 Prozent, das beste Modell auf 62,4. Aus einem YouTube-Kanal wurde damit eine Instanz, die in Benchmark-Dashboards zitiert wird.
Der zweite Fall ist älter und viel informeller. Für Videomodelle hat sich der Will-Smith-Spaghetti-Test durchgesetzt: Man lässt das Modell Will Smith beim Spaghetti-Essen zeigen und sieht sofort, ob es an Händen, Gabel und Mundpartie scheitert. Niemand hat diesen Test autorisiert. Er hat sich durchgesetzt, weil das Versagen auf einen Blick erkennbar ist. Inzwischen hat er einen Wikipedia-Eintrag.
Warum ausgerechnet eine Kirche
Die Ludwigskirche in Saarbrücken ist eine Querkirche mit Westturm, also nicht der Bautyp, den ein Modell erwartet, wenn es "Kirche" hört. Der Grundriss ist ein Kreuz, der Turm sitzt in der Mitte statt vorne an der Schmalseite. Genau das macht sie als Prüfstück brauchbar: Ein Modell, das aus dem Klischee heraus antwortet statt aus dem Foto, fällt sofort auf.
Mein Ziel war nie ein Benchmark. Ich wollte sieben Saarbrücker Wahrzeichen als 3D-Modelle für eine Three.js-Stadt, in der sonst 167.000 Gebäude aus OSM-Daten stumpf hochgezogen werden. Dass daraus ein Testverfahren wurde, lag daran, wie oft es schiefging.
Fünf Anläufe, die scheiterten
Der erste ernsthafte Versuch war eine Pipeline aus mehreren Modellen: Ein Vision-Modell beschreibt Fotos und Luftbilder, ein zweites wählt daraus Bauteile aus einer Bibliothek, ein Builder erzeugt das Mesh, ein viertes Modell bewertet die Renderings gegen die Originalfotos und schickt Korrekturen zurück.
Das Vision-Modell interpretierte stereotyp statt photobasiert. "Kirche" löste zuverlässig "zentraler Turm plus Kuppel" aus, unabhängig davon, was auf dem Bild zu sehen war. Die Dachkonstruktion über ein Straight Skeleton, ein geometrisches Verfahren zur Bestimmung der Dachfirste, war mathematisch einwandfrei und trotzdem architektonisch falsch: Beim Schloss landete der Turm im Innenhof, weil die rechnerische Mitte eines U-förmigen Polygons genau dort liegt. Das Staatstheater wurde zum Zirkuszelt. Und das prüfende Modell halluzinierte konsistent Mängel, die es nicht gab, auch nachdem ich den Prompt gegen genau dieses Verhalten geschärft hatte. Es meldete fehlende Türme an Modellen, die einen Turm hatten.
Die Modelle scheiterten nicht am Rechnen, sondern am Sehen. Das steht in keinem Leaderboard.
Was dann funktionierte
Der Durchbruch kam im Juni mit Metas SAM 3D, das aus einem einzigen Foto ein Modell erzeugt. Gebäude im Bild anklicken, generieren, fertig. Der Turm saß auf Anhieb korrekt. Meine eigene Vorabeinschätzung war deutlich zu pessimistisch gewesen, ich hatte "Anmutung statt Korrektheit" erwartet und lag daneben. Für den Einsatz im Browser habe ich das Ergebnis noch komprimiert: aus 8,5 MB Rohdaten wurden über eine WebP-Textur und Draco-Kompression 180 KB, ohne sichtbaren Qualitätsverlust.
Im Juli kam der Weg dazu, den Morpheus in seinem Video mit Kimi K3 zeigt: Ein Frontier-Modell steuert Blender direkt fern und modelliert prozedural in Python, statt ein fertiges Mesh auszuwürfeln. Nachgebaut mit Opus 4.8 stand nach gut einer Stunde iterativer Arbeit eine erkennbare Ludwigskirche, mit Kreuzgrundriss und korrekt platziertem Barockturm.
Der lehrreiche Teil daran: Die Stunde ging fast vollständig für Infrastruktur drauf, nicht fürs Modellieren. Erst war die Verbindung zu Blender nie zustande gekommen, weil im Addon ein Klick fehlte. Dann lieferte jeder Render ein leeres Bild, weil Blender 5.1 die Sichtweite der Kamera per Default von 1000 auf 100 Meter gesenkt hat. Ein 40-Meter-Bau bei 125 Metern Kameraabstand wird damit komplett weggeschnitten. Das sieht aus wie ein Modell, das nichts zustande bringt, und ist eine Zahl in den Kameraeinstellungen.
Was ein Bild kann und eine Zahl nicht
SimpleBench funktioniert, weil Multiple Choice sich automatisch auswerten lässt. Bei einem 3D-Modell entfällt das. Niemand kann maschinell entscheiden, ob eine Kirche "richtig genug" aussieht, und genau darin liegt der Wert: Ein Mensch entscheidet es in einer Sekunde, ohne die Skala zu kennen, in der gemessen wurde.
Für mich zählt vor allem die Wiederholbarkeit. Dasselbe Gebäude, dieselben Fotos, jedes neue Modell. Über ein halbes Jahr hinweg ist daraus eine Reihe entstanden, die mir mehr sagt als jede Benchmark-Tabelle: Wo im Mai fünf Modelle nacheinander an einer Turmposition scheiterten, sitzt sie heute nach einer Stunde Dialog.
Ich werde das systematisieren und die Ergebnisse hier veröffentlichen, mit denselben Fotos und derselben Aufgabe für jedes Modell. Wer mitmessen will, findet die Kirche am Ludwigsplatz.
Kommentare
Noch keine Kommentare. Schreib den ersten.
Melde dich an, um zu kommentieren.