Vom Katastrophenroboter zum Wohnungsroboter: ein KI-Benchmark als Planungswerkzeug

Arnie vom YouTube-Kanal „AI mit Arnie“ prüft neue Sprachmodelle mit einem Roboter: Jedes Modell soll im Browser einen sechsbeinigen Rettungsroboter simulieren. Ich habe mir den Test für einen anderen Zweck ausgeliehen. Bevor ich Teile für einen Roboter kaufe, der in einer Wohnung Socken und Zettel aufsammelt, soll eine Simulation zeigen, welche Maße er braucht. Gebaut hat sie Claude Opus 5.5 in 36 Minuten, zu sehen ist hier die erste Version.

Arnies Rettungsroboter im eingestürzten Lagerhaus

Der Auftrag liegt in Arnies GitHub-Sammlung und ist gut 2.200 Wörter lang. Das Modell soll ein Programm bauen, das ohne Installation im Browser läuft: einen Roboter mit sechs Beinen, Greifarm, Teleskopmast und Aufklärungsdrohne, dazu Schieberegler mit festen Wertebereichen, Einsatzprogramme und eine Anzeige für Akku und Motortemperatur. Die Beine dürfen nicht durch Trümmer greifen, die Füße müssen auf dem Boden bleiben.

Bewertet wird durch Ausprobieren. In seinem Video zu Opus 5.5 und GPT-6 versinkt der Roboter des älteren GPT-5.6 Sol im Boden, bei GPT-6 Sol hängt sich die Drohnenkamera auf. Opus 5.5 liefert Staubwolken beim Laufen und eine Physik, die Arnie „astrein“ nennt. Es braucht dafür fast zwei Stunden.

Der Test misst also, wie gut ein Modell eine lange Anforderung in ein Programm mit 3D und Physik übersetzt. Mich interessierte nur das Ergebnis, deshalb lief bei mir ein einziges Modell.

Eine Einzimmerwohnung als Testgelände

Opus 5.5 hat in Claude Code zuerst auf einer Seite beschrieben, was man sehen und anklicken kann, und nach meinem Ja gebaut. Nach 36 Minuten lief die Simulation. Mit Arnies zwei Stunden lässt sich das nicht vergleichen, die Aufgaben sind zu verschieden.

Die Wohnung ist maßstäblich, mit Schlafnische, Küche, Bad und Flur, die Möbel sind schlichte Blöcke. Darin fährt ein Roboter auf zwei Rädern. Sein Kopf ist ein Tablet mit Gesicht auf einem ausfahrbaren Hals, vorn sitzt ein Arm mit Zweifingergreifer, der mit dem Hals nach oben fährt. Per Knopf laufen Vorführungen ab: eine Socke aufräumen, einen Zettel vom Schreibtisch holen, zu einer Person fahren, einem Saugroboter ausweichen, zum Tragen zusammenklappen. Links sitzen Regler für Breite, Länge, Kopfhöhe und Armlänge, und jede Änderung rechnet die Seite sofort nach.

Die Sockensuche läuft über die Kopfkamera

Am meisten beeindruckt hat mich die Suche. Der Roboter weiß nicht, wo die Socke liegt. Die Simulation zeichnet die Szene ein zweites Mal aus der Sicht der Tablet-Kamera, und nur was in diesem Bild auftaucht und von nichts verdeckt wird, gilt als gesehen. In einem Durchlauf lag die Socke im Bad. Der Roboter fuhr fünf Suchpunkte an, fuhr jedes Mal den Hals aus und drehte den Kopf. Entdeckt hat er sie auf dem Weg in den Flur, durch die offene Badtür, zwei Meter entfernt. Dann holte er sie und ließ sie in den Wäschekorb fallen.

Dazu passt das Gesicht. Beim Suchen schaut es nachdenklich, beim Greifen konzentriert, und wenn der Arm nicht reicht, wird es besorgt und sagt: „Mein Arm ist zu kurz.“ Das Kamerabild läuft rechts als kleines Fenster mit, samt Rahmen um die erkannte Socke.

Was die Regler über den künftigen Roboter verraten

Mit meinen Startwerten kommt der Roboter durch alle Türen: 35 mal 45 Zentimeter Grundfläche, die Kamera auf 60 bis 110 Zentimetern, der Arm 50 Zentimeter lang. Knapp wird es im Flur. Steht die Badtür ganz offen, verdeckt ihr Blatt einen Teil des Durchgangs, und es bleiben 47 Zentimeter, sechs auf jeder Seite. Bei 60 Zentimetern Breite färben sich Flur und Bad rot, dorthin kommt er nicht mehr.

Den Zettel vom 75 Zentimeter hohen Schreibtisch erreicht er nur mit fast ganz ausgefahrenem Hals. Kürze ich den Arm, meldet die Seite, wie viele Zentimeter fehlen. Mit ausgefahrenem Hals und gestrecktem Arm kippt er ab 23 Grad Schräge. Die Rechnung ist vereinfacht und arbeitet mit geschätzten Gewichten, auch die Möbelhöhen sind Standardwerte. Zusammengeklappt misst er etwa 49 mal 37 mal 61 Zentimeter, das lässt sich tragen.

Als Nächstes steuert ein Sprachmodell den Roboter

Bisher spielt die Simulation feste Abläufe ab, die Opus 5.5 programmiert hat. In der nächsten Ausbaustufe trifft ein Sprachmodell die Entscheidungen. Es bekommt eine Aufgabe wie „Bring die Socke in den Wäschekorb“, erfährt, was die Kopfkamera erkennt, und steuert den Roboter über eine Handvoll Befehle. Weitere Stufen sollen folgen, und vielleicht entsteht am Ende ein echter Roboter.

Die erste Version steckt komplett in einer einzigen HTML-Datei, damit sie sich ohne Server per Doppelklick öffnen lässt. Für die nächsten Stufen ist das hinderlich, dafür wird der Code zu umfangreich. Deshalb wird die Demo im nächsten Schritt auf mehrere Dateien aufgeteilt und neu geordnet, bevor das Sprachmodell dazukommt.

Bestellt habe ich noch nichts. Aber ich weiß jetzt, dass der Roboter höchstens 43 Zentimeter breit sein darf, wenn er bei offener Badtür durch den Flur soll, und dass sein Arm eher länger werden muss als 50 Zentimeter.

Zum Ausprobieren: Wohnungsroboter-Werkstatt in den Demos.

Quellen

Arnie: Video „Opus 5.5 und GPT-6 Sol getestet“, Prompt „ARES-6“ auf GitHub.