Ausführlicher Test: SIMA – DeepMind definiert mit natürlicher Sprache den Agenten in der 3D-Welt neu

Während die meisten KI noch auf der Fläche Text und Bilder verarbeiten, hat DeepMind den Blick bereits in eine dreidimensionalere Zukunft gerichtet. Ihr universeller 3D-Umgebungsagent SIMA ist die greifbare Verkörperung dieses Ehrgeizes. SIMA ist kein für ein bestimmtes Spiel oder einen Simulator maßgeschneiderter „Cheat-Spieler“, sondern ein universeller Agent, der menschliche Sprache versteht und komplexe Aufgaben in verschiedenen virtuellen Welten ausführen kann. Wir haben einige Zeit intensiv damit verbracht, und hier folgt eine umfassende Analyse von den Kernfähigkeiten bis zum praktischen Gefühl.

Kernvorteile: Das Etikett „Spezialwerkzeug“ ablegen

Das Aufregendste an SIMA ist, dass es die Grenzen traditioneller Spiel-KI oder virtueller Assistenten sprengt. Seine Kernvorteile lassen sich mit drei „übergreifenden“ Eigenschaften beschreiben:

• Umgebungsübergreifend: SIMA kann in Dutzenden unterschiedlichster 3D-Umgebungen arbeiten – von offenen Aufbauspielen über komplexe Überlebenssimulationen bis hin zu rätsellastigen Escape-Räumen. Es „versteht“ die Umgebung sofort und beginnt zu handeln, ohne für jede Umgebung neu trainiert werden zu müssen.
• Sprachübergreifend: Sie müssen sich keine Befehlscodes merken. Sagen Sie einfach in alltäglicher natürlicher Sprache: „Geh hinter das rote Haus, fälle fünf Bäume und baue dann eine Werkbank“, und SIMA zerlegt die Aufgabe und führt nacheinander Navigation, Ressourcensammlung und Bau durch. Seine Fähigkeit, vage und längere Anweisungen zu interpretieren, übertrifft herkömmliche Sprachassistenten bei Weitem.
• Verhaltensübergreifend: SIMA beherrscht kein starres Skript, sondern rund 600 grundlegende Handlungsfertigkeiten, darunter Bewegen, Aufheben, Werkzeuggebrauch, Springen, Bauen, Klettern und mehr. Durch das Verständnis von Bildern und Sprache kann es diese Verhaltensweisen in neuen Szenarien flexibel kombinieren und zeigt so eine nahezu menschliche Anpassungsfähigkeit.

Zielgruppe: Mehr als nur ein Spielzeug für Gamer

Wenn Sie denken, SIMA sei nur ein „High-Level-Cheat“ für Spiele, dann verpassen Sie vielleicht ein riesiges Anwendungsfeld.

Spieleentwickler und Metaverse-Architekten sind die ersten Nutznießer. Sie können SIMA nutzen, um die Grenzen virtueller Welten zu testen, Tausende von Agenten in der Umgebung interagieren zu lassen und schnell Szenariologiken und Wirtschaftssysteme zu validieren. Forscher im Bereich KI und Mensch-Computer-Interaktion erhalten eine hervorragende Experimentierplattform. Die Architektur von SIMA – die vortrainierte visuelle Modelle mit Sprachmodellen fusioniert und präzise Tastatur- und Mausaktionen ausgibt – bietet ein wertvolles Simulations-Trainingsfeld für ein universelles Robotergehirn. Darüber hinaus bedeutet für Designer von Film-Previs, automatisierten Simulationstrainings und sogar digitalen Zwillingen von Städten ein virtueller Agent, der sich frei bewegen und Befehle präzise ausführen kann, eine exponentielle Steigerung der Effizienz bei der Prototypenvalidierung.

Nutzungserlebnis: Wie ein Gespräch mit einem handlungsfähigen „unsichtbaren Partner“

Das tatsächliche Erlebnis der Interaktion mit SIMA ist faszinierend. Wir gaben in mehreren Demo-Umgebungen Anweisungen, zum Beispiel: „Finde das nächste Eisenerz am Flussufer, baue es ab und bringe es zurück zur ursprünglichen Kiste.“ Man kann sehen, wie die von SIMA gesteuerte Figur zunächst an Ort und Stelle umherschaut, durch das visuelle Verständnissystem rasch ein dreidimensionales Verständnis der Umgebung aufbaut und dann zielstrebig in Richtung Ufer läuft. Der gewählte Pfad ist nicht immer der kürzeste, aber sie vermeidet unnötige Kollisionen und umgeht Hindernisse selbstständig oder springt einfach darüber, ohne dass der gesamte Prozess auch nur einen Hauch von Ruckeln zeigt.

Am beeindruckendsten ist seine Widerstandsfähigkeit gegenüber „Störungen“. Wenn mitten im Prozess plötzlich die neue Anweisung kommt: „Baue zuerst eine Holzaxt und komme dann zurück, um weiter zu schürfen“, kann SIMA die aktuelle Aufgabe pausieren, das Ziel wechseln und nach Abschluss des Baus präzise zum ursprünglichen Aufgabenpunkt zurückkehren. Dahinter stecken starke Fähigkeiten zur Kontexterhaltung und Aufgabenplanung. Das Erlebnis ist natürlich nicht perfekt. Unter extrem komplexen Lichtverhältnissen verwechselt es gelegentlich Objekte; bei einigen Stapeloperationen, die präzise physikalische Interaktion erfordern, ist die Erfolgsquote noch verbesserungswürdig. Doch wenn man bedenkt, dass dies nur ein aufgrund von Bildschirmbildern und natürlicher Sprache gesteuerter Agent ist, reicht seine Leistung aus, um zu glauben, dass ein KI-Assistent, der menschliche Sprache wirklich versteht und in der dreidimensionalen Welt handelt, nicht mehr in allzu ferner Zukunft liegt.