Foundation-Modelle in der Robotik: Wie ein KI-Modell lernt, verschiedene Roboter zu steuern

Ein Roboterarm sortiert Pakete in einem Lager, ein humanoider Roboter faltet Kleidung und eine andere Maschine bedient empfindliche Geräte in einem Labor. Diese Roboter unterscheiden sich in ihrem Aufbau und ihren Aufgaben, benötigen aber erstaunlich viele ähnliche Fähigkeiten. Sie müssen Gegenstände erkennen, Anweisungen verstehen, Bewegungen planen und auf unerwartete Situationen reagieren. Bisher war es mit erheblichem Aufwand verbunden, diese Fähigkeiten für jede Maschine einzeln zu entwickeln. Foundation-Modelle für die Robotik verfolgen einen anderen Ansatz: Künstliche Intelligenz wird anhand der Erfahrungen verschiedener Roboter trainiert, damit sich erworbenes Wissen zwischen ihnen übertragen lässt. Bis 2026 haben Forschungsteams von Google DeepMind, NVIDIA und Physical Intelligence bedeutende Fortschritte auf diesem Gebiet erzielt. Ihre Arbeiten deuten auf eine Zukunft hin, in der sich Roboter leichter an neue Aufgaben anpassen können. Die zuverlässige Umsetzung im Alltag bleibt jedoch eine große Herausforderung.

Was sind Foundation-Modelle in der Robotik und wie funktionieren sie?

Ein Foundation-Modell für die Robotik ist ein System künstlicher Intelligenz, das darauf trainiert wird, unterschiedlichste physische Aufgaben zu verstehen und auszuführen. Anstatt nur einen bestimmten Vorgang zu erlernen, beispielsweise identische Kartons zwischen festgelegten Positionen zu bewegen, entwickelt das Modell Kenntnisse, die sich bei verschiedenen Tätigkeiten einsetzen lassen. Dazu gehören das Erkennen von Haushaltsgegenständen, das Verständnis ihrer richtigen Handhabung und die Auswahl geeigneter Bewegungen zur Ausführung einer Anweisung. Ein großer Teil des Trainings basiert auf Demonstrationen, bei denen Roboter mit realen oder simulierten Umgebungen interagieren. Durch die Auswertung zahlreicher Beispiele lernt die KI Zusammenhänge zwischen den Wahrnehmungen einer Maschine, ihrem jeweiligen Ziel und den dafür erforderlichen Bewegungen.

Der Unterschied zur herkömmlichen Roboterprogrammierung wird besonders deutlich, wenn sich die Arbeitsbedingungen verändern. Ein klassischer Industrieroboter arbeitet häufig äußerst präzise, solange sich jeder Gegenstand an einer vorhersehbaren Position befindet. Schon kleine Abweichungen können jedoch Anpassungen seiner programmierten Bewegungen erforderlich machen. Ein Foundation-Modell kann möglicherweise flexibler reagieren, weil es anhand unterschiedlicher Beispiele gelernt hat, statt lediglich eine festgelegte Bewegungsfolge auszuführen. Befindet sich beispielsweise eine Tasse an einer ungewohnten Stelle, könnte ein KI-gesteuerter Roboter ihre Position erkennen und eine geeignete Greifbewegung berechnen. Ob dies gelingt, hängt von den Trainingsdaten, den Sensoren des Roboters und der Qualität seiner Bewegungssteuerung ab.

Viele fortschrittliche Systeme verwenden einen Ansatz namens Vision-Language-Action, kurz VLA. Die visuelle Komponente verarbeitet Informationen aus Kameras, während die Sprachverarbeitung dem Roboter hilft, alltäglich formulierte Anweisungen zu verstehen. Anschließend erzeugt die Aktionskomponente Befehle, mit denen sich physische Bewegungen steuern lassen. Eine Person könnte den Roboter beispielsweise auffordern, mehrere Gegenstände in einen Behälter zu legen, ohne jeden einzelnen Handgriff zu beschreiben. Das Modell muss die Gegenstände identifizieren, den gewünschten Zielort verstehen und geeignete Aktionen auswählen. Auch wenn dieser Ablauf der menschlichen Herangehensweise an alltägliche Aufgaben ähnelt, benötigen Roboter weiterhin spezielle Steuerungssysteme, um Entscheidungen in sichere und präzise Bewegungen umzusetzen.

Wie ein einziges KI-Modell von unterschiedlichen Roboterbauformen lernt

Roboter besitzen keinen einheitlichen körperlichen Aufbau. Ein stationärer Roboterarm kann über sechs oder sieben bewegliche Gelenke verfügen, während ein humanoider Roboter Beine, Arme und Hände besitzt, die zusammenarbeiten müssen. Mobile Roboter stehen vor zusätzlichen Herausforderungen, weil sie sich zunächst durch ihre Umgebung bewegen müssen, bevor sie Gegenstände greifen oder bearbeiten können. In der Forschung werden solche körperlichen Unterschiede mit dem Begriff Embodiment bezeichnet. Ein Foundation-Modell, das mit verschiedenen Roboterbauformen trainiert wird, muss zwischen allgemeinem Wissen über eine Aufgabe und den Bewegungen unterscheiden, die eine bestimmte Maschine dafür benötigt. Das Verständnis, dass eine Flasche beim Anheben aufrecht bleiben sollte, ist für zahlreiche Roboter nützlich. Die richtige Greiftechnik hängt jedoch vom vorhandenen Greifer, den Gelenken und den Sensoren ab.

Um übertragbare Fähigkeiten zu entwickeln, sammeln Forschende Informationen von Robotern, die unterschiedliche Tätigkeiten ausführen. Trainingsbeispiele können Kameraaufnahmen, Aufgabenbeschreibungen, Bewegungsdaten und die Ergebnisse einzelner Aktionen enthalten. Manche Demonstrationen entstehen durch Menschen, die Roboter aus der Ferne steuern. Andere werden mithilfe automatisierter Experimente oder simulierter Umgebungen erstellt. Die KI sucht nach wiederkehrenden Mustern in diesen Beispielen. So kann sie lernen, dass das Annähern an einen Gegenstand, das richtige Positionieren eines Greifers und das vorsichtige Anheben eine sinnvolle Abfolge bilden, auch wenn sich die konkreten Bewegungen zwischen verschiedenen Maschinen unterscheiden. Dadurch entwickelt das Modell allgemeine Kenntnisse, die später an bislang unbekannte Roboter angepasst werden können.

Ein wichtiger Meilenstein war das 2023 vorgestellte Forschungsprojekt Open X-Embodiment. Google DeepMind und Partner aus 33 Forschungslaboren führten Datensätze zusammen, die 22 unterschiedliche Robotertypen abdeckten. Die Arbeit zeigte, wie Erfahrungen mit Robotern aus verschiedenen Forschungsgruppen zum Training gemeinsamer Lernsysteme beitragen können. Anstatt jedes Modell ausschließlich anhand von Daten einer einzigen Maschine zu entwickeln, konnten Forschende Methoden untersuchen, die unterschiedliche Hardware berücksichtigen. Das Projekt schuf eine wichtige Grundlage für weitere Untersuchungen zum roboterübergreifenden Lernen. Der Zugang zu umfangreichen gemeinsamen Datensätzen garantiert allerdings nicht, dass sich damit jeder beliebige Roboter erfolgreich steuern lässt. Einzelne Maschinen können weiterhin zusätzliches Training benötigen.

Wie Foundation-Modelle Fähigkeiten zwischen verschiedenen Robotern übertragen

Die Übertragung erlernter Verhaltensweisen gehört zu den vielversprechendsten Eigenschaften von Foundation-Modellen in der Robotik. Man stelle sich einen Roboterarm vor, der gelernt hat, Küchengegenstände zu erkennen und in bestimmte Behälter zu legen. Ein anderer Roboter mit abweichenden Gelenken und einem anderen Greifer könnte dasselbe grundlegende Aufgabenverständnis nutzen. Er müsste jedoch weiterhin selbst bestimmen, wie er sich den Gegenständen nähert und welche Bewegungen mit seiner eigenen Hardware möglich sind. Gemeinsames KI-Wissen kann den erforderlichen Lernaufwand verringern, die körperlichen Unterschiede zwischen Maschinen aber nicht beseitigen. Ein Roboter mit einem einfachen Zwei-Finger-Greifer kann beispielsweise nicht automatisch jede Bewegung einer Roboterhand mit fünf Fingern nachahmen.

Dieser Ansatz wird als Cross-Embodiment Learning bezeichnet, also als Lernen über unterschiedliche Roboterbauformen hinweg. Sein Grundprinzip besteht darin, dass verschiedene Maschinen von gemeinsamen Trainingserfahrungen profitieren können, ohne identische Motorbefehle verwenden zu müssen. Ein Roboter kann lernen, welches Ergebnis erreicht werden soll, und die Ausführung an seine eigenen körperlichen Möglichkeiten anpassen. Forschende entwickeln dafür Trainingsverfahren, die visuelle Wahrnehmungen, Aufgabenbeschreibungen und physische Bewegungen miteinander verknüpfen. Zusätzliche Demonstrationen mit einem neuen Robotermodell können die Steuerungsqualität weiter verbessern. Besonders interessant ist dies für Hersteller, die mehrere Roboterbauformen entwickeln, weil sich bestimmte Fähigkeiten wiederverwenden lassen, anstatt sie für jede Maschine vollständig neu zu trainieren.

Google DeepMind lieferte mit dem im September 2025 vorgestellten Gemini Robotics 1.5 ein bemerkenswertes Beispiel. Die Forschung demonstrierte die Übertragung von Verhaltensweisen zwischen verschiedenen Robotersystemen, darunter ALOHA 2, eine Konfiguration mit zwei Franka-Roboterarmen und der humanoide Roboter Apollo von Apptronik. Einige Aufgaben, die mit einem System erlernt worden waren, konnten von einem anderen ausgeführt werden, ohne dass für die jeweilige Kombination aus Aufgabe und Roboter ein gesondertes Spezialtraining erforderlich war. Diese Experimente stellten einen wichtigen Fortschritt auf dem Weg zu einer allgemeineren Roboterintelligenz dar. Allerdings wurden die Ergebnisse mit ausgewählten Maschinen unter bestimmten Testbedingungen erzielt. Sie bedeuten nicht, dass ein einziges Modell bereits jeden handelsüblichen Roboter steuern oder beliebige unbekannte Aufgaben ohne Vorbereitung erledigen kann.

Praxisbeispiele von Google DeepMind, NVIDIA und Physical Intelligence

Die Modellfamilie Gemini Robotics von Google DeepMind verbindet visuelles Verständnis, die Verarbeitung natürlichsprachlicher Anweisungen und die Erzeugung physischer Aktionen. Die Forschungsarbeiten umfassen unter anderem das Manipulieren von Gegenständen, das Anordnen verschiedener Objekte und die Durchführung von Aufgaben, die mehrere aufeinanderfolgende Entscheidungen erfordern. Die verwandten Systeme Gemini Robotics-ER konzentrieren sich stärker auf das Verständnis physischer Umgebungen und die Planung geeigneter Handlungen. Das im April 2026 vorgestellte Gemini Robotics-ER 1.6 brachte Verbesserungen beim räumlichen Verständnis, bei der Auswertung mehrerer Kameraperspektiven und bei der Beurteilung, ob eine Aufgabe erfolgreich abgeschlossen wurde. Diese Fähigkeiten lösen ein praktisches Problem: Ein Roboter muss nicht nur erkennen, welche Aktion er ausführen sollte, sondern auch feststellen können, ob das gewünschte Ergebnis tatsächlich erreicht wurde.

NVIDIA verfolgt mit seiner Foundation-Modellfamilie Isaac GR00T einen weiteren Ansatz, der hauptsächlich für humanoide Roboter entwickelt wird. Die Forschung verbindet visuelle Informationen, Sprachanweisungen und die Erzeugung von Bewegungen, um ein breiteres Spektrum physischer Tätigkeiten zu ermöglichen. Im Jahr 2026 vorgestellte Modelle, darunter GR00T N1.6 und N1.7, spiegeln die fortlaufenden Bemühungen wider, die allgemeinen Fähigkeiten humanoider Roboter zu verbessern. NVIDIA stellt außerdem Entwicklungswerkzeuge und Simulationsumgebungen bereit, in denen Forschende Bewegungen üben können, bevor sie diese an realen Maschinen testen. Simulationen sind besonders hilfreich, wenn Aufgaben mit teuren Geräten oder potenziell schädlichen Fehlern verbunden sind. Erfolgreiche virtuelle Trainingsergebnisse müssen jedoch weiterhin unter realen Bedingungen überprüft werden, da sich Gegenstände, Oberflächen und Sensoren dort anders verhalten können.

Auch Physical Intelligence hat einen Beitrag zur Erforschung von Robotern geleistet, die unterschiedliche Manipulationsaufgaben bewältigen können. Das im April 2025 vorgestellte Modell π0.5 untersuchte, wie Roboter erlernte Verhaltensweisen auf unbekannte Umgebungen übertragen können. Damit wird eine typische Schwäche herkömmlicher Robotersysteme angesprochen: Eine Maschine kann eine Aufgabe in einem bestimmten Raum erfolgreich erledigen, aber Schwierigkeiten bekommen, sobald sich die Anordnung von Möbeln oder Gegenständen verändert. Das Training anhand vielfältiger Beispiele kann helfen, die Abhängigkeit von unveränderlichen Umgebungsbedingungen zu verringern. Experimente mit alltäglichen Haushaltsaufgaben haben das Potenzial dieses Ansatzes veranschaulicht. Sie dürfen allerdings nicht mit vollständig selbstständigen Haushaltsrobotern gleichgesetzt werden, die jede Situation sicher und zuverlässig bewältigen können.

Wie Foundation-Modelle die Arbeitswelt und den Alltag verändern könnten

Die Fertigungsindustrie gehört zu den Bereichen, in denen eine anpassungsfähigere Roboterintelligenz erhebliche praktische Vorteile bieten könnte. Industrieroboter werden bereits umfassend beim Schweißen, Montieren, Lackieren und Transportieren von Materialien eingesetzt. Viele Anlagen sind jedoch auf sorgfältig kontrollierte Arbeitsbedingungen angewiesen. Wenn sich Produkte ändern oder Produktionslinien umgestaltet werden, müssen Ingenieure häufig die Anlagen und ihre Software anpassen. Foundation-Modelle könnten diesen Aufwand teilweise reduzieren, indem sie Robotern helfen, neue Gegenstände zu erkennen und zusätzliche Arbeitsabläufe anhand von Demonstrationen zu erlernen. Für kleinere Hersteller mit häufig wechselnden Produkten könnte eine höhere Flexibilität den Einsatz von Robotern wirtschaftlich interessanter machen. Ob sich die Einführung tatsächlich lohnt, hängt jedoch weiterhin von der Leistungsfähigkeit, dem Wartungsaufwand und den Installationskosten ab.

Lagerhäuser und Logistikzentren bieten ein weiteres mögliches Einsatzgebiet. Viele bestehende Maschinen transportieren Waren bereits effizient, doch der Umgang mit unregelmäßig geformten Paketen oder unerwarteten Anordnungen kann deutlich schwieriger sein als die Beförderung standardisierter Behälter. Ein Roboter mit umfassenderen Manipulationsfähigkeiten könnte Gegenstände unterschiedlicher Größe erkennen, eine geeignete Greiftechnik auswählen und reagieren, wenn sich ihre Position verändert. In Laboren könnten ähnliche Fähigkeiten wiederkehrende Tätigkeiten unterstützen, beispielsweise das Ordnen von Materialien oder den Transport von Geräten. Besonders interessant sind solche Anwendungen dort, wo Arbeitsabläufe variieren, anstatt immer denselben Bewegungen zu folgen. Vor dem Einsatz in geschäftigen Arbeitsumgebungen sind dennoch umfangreiche Tests erforderlich, weil Menschen, Maschinen und Hindernisse nicht immer vorhersehbar reagieren.

Die Unterstützung im Haushalt ist eine längerfristige Möglichkeit, die in der Forschung große Aufmerksamkeit erhält. Tätigkeiten wie das Abräumen eines Tisches, das Einsammeln von Gegenständen oder das Sortieren von Wäsche erscheinen Menschen unkompliziert, erfordern von Robotern jedoch komplexe Entscheidungen. Ein Handtuch kann beim Anheben seine Form verändern, ein Glas kann rutschig sein und Möbel können die Bewegungsfreiheit einschränken. Foundation-Modelle können Robotern helfen, Anweisungen zu verstehen und erlernte Manipulationsfähigkeiten an neue Situationen anzupassen. Der sichere Einsatz im Haushalt verlangt allerdings wesentlich mehr als die erfolgreiche Durchführung einzelner Experimente. Ein praktischer Haushaltsassistent müsste sich zuverlässig orientieren, vorsichtig mit Menschen interagieren und erkennen können, wann eine Aufgabe seine Fähigkeiten übersteigt. Diese Anforderungen erklären, warum beeindruckende Laborergebnisse bislang nicht zu universell einsetzbaren Haushaltsrobotern geführt haben.

Aktuelle Herausforderungen und die Zukunft universell einsetzbarer Roboter

Die Sicherheit bleibt eine der größten Herausforderungen für KI-gesteuerte Maschinen. Ein Sprachmodell, das eine falsche Antwort erzeugt, verursacht ein anderes Problem als ein Roboter, der eine fehlerhafte physische Bewegung ausführt. Eine ungünstig gewählte Aktion könnte teure Geräte beschädigen, zerbrechliche Gegenstände zerstören oder Menschen gefährden. Foundation-Modelle können Anweisungen falsch verstehen oder die Position und Eigenschaften von Objekten fehlerhaft einschätzen, insbesondere unter unbekannten Bedingungen. Deshalb benötigen physische Roboter zusätzliche Sicherheitsmaßnahmen, die unabhängig vom KI-Modell funktionieren. Dazu können Kollisionserkennung, Bewegungsbegrenzungen, Not-Aus-Systeme und menschliche Überwachung gehören. Praxistests müssen untersuchen, wie Maschinen auf Fehler und unerwartete Ereignisse reagieren, und dürfen sich nicht auf erfolgreiche Abläufe unter günstigen Bedingungen beschränken.

Eine weitere Schwierigkeit besteht darin, ausreichend hochwertige Trainingsdaten zu beschaffen. Für die allgemeine KI-Forschung stehen umfangreiche Text- und Bildsammlungen aus dem Internet zur Verfügung. Beispiele für tatsächliche Roboterbewegungen sind dagegen deutlich aufwendiger zu erstellen. Forschende benötigen Informationen über Bewegungen, den Kontakt mit Gegenständen und die Ergebnisse physischer Interaktionen. Simulationen können diese Daten ergänzen und Robotern ermöglichen, Bewegungen zu üben, ohne reale Geräte zu beschädigen. Virtuelle Umgebungen können jedoch nicht jedes physikalische Detail perfekt nachbilden. Schon kleine Unterschiede bei Reibung, Gewicht, Beleuchtung oder Kameramessungen können Schwierigkeiten verursachen, wenn ein Modell von einer Simulation auf eine reale Maschine übertragen wird. Deshalb kombinieren Entwickler weiterhin gemeinsame Datensätze, simulierte Erfahrungen und zusätzliches Training mit einzelnen Robotern.

Bis Oktober 2026 haben Foundation-Modelle in der Robotik gezeigt, dass sich KI-Wissen zwischen unterschiedlichen Roboterbauformen wiederverwenden und für eine wachsende Zahl physischer Aufgaben einsetzen lässt. Der nächste Entwicklungsschritt besteht darin, experimentelle Fähigkeiten in zuverlässige Systeme zu übertragen, die über längere Zeiträume ohne ständige menschliche Eingriffe arbeiten können. Dafür werden Verbesserungen bei Trainingsmethoden, räumlichem Denken, Recheneffizienz und Sicherheitsprüfungen entscheidend sein. Die wahrscheinlichste Entwicklung ist nicht eine einzige KI, die sofort jede beliebige Maschine steuern kann. Vielmehr dürften zunehmend anpassungsfähige Roboter entstehen, die gemeinsames Wissen nutzen und gleichzeitig auf spezialisierte Hardware und Steuerungssysteme angewiesen bleiben. Solche Systeme könnten den Aufwand für das Erlernen neuer Fähigkeiten schrittweise verringern und die Automatisierung auch in Arbeitsumgebungen ermöglichen, die bisher nur schwer mit Robotern zu bewältigen sind.