KI-Agents bekommen Hände und Füße: Strands + LeRobot verbinden die Robotik – Natural Language steuert echte Roboter direkt

Was ist das größte Problem der KI-Agents in den letzten zwei Jahren?

Es ist nicht das Chatten und auch nicht das Schreiben von Code – die meisten Agents stecken schlicht noch im Bildschirm fest. Lässt du sie planen, suchen, Skripte schreiben oder APIs aufrufen, sind sie stark; aber wenn sie tatsächlich einen Roboterarm bewegen, eine Roboter-Demonstration aufzeichnen, eine Simulation durchlaufen und die Policy auf echter Hardware deployen sollen, stoßen sie sofort auf einen Haufen Engineering-Klebstoff.

Diese Lücke beginnt sich jetzt zu schließen.

Das Strands Robots SDK aus dem AWS-Ökosystem ist Open Source geworden und verpackt Hugging Face LeRobot, MuJoCo-Simulation, Policy-Inferenz und das Zenoh-Multi-Roboter-Mesh als Strands AgentTools. Die offizielle Formulierung ist unmissverständlich: „strands-robots gives a Strands Agent hands“.

Auf Deutsch heißt das: KI-Agents bekommen Hände und Füße.

Was genau wurde diesmal veröffentlicht

Das Projekt heißt strands-robots, der Code liegt unter strands-labs/robots, und das PyPI-Paket heißt ebenfalls strands-robots. Sein Kern: Mit einer Robot()-Factory werden Simulations- oder echte Roboter zu Tools, die ein Strands Agent aufrufen kann.

Das Minimalbeispiel ist sehr aussagekräftig:

from strands import Agent
from strands_robots import Robot

robot = Robot(“so100”)
agent = Agent(tools=[robot])
agent(“Pick up the red cube”)

Standardmäßig startet Robot(“so100”) die MuJoCo-Simulation – ganz ohne GPU und ohne echte Hardware. Um auf einen realen Roboter zu wechseln, muss mode=”real” explizit gesetzt werden:

robot = Robot(“so100″, mode=”real”, port=”/dev/ttyACM0″)

Diese Voreinstellung ist entscheidend: erst simulieren, dann auf echte Hardware. Ein einzelner Natural-Language-Befehl kann nicht versehentlich echte Servos antreiben.

Was ist LeRobot: die Hugging-Face-Toolchain der Roboterwelt

Wer Strands Robots verstehen will, muss zuerst LeRobot verstehen.

LeRobot ist die Bibliothek von Hugging Face für reales Robotik-Lernen. Ziel ist es, Modelle, Datensätze und Werkzeuge der Robotik im PyTorch-Ökosystem zu vereinheitlichen und die Einstiegshürde zu senken.

Die offizielle Positionierung ist klar:

• Modelle, Datensätze und Werkzeuge für reale Robotik bereitstellen
• mehr Menschen den Zugang zu Roboter-Datensätzen und vortrainierten Modellen ermöglichen
• Abdeckung von Imitation Learning, Reinforcement Learning und VLA-Modellen
• Unterstützung echter Hardware und Simulationsumgebungen

Eines der wichtigsten Stücke in LeRobot ist das LeRobotDataset-Format. Es ordnet Roboter-Videos, Zustands- und Aktionsdaten in einer Standardstruktur an – üblicherweise MP4 oder Bilder plus Parquet. So lassen sich die Daten auf den Hugging Face Hub hochladen und in Trainings-, Evaluations- und Deployment-Pipelines wiederverwenden.

Anders gesagt: LeRobot liefert das „Daten- und Modellfundament“ für das Robotik-Lernen.

Aber ein Fundament ist noch kein kompletter Workflow. In der Praxis kommen Simulation, Hardware-Ports, Kameras, Kalibrierung, Policy-Inferenz, Multi-Roboter-Koordination und sichere Abbrüche dazu. Genau diese Schicht ergänzt Strands Robots.

Strands Robots ersetzt nicht, es kapselt

Wer Strands + LeRobot sieht, denkt vielleicht zuerst: Ist das schon wieder ein neues Robotik-Framework?

Nein.

Es kapselt die Roboter-Pipeline eher als Werkzeugschicht, die Agents aufrufen können. LeRobot bleibt für einen Großteil der Roboter-Daten, Policies und Hardwareschnittstellen zuständig; MuJoCo übernimmt die Simulation; GR00T, ACT, Pi0, SmolVLA, Diffusion und andere bleiben die Policy-Quellen; Zenoh kümmert sich um das Peer-to-Peer-Mesh.

Der Wert von Strands Robots liegt darin, diese bisher verstreuten Komponenten in einen Agenten-Workflow zu pressen:

• Demonstrationsdaten aufzeichnen
• in LeRobotDataset schreiben
• Daten auf den Hugging Face Hub hochladen oder wiederverwenden
• Simulationen in MuJoCo ausführen
• lokale oder entfernte Policies aufrufen
• auf echte Roboter deployen
• mehrere Roboter über das Mesh koordinieren
• bei Bedarf den E-STOP-Notstopp auslösen

Früher brauchten diese Schritte eine Menge Klebecode. Jetzt werden sie zu AgentTools, die ein und derselbe Strands Agent orchestriert.

Die Pipeline in einem Satz: von natürlicher Sprache zur mechanischen Bewegung

Die offiziell beschriebene Pipeline ist sehr anschaulich:

Natürlichsprachiger Befehl → Strands Agent → Robot-Tool → Policy Provider → Action Chunk → MuJoCo-Simulation oder echte Hardware → Observation zurück in den Loop

Der Knackpunkt dieser Pipeline: Der Agent steuert die Motoren nicht direkt, sondern erzeugt über den Policy Provider Action Chunks, die dann von Simulation oder Hardware ausgeführt werden.

Unterstützte Policy-Quellen sind unter anderem:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffusion Policy
• klassische Motion Planner
• MPC
• Scripted Controller
• Mock Policy

Das bedeutet: Strands Robots setzt nicht auf ein einzelnes Modell, sondern legt alle Strategien hinter dieselbe abstrakte Schnittstelle. Heute verifizierst du den Ablauf mit einer Mock Policy, morgen nutzt du ein lokales LeRobot-Modell, übermorgen bindest du einen GR00T-Inferenzdienst an.

50+ Roboter in 8 Kategorien

Offiziell listet Strands Robots mehr als 50 Roboter in 8 Kategorien auf:

• Roboterarme: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 und mehr
• Humanoide Roboter: Unitree G1, Unitree H1, Reachy2, Talos, Cassie und mehr
• Mobile Roboter: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover und mehr
• Dexterische Hände: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85 und mehr
• Doppelarmsysteme: ALOHA, bi_openarm, Trossen WXAI
• Fluggeräte: Crazyflie, Skydio X2
• Expressions-/Interaktionsroboter: Reachy Mini
• Mobile Manipulation: Google Robot

Ein Teil der Roboter kann über LeRobot echte Hardware antreiben, etwa SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi_openarm, Reachy2, Unitree G1, LeKiwi und EarthRover.

Wichtiger noch: Alle Roboter lassen sich simulieren. Für Entwickler heißt das, den Workflow erst in der kostengünstigen Simulation durchzuspielen und erst danach zu entscheiden, ob Hardware angeschafft wird.

Mesh-Multi-Roboter-Koordination + Notstopp

Multi-Roboter-Betrieb und Sicherheitskontrolle sind unvermeidliche Themen, sobald man Agents an die physische Welt anschließt.

Strands Robots bringt ein Zenoh-Mesh-Netzwerk mit. Jeder Roboter wird automatisch zum Peer: Mit tell() interagierst du mit einem anderen Roboter, mit broadcast() sendest du Befehle an alle, mit E-STOP stoppst du im Notfall alles.

Das Mesh lässt sich an AWS IoT Core anbinden und über das device-connect-Plugin zu einem fortschrittlicheren gerätebewussten Netzwerk ausbauen.

Auch das Sicherheitsdesign ist klar definiert:

• standardmäßig Simulation; der Wechsel erfordert explizit mode=”real”
• die drei Werkzeugaktionen Status, Ausführung und Stopp sind getrennt
• E-STOP ist unabhängig vom normalen Steuerungsfluss
• vor echten Aktionen gibt es eine menschliche Freigabepause

In Industrieszenarien sind das keine optionalen Extras. Fehlt auch nur eines davon, kann es einen Unfall geben.

Begriffsklärung: Wer steckt dahinter

Die Integration wurde von AWS als Open Source veröffentlicht (Apache 2.0) und im Blog auf hugggingface.co vorgestellt. Strands selbst ist AWS' Open-Source-Agent-SDK (Apache 2.0) für Python und TypeScript mit vollständigem Agenten-Framework. LeRobot ist ein Projekt von Hugging Face. Die Schnittmenge beider ist strands-robots.

So kommst du rein

Wer nur die Simulation ausprobieren will, startet am besten mit dem MuJoCo-Extra:

uv pip install “strands-robots[sim-mujoco]”

Wer echte Hardware und lokale LeRobot-Policies anbinden will:

uv pip install “strands-robots[sim-mujoco,lerobot]”

Wer alles installieren möchte:

uv pip install “strands-robots[all]”

Die Grundinstallation ist schlank und enthält nur numpy, opencv-headless, Pillow und Ähnliches. Die einzelnen Fähigkeiten kommen über Extras getrennt: sim-mujoco für die Simulation, lerobot für echte Hardware und lokale Policies, groot-service für NVIDIA-GR00T-Inferenz, mesh für das Zenoh-Multi-Roboter-Netzwerk und mesh-iot für AWS-IoT-Core-Fleets.

Diese Aufteilung ist pragmatisch – gleich zu Beginn wird das System nicht mit sämtlichen Abhängigkeiten vollgestopft.

Nicht falsch verstehen: Das ist kein „Embodied Intelligence auf Knopfdruck“

An dieser Stelle muss eine kalte Dusche erlaubt sein.

Strands Robots ist cool, aber es macht aus der KI nicht auf Knopfdruck einen Robotik-Experten.

Bei echter Hardware bleiben Herausforderungen wie:

• Port-Erkennung
• Servo-Kommunikation
• Kamerakonfiguration
• Kalibrierung des Roboterarms
• Abgleich des Daten-Schemas
• Checkpoint-Verfügbarkeit
• GPU / Docker / Inferenzdienste
• die Sim2Real-Lücke zwischen Simulation und Realität
• Sicherheitsgrenzen im Multi-Roboter-Betrieb

GR00T-lokale Inferenz braucht etwa eine NVIDIA-GPU, Docker, Checkpoints und eine korrekte Datenkonfiguration. Und ein physischer SO-101 greift auch nicht automatisch nach dem roten Würfel, nur weil mode=”real” gesetzt ist – Kamera, Kalibrierung, Policy und eine sichere Umgebung brauchst du weiterhin.

Der eigentliche Wert: weniger Klebecode

Das Bemerkenswerteste an diesem Release ist nicht, dass die Modellfähigkeiten plötzlich explodieren, sondern dass die Engineering-Pipeline verbunden wird.

Der größte Schmerzpunkt der Roboterentwicklung sind selten die Algorithmen-Papers, sondern Systeme, die nicht miteinander sprechen:

• ein Format für Datensätze
• ein Satz Simulations-Skripte
• eine eigene Steuerung für echte Hardware
• eine eigene Policy-Inferenz
• eine eigene Multi-Roboter-Kommunikation
• und der sichere Stopp nochmal ein eigener Teil

Strands Robots fasst all das in AgentTools zusammen.

Das ist für Forschungs- wie für Startup-Teams sehr konkret: Du kannst die SO100-Simulation erst auf dem lokalen Laptop durchspielen – ohne Hardware, ohne GPU, ohne Hub-Berechtigungen. Erst wenn der Workflow steht, kommen nach und nach echte SO101, GR00T, Hugging-Face-Checkpoints und das Multi-Roboter-Mesh dazu.

Budget und Risiko lassen sich stufenweise freigeben, statt am ersten Tag Hardware, Daten, Training und Deployment alles auf einmal aufzusetzen.

Warum das für Agents wichtig ist

Die Werkzeuge von Agents waren bisher meist Werkzeuge der digitalen Welt: Dateien, Browser, Datenbanken, APIs, Terminals, Code-Interpreter.

Strands Robots schiebt die Werkzeuggrenze in die physische Welt: Roboter, Kameras, Servos, Simulationsumgebungen, Aktions-Policies, Multi-Roboter-Kommunikation.

Das heißt: Der Fähigkeitsbereich von Agents beginnt sich von „Informationsverarbeitung“ zu „physischer Ausführung“ zu erweitern.

Natürlich muss physische Ausführung umso vorsichtiger erfolgen. Die reale Welt hat keine Undo-Taste: Wenn der Roboterarm gegen den Tisch stößt, ein Objekt zerdrückt oder jemanden trifft, hilft auch kein erneutes Skript-Run. Gerade deshalb sind die Sicherheitsdesigns – Standard-Simulation, expliziter Echt-Modus, E-STOP, Freigabeunterbrechung – ein Zeichen der Reife des Projekts.

Das Verhältnis zu ROS

Manche fragen: Soll das ROS ersetzen?

Kurzfristig: nein. ROS ist das altbewährte Fundament der Robotik-Systemtechnik, mit einem tiefen Ökosystem aus Nodes, Topics, Services, Launch-Dateien und Treibern. Strands Robots ist eher eine Agenten-Orchestrierungsschicht, die darauf abzielt, dass große Modelle über Werkzeugschnittstellen Roboteraufgaben organisieren.

Wahrscheinlicher ist künftig diese Aufteilung: Unten bleiben ROS, Hersteller-SDKs und Controller für Hardware und komplexe Robotersysteme; oben organisiert die Agentenschicht über Werkzeuge wie Strands Robots Aufgabenplanung, Policy-Aufrufe, Datenaufzeichnung, Simulationstests und Multi-Roboter-Koordination.

Es erobert also nicht das Chassis, sondern den oberen Workflow-Eingang.

Fazit

Bei der Verbindung von Strands + LeRobot liegt die eigentliche Bedeutung nicht darin, dass ein Roboterarm auf einen Satz hin schlau wird, sondern darin, dass KI-Agents erstmals eine Standard-Werkzeugschnittstelle in die physische Welt bekommen.

LeRobot liefert Daten, Modelle und Hardwareschnittstellen für das Robotik-Lernen; MuJoCo die sichere Simulation; GR00T, ACT, Pi0, SmolVLA, Diffusion und Co. die Policies; Zenoh-Mesh die Multi-Roboter-Kommunikation; Strands Robots verpackt all das in AgentTools.

Das ist sein Wert: keine Revolution auf Knopfdruck, sondern eine ganze Menge eingesparter Klebecode.

KI-Agents hatten bisher vor allem Gehirn und Mund – jetzt bekommen sie Hände und Füße.

Bevor sie aber wirklich in die reale Welt gehen, brauchen sie Bremse, Leitplanken, Freigaben, Simulation und jede Menge Engineering-Details.

Das ist der bisher ehrlichste Schritt von Embodied Intelligence von der PowerPoint-Folie auf den Versuchstisch.