AI-agent krijgt armen en benen: Strands + LeRobot verbindt robotica, natural language stuurt echte hardware direct aan
Wat is de grootste beperking van AI-agents de afgelopen twee jaar?
Niet dat ze niet kunnen chatten of code schrijven, maar dat ze meestal nog opgesloten zitten achter het scherm. Laat ze plannen maken, zoeken, scripts schrijven en API's aanroepen: dan zijn ze sterk. Maar laat ze werkelijk een robotarm voortduwen, een robotdemonstratie opnemen, een simulatieronde draaien en het beleid daarna op echte hardware zetten, dan lopen ze meteen tegen een berg engineerswerk en lijmcode aan.
Dat gat begint nu te worden gedicht.
In het AWS-ecosysteem is de Strands Robots SDK open source geworden: die verpakt Hugging Face LeRobot, MuJoCo-simulatie, beleidsinferentie, Zenoh multi-robot mesh en meer als Strands AgentTools. De officiële omschrijving is ronduit helder: strands-robots gives a Strands Agent hands.
In gewone mensentaal: de AI-agent begint armen en benen te krijgen.
Wat is er nu precies uitgebracht
Het project heet strands-robots, de code staat in strands-labs/robots en de PyPI-pakketnaam is eveneens strands-robots. De kern: met een Robot()-factory maak je een gesimuleerde of echte robot tot een tool die een Strands Agent kan aanroepen.
Het minimale voorbeeld is veelzeggend:
from strands import Agent
from strands_robots import Robot
robot = Robot(“so100”)
agent = Agent(tools=[robot])
agent(“Pick up the red cube”)
Standaard start Robot(“so100”) een MuJoCo-simulatie, zonder GPU en zonder echte hardware. Wil je overschakelen naar een fysieke robot, dan moet je expliciet mode=”real” toevoegen:
robot = Robot(“so100″, mode=”real”, port=”/dev/ttyACM0″)
Die standaardkeuze is cruciaal: eerst simuleren, pas daarna de echte machine. Eén natural-language-opdracht kan niet per ongeluk echte servo's aandrijven.
Wat is LeRobot: de Hugging Face-toolkit van de robotwereld
Om Strands Robots te begrijpen, moet je eerst LeRobot begrijpen.
LeRobot is de real-world robotica-leerbibliotheek van Hugging Face, met als doel modellen, datasets en tools uit de robotica te bundelen in het PyTorch-ecosysteem en de drempel voor robotica-onderzoek te verlagen.
De officiële positionering is duidelijk:
- Real-world robotmodellen, datasets en tools aanbieden
- Zorgen dat meer mensen robotdatasets en pretrained modellen kunnen delen
- Imitation learning, reinforcement learning en VLA-modellen bestrijken
- Zowel echte hardware als simulatieomgevingen ondersteunen
Eén van de belangrijkste onderdelen van LeRobot is het LeRobotDataset-formaat. Het organiseert robotvisievideo's, status- en actiedata in een standaardstructuur, meestal MP4 of afbeeldingen plus Parquet. Zo kunnen datasets naar de Hugging Face Hub worden geüpload en opnieuw worden gebruikt in de trainings-, evaluatie- en uitrolketen.
Anders gezegd: LeRobot biedt de 'data- en modelbasis' voor robotica-onderzoek.
Maar een basis is nog geen complete workflow. In de praktijk moet je ook omgaan met simulatie, hardwarepoorten, camera's, kalibratie, beleidsinferentie, multi-robot-coördinatie en veiligheidsstops. Precies die laag vult Strands Robots aan.
Strands Robots vervangt niets, het verpakt
Wie Strands + LeRobot ziet, denkt misschien als eerste: is dit weer een nieuw robotframework?
Nee.
Het verpakt eerder de robotica-keten als tool-laag die een agent kan aanroepen. LeRobot blijft verantwoordelijk voor een groot deel van de robotdata, het beleid en de hardware-interfaces; MuJoCo blijft de simulatie doen; GR00T, ACT, Pi0, SmolVLA, Diffusion en dergelijke blijven de beleidsbronnen; Zenoh regelt de peer-to-peer-mesh.
De waarde van Strands Robots is dat deze verspreide onderdelen in één agent-workflow worden samengebracht:
- Demonstratiedata opnemen
- Naar LeRobotDataset schrijven
- Data uploaden of hergebruiken via de Hugging Face Hub
- Simulaties draaien in MuJoCo
- Lokale of externe policies aanroepen
- Uitrollen op echte robots
- Meerdere robots via de mesh laten coördineren
- Indien nodig een E-STOP-noodstop uitzenden
Voorheen kostte dat alles samen een flinke stapel lijmcode. Nu worden het AgentTools die door dezelfde Strands Agent kunnen worden georkestreerd.
De keten in één zin: van natuurlijke taal naar mechanische actie
De officiële keten is overzichtelijk:
Natuurlijke-taalopdracht → Strands Agent → Robot-tool → Policy Provider → Action Chunk → MuJoCo-simulatie of echte hardware → observation-terugkoppeling
De crux van deze keten: de agent bestuurt de motoren niet direct, maar genereert via de policy provider een action chunk, die vervolgens door de simulatie of hardware wordt uitgevoerd.
Ondersteunde beleidsbronnen zijn onder andere:
- NVIDIA GR00T
- LeRobot ACT
- Pi0 / Pi0.5
- SmolVLA
- Diffusion Policy
- Klassieke motion planners
- MPC
- Scripted controllers
- Mock policies
Dat betekent dat Strands Robots niet inzet op één model, maar alle strategieën achter dezelfde abstracte interface zet. Vandaag verifieer je de flow met een mock policy, morgen zet je er een lokaal LeRobot-model achter, overmorgen koppel je een GR00T-inferentieservice.
50+ robots, 8 categorieën
Strands Robots vermeldt officieel 50+ robots, verdeeld over 8 categorieën:
- Robotarmen: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 en meer
- Humanoïden: Unitree G1, Unitree H1, Reachy2, Talos, Cassie en meer
- Mobiele robots: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover en meer
- Dexterous handen: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85 en meer
- Dubbelarmsystemen: ALOHA, bi_openarm, Trossen WXAI
- Vliegende robots: Crazyflie, Skydio X2
- Expressie-/interactierobots: Reachy Mini
- Mobiele manipulatierobots: Google Robot
Een deel van deze robots kan echte hardware aansturen via LeRobot, zoals SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi_openarm, Reachy2, Unitree G1, LeKiwi en EarthRover.
Belangrijker nog: alle robots kunnen worden gesimuleerd. Voor ontwikkelaars betekent dat: eerst de workflow goedkoop in simulatie doorlopen, en pas daarna beslissen of hardware de moeite waard is.
Mesh met meerdere robots + noodstop
Multi-robotbesturing en veiligheid zijn onvermijdelijke thema's zodra je een agent aan de fysieke wereld koppelt.
Strands Robots heeft een Zenoh-meshnetwerk ingebouwd. Elke robot wordt automatisch een peer: met tell() wissel je met een andere robot, met broadcast() zend je opdrachten uit, en met E-STOP stop je in geval van nood alles.
De mesh kan worden gekoppeld aan AWS IoT Core en via de device-connect-plug-in worden uitgebreid tot een geavanceerder apparaatnetwerk.
Het veiligheidsontwerp is helder:
- Standaard simulatie; overschakelen naar de echte machine vereist expliciet mode=”real”
- De drie tool-acties status, uitvoeren en stoppen zijn gescheiden
- E-STOP staat los van het normale besturingsproces
- Vóór echte acties is er een menselijke goedkeuringsonderbreking
In industriële omgevingen is dit geen optionele configuratie. Eén ervan missen kan al een ongeluk betekenen.
Terminologie verhelderd: wie bouwt dit
Deze integratie is door AWS open source gemaakt (Apache 2.0) en gepubliceerd op de hugggingface.co-blog. Strands zelf is de open-source Agent SDK van AWS (Apache 2.0), met ondersteuning voor Python en TypeScript en een compleet agent-framework. LeRobot is een project van Hugging Face. De kruising van de twee is strands-robots.
Hoe te beginnen
Wil je alleen de simulatie proberen, begin dan met de MuJoCo-extra:
uv pip install “strands-robots[sim-mujoco]”
Wil je echte hardware en lokale LeRobot-policies koppelen:
uv pip install “strands-robots[sim-mujoco,lerobot]”
Wil je alles installeren:
uv pip install “strands-robots[all]”
De basisinstallatie is licht en bevat alleen numpy, opencv-headless, Pillow en dergelijke. De verschillende mogelijkheden worden via extras apart geïnstalleerd: sim-mujoco voor simulatie, lerobot voor echte hardware en lokale policies, groot-service voor NVIDIA GR00T-inferentie, mesh voor Zenoh multi-robot-netwerken en mesh-iot voor AWS IoT Core-fleetscenario's.
Die opsplitsing is praktisch: je wordt niet meteen met alle afhankelijkheden overspoeld.
Misverstand voorkomen: dit is geen 'one-click embodied AI'
Hier moet een emmer koud water overheen.
Strands Robots is gaaf, maar het maakt van AI niet met één klik een robotica-expert.
Met echte hardware blijf je te maken houden met:
- Poortherkenning
- Servocommunicatie
- Cameraconfiguratie
- Kalibratie van robotarmen
- Schema-uitlijning van data
- Beschikbaarheid van checkpoints
- GPU / Docker / inferentieservices
- De sim2real-kloof tussen simulatie en werkelijkheid
- Veiligheidsgrenzen bij meerdere robots
GR00T-lokale inferentie vereist bijvoorbeeld mogelijk een NVIDIA GPU, Docker, checkpoints en de juiste dataconfiguratie. En een fysieke SO-101 pakt niet automatisch de rode kubus omdat je mode=”real” instelt: je hebt nog steeds camera's, kalibratie, policies en een veilige omgeving nodig.
De echte waarde: minder lijmcode schrijven
Het meest opvallende aan deze release is niet dat de modellen opeens veel slimmer zijn, maar dat de engineeringketen is doorverbonden.
De grootste pijn in robotica-ontwikkeling zit zelden in de algoritmepapers, maar in systemen die elkaar niet begrijpen:
- Eén formaat voor datasets
- Eén set simulatiescripts
- Eén aanpak voor besturing van echte hardware
- Eén pipeline voor beleidsinferentie
- Eén systeem voor multi-robotcommunicatie
- En voor veilig stoppen alweer een aparte aanpak
Strands Robots bundelt dit alles tot AgentTools.
Dat is voor onderzoeks- en startupteams heel concreet: je draait eerst de SO100-simulatie op je laptop, zonder hardware, zonder GPU, zonder Hub-rechten; zodra de flow klopt, voeg je stap voor stap een echte SO101, GR00T, Hugging Face-checkpoints en de multi-robot-mesh toe.
Budget en risico worden fasegewijs vrijgegeven, in plaats van op dag één alles — hardware, data, training, uitrol — tegelijk op te pakken.
Waarom dit belangrijk is voor agents
De tools van agents waren tot nu toe vooral digitale: bestanden, browser, databases, API's, terminal, code-interpreter.
Strands Robots duwt de toolgrens door naar de fysieke wereld: robots, camera's, servo's, simulatieomgevingen, actiebeleid, multi-robotcommunicatie.
Dat betekent dat het kunnen van een agent zich begint uit te breiden van 'informatieverwerking' naar 'fysieke uitvoering'.
Natuurlijk vraagt fysieke uitvoering om extra voorzichtigheid. De echte wereld heeft geen undo-knop: een robotarm die tegen de tafel botst, een object dat wordt gekneld, iemand die wordt geraakt — dat los je niet op door het script opnieuw te draaien. Daarom zijn standaard simulatie, expliciete real-modus, E-STOP en goedkeuringsonderbrekingen juist een teken van volwassenheid van dit project.
De relatie met ROS
Sommigen vragen: moet dit ROS vervangen?
Op korte termijn: nee. ROS is het gevestigde fundament voor roboticasysteemtechniek, met een diep ecosysteem van nodes, topics, services, launch-bestanden en drivers. Strands Robots is eerder een agent-orkestratielaag, gericht op 'robotica-taken laten organiseren door grote modellen via een tool-interface'.
Waarschijnlijker toekomstbeeld: onderin blijven ROS, fabrikant-SDK's en controllers het werk doen, terwijl de agentlaag via tools als Strands Robots taakplanning, beleidsaanroepen, databewaring, simulatieverificatie en multi-robotcoördinatie aaneenknoopt.
Het gaat dus niet om het chassis overnemen, maar om de toegang tot de bovenliggende workflow.
Conclusie
De echte betekenis van de robotica-doorverbinding via Strands + LeRobot is niet dat een robotarm met één zin plotseling slim wordt, maar dat de AI-agent nu een standaard tool-interface heeft naar de fysieke wereld.
LeRobot levert de data, modellen en hardware-interfaces voor robotica-onderzoek; MuJoCo levert veilige simulatie; GR00T, ACT, Pi0, SmolVLA, Diffusion en meer leveren het beleid; Zenoh-mesh verzorgt de multi-robotcommunicatie; en Strands Robots verpakt dit alles als AgentTools.
Dat is de waarde: geen revolutie met één klik, maar een hele berg minder lijmcode.
De AI-agent had tot nu toe een brein en een mond; nu begint het armen en benen te krijgen.
Maar voordat het echt de fysieke wereld intrekt, heeft het nog remmen, vangrails, goedkeuringen, simulaties en heel veel engineeringdetails nodig.
Dít is de meest eerlijke stap van embodied AI van de slide naar de werkbank.