AI-agenten får arme og ben: Strands+LeRobot forbinder robotterne – Natural Language styrer rigtig maskiner direkte

Hvad er AI-agentens største problem de seneste to år?

Det er ikke, at den ikke kan snakke eller skrive kode, men at den stadig oftest er fanget bag skærmen. Bed den om at planlægge, søge, skrive scripts eller kalde API'er, og den er stærk; men bed den om fysisk at skubbe en robotarm, optage en robotdemonstration, køre en simulering og derefter deploye en policy på rigtig hardware, så støder den straks på en bunke ingeniørlim.

Nu begynder det brudpunkt at blive lukket.

I AWS-økosystemet er Strands Robots SDK blevet open source, og det pakker Hugging Face LeRobot, MuJoCo-simulering, policy-inferens, Zenoh multi-robot mesh m.m. ind som Strands AgentTools. Den officielle formulering er helt klar: strands-robots gives a Strands Agent hands.

Oversat til almindeligt sprog: AI-agenten er ved at få arme og ben.

Hvad er der egentlig blevet udgivet denne gang

Projektet hedder strands-robots, koden ligger i strands-labs/robots, og PyPI-pakkenavnet er også strands-robots. Kerneevnen er en Robot()-fabrik, der gør simulationsrobotter eller rigtige robotter til værktøjer, som en Strands-agent kan kalde.

Det minimale eksempel er meget talende:

from strands import Agent
from strands_robots import Robot

robot = Robot(“so100”)
agent = Agent(tools=[robot])
agent(“Pick up the red cube”)

Som standard starter Robot(“so100”) MuJoCo-simulering – hverken GPU eller rigtig hardware er nødvendig. Skal den kobles på en fysisk robot, skal man eksplicit tilføje mode=”real”:

robot = Robot(“so100″, mode=”real”, port=”/dev/ttyACM0″)

Dette standardvalg er afgørende: Først simulering, så rigtig maskine. En enkelt instruktion på naturligt sprog skal ikke ved et uheld drive rigtige servomotorer.

Hvad er LeRobot: Robot-verdenens Hugging Face-værktøjskæde

For at forstå Strands Robots må man først forstå LeRobot.

LeRobot er Hugging Faces bibliotek for læring i den virkelige robot-verden, med det mål at samle modeller, datasæt og værktøjer inden for robotik i PyTorch-økosystemet og sænke adgangsbarriererne.

Den officielle positionering er klar:

• Leverer robotmodeller, datasæt og værktøjer fra den virkelige verden
• Gør det muligt for flere at dele robotdatasæt og fortrænede modeller
• Dækker imitation learning, reinforcement learning og VLA-modeller
• Understøtter både rigtig hardware og simuleringsmiljøer

Én af de vigtigste ting i LeRobot er LeRobotDataset-formatet. Det organiserer robotvideo, tilstande og handlingsdata i en standardstruktur, typisk MP4 eller billeder plus Parquet. Derved kan data uploades til Hugging Face Hub og genbruges i trænings-, evaluerings- og deploykæden.

Med andre ord: LeRobot leverer 'data- og modelfundamentet' til robotlæring.

Men fundamentet er ikke en komplet arbejdsgang. I praksis skal man også håndtere simulering, hardwareporte, kameraer, kalibrering, policy-inferens, multi-robot-koordinering og sikker nødstop. Netop det lag udfylder Strands Robots.

Strands Robots erstatter ikke – det pakker ind

Mange, der ser Strands + LeRobot, tænker måske: Er det endnu en ny robotframework?

Nej.

Det er snarere et værktøjslag, der pakker robotkæden ind, så en agent kan kalde den. LeRobot står stadig for en stor del af robotdata, policies og hardwaregrænseflader; MuJoCo står stadig for simulering; GR00T, ACT, Pi0, SmolVLA, Diffusion osv. er stadig policy-kilder; Zenoh står for peer-to-peer-mesh.

Strands Robots' værdi er at presse disse ellers spredte komponenter sammen i én agentarbejdsgang:

• optage demonstrationsdata
• skrive til LeRobotDataset
• uploade eller genbruge data fra Hugging Face Hub
• køre simulering i MuJoCo
• kalde lokale eller fjerne policies
• deploye på rigtige robotter
• lade flere robotter koordinere via mesh
• og ved behov udsende E-STOP-nødstop

Tidligere krævede disse trin en bunke glue-kode. Nu kan de blive til AgentTools, som samme Strands-agent kan orkestrere.

Kæden i én sætning: Fra naturligt sprog til mekanisk bevægelse

Den officielle pipeline er meget intuitiv:

naturligt sprog → Strands-agent → Robot-værktøj → Policy Provider → Action Chunk → MuJoCo-simulering eller rigtig hardware → observation tilbage

Nøglen i denne kæde er, at agenten ikke styrer motorerne direkte, men genererer action chunks via en policy provider, som så udføres af simulering eller hardware.

Understøttede policy-kilder omfatter:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffusion Policy
• klassiske motion planners
• MPC
• scripted controllers
• mock policies

Det betyder, at Strands Robots ikke satser på én enkelt model, men placerer forskellige policies bag samme abstrakte grænseflade. I dag kan du verificere flowet med en mock policy, i morgen skifte til en lokal LeRobot-model, i overmorgen tilkoble en GR00T-inferenstjeneste.

50+ robotter, 8 kategorier

Strands Robots lister officielt 50+ robotter fordelt på 8 kategorier:

• Robotarme: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 m.fl.
• Humanoide robotter: Unitree G1, Unitree H1, Reachy2, Talos, Cassie m.fl.
• Mobile robotter: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover m.fl.
• Dexterøse hænder: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85 m.fl.
• Tove armsystemer: ALOHA, bi_openarm, Trossen WXAI
• Flyvende enheder: Crazyflie, Skydio X2
• Udtryks-/interaktionsrobotter: Reachy Mini
• Mobile manipulatorer: Google Robot

En del af robotterne kan drives på rigtig hardware via LeRobot, f.eks. SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi_openarm, Reachy2, Unitree G1, LeKiwi og EarthRover.

Endnu vigtigere: Alle robotter kan simuleres. For udviklere betyder det, at man først kan få flowet til at køre i billig simulering og derefter beslutte, om hardwaren skal købes.

Mesh multi-robot-koordinering + nødstop

Multi-robot og sikkerhedsstyring er uundværlige spørgsmål, når en agent kobles på den fysiske verden.

Strands Robots har et indbygget Zenoh-mesh-netværk. Hver robot bliver automatisk en peer; man kan interagere med en anden robot via tell(), udsende kommandoer via broadcast() og udløse E-STOP-nødstop.

Mesh kan brokobles til AWS IoT Core, og via device-connect-plugin kan man bygge mere avancerede device-aware netværk.

Sikkerhedsdesignet er også klart:

• simulering er standard; skift kræver eksplicit mode=”real”
• tre adskilte værktøjshandlinger: status, udførelse, stop
• E-STOP er uafhængigt af det normale kontrolflow
• menneskelig godkendelsespause før rigtige handlinger

I industriel sammenhæng er det ikke valgfrie indstillinger. Mangler bare ét punkt, kan der ske uheld.

Terminologisk afklaring: Hvem står bag

Integrationsløsningen er open sourced af AWS (Apache 2.0) og præsenteret på hugggingface.co's blog. Strands selv er AWS' open source-agent-SDK (Apache 2.0) med understøttelse af Python og TypeScript og en komplet agentframework. LeRobot er et Hugging Face-projekt. Skæringspunktet mellem de to er strands-robots.

Sådan kommer du i gang

Skal du bare prøve simulering, anbefales MuJoCo-extra:

uv pip install “strands-robots[sim-mujoco]”

Skal der tilkobles rigtig hardware og lokale LeRobot-policies:

uv pip install “strands-robots[sim-mujoco,lerobot]”

Skal alt installeres:

uv pip install “strands-robots[all]”

Basisinstallationen er let og indeholder kun numpy, opencv-headless, Pillow m.m. De forskellige evner installeres separat via extras: sim-mujoco til simulering, lerobot til rigtig hardware og lokale policies, groot-service til NVIDIA GR00T-inferens, mesh til Zenoh multi-robot-netværk og mesh-iot til AWS IoT Core-fleet-scenarier.

Denne opdeling er ret pragmatisk – man får ikke propfulde afhængigheder fra start.

Misforstå det ikke: Dette er ikke 'one-click embodied AI'

Her må vi lige dæmpe forventningerne.

Strands Robots er fedt, men det gør ikke AI til robotekspert med ét klik.

Rigtig hardware står stadig over for:

• portgenkendelse
• servokommunikation
• kameraopsætning
• kalibrering af robotarm
• afstemning af data-schema
• checkpoint-tilgængelighed
• GPU / Docker / inferenstjenester
• sim2real-kløften fra simulering til virkelighed
• multi-robot sikkerhedsgrænser

GR00T-lokal inferens kræver f.eks. NVIDIA GPU, Docker, checkpoints og korrekt datakonfiguration. Og en fysisk SO-101 grabber ikke automatisk den røde terning bare fordi man skriver mode=”real” – der skal stadig kamera, kalibrering, policy og et sikkert miljø til.

Den ægte værdi: Mindre glue-kode

Det mest bemærkelsesværdige denne gang er ikke, at modeleevnerne pludselig eksploderede, men at ingeniørkæden er blevet forbundet.

Det smertefulde i robotudvikling er ofte ikke algoritme-artiklerne, men at systemerne ikke taler sammen:

• ét datasætformat
• ét sæt simulationsscripts
• ét sæt kontrol til rigtig hardware
• ét sæt policy-inferens
• ét sæt multi-robot-kommunikation
• og endnu et sæt til sikker stop

Strands Robots samler dem som AgentTools.

Det er meget konkret for både forsknings- og startup-hold. Du kan køre SO100-simulering på din bærbare, uden at købe hardware, uden GPU og uden Hub-rettigheder; når flowet er bekræftet, introduceres gradvist rigtig SO101, GR00T, Hugging Face-checkpoints og multi-robot-mesh.

Budget og risiko kan frigives i etaper, i stedet for at presse hardware, data, træning og deploy hele vejen op fra dag ét.

Hvorfor det betyder noget for agenter

Tidligere var agentens værktøjer for det meste digitale: filer, browsere, databaser, API'er, terminaler, kodefortolkere.

Strands Robots skubber værktøjsgrænsen ud i den fysiske verden: robotter, kameraer, servoer, simuleringsmiljøer, handlingspolicies, multi-robot-kommunikation.

Det betyder, at agentens rækkevidde begynder at brede sig fra 'informationsbehandling' til 'fysisk udførelse'.

Selvfølgelig kræver fysisk udførelse større forsigtighed. Den virkelige verden har ingen fortryd-knap: Når en robotarm rammer bordet, klemmer et objekt i stykker eller rammer en person, hjælper det ikke at køre scriptet igen. Derfor er sikkerhedsdesign som simulering som standard, eksplicit rigtig-maskine-tilstand, E-STOP og godkendelsespause faktisk et tegn på projektets modenhed.

Forholdet til ROS

Nogle vil spørge: Er dette en ROS-erstatning?

På kort sigt: nej. ROS er robotteknikkens gamle fundament med et dybt økosystem af noder, topics, services, launch-filer og drivere. Strands Robots er snarere et agent-orkestreringslag, rettet mod 'at lade store modeller organisere robotopgaver via værktøjsgrænseflader'.

Fremtiden vil snarere se sådan ud: Bundlaget af hardware og komplekse robotsystemer styres stadig af ROS/leverandør-SDK'er/styringer, mens agentlaget via værktøjer som Strands Robots forbinder opgaveplanlægning, policy-kald, dataoptagelse, simuleringsvalidering og multi-robot-koordinering.

Med andre ord: Det stjæler ikke chassiet, men indgangen til den øvre arbejdsgang.

Konklusion

Den egentlige betydning af, at Strands + LeRobot nu forbinder robotkæden, er ikke, at en robotarm bliver klog med én sætning, men at AI-agenter nu får en standardiseret værktøjsgrænseflade ind i den fysiske verden.

LeRobot leverer robotlæringens data, modeller og hardwaregrænseflader; MuJoCo leverer sikker simulering; GR00T, ACT, Pi0, SmolVLA, Diffusion m.fl. leverer policies; Zenoh-mesh leverer multi-robot-kommunikation; og Strands Robots pakker det hele ind som AgentTools.

Det er dets værdi: Ikke en revolution med ét klik, men en hel bunke glue-kode mindre.

AI-agenten havde tidligere hjerne og mund – nu begynder den at få arme og ben.

Men før den virkelig træder ind i den fysiske verden, mangler den stadig bremser, gelændere, godkendelser, simulering og en masse ingeniørdetaljer.

Det er det mest virkelige skridt hidtil, som embodied AI har taget fra PowerPoint til laboratoriebordet.