AI Agent vokste: Strands+ LeRobot gjennom robotikk, naturlig språk direkte driver

Hva er det største problemet i de to årene?

Det er ikke at det ikke snakker, det skriver ikke koder, det er at det er fast på skjermen det meste av tiden. Du lar det planlegge, søke, skrive skript, justere API, det er sterkt; men du lar det virkelig presse en mekanisk arm, registrere en robotisk demonstrasjon, kjøre en simulering, deretter distribuere strategien til fysisk maskinvare, og det krasjer i en haug av ingeniør lim.

Nå fylles dette ut.

Den åpne kilden til Strands Roboter SDK i AWS Økologi innkapsler Hugging Face LeRobot, Mujoco Simulering, strategisk logikk, Zenoh Multi-Mesh, etc. som Strands AgeTools. Den offisielle setningen er veldig direkte: standroboter gir en merkevare Argentina hender.

Oversettelsen er: AI Agent begynner å vokse.

Hva publiserte du denne gangen?

Prosjektet kalles Strands-robots, kodet i Strands-labs/robots, og PyPI-pakken er også Strands-robots. Dens kjerneevne er å forvandle en simuleringsrobot eller en ekte robot til et verktøy som Strands Agent kan bruke.

Det minste eksemplet er svært representativt:

Unnskyld.
Unnskyld.

Robot = Robot («so100»)
Agent = Agent
"Pick opp den røde kuben"

Som standard startet Robot (”so100”) MujoCo simulering uten GPU og uten ekte maskinvare. Hvis du vil bytte til en fysisk robot, må du legge til synlig modus = " reell":

Robot = Robot.

Dette standarddesignet er avgjørende: simulering, så ekte. En naturlig språkinstruksjon kjører ikke feilaktig et ekte hjul.

Hva er LeRobot: Hugging Face Tool Chain of Robotic World?

For å forstå Strands Robots, må du forstå LeRobot.

LeRobot, et virkelig verden robotlæring bibliotek lansert av Hugging Face, har som mål å integrere robotmodeller, datasett og verktøy i PyTorch økologi og senke terskelen for robot læring.

Den offisielle plasseringen er klar:

• Gi ekte robotmodeller, datasett og verktøy i verden
• Dele robotdatasett og pre-trening modeller med flere mennesker
• Overskriv imitasjon læring, forbedret læring, VLA modeller
• Støtte ekte maskinvare- og simuleringsmiljøer

En av de viktigste tingene i LeRobot er LeRobotDataset-formatet. Den organiserer robotisk visuell video, tilstand, handlingsdata i standardstrukturer, vanligvis MP4 eller bilder pluss Parquet. Som et resultat kan dataene lastes opp til Hugging Face Hub og kan også brukes til opplæring, vurdering og gjenbruk av distribusjonskjeden.

Med andre ord, LeRobot gir robotisk læring a - data og modellbase -

Men nederste sete er ikke en komplett strøm av arbeid. Når du faktisk lander, håndterer du også simuleringer, maskinvareporter, kameraer, kalibreringer, strategisk resonnement, multi-roboter, sikkerhetsforstyrrelser. Strands Robots er på dette gulvet.

Strand Robots erstatter ikke, men segl.

Mange mennesker så Strands + LeRobot, og den første reaksjonen kan være: Finnes det en ny robotramme?

Nei.

Det er mer som å forsegle en robotforbindelse til et verktøylag som Agent kan ringe. LeRobot er fortsatt ansvarlig for en stor del av robotdata, strategi, maskinvaregrensesnitt; Mujoco er fortsatt ansvarlig for simuleringer; GR00T, ACT, Pi0, SmolVLA, Diffusion osv. er fortsatt en strategisk kilde; og Zenoh er ansvarlig for Peer-to-peer mesh.

Verdien av Strands Robots er at disse tidligere spredte komponentene er plassert i en Agent arbeidsflyt:

• Record modelldata
• Skrive LeRobotDataset
• Laster opp eller gjenbruker Hughes Face Hub-data
• Kjør simuleringer i MujoCo
• Ring lokal eller fjernpolitikk
• Å bli utplassert til ekte roboter.
• La flere roboter koordinere gjennom mesh
• Broadcast E-STOP etter behov

Disse trinnene pleide å være en rekke limkoder. Nå kan de bli AgentTools, og flyttes av den samme StrandsAgent.

En setning lenke: naturlig språk til mekanisk handling

Den offisielle linken er intuitiv:

Naturlig Language Command → Strands Alder →Robot Verktøy →Politisk produksjon → Handling Chunk → MuJoco → Simulering eller ekte maskinvare → Observasjon Return

Nøkkelen til denne lenken er at Agent ikke kontrollerer kraften direkte, men genererer actionbit gjennom policyprogrammet, og deretter gir det til simulering eller maskinvareutførelse.

De strategiske kildene til støtte inkluderer:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffusionspolicy
• Klassisk bevegelsesplanlegger
• MPC
• Scripted controller
• spottepolitikk

Dette betyr at Strands Robots ikke spiller på en enkelt modell, men legger forskjellige strategier bak det samme abstrakte grensesnittet. Du kan bruke spottepolitikken til å verifisere prosessen i dag, bytte kostnadene til LeRobot modellen i morgen, plukke opp GR00T resonnement service dagen etter i morgen.

50+ roboter, 8 store kategorier

Strands Robots offisielt lister 50+ roboter som dekker åtte kategorier:

• Mekanisk arm: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 etc.
• Menneskelige roboter: Unitree G1, Unitree H1, Reachy2, Talos, Cassie, etc.
• Mobile roboter: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover, etc.
• Smarte hender: Skyggehånd, Allegro Hånd, Leap Hand, Robotiq 2F85, etc.
• ALOHA, bi openarm, Trossen WXAI
• Fly: Crazyflie, Skydio X2
• Emotikere/interaktive roboter: Reachy Mini
• Mobil robot: Google Robot

Noen av disse robotene kan kjøre ekte maskinvare gjennom LeRobot, som SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi openarm, Reachy2, Unitree G1, LeKiwi, EarthRover.

Viktigere er at alle roboter kan simuleres. For utviklere betyr dette at en billig simulering av kjøreprosesser kan brukes før du bestemmer deg for om du skal kjøpe maskinvare.

Mesh Multi-Bob Koordinasjon + nødstopp

Flere roboter og sikkerhetskontroller er problemet med å få agent til den fysiske verden.

Strands Robots har et Zenoh nett. Hver robot blir automatisk en peer og kan samhandle med en annen robot ved hjelp av en tell() for å sende kommandoer med kringkasting() og nødstopp med E-STOP.

Mesh kan få tilgang til AWS Iot Core og lage et mer sofistikert enhet sensorisk nettverk ved hjelp av data-tilkobling plugin.

Sikkerhetsdesignet er klart:

• Standard simulering, modusbryter må være synlig
• Status, utføring, stopp tre verktøyhandlingspunkter Åpne
• E-STOP Uavhengige kontrollprosesser
• Det har vært avbrudd i menneskelig godkjenning før den virkelige handlingen.

I den industrielle scenen er det ikke valgfrie konfigurasjoner. En mindre kan være en ulykke.

Terminologi avklaring: Hvem gjorde dette?

Integrasjonsprogrammet er publisert i Huggingface.co-bloggen av AWS Open Source (Apache 2.0). Strands er en AWS-open source, Agent SDK (Apache 2.0), støtter Python og TypeScript, med en komplett Agent-ramme. LeRobot er et stort ansiktsprosjekt. Krysset mellom de to er trands-robotene.

Hvordan?

Hvis det bare er en simulering, starter anbefalingen med MujoCo ekstra:

uv pip installer "strands-robots [sim-mujoco]"

Hvis du vil ha ekte maskinvare og lokal LeRobot policy:

uv pip installer "strands-robots [sim-mujoco, lerobot]"

Hvis du vil ha alt:

uv pip installer "strands-roboter [alle]"

Den grunnleggende installasjonen er lett og består kun av Numpy, opencv-headless, Pillow, etc. Ulike evner er installert separat gjennom ekstra: sim-mujoco for simulering, lerobot for ekte maskinvare og lokal strategi, rot-service for NVIDIA GR00T resonnement, mesh for Zenoh multi-robots nettverk, mesh-iot for AWS IoT Core gulv scene.

Splittingen er pragmatisk og fyller ikke alle avhengighetene.

Ikke les feil: det er ikke - en nøkkel smart -

Det må være en skål kaldt vann.

Strands Robots er kult, men det er ikke en nøkkel som gjør AI til en robotekspert.

Ekte maskinvare fortsatt ansikter:

• Portgjenkjenning
• Ror kommunikasjon
• Kamerakonfigurasjon
• Mekanisk arm kalibrering
• Dataskjemajustering
• Sjekkpunkt Tilgjengelighet
• GPU / Docker / begrunnede tjenester
• Simulator av Sim2real gap
• En multirobot sikker grense.

For eksempel kan lokale GR00T resonnement kreve NVIDIA GPU, Docker, kontrollpunkt og riktig datakonfigurasjon. Enheten SO-101 er ikke en modus = "real" som automatisk griper inn røde ruter. Du trenger fortsatt kameraer, kalibrering, strategi og sikkerhet.

Virkelig verdi: mindre limkode

Det var ikke den plutselige stigningen i modelleringskapasiteten som var av største bekymring denne gangen, men de byggekoblingene som ble gjort tilgjengelig.

Den mest smertefulle delen av robotutviklingen er ofte ikke algoritmiske papirer, men systemer som ikke snakker med hverandre:

• Datasettformat
• Simulere skript.
• Ekte maskinvarekontrollsett
• Taktisk resonnement.
• Det er et multicyborg kommunikasjonssett.
• Det er et annet oppsett å stoppe.

Strands Robots kondenserte dem til AgentTools.

Dette er praktisk for både forsknings- og forretningsteam. Du kan kjøre SO100-simuleringer på lokale notatblokker uten å kjøpe maskinvare, uten GPU, uten å søke om Hub-privilegier; prosessbekreftelse før du introduserer ekte SO101, GR00T, Hugging Face checkpoint, multi-mesh.

Budget og risiko kan frigjøres i trinn, i stedet for å sette maskinvare, data, trening og distribusjon ved fullt trykk på den første dagen.

Hvorfor spiller det rolle for agenten?

De fleste av de tidligere Agent-verktøyene var digitale verdensverktøy: filer, nettlesere, databaser, API, terminaler, kodetolkere.

Strands Robots presset verktøygrensen til den fysiske verden: roboter, kameraer, ror, simuleringer, actionstrategier, multi-maskin kommunikasjon.

Dette betyr at spekteret av agentens evner begynner å strekke seg fra \"informasjonsprosessering\" til \"fysisk gjennomføring\".

Fysisk håndhevelse må selvfølgelig være mer forsiktig. Den virkelige verden tok ikke av nøkler, og den mekaniske armen slo bordet, slo objektet, slo personen, det løste det ikke igjen. Så standardsimuleringen, den synlige virkelighetsmaskinen, E-STOP og godkjenningen ble avbrutt, og sikkerhetsdesignene var i stedet et tegn på prosjektmodenhet.

Forholdet til ROS

Noen spør, er dette en erstatning for ROS-

Kortsiktig, nei. ROS er den gamle basen for robotsystemteknikk, og det er veldig dypt i noder, emner, tjeneste, lansering, driverøkologi. Strands Robots, mer som Agent-laget, er rettet mot " La Big Model organisere robotiske oppdrag gjennom verktøygrensesnitt."

Det mer sannsynlige mønsteret i fremtiden er at bunnen maskinvare og komplekse robotsystemer fortsatt har ROS/Producer SDK/controllers, og Agent lag koblinger oppdragsplanlegging, taktiske samtaler, dataopptak, simulering, multi-maskin koordinering gjennom verktøy som Strands Robots.

Med andre ord, det røver ikke chassis, men snarere de øvre nivåene av arbeid.

Sammendrag

Strands + LeRobot denne gangen, det virkelige punktet er ikke å si at robotarmen er smart med en gang, men at AI Agent begynte å ha et standard verktøy grensesnitt til den fysiske verden.

LeRobot tilbyr data, modeller og maskinvaregrensesnitt for robotisk læring; MujoCo gir sikkerhetssimuleringer; GR00T, ACT, Pi0, SmolVLA, Diffusion etc. gir strategi; Zenoh mesh gir multi-robots kommunikasjon; Strands Robots innkapsler disse til AgentTools.

Det er det som er verdt: ikke en one-key revolusjon, men mye limkode.

AI Agent pleide å ha hjerner og munner, og nå har han hender og ben.

Men før det virkelig kommer inn i den virkelige verden, trenger det bremser, gjerder, godkjenninger, simuleringer og mange detaljer.

Det er det mest reelle steget fra PPT til laboratoriet.