Tekoälyn tekijä kasvoi: Strands+ LeRobot kautta robotiikka, Natural Language suora kuljettaja

Mikä on suurin ongelma näihin kahteen vuoteen?

Ei sillä, etteikö se puhuisi tai kirjoittaisi koodeja. Se on jumissa ruudulla suurimman osan ajasta. Annoit sen suunnitella, etsiä, kirjoittaa skriptejä, säätää API, se on vahva, mutta todella annat sen työntää mekaanista kättä, tallentaa robotti demonstraation, suorittaa simulaation, sitten käyttää strategiaa fyysisiin laitteistoihin, ja se kaatuu kasaan teknistä liimaa.

Nyt tämä keskeytyspiste on täytetty.

The Open Source of Strands Robots SDK in the AWS Ecology containers Haling Face LeRobot, Mujoco Simulation, Strategic Logic, Zenoh Multi-Mesh, jne. kuten Strands AgeTools. Virallinen lause on hyvin suora: stand-robotit antaa Brands Argentiina kädet.

Käännös on: Al-agentti alkaa kasvaa.

Mitä julkaisit tällä kertaa?

Hanke on nimeltään Strands-robotit, koodattu Strands-labs/robotit, ja PyPI-paketti on myös Strands-robotit. Sen ydinkyky on muuttaa simulaatiorobotti tai todellinen robotti työkaluksi, jota Strands Agent voi käyttää.

Pienin esimerkki on hyvin edustava:

Olen pahoillani.
Olen pahoillani.

Robotti = robotti (
Agentti = Agentti
Hae punainen kuutio

Oletuksena Robotti (...100..) aloitti MujoCo-simulaation ilman GPU:ta ja ilman aitoa laitteistoa. Vaihda fyysiseen robottiin lisäämällä näkyvä tila = "todellinen":

Robotti = robotti.

Tämä oletusmuoto on ratkaiseva: simulointi, sitten todellinen. Luonnollinen kielen opetus ei väärin ajaa oikeaa pyörää.

Mikä on LeRobot: Halailu Face Tool Chain of Robotic World?

Ymmärtääkseen Strands Robotteja, sinun täytyy ymmärtää LeRobotia.

Hugging Facen käynnistämän todellisen maailman robottikirjaston LeRobot pyrkii integroimaan robottimallit, dataaineistot ja työkalut PyTorchin ekologiaan ja laskemaan robottioppimisen kynnystä.

Virallinen sijainti on selvä:

• Tarjoaa reaalimaailman robottimalleja, tietoaineistoja ja työkaluja
• Robottitietoaineistojen ja esikoulutusmallien jakaminen useamman ihmisen kanssa
• Ylikirjoita jäljitelmäoppiminen, tehostettu oppiminen, VLA-mallit
• Tuki todellisia laitteisto- ja simulointiympäristöjä

Yksi LeRobotin tärkeimmistä asioista on LeRobotDataset-formaatti. Se järjestää robotti visuaalisen videon, tila, toimintatiedot vakiorakenteissa, yleensä MP4 tai kuvia plus Parquet. Tämän seurauksena tiedot voidaan ladata Hugging Face Hubiin ja niitä voidaan käyttää myös käyttöönottoketjun koulutukseen, arviointiin ja uudelleenkäyttöön.

Toisin sanoen LeRobot antaa robottioppimiselle "datan ja mallin perustan."

Mutta alaistuin ei ole täydellinen työvirta. Kun laskeudut, käsittelet myös simulaatioita, laitteistoportteja, kameroita, kalibrointia, strategisia päättelyjä, monirobotteja, tietoturvahäiriöitä. Strands Robots on tässä kerroksessa.

Strands Robotit eivät korvaa, vaan sinetöivät.

Monet näkivät Strands + LeRobot, ja ensimmäinen reaktio voisi olla: onko olemassa uusi robottikehys?

Ei.

Se on enemmänkin kuin robottilinkin sulkeminen työkalukerrokseen, jota agentti voi kutsua. LeRobot on edelleen vastuussa suuresta osasta robottidataa, strategiaa ja laitteistoliittymiä. Mujoco vastaa edelleen simulaatioista; GR00T, ACT, Pi0, SmolVLA, Diffuusio jne. on edelleen strateginen lähde; ja Zenoh vastaa vertaisverkosta.

Strands-robottien arvo on se, että nämä aiemmin hajanaiset komponentit on sijoitettu Agentin työnkulkuun:

• Tallennusmallin tiedot
• Kirjoitetaan LeRobotDatasetia
• Hughes Face Hub -tietojen lataaminen tai uudelleenkäyttö
• Suorita simulaatioita MujoCossa
• Soita paikalliseen tai etäkäytäntöön
• Lähetetään oikeille roboteille.
• Anna useiden robottien koordinoida verkon kautta
• Lähetys E-STOP tarvittaessa

Nämä portaat olivat ennen liimakoodeja. Nyt heistä voi tulla agenttityökaluja, ja sama StrandsAgent liikuttaa heitä.

Yksi virke linkki: luonnollinen kieli mekaaninen toiminta

Virallinen linkki on intuitiivinen:

Natural Language Command →Stands Ikä →Robot Tool →Politiikan tuotanto →Action Chunk → MuJoco → Simulointi tai Real Hardware →Observation Return

Tämän linkin avain on se, että Agentti ei suoraan hallitse tehoa, vaan luo toimintaohjelman kautta toiminnan palan, antaa sen simulaatioon tai laitteiston suorittamiseen.

Strategisia tukilähteitä ovat seuraavat:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffuusiopolitiikka
• Klassinen liikesuunnittelija
• MPC
• Käsikirjoitettu ohjain
• pilkkaa

Tämä tarkoittaa sitä, että Strands Robots ei vedonlyönti yhden mallin, vaan asettaa eri strategioita saman abstraktin käyttöliittymän taakse. Voit käyttää pilkkakäytäntöä tarkistaaksesi prosessin tänään, vaihtaaksesi kustannukset LeRobot-malliin huomenna, noutaaksesi GR00T:n päättelypalvelun ylihuomenna.

Yli 50 robottia, 8 pääryhmää

Strands Robotit listaavat virallisesti yli 50 robottia, jotka kattavat kahdeksan luokkaa:

• Mekaaninen käsivarsi: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 jne.
• Ihmisrobotit: Unitree G1, Unitree H1, Reachy2, Talos, Cassie jne.
• Mobiilirobotit: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover jne.
• Älykkäät kädet: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85 jne.
• ALOHA, bi openarm, Trossen WXAI
• Lentokone: Crazyflie, Skydio X2
• Hymiöt / interaktiiviset robotit: Reachy Mini
• Mobiilirobotti: Google Robot

Jotkut näistä roboteista voivat ajaa oikeita laitteita läpi LeRobot, kuten SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi openarm, Reachy2, Unitree G1, LeKiwi, EarthRover.

Mikä tärkeintä, kaikki robotit voidaan simuloida. Kehittäjien kannalta tämä tarkoittaa sitä, että prosessien kustannuksiltaan edullista simulointia voidaan käyttää ennen kuin päätetään laitteiston ostamisesta.

Mesh Multi-Bobin koordinointi + hätäpysäytys

Useita robotiikkaa ja turvavalvonta ovat ongelma saada Agentti fyysiseen maailmaan.

Strands Roboteilla on Zenohin verkko. Jokaisesta robotista tulee automaattisesti Peer ja se voi olla vuorovaikutuksessa toisen robotin kanssa käyttäen tender() lähettää komentoja broadcasting [] ja hätäpysäkki E-STOP.

Mesh voi käyttää AWS Iot Core ja tehdä kehittyneempi laitteen aistinvarainen verkko avulla data-yhteys plugin.

Turvasuunnitelma on selkeä:

• Oletussimulaatio, moodikytkimen on oltava näkyvissä
• Tila, suoritus, pysäytä kolme työkalun toimintapistettä Avaa
• E-STOP-riippumattomat valvontaprosessit
• Ihmisen hyväksyntä on keskeytynyt ennen todellista toimintaa.

Teollisuudessa nämä eivät ole valinnaisia konfiguraatioita. Yksi vähemmän voi olla onnettomuus.

Terminologian selventäminen: kuka tämän teki?

Integraatio-ohjelma julkaistaan Huggingface.co blogissa AWS Open Source (Apache 2.0). Strands on AWS avoin lähdekoodi, Agentti SDK (Apache 2.0), tukee Python ja TypeScript, täydellinen Agent framework. LeRobot on Hugging Face -projekti. Näiden kahden risteys on trands-robotit.

Miten?

Jos se on vain simulaatio, suositus alkaa MujoCo extra:

uv pip asentaa "strands-robots [sim-mujoco]"

Jos haluat oikean laitteiston ja paikallisen LeRobot politiikka:

uv pip asentaa "strands-robots [sim-mujoco, lerobot]"

Jos haluat kaiken:

uv pip asentaa "strands-robotit [kaikki]"

Perusasennus on kevyt ja koostuu vain Numpy, opencv-päätön, Tyyny, jne. Erilaiset ominaisuudet asennetaan erikseen extran kautta: sim-mujoco simulointiin, lerobotti todelliseen laitteistoon ja paikalliseen strategiaan, juuripalvelu NVIDIA GR00T-päättelyyn, verkko Zenoh multi-robotit verkkoon, verkkokuva AWS IoT Core -lattialle.

Jakautunut lähestymistapa on käytännöllinen eikä täytä kaikkia riippuvuuksia.

Älä lue sitä väärin: se ei ole yksi avain fiksu.

Siellä täytyy olla kulhollinen kylmää vettä.

Strands Robotit ovat siistejä, mutta se ei tee tekoälystä asiantuntijaa.

Todellinen laitteisto on edelleen edessä:

• Sataman tunnustaminen
• peräsinliikenne
• Kameran asetukset
• Mekaaninen käsivarren kalibrointi
• Data Schema Tasaus
• Tarkastuspisteen saatavuus
• GPU / Docker / perustellut palvelut
• Sim2real-välin simulointi
• Monirobottien turvallinen raja.

Esimerkiksi paikallinen GR00T päättely voi vaatia NVIDIA GPU, Docker, tarkistuspiste ja oikea datan kokoonpano. Yhteisö SO-101 ei ole tila = "todellinen," joka nappaa automaattisesti punaiset neliöt. Tarvitset yhä kameroita, kalibrointia, strategiaa ja turvallisuutta.

Todellinen arvo: vähemmän liimakoodia

Tällä kertaa suurin huolenaihe ei ollut mallinnuskapasiteetin äkillinen kasvu, vaan rakennusyhteydet, jotka olivat saatavilla.

Kipullisin osa robotiikan kehitystä ei usein ole algoritmisia papereita, mutta järjestelmiä, jotka eivät puhu toisilleen:

• Tiedoston muoto
• Simuloi käsikirjoituksia.
• Reaalilaitteiston ohjaussarja
• Taktinen päättely.
• Se on monikyborgien kommunikaatiosarja.
• Se on toinen ansa.

Strands Robotit tiivistävät ne agenttityökaluiksi.

Tämä on käytännöllistä sekä tutkimus- että yritysryhmille. Voit suorittaa SO100-simulaatioita paikallisissa muistikirjoissa ostamatta laitteistoa, ilman GPU:ta, hakematta Hub-oikeuksia; prosessivahvistus ennen todellisen SO101, GR00T, Hugging Face -tarkastuspisteen käyttöönottoa.

Talousarviot ja riskit voitaisiin vapauttaa vaiheittain sen sijaan, että laite, tieto, koulutus ja käyttöönotto joutuisivat täyteen paineeseen ensimmäisenä päivänä.

Mitä väliä sillä on agentille?

Useimmat entiset Agent työkalut olivat digitaalisen maailman työkaluja: tiedostot, selaimet, tietokannat, API, päätteet, kooditulkit.

Strands Robotit työnsivät työkalun rajan fyysiseen maailmaan: robotit, kamerat, peräsimet, simulaatiot, toimintastrategiat, monikäyttöinen viestintä.

Tämä tarkoittaa sitä, että agentin kykyjen valikoima alkaa ulottua tiedonkäsittelystä fyysiseen toteuttamiseen.

Fyysisen täytäntöönpanon on tietenkin oltava varovaisempaa. Oikea maailma ei riisunut avaimia, ja mekaaninen käsi osui pöytään, - sytytti esineen, löi ihmistä, se ei ratkaissut sitä enää. Joten oletussimulaatio, näkyvä todellisuuskone, E-STOP ja hyväksyntä keskeytettiin, ja turvasuunnitelmat olivat sen sijaan merkki projektin kypsyydestä.

Suhde ROS:ään

Jotkut kysyvät: "Onko tämä ROS:n korvike?"

- Lyhyt aikaväli, ei. ROS on vanha robottijärjestelmätekniikan perusta, ja se on hyvin syvällä solmuissa, aiheissa, palvelussa, lanseerauksessa, kuljettajaekologiassa. Strands Robotit, kuten Agentti kerros, on suunnattu "Let Big Model järjestää robottitehtäviä kautta työkalujen rajapintoja."

Todennäköisempi malli tulevaisuudessa on, että pohjalaitteistossa ja monimutkaisissa robottijärjestelmissä on edelleen ROS/Producer SDK/controllers, ja Agent-kerros yhdistää missiosuunnittelun, taktiset puhelut, tietojen tallennuksen, simulaation, monikoneen koordinoinnin esimerkiksi Strands-robottien avulla.

Toisin sanoen se ei ryöstä alustaa vaan työn ylätasoa.

Yhteenveto

Strands + LeRobot tällä kertaa, todellinen pointti ei ole sanoa, että robotti käsi on fiksu heti, mutta että tekoäly Agent alkoi olla standardin työkalun käyttöliittymä fyysiseen maailmaan.

LeRobot tarjoaa dataa, malleja ja laitteistorajapintoja robottioppimiseen; MujoCo tarjoaa tietoturvasimulaatioita; GR00T, ACT, Pi0, SmolVLA, Diffuusio jne. tarjoaa strategian; Zenoh mesh tarjoaa monirobottiviestintää; Strands Robots tiivistää nämä agenttityökaluiksi.

Ei yhden avaimen vallankumous, vaan paljon liimakoodia.

Al-agentilla oli aivot ja suut, ja nyt hänellä on kädet ja jalat.

Mutta ennen kuin se todella astuu todelliseen maailmaan, se tarvitsee jarruja, aitoja, hyväksyntöjä, simulaatioita ja paljon yksityiskohtia.

Se on todellinen askel PPT:stä laboratorioon.