Ang AI Agent ay lumago: Strands+ LeRobot sa pamamagitan ng robotics, tuwirang tsuper ng Natural Language

AI Agent, ano ang pinakamalaking problema sa dalawang taóng ito?

Hindi naman sa hindi ito nagsasalita, hindi ito sumusulat ng mga kodigo, ito'y dahil sa madalas itong nasa iskrin. Hinahayaan mo itong magplano, maghanap, sumulat ng mga iskrip, baguhin ang API, malakas ito; subalit talagang hinahayaan mong itulak nito ang isang mekanikal na braso, magrekord ng robotikong demonstrasyon, magpatakbo ng isang rekombinasyon, pagkatapos ay gamitin ang estratehiya sa pisikal na hardware, at ito'y bumangga sa isang bunton ng kagamitan sa inhinyeriya.

Ngayon ang breakpoint na ito ay punô na.

The Open Source of Strands Robots SDK sa AWS Ecology encapsulates Haging Face LeRobot, Mujoco Simoulation, Strategic Logic, Zenoh Multi-Mesh, atbp. bilang Strands AgeTolls. Naka-redirect ang opisyal na pangungusap: nagbibigay ng mga kamay na Brands Argentina ang mga stand-robot.

Ang salin ay: Nagsisimulang lumago ang AI Agent.

Ano ang inilathala mo sa pagkakataong ito?

Ang proyekto ay tinatawag na Strands-robots, coded sa Strands-labs/robots, at ang PyPI pakete ay Strands-robots din. Ang pangunahing kakayahan nito ay gawing kasangkapan ang isang robot o isang tunay na robot na ginagamit ng Strands Agent.

Ang pinakamaliit na halimbawa ay totoong kumakatawan:

Ikinalulungkot ko.
Ikinalulungkot ko.

Robot = Robot (“so100”)
Ahente = Ahente
"Tatakin ang pulang cube"

Sa pamamagitan ng default, ang Robot (“so100”) ay nagsimula ng MujoCo Community nang walang GPU at walang tunay na hardware. Upang makabaling sa isang pisikal na robot, kailangan mong magdagdag ng nakikitang mode = "tunay":

Robot = Robot.

Mahalaga ang di - kumpletong disenyong ito: Kung gayon, totoo ang reaksyon. Ang isang likas na instruksiyon sa wika ay hindi maling nagpapatakbo ng isang tunay na gulong.

Ano ang LeRobot: Pagsugpo sa mga Kasangkapan sa Daigdig ng Robot?

Upang maunawaan ang Strands Robots, kailangan mong maunawaan ang LeRobot.

Ang LeRobot, isang tunay na pandaigdig na aklatan para sa pag - aaral ng robot na inilunsad ng Hungging Face, ay naglalayon na pagsamahin ang robotikong mga modelo, data set at mga kasangkapan sa ekolohiya ng PyTorch at ibaba ang pasukan ng robotikong pagkatuto.

Malinaw ang opisyal na lokasyon:

• Maglaan ng tunay na mga modelong robot, data set at mga kasangkapan sa daigdig
• Pagbabahagi ng robotic data sets at pre-training models sa mas maraming tao
• Labis na pagsulat ng imitasyong pag - aaral, pagpapabuti sa pagkatuto, mga modelo ng VLA
• Suportahan ang tunay na mga hardware at mga kapaligirang nagbabago

Isa sa pinakamahalagang bagay sa LeRobot ay ang LeRobotDataset format. Ito ay nag-oorganisa ng robotic visual video, estado, action data sa mga pamantayang istraktura, karaniwang MP4 o mga larawan plus Parquet. Dahil dito, ang datos ay maaring i-upload sa Haging Face Hub at maaari ring gamitin sa pagsasanay, pagtatasa at muling paggamit ng naturang chain.

Sa ibang salita, ang LeRobot ay nagbibigay ng robotikong pagkatuto ng isang "data at modelong base."

Subalit ang upuan sa ibaba ay hindi isang ganap na daloy ng trabaho. Kapag talagang lumapag ka, pinakikitunguhan mo rin ang mga reaksyon, mga daungan ng hardware, kamera, kalibrasyon, stratehikong pangangatuwiran, multi-robots, mga pagkasira ng seguridad. Ang Strands Robots ay nasa palapag na ito.

Hindi pinapalitan ng Strands Robots ang, ngunit tatak.

Maraming tao ang nakakita kay Strands + LeRobot, at ang unang reaksiyon ay: Mayroon bang bagong balangkas na robot?

Nope.

Mas tulad ito ng pagtatatak sa kawing ng robot sa isang suson ng kagamitan na maaaring tawagin ng Ahente. Ang LeRobot ang siya pa ring may pananagutan sa malaking bahagi ng computeric data, stratehiya, hardware interfaces; Ang Mujoco ay responsable pa rin sa mga reaksyon; ang GR00T, ACT, P0, SmolVLA, Diffication, atbp. ay isa pa ring stratehikong pinagmulan; at ang Zenoh ang responsable sa peer-to-peer mesh.

Ang halaga ng Strands Robots ay na ang dating nakakalat na mga sangkap na ito ay inilalagay sa isang Agent workflow:

• Sumulat ng modelong datos
• Pagsulat ng LeRobotDataset
• Pag-download o muling paggamit ng Hughes Face Hub data
• Mga Pang - akit sa MujoCo
• Tawagin ang Lokal o Malayong Patakaran
• Upang magamit sa tunay na mga robot.
• Hayaang magtugma ang maraming robot sa pamamagitan ng mesh
• Malawakang E-STOP kung kinakailangan

Ang mga hakbang na ito ay dating isang kumpol ng mga kodigo ng pandikit. Ngayon ay maaari na silang maging AgentTolls, at mapakilos ng parehong StrandsAgent.

Isang kawing ng pangungusap: natural na wika sa mekanikal na pagkilos

Ang opisyal na kawing ay ang intuwisyon:

Natural Language Command →Strands Age →Robot Tool →Policy Production →Action Chunk → MuJoco → Simulasyon o Tunay na Hardware →Observation Return

Ang susi sa kawing na ito ay na hindi tuwirang kinokontrol ng Agent ang kapangyarihan, kundi gumagawa ng aksiyon sa pamamagitan ng programa ng patakaran, pagkatapos ay ibinibigay ito sa pag - ulit o pagpatay sa mga hardware.

Kabilang sa estratehikong pinagmumulan ng suporta ang:

• GR00T NG NVIDIA
• TANDAAN NG LARO
• P0 / Pi 0.5
• SmolVLA
• Patakaran ng Pagpaparami
• Klasikong tagapagplano ng pagkilos
• MPC
• Scripted controller
• pakunwaring patakaran

Nangangahulugan ito na ang Strands Robots ay hindi pumusta sa isang modelo, kundi naglalagay ng iba't ibang estratehiya sa likod ng iisang mahirap unawaing interface. Maaari mong gamitin ang pakunwaring patakaran upang tiyakin ang proseso ngayon, palitan ang halaga sa modelong LeRobot bukas, kunin ang GR00T na pangangatwirang serbisyo kinabukasan.

50+ Mga robot, 8 pangunahing kategorya

Ang Strands Robots ay opisyal na nagtatala ng 50+ robot na sumasaklaw sa walong kategorya:

• Mekanikal na bisig: SO100, SO1, SO1, Koch, OMX, Panda, UR5e, xArm7 atbp.
• Mga taong robot: Unitree G1, Unitree H1, Reachy2, Tallos, Cassie, atbp.
• Mga Mobile robot: Spot, Unitree Go2, Streat, LeKiwi, EarthRover, atbp.
• Matalinong mga kamay: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85, atbp.
• ALOHA, bi openar, Trossen WXAI
• Isang eroplano: Crazyfree, Skydio X2
• Mga Emoticon/interactive robot: Umaabot sa Mini
• Mobile robot: Google Robot

Ang ilan sa mga robot na ito ay maaaring magpatakbo ng tunay na hardware sa LeRobot, tulad ng SOS100, SOM1, Koch, OMX, HopeJR, ALOHA, bi openar, Reachy2, Unitree G1, LeKiwi, EarthRover.

Higit na mahalaga, lahat ng robot ay maaaring gayahin. Para sa mga developer, ito ay nangangahulugan na ang isang low-cost recombination ng mga proseso ng pagtakbo ay maaaring gamitin bago magpasiya kung bibili ng hardware.

Mesh Multi-Bob Coordination + Emergency Stop

Maraming robot at mga kontrol sa seguridad ang problema ng pagdadala ng Ahente sa pisikal na daigdig.

Ang Strands Robots ay may Zenoh mesh network. Ang bawat robot ay awtomatikong nagiging isang peer at maaaring makipag-ugnayan sa isa pang robot gamit ang isang tal() upang isahimpapawid ang mga utos sa pamamagitan ng broadcast() at emergency na paghinto sa E-STOP.

Ang mesh ay maaaring ma-access ang AWS Iot Core at gumawa ng mas sopistikadong device sensory network sa pamamagitan ng data-connect pluin.

Maliwanag ang disenyo ng seguridad:

• Default react, kailangang makita ang mode switch
• Optimismo, pagbitay, itigil ang tatlong punto sa aksiyon na Open
• Mga Proseso ng E-STOP Independent Control
• Nagkaroon ng paghinto sa pagsang - ayon ng tao bago ang tunay na pagkilos.

Sa industriyal na tanawin, ang mga ito ay hindi opsyonal na mga kaayusan. Ang isa pa ay maaaring maging isang aksidente.

Terminolohiyang paglilinaw: sino ang gumawa nito?

Ang programang integration ay inilalathala sa Humpface.co blog ng AWS Open Source (Apache 2.0). Ang Strands ay isang AWS opensource, Agent SDK (Apache 2.0), ay sumusuporta sa Python at TypeScript, na may kumpletong balangkas na Agent. Ang LeRobot ay isang proyektong panghaharang sa Mukha. Ang interseksiyon ng dalawa ay ang mga trands-robot.

Paano?

Kung ito'y isa lamang pagbabago, ang rekomendasyon ay nagsisimula sa ekstrang MujoCo:

Iinstall ng uv pip ang "strands-robots [sim-mujoco]"

Kung nais mo ng tunay na hardware at lokal na patakaran ng LeRobot:

"strands-robots [sim-mujoco, lerobot]"

Kung gusto mong lahat:

Iinstall ng uv pip ang "strands-robots [lahat]"

Ang pangunahing instalasyon ay liwanag at binubuo lamang ng Numpy, opencv-headless, Pillow, atbp. Ang iba't ibang kakayahan ay hiwalay na naka-install sa pamamagitan ng extra: sim-mujoco para sa recombination, lerobot para sa tunay na hardware at lokal na stratehiya, root-service para sa NVIDIA GR00T katwiran, mesh para sa Zenoh multi-robots network, mesh-iot para sa AWS IoT Core floor scene.

Ang split approach ay pragmatic at hindi napupuno ang lahat ng dependensiya.

Huwag mo itong basahing mali: hindi ito "isang susing matalino."

Kailangang may isang mangkok ng malamig na tubig.

Ang Strands Robots ay malamig, subalit hindi ito isang susi na gumagawa sa AI na isang dalubhasang robot.

Ang tunay na hardware ay nakaharap pa rin:

• Kinikilala ang Daungan
• Pakikipagtalastasan sa pamamagitan ng timon
• Pagsang - ayon ng Camera
• Kalibrasyon ng artipisyal na braso
• Impormasyon ng Schema
• Kakayahang Magsuri
• GPU / Docker / mga serbisyong ikinatuwiran
• Simula ng Sim2real gap
• Isang multi-robots ligtas na hangganan.

Halimbawa, ang lokal na pangangatuwirang GR00T ay maaaring mangailangan ng NVIDIA GPU, Docker, checkpoint at tamang pagsasaayos ng datos. Ang entity na SOS-101 ay hindi isang mode = "tunay" na awtomatikong sumasakop sa mga pulang liwasan. Kailangan mo pa rin ang mga kamera, calibration, estratehiya at seguridad.

Tunay na halaga: kaunting kodigo ng kola

Hindi ang biglang pagtaas ng kakayahan sa pagmomodelo ang lubhang nakababahala sa pagkakataong ito, kundi ang mga kawing ng konstruksiyon na madaling makuha.

Ang pinakamasakit na bahagi ng robotic development ay kadalasang hindi ang mga papel na algorithmic, kundi ang mga sistema na hindi nag - uusap sa isa't isa:

• Nakatakdang format ng datos
• Simulan ang mga iskrip.
• Itinakda ang tunay na pagkontrol sa hardware
• Aktikal na pangangatuwiran.
• Ito ay isang multi-cyborg na komunikasyon set.
• Isa pang setup ang huminto.

Ang mga Robot ng Strands ay nagkokodigo sa mga AgentTol.

Ito ay praktikal para sa parehong mga pangkat ng pananaliksik at negosyo. Maaari kang magpatakbo ng SO100 regulatories sa mga lokal na kuwaderno nang hindi bumibili ng hardware, nang walang GPU, nang hindi nag-aaplay para sa mga pribilehiyong Hub; prosesong kumpil bago magpasok ng tunay na SOC1, GR00T, Hungging Face checkpoint, multi-mesh.

Ang mga badyet at mga panganib ay maaaring ilabas sa mga yugto, sa halip na ilagay ang hardware, data, pagsasanay at paglalagay sa buong presyon sa unang araw.

Bakit mahalaga ito sa Ahente?

Karamihan sa mga dating kasangkapang Agent ay digital na pandaigdig: files, browser, database, API, terminal, code interpretors.

Initulak ng Strands Robots ang hangganan ng kasangkapan sa pisikal na mundo: mga robot, kamera, timon, reaksyon, estratehiya sa aksiyon, komunikasyong multi-machine.

Ito ay nangangahulugan na ang saklaw ng mga kakayahan ng Agent ay nagsisimulang lumawig mula “ “ processing processing processing “ “ “.

Mangyari pa, ang pisikal na pagpapatupad ay dapat na maging mas maingat. Hindi inalis ng tunay na mundo ang mga susi, at ang mekanikal na braso ay tumama sa mesa, tumama sa bagay, tumama sa tao, hindi na ito muling nalutas. Kaya ang default recombination, ang nakikitang reality machine, ang E-STOP, at ang pagsang-ayon ay nahinto, at ang mga disenyo ng seguridad sa halip ay isang tanda ng pag-unlad ng proyekto.

Kaugnayan sa Iba

Ang ilan ay magtatanong, "Ito ba'y kahalili ng mga tanso?"

Maikling-term, hindi. Ang RROS ay ang lumang base ng inhenyeriya ng sistemang robot, at ito ay malalim sa mga node, paksa, serbisyo, paglunsad, ekolohiya ng drayber. Strands Robots, mas tulad ng Agent layer, ay nakadirekta sa "Let Big Model organe robotic mga misyon sa pamamagitan ng mga kagamitan interfaces."

Ang mas malamang na pattern sa hinaharap ay ang ilalim na hardware at komplikadong mga sistemang robotiko ay mayroon pa ring divers/Producer SDK/kontrolers, at ang Agent layer ay nag-uugnay ng mga plano ng misyon, taktikal na tawag, pagtatala ng datos, reaksyon, multi-machine na koordinasyon sa pamamagitan ng mga kasangkapan tulad ng Strands Robots.

Sa ibang salita, hindi nito ninanakawan ang tsasis, kundi bagkus ang mas mataas na antas ng trabaho.

Sumaryo

Strands + LeRobot Sa pagkakataong ito, ang tunay na punto ay hindi ang sabihing ang robot na braso ay matalino agad, ngunit ang AI Agent ay nagsimulang magkaroon ng pamantayang kasangkapan na interface sa pisikal na mundo.

Ang LeRobot ay nagbibigay ng mga datos, modelo at hardware interfaces para sa robotic na pag-aaral; ang MujoCo ay nagbibigay ng mga seguridad recombination; ang GR00T, ACT, P0, SmolVLA, Diffication atbp. ay nagbibigay ng estratehiya; ang Zenoh mesh ay nagbibigay ng multi-robots communciations; ang Strands Robots encapsulates ang mga ito ay nagiging mga AgentTool.

Iyan ang halaga nito: hindi isang one-key revolution, kundi isang malaking glue code.

Ang AI Agent ay dating may utak at bibig, at ngayon siya ay may mga kamay at mga binti.

Subalit bago ito talagang pumasok sa tunay na daigdig, ito ay nangangailangan ng preno, bakod, pagsang - ayon, reaksyon at maraming detalye.

Iyan ang pinakatunay na hakbang mula PPT tungo sa laboratoryo.