AI Agen tumbuh: Strands+ Dan LeRobot melalui robotika, Pengemudi langsung Bahasa Alam

Agen AI, apa masalah terbesar dalam dua tahun ini?

Ini bukan berarti tidak berbicara, itu tidak menulis kode, itu adalah bahwa itu terjebak di layar sebagian besar waktu. Anda membiarkannya merencanakan, mencari, menulis skrip, menyesuaikan API, itu kuat, tetapi Anda benar-benar membiarkannya mendorong lengan mekanis, merekam demonstrasi robot, menjalankan simulasi, kemudian menyebarkan strategi ke perangkat keras fisik, dan itu menabrak tumpukan lem teknik.

Sekarang titik putus ini sedang diisi.

AWS Ecology enkapsulations Hugging Face LeRobot, Mujoco Simulasi, Strategic Logic, Zenoh Multi-Mesh, dll sebagai Strands AgeTools. Hukuman resminya sangat langsung: berdiri-robot memberikan tangan Brands Argentina.

Terjemahannya adalah: AI Agent mulai tumbuh.

Apa yang kau publikasikan kali ini?

Proyek ini disebut Strands-robots, diberi kode di Strands-labs/robots, dan paket PyPI juga adalah Strands-robots. Kemampuan inti nya adalah untuk mengubah robot simulasi atau robot nyata menjadi alat yang dapat digunakan Agen Strands.

Contoh terkecil adalah:

Maafkan aku.
Maafkan aku.

Robot = Robot ( “so100”)
Agen / Agen Agen
Kiub merah...

Secara default, Robot (\"so100\") memulai simulasi MujoCo tanpa GPU dan tanpa perangkat keras yang nyata. Untuk beralih ke robot fisik, Anda perlu menambahkan mode terlihat = " nyata":

Robot = Robot.

Desain baku ini sangat penting: simulasi, kemudian nyata. A instruksi bahasa alami tidak salah mengemudi roda nyata.

(Inggris) What's LeRobot: Hugging Face Tool Chain of Robotic World?

Untuk memahami Strands Robots, Anda harus memahami LeRobot.

¡LeRobot, sebuah perpustakaan pembelajaran robot dunia nyata yang diluncurkan oleh Hugging Face, bertujuan untuk mengintegrasikan model robotik, set data dan alat ke ekologi PyTorch dan menurunkan ambang pembelajaran robotik.

Lokasi resmi jelas:

• Siar model robot dunia nyata, set data dan alat
• Jaringan data robot dan model pra-pelatihan dengan lebih banyak orang
• Menggantikan pembelajaran imitasi, peningkatan pembelajaran, model VLA
• Sogness Mendukung lingkungan hardware dan simulasi nyata

Salah satu hal terpenting dalam LeRobot adalah format LeRobotDataset. Ini mengatur robot video visual, keadaan, data aksi ke struktur standar, biasanya MP4 atau gambar ditambah Parquet. Akibatnya, data dapat diunggah ke Hugging Face Hub dan juga dapat digunakan untuk pelatihan, penilaian dan penggunaan kembali rantai penyebaran.

Dengan kata lain, LeRobot memberikan pembelajaran robotika adata dan model dasar."

Tapi kursi bawah bukanlah aliran pekerjaan yang lengkap. Ketika Anda benar-benar mendarat, Anda juga berurusan dengan simulasi, port perangkat keras, kamera, kalibrasi, penalaran strategis, multi-robot, gangguan keamanan. Robot Strands ada di lantai ini.

Robot Strands tidak menggantikan, tetapi segel.

Banyak orang melihat Strands + LeRobot, dan reaksi pertama bisa: apakah ada kerangka robot baru?

Tidak.

Ini lebih seperti menyegel link robot ke lapisan alat yang dapat Agen sebut. Tak lama kemudian LeRobot masih bertanggung jawab atas sebagian besar data robotik, strategi, antarmuka perangkat keras; Majoco masih bertanggung jawab atas simulasi; GR00T, ACT, Pi0, SmolVLA, Diffusion, dll. masih merupakan sumber strategis; dan Zenoh bertanggung jawab atas Peer-to-peer mesh.

Nilai dari Strands Robots adalah komponen yang sebelumnya tersebar ini ditempatkan dalam aliran kerja Agen:

• Data model Record
• Writing LeRobotDataset
• Data Hub Muka Hughes yang sedang dimuat naik atau digunakan kembali
• Jalankan simulasi di MujoCo
• Hubungi Polisi Lokal atau Jauh
• Untuk dikerahkan ke robot nyata.
• Biarkan banyak robot koordinat melalui mesh
• Siaran E-STOP seperti yang diperlukan

Langkah-langkah ini digunakan untuk menjadi sekelompok kode lem. Sekarang mereka bisa menjadi Agen Tools, dan dipindahkan oleh StrandsAgent yang sama.

Satu tautan kalimat: bahasa alami ke aksi mekanis

Link resmi adalah intuitif:

Komando Bahasa Alam →Strands Age →Robot Tool → Policy Production →Action Chunk → MuJoco → Simulasi atau Real Hardware →Observasi Kembali

Kunci dari link ini adalah Agen tidak mengendalikan daya secara langsung, tetapi menghasilkan potongan tindakan melalui program kebijakan, kemudian memberikannya kepada simulasi atau eksekusi perangkat keras.

Sumber-sumber strategis dukungan meliputi:

• NVIDIA GR00T
• ACT LeRobot
• 7 / 5
• SmolVLA
• Kebijakan Kesedihan Kerena
• Perencana gerakan klasik
• XMPC
• Pengontrol Scripted
• Kebijakan mock

Ini berarti bahwa Strands Robots tidak bertaruh pada model tunggal, tetapi menempatkan strategi yang berbeda di balik antarmuka abstrak yang sama. Anda dapat menggunakan kebijakan mock untuk memverifikasi proses hari ini, beralih biaya ke model LeRobot besok, mengambil layanan penalaran GR00T lusa.

robot 50+, 8 kategori utama

robot Strands secara resmi mencantumkan 50+ robot yang meliputi delapan kategori:

• Lengan mekanikal: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 dll.
• Robot manusia: Unitree G1, Unitree H1, Reachy2, Talos, Cassie, dll.
• Robot Mobile: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover, dll.
• Tangan pintar: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85, dll.
• ALOHA, bi openarm, Trossen WXAI
• Pesawat: Crazyflie, Skydio X2
• Mini Reachy
• Mobile robot: Google Robot

Beberapa robot ini dapat mengendarai perangkat keras nyata melalui LeRobot, seperti SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi openarm, Reachy2, Unitree G1, LeKiwi, EarthRover.

Yang lebih penting lagi, semua robot dapat disimulasikan. Bagi pengembang, ini berarti bahwa simulasi biaya rendah proses berjalan dapat digunakan sebelum memutuskan apakah akan membeli perangkat keras.

Koordinasi Multi-Bob Air Terjun + Stop Darurat

Beberapa robotika dan kontrol keamanan adalah masalah untuk membawa Agen ke dunia fisik.

Strands Robots memiliki jaringan Zenoh mesh. Setiap robot secara otomatis menjadi Peer dan dapat berinteraksi dengan robot lain menggunakan tel() untuk menyiarkan perintah dengan broadcast() dan stop darurat dengan E-STOP.

Wiski Mesh dapat mengakses AWS Iot Core dan membuat jaringan sensor perangkat yang lebih canggih melalui plugin koneksi data.

Desain keamanan jelas:

• Simulasi bawaan, mode switch harus terlihat
• Status, eksekusi, menghentikan tiga titik aksi alat Buka
• Proses Pengendalian Independen E-STOP
• Ada gangguan dalam persetujuan manusia sebelum tindakan nyata.

Ini bukan konfigurasi opsional. Satu kurang satu bisa menjadi kecelakaan.

Penjelasan terminologi: siapa yang melakukan ini?

Program integrasi tersebut dimuat dalam blog Huggingface.co oleh AWS Open Source (Apache 2.0). Strands adalah sumber terbuka AWS, Agen SDK (Apache 2.0), mendukung Python dan TypeScript, dengan kerangka Agen lengkap. Coague LeRobot adalah proyek Hugging Face. persimpangan kedua adalah trands-robot.

Bagaimana?

Jika itu hanya simulasi, rekomendasi dimulai dengan tambahan MujoCo:

♪ uff pip install "strands-robot [sim-mujoco]"

Jika Anda ingin hardware dan kebijakan lokal LeRobot:

[sim-mujoco, lerobot]"

Jika Anda ingin semuanya:

♪ uff pip install "strands-robot [semua]"

Instalasi dasarnya ringan dan hanya terdiri dari Numpy, opencv-headless, Bantal, dll. Kemampuan yang berbeda dipasang secara terpisah melalui ekstra: sim-mujoco untuk simulasi, lerobot untuk perangkat keras nyata dan strategi lokal, root-service untuk NVIDIA GR00T penalaran, mesh untuk jaringan multi-robot Zenoh, mesh-iot untuk AWS IOT Core lantai adegan.

Pendekatan split adalah pragmatis dan tidak mengisi semua dependensi.

Jangan membacanya salah: itu tidak - satu kunci pintar."

Pasti ada semangkuk air dingin.

Robot Strand itu keren, tapi itu bukan kunci yang membuat AI ahli robot.

Perangkat keras asli masih wajah:

• Pengecaman Pelabuhan Fobia
• Komunikasi kemudi
• Konfigurasi Kamera
• Kalibrasi lengan mekanikal
• Jajaran Skema Data Monodata
• Ketersediaan Checkpoint
• Layanan bernalar / layanan yang beralasan
• Simulator Simulator dari celah Sim2real
• Sebuah multi-robot aman perbatasan.

Sebagai contoh, penalaran GR00T lokal mungkin membutuhkan NVIDIA GPU, Docker, checkpoint dan konfigurasi data yang benar. Entity SO-101 bukanlah mode = "real" yang secara otomatis meraih petak merah. Kau masih butuh kamera, kalibrasi, strategi dan keamanan.

Nilai asli: kode lem kurang

Kali ini bukan lonjakan mendadak dalam kapasitas modelling yang menjadi perhatian terbesar, tetapi link konstruksi yang dibuat dapat diakses.

Bagian paling menyakitkan dari pengembangan robotik sering kali bukan kertas algoritma, tetapi sistem yang tidak berbicara satu sama lain:

• Data set format
• Simulasikan skrip.
• Diset kontrol perangkat keras yang nyata
• Penalaran taktis.
• Ini adalah set komunikasi multi-cyborg.
• Ini rencana lain untuk berhenti.

Drogs strands mengembun mereka ke AgentTools.

Ini praktis untuk penelitian maupun tim bisnis. Anda dapat menjalankan simulasi SO100 pada notebook lokal tanpa membeli perangkat keras, tanpa GPU, tanpa menerapkan hak istimewa Hub; konfirmasi proses sebelum memperkenalkan SO101 asli, GR00T, titik pemeriksaan Hugging Face, multi-mesh.

Anggaran belanja dan risiko dapat dilepaskan dalam tahap, daripada meletakkan perangkat keras, data, pelatihan dan penyebaran pada tekanan penuh pada hari pertama.

Mengapa hal ini penting bagi Agen?

Sebagian besar alat-alat Agent sebelumnya adalah alat-alat dunia digital: file, browser, database, API, terminal, interpretasi kode.

Robot Strands mendorong batas alat ke dunia fisik: robot, kamera, kemudi, simulasi, strategi aksi, komunikasi mesin ganda.

Ini berarti bahwa jangkauan kemampuan Agensi mulai meluas dari \"proses informasi\" hingga \"pengeksekusi fisik\".

Tentu saja, penegakan fisik harus lebih berhati - hati. Dunia nyata tidak melepas kunci, dan lengan mekanik memukul meja, membanting objek, memukul orang itu, itu tidak menyelesaikannya sekali lagi. Jadi simulasi default, mesin realitas yang terlihat, E-STOP, dan persetujuan terganggu, dan desain keamanan bukan tanda kematangan proyek.

Hubungan dengan ROS

Ada yang bertanya, "Apakah ini pengganti ROS?"

jangka pendek, tidak. RAS adalah basis lama dari rekayasa sistem robotik, dan sangat mendalam dalam node, topik, layanan, peluncuran, ekologi driver. Robot Strands, lebih seperti lapisan Agen, diarahkan pada "Let Big Model mengatur misi robot melalui antarmuka alat."

Pola yang lebih mungkin di masa depan adalah bahwa perangkat keras dasar dan sistem robotik kompleks masih memiliki ROS/Producer SDK/kontroler, dan Agen layer link perencanaan misi, panggilan taktis, perekaman data, simulasi, koordinasi multi-mesin melalui alat seperti Strands Robots.

Dengan kata lain, ia tidak merampok sasis, tetapi lebih kepada tingkat atas pekerjaan.

Ringkasan

Strands + LeRobot kali ini, poin sebenarnya adalah tidak mengatakan bahwa lengan robot itu cerdas segera, tetapi bahwa AI Agent mulai memiliki antarmuka alat standar ke dunia fisik.

AujoCo menyediakan data, model dan antarmuka perangkat keras untuk pembelajaran robotika; MujoCo menyediakan simulasi keamanan; GR00T, ACT, Pi0, SmolVLA, Diffusion dll. menyediakan strategi; Zenoh mesh menyediakan komunikasi multi-robot; Strands Robots mengkapsulasi ini ke dalam Agentools.

Bukan revolusi satu kunci, tapi banyak kode lem.

Agen AI dulu punya otak dan mulut, dan sekarang dia punya tangan dan kaki.

Tapi sebelum benar-benar memasuki dunia nyata, perlu rem, pagar, persetujuan, simulasi dan banyak rincian.

Itu langkah paling nyata dari PPT ke lab.