AI Agent Bertumbuh Tangan dan Kaki: Strands+LeRobot Menyatukan Robotika, Natural Language Langsung Menggerakkan Robot Sungguhan

Apa masalah terbesar AI Agent dalam dua tahun terakhir?

Bukan karena tidak bisa mengobrol, bukan pula karena tidak bisa menulis kode, melainkan karena ia sebagian besar waktu masih terkurung di dalam layar. Minta dia merencanakan, mencari, menulis skrip, atau memanggil API, ia sangat andal; tapi begitu diminta benar-benar menggerakkan lengan robot, merekam demonstrasi robot, menjalankan simulasi, lalu menerapkan kebijakan ke perangkat keras fisik, ia langsung menabrak tumpukan "lem perekat" rekayasa.

Kini titik putus itu mulai dijembatani.

Strands Robots SDK dari ekosistem AWS dirilis sebagai open-source, mengemas kemampuan seperti Hugging Face LeRobot, simulasi MuJoCo, inferensi kebijakan, dan Zenoh multi-robot mesh menjadi Strands AgentTools. Kalimat resminya sangat langsung: strands-robots gives a Strands Agent hands.

Diterjemahkan ke bahasa manusia: AI Agent mulai bertumbuh tangan dan kaki.

Apa Sebenarnya yang Dirilis Kali Ini

Nama proyeknya strands-robots, kodenya ada di strands-labs/robots, dan nama paket PyPI-nya juga strands-robots. Kemampuan intinya adalah sebuah pabrik Robot() yang mengubah robot simulasi maupun robot nyata menjadi alat yang bisa dipanggil Strands Agent.

Contoh paling minimalnya sangat representatif:

from strands import Agent
from strands_robots import Robot

robot = Robot(“so100”)
agent = Agent(tools=[robot])
agent(“Pick up the red cube”)

Secara default, Robot(“so100”) menjalankan simulasi MuJoCo, tanpa perlu GPU dan tanpa perangkat keras sungguhan. Untuk beralih ke robot fisik, Anda harus secara eksplisit menambahkan mode=”real”:

robot = Robot(“so100″, mode=”real”, port=”/dev/ttyACM0″)

Desain default ini sangat penting: simulasi dulu, baru ke perangkat nyata. Satu instruksi bahasa alami tidak akan sembarangan menggerakkan servo sungguhan.

Apa Itu LeRobot: Toolkit "Hugging Face"-nya Dunia Robot

Untuk memahami Strands Robots, Anda harus paham dulu LeRobot.

LeRobot adalah pustaka pembelajaran robotika dunia nyata dari Hugging Face, yang bertujuan menyatukan model, dataset, dan alat di bidang robotika ke dalam ekosistem PyTorch untuk menurunkan ambang belajar robotika.

Posisi resminya sangat jelas:

• Menyediakan model, dataset, dan alat robotika dunia nyata
• Memungkinkan lebih banyak orang berbagi dataset dan model pra-latih robotika
• Mencakup imitation learning, reinforcement learning, dan model VLA
• Mendukung perangkat keras nyata dan lingkungan simulasi

Salah satu hal terpenting di LeRobot adalah format LeRobotDataset. Ia mengatur video visual robot, data status, dan data aksi ke dalam struktur standar, biasanya MP4 atau gambar ditambah Parquet. Dengan begitu, data bisa diunggah ke Hugging Face Hub dan juga dipakai ulang di rantai pelatihan, evaluasi, dan penerapan.

Dengan kata lain, LeRobot menyediakan "fondasi data dan model" bagi pembelajaran robotika.

Tapi fondasi bukan berarti alur kerja lengkap. Saat benar-benar dieksekusi, Anda masih harus menangani simulasi, port perangkat keras, kamera, kalibrasi, inferensi kebijakan, koordinasi multi-robot, dan penghentian darurat. Justru lapisan inilah yang diisi oleh Strands Robots.

Strands Robots Bukan Pengganti, Melainkan Pengemas

Banyak orang yang melihat Strands + LeRobot reaksinya mungkin: apa lagi ini, kerangka kerja robotika baru?

Bukan.

Ia lebih seperti mengemas rantai robotika menjadi lapisan alat yang bisa dipanggil Agent. LeRobot tetap menangani sebagian besar data robot, kebijakan, dan antarmuka perangkat keras; MuJoCo tetap menangani simulasi; GR00T, ACT, Pi0, SmolVLA, Diffusion dan lainnya tetap menjadi sumber kebijakan; Zenoh menangani mesh peer-to-peer.

Nilai Strands Robots adalah memadatkan komponen-komponen yang tadinya tersebar ini ke dalam satu alur kerja Agent:

• Merekam data demonstrasi
• Menulis ke LeRobotDataset
• Mengunggah atau memakai ulang data Hugging Face Hub
• Menjalankan simulasi di MuJoCo
• Memanggil kebijakan lokal atau remote
• Menerapkan ke robot nyata
• Mengoordinasikan banyak robot lewat mesh
• Menyiarkan E-STOP darurat bila perlu

Dulu langkah-langkah ini membutuhkan banyak kode perekat. Sekarang semuanya bisa menjadi AgentTools yang dijadwalkan oleh satu Strands Agent yang sama.

Rantai Satu Kalimat: Dari Bahasa Alami ke Gerakan Mekanis

Rantai yang diberikan pihak resmi sangat intuitif:

Instruksi bahasa alami → Strands Agent → alat Robot → Policy Provider → Action Chunk → simulasi MuJoCo atau perangkat keras nyata → observasi mengalir kembali

Kunci rantai ini adalah Agent tidak mengontrol motor langsung, melainkan menghasilkan action chunk melalui policy provider, lalu menyerahkannya ke simulasi atau perangkat keras untuk dieksekusi.

Sumber kebijakan yang didukung antara lain:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffusion Policy
• motion planner klasik
• MPC
• scripted controller
• mock policy

Artinya Strands Robots tidak bertaruh pada satu model tunggal, melainkan meletakkan berbagai kebijakan di balik satu antarmuka abstrak yang sama. Hari ini Anda bisa memakai mock policy untuk memvalidasi alur, besok menggantinya dengan model LeRobot lokal, lusa menyambungkan layanan inferensi GR00T.

50+ Robot, 8 Kategori Besar

Strands Robots secara resmi mencantumkan 50+ robot yang mencakup 8 kategori:

• Lengan robot: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7, dan lainnya
• Robot humanoid: Unitree G1, Unitree H1, Reachy2, Talos, Cassie, dan lainnya
• Robot bergerak: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover, dan lainnya
• Tangan robotik: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85, dan lainnya
• Sistem dua lengan: ALOHA, bi_openarm, Trossen WXAI
• Kendaraan terbang: Crazyflie, Skydio X2
• Robot ekspresi/interaksi: Reachy Mini
• Robot manipulasi bergerak: Google Robot

Sebagian robot ini bisa menggerakkan perangkat keras nyata lewat LeRobot, seperti SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi_openarm, Reachy2, Unitree G1, LeKiwi, dan EarthRover.

Yang lebih penting, semua robot bisa disimulasikan. Bagi developer, ini berarti alur bisa diuji dulu lewat simulasi berbiaya rendah sebelum memutuskan membeli perangkat keras.

Koordinasi Multi-Robot Mesh + Penghentian Darurat

Multi-robot dan kontrol keamanan adalah persoalan yang tak terhindarkan saat menyambungkan Agent ke dunia fisik.

Strands Robots memiliki jaringan mesh Zenoh bawaan. Setiap robot otomatis menjadi peer, bisa saling berinteraksi lewat tell(), menyiarkan instruksi lewat broadcast(), dan dihentikan darurat lewat E-STOP.

Mesh bisa dijembatani ke AWS IoT Core, dan juga bisa membangun jaringan persepsi perangkat yang lebih canggih lewat plugin device-connect.

Desain keamanannya juga jelas:

• Default simulasi; pergantian mode harus dideklarasikan eksplisit dengan mode=”real”
• Tiga aksi alat dipisahkan: status, eksekusi, dan penghentian
• E-STOP independen dari alur kontrol normal
• Ada interupsi persetujuan manusia sebelum aksi nyata

Di skenario industri, ini bukan konfigurasi opsional. Kehilangan satu saja bisa berakibat kecelakaan.

Klarifikasi Istilah: Siapa yang Mengerjakannya

Solusi integrasi ini di-open-source-kan oleh AWS (Apache 2.0) dan dipublikasikan di blog hugggingface.co. Strands sendiri adalah Agent SDK open-source dari AWS (Apache 2.0) yang mendukung Python dan TypeScript dengan kerangka Agent lengkap. LeRobot adalah proyek Hugging Face. Titik temu keduanya adalah strands-robots.

Cara Memulai

Jika hanya ingin mencoba simulasi, disarankan mulai dari extra MuJoCo:

uv pip install “strands-robots[sim-mujoco]”

Jika ingin menyambung perangkat keras nyata dan kebijakan LeRobot lokal:

uv pip install “strands-robots[sim-mujoco,lerobot]”

Jika ingin memasang semuanya:

uv pip install “strands-robots[all]”

Instalasi dasarnya ringan, hanya berisi numpy, opencv-headless, Pillow, dan sebagainya. Kemampuan berbeda dipasang lewat extra yang terpisah: sim-mujoco untuk simulasi, lerobot untuk perangkat keras nyata dan kebijakan lokal, groot-service untuk inferensi NVIDIA GR00T, mesh untuk jaringan multi-robot Zenoh, dan mesh-iot untuk skenario armada AWS IoT Core.

Pemisahan seperti ini cukup pragmatis dan tidak langsung memenuhi semua dependensi sejak awal.

Jangan Salah Paham: Ini Bukan "Kecerdasan Tuberuh Sekali Klik"

Di sini harus disiram air dingin dulu.

Strands Robots memang keren, tapi ia bukan tombol sekali klik yang mengubah AI menjadi ahli robotika.

Perangkat keras nyata tetap harus menghadapi:

• Identifikasi port
• Komunikasi servo
• Konfigurasi kamera
• Kalibrasi lengan robot
• Penyelarasan skema data
• Ketersediaan checkpoint
• GPU / Docker / layanan inferensi
• Kesenjangan sim2real dari simulasi ke realita
• Batas keamanan multi-robot

Misalnya, inferensi GR00T lokal mungkin membutuhkan GPU NVIDIA, Docker, checkpoint, dan konfigurasi data yang benar. Robot fisik SO-101 juga tidak otomatis mengambil kubus merah begitu mode=”real” ditulis; Anda tetap butuh kamera, kalibrasi, kebijakan, dan lingkungan yang aman.

Nilai Sebenarnya: Menulis Lebih Sedikit Kode Perekat

Yang paling layak diperhatikan kali ini bukanlah kemampuan model yang melonjak, melainkan rantai rekayasa yang akhirnya tersambung.

Titik paling menyakitkan dalam pengembangan robotika sering kali bukan paper algoritma, melainkan berbagai sistem yang saling tidak berbicara:

• Satu set format dataset
• Satu set skrip simulasi
• Satu set kontrol perangkat keras nyata
• Satu set inferensi kebijakan
• Satu set komunikasi multi-robot
• Dan satu set lagi untuk penghentian aman

Strands Robots memadatkannya menjadi AgentTools.

Ini sangat praktis bagi tim riset maupun tim startup. Anda bisa menjalankan simulasi SO100 di laptop lokal dulu tanpa membeli perangkat keras, tanpa GPU, tanpa mengajukan izin Hub; setelah alurnya yakin, baru secara bertahap memasukkan SO101 nyata, GR00T, checkpoint Hugging Face, dan mesh multi-robot.

Anggaran dan risiko bisa dilepaskan bertahap, bukan sekaligus membebankan perangkat keras, data, pelatihan, dan penerapan di hari pertama.

Mengapa Ini Penting bagi Agent

Alat-alat Agent di masa lalu sebagian besar adalah alat dunia digital: file, browser, basis data, API, terminal, interpreter kode.

Strands Robots mendorong batas alat hingga ke dunia fisik: robot, kamera, servo, lingkungan simulasi, kebijakan aksi, komunikasi multi-robot.

Ini berarti cakupan kemampuan Agent mulai meluas dari "pemrosesan informasi" ke "eksekusi fisik".

Tentu saja, eksekusi fisik harus lebih hati-hati. Dunia nyata tidak punya tombol undo; lengan robot menabrak meja, merusak benda, atau mengenai orang tidak bisa diselesaikan dengan sekadar menjalankan ulang skrip. Karena itu, default simulasi, mode nyata eksplisit, E-STOP, dan interupsi persetujuan justru menjadi sinyal kematangan proyek.

Hubungannya dengan ROS

Ada yang bertanya: apakah ini akan menggantikan ROS?

Dalam jangka pendek, tidak. ROS adalah fondasi lama rekayasa sistem robotika dengan ekosistem node, topic, service, launch, dan driver yang sangat dalam. Strands Robots lebih seperti lapisan orkestrasi Agent, yang menyasar "memungkinkan model besar menyusun tugas robot lewat antarmuka alat".

Peta yang lebih mungkin di masa depan adalah: perangkat keras dasar dan sistem robotika kompleks tetap ditangani ROS/SDK vendor/kontroler, sementara lapisan Agent lewat alat seperti Strands Robots menyatukan perencanaan tugas, pemanggilan kebijakan, pencatatan data, validasi simulasi, dan koordinasi multi-robot.

Artinya, ia bukan merebut sasis, melainkan merebut pintu masuk alur kerja lapisan atas.

Kesimpulan

Makna sebenarnya dari penyatuan rantai robotika oleh Strands + LeRobot kali ini bukanlah membuat lengan robot langsung cerdas dalam satu kalimat, melainkan AI Agent mulai memiliki antarmuka alat standar menuju dunia fisik.

LeRobot menyediakan data, model, dan antarmuka perangkat keras untuk pembelajaran robotika; MuJoCo menyediakan simulasi yang aman; GR00T, ACT, Pi0, SmolVLA, Diffusion dan lainnya menyediakan kebijakan; Zenoh mesh menyediakan komunikasi multi-robot; Strands Robots mengemas semuanya menjadi AgentTools.

Inilah nilainya: bukan revolusi sekali klik, melainkan menghemat banyak kode perekat.

AI Agent dulu hanya punya otak dan mulut, kini mulai bertumbuh tangan dan kaki.

Tapi sebelum benar-benar masuk ke dunia nyata, ia masih butuh rem, pagar pengaman, persetujuan, simulasi, dan detail rekayasa yang banyak.

Barulah ini langkah paling nyata dari kecerdasan tuberuh yang bergerak dari slide presentasi menuju meja eksperimen.