AI Agent отгледа ръце и крака: Strands+LeRobot свърза роботите – с естествен език директно задвижва истинска машина

Какъв е най-големият проблем на AI Agent през последните две години?

Не е, че не умее да чати, нито да пише код, а че през повечето време е все още заключен в екрана. Молиш го да планира, да търси, да пише скриптове, да вика API – силен е; но щом го пратиш наистина да задвижи роботизирана ръка, да запише демонстрация с робот, да пусне рунд симулация и после да деплойне политика на реален хардуер – веднага се блъска в купчина слепващ инженерен код.

Сега този пропуск започва да се запълва.

В екосистемата на AWS беше отворен кодът на Strands Robots SDK, който опакова Hugging Face LeRobot, симулацията MuJoCo, изчислението на политики, Zenoh mesh мрежата за множество роботи и други възможности в Strands AgentTools. Официалната формулировка е съвсем ясна: strands-robots gives a Strands Agent hands.

На човешки език това значи: AI Agent започна да отглежда ръце и крака.

Какво точно беше пуснато

Проектът се казва strands-robots, кодът е в strands-labs/robots, а PyPI пакетът също е strands-robots. Ключовата му възможност е с една фабрика Robot() да превръща симулиран или реален робот в инструмент, който Strands Agent може да извика.

Минималният пример е изключително показателен:

from strands import Agent
from strands_robots import Robot

robot = Robot(“so100”)
agent = Agent(tools=[robot])
agent(“Pick up the red cube”)

По подразбиране Robot(“so100”) стартира симулацията MuJoCo – не е нужен GPU, не е нужен реален хардуер. За да превключите към истински робот, трябва изрично да добавите mode=”real”:

robot = Robot(“so100″, mode=”real”, port=”/dev/ttyACM0″)

Този дизайн по подразбиране е ключов: първо симулация, после истинска машина. Никоя инструкция на естествен език не може неволно да завърти истинските сервомотори.

Какво е LeRobot: Hugging Face инструментариумът на роботиката

За да разбереш Strands Robots, първо трябва да разбереш LeRobot.

LeRobot е библиотеката на Hugging Face за обучение на роботи в реалния свят, чиято цел е да обедини моделите, наборе данни и инструментите в роботиката в екосистемата PyTorch и да смали прага за влизане в роботно обучение.

Официалната позиция е ясна:

• предоставя модели, набори данни и инструменти за роботика в реалния свят
• дава възможност на повече хора да споделят роботни набори данни и предварително обучени модели
• обхваща имитационно обучение, обучение с подкрепление и VLA модели
• поддържа реален хардуер и симулационна среда

Едно от най-важните неща в LeRobot е форматът LeRobotDataset. Той организира роботното видео, състоянието и данните за действията в стандартна структура – обикновено MP4 или изображения плюс Parquet. Така данните могат да се качат в Hugging Face Hub и да се преизползват от веригите за обучение, оценяване и деплой.

С други думи, LeRobot дава „основата от данни и модели“ за роботното обучение.

Но основата не е пълен работен процес. В реалното внедряване все още трябва да се решават симулация, хардуерни портове, камери, калибрация, изчисление на политики, координация на много роботи, безопасно спиране. Именно този слой допълва Strands Robots.

Strands Robots не замества, а опакова

Мнозина при вида на Strands + LeRobot първо ще си помислят: Нима пак един нов роботен framework?

Не.

По-скоро той опакова роботната верига в слой от инструменти, които Agent може да извиква. LeRobot продължава да отговаря за голямата част от роботните данни, политики и хардуерни интерфейси; MuJoCo – за симулацията; GR00T, ACT, Pi0, SmolVLA, Diffusion и др. остават източниците на политики; Zenoh – за peer-to-peer mesh.

Стойността на Strands Robots е, че стиска тези разпилени компоненти в един Agent работен процес:

• запис на демонстрационни данни
• записване в LeRobotDataset
• качване или преизползване на данни от Hugging Face Hub
• пускане на симулация в MuJoCo
• извикване на локална или отдалечена политика
• деплой на истински робот
• координация на няколко робота през mesh
• при нужда бродкаст на аварийното спиране E-STOP

Досега за тези стъпки трябваше купчина слепващ код. Сега те могат да се превърнат в AgentTools, управлявани от един и същ Strands Agent.

Веригата в едно изречение: от естествен език до механично движение

Официалната верига е много нагледна:

инструкция на естествен език → Strands Agent → инструмент Robot → Policy Provider → Action Chunk → симулация MuJoCo или реален хардуер → връщане на observation

Ключът в тази верига е, че Agent не управлява директно моторите, а чрез policy provider генерира action chunk, който после се предава за изпълнение на симулацията или хардуера.

Поддържаните източници на политики включват:

• NVIDIA GR00T
• LeRobot ACT
• Pi0 / Pi0.5
• SmolVLA
• Diffusion Policy
• класически motion planner
• MPC
• scripted controller
• mock policy

Това означава, че Strands Robots не залага на един-единствен модел, а поставя различните политики зад един и същ абстрактен интерфейс. Днес може да проверите процеса с mock policy, утре да го смените с локален LeRobot модел, вдругиден да закачите инференс услугата GR00T.

50+ роботи, 8 големи категории

Официално Strands Robots изброява 50+ роботи в 8 категории:

• Роботизирани ръце: SO100, SO101, Koch, OMX, Panda, UR5e, xArm7 и др.
• Хуманоидни роботи: Unitree G1, Unitree H1, Reachy2, Talos, Cassie и др.
• Мобилни роботи: Spot, Unitree Go2, Stretch, LeKiwi, EarthRover и др.
• Гъвкави ръце: Shadow Hand, Allegro Hand, Leap Hand, Robotiq 2F85 и др.
• Двуруки системи: ALOHA, bi_openarm, Trossen WXAI
• Летателни апарати: Crazyflie, Skydio X2
• Роботи с изражения/интерактивни роботи: Reachy Mini
• Мобилни манипулатори: Google Robot

Част от роботите могат чрез LeRobot да задвижват реален хардуер – например SO100, SO101, Koch, OMX, HopeJR, ALOHA, bi_openarm, Reachy2, Unitree G1, LeKiwi, EarthRover.

Още по-важно е, че всички роботи могат да се симулират. За разработчика това означава, че може първо да премине целия процес в евтина симулация и чак тогава да реши дали да купува хардуер.

Mesh координация на много роботи + аварийно спиране

Многото роботи и безопасният контрол са неизбежният въпрос при свързване на Agent към физическия свят.

Strands Robots има вградена Zenoh mesh мрежа. Всеки робот автоматично става peer и може да взаимодейства с друг чрез tell(), да бродкаства инструкции чрез broadcast() и да спира аварийно с E-STOP.

Mesh може да се bridge-не към AWS IoT Core, а чрез плъгина device-connect може да се изгради по-усъвършенствана мрежа за разпознаване на устройства.

Дизайнът за безопасност също е ясен:

• по подразбиране симулация; при смяна на режима задължително изрично mode=”real”
• три отделни инструментни действия: статус, изпълнение, спиране
• E-STOP е независим от нормалния контролен поток
• преди реално действие има прекъсване за човешко одобрение

В индустриални сценарии това не са опционални настройки. Липсва ли едно, може да стане инцидент.

Уточнение по терминологията: кой направи всичко това

Тази интеграционна схема е open source от AWS (Apache 2.0) и е обявена в блога на hugggingface.co. Strands е open source Agent SDK на AWS (Apache 2.0) с поддръжка на Python и TypeScript и пълна Agent framework. LeRobot е проект на Hugging Face. Пресечната точка на двете е strands-robots.

Как да започнеш

Ако искате само да опитате симулация, започнете с MuJoCo extra:

uv pip install “strands-robots[sim-mujoco]”

Ако искате реален хардуер и локални LeRobot политики:

uv pip install “strands-robots[sim-mujoco,lerobot]”

Ако искате всичко наведнъж:

uv pip install “strands-robots[all]”

Базовата инсталация е лека – съдържа само numpy, opencv-headless, Pillow и др. Различните възможности се инсталират отделно чрез extra: sim-mujoco за симулация, lerobot за реален хардуер и локални политики, groot-service за инференс на NVIDIA GR00T, mesh за Zenoh мрежата за много роботи, mesh-iot за сценарии с AWS IoT Core fleet.

Това разделяне е доста прагматично – не ви затрупва системата с всички зависимости още от първата команда.

Не разбирайте погрешно: това не е „вграден интелект с едно кликване“

Тук трябва веднага да се излее ведро студена вода.

Strands Robots е много готин, но не превръща ИИ в роботен експерт с едно кликване.

Реалният хардуер все още изисква:

• разпознаване на порта
• комуникация със сервомоторите
• конфигурация на камерата
• калибрация на роботизираната ръка
• съпоставяне на схемата на данните
• наличност на checkpoint-и
• GPU / Docker / инференс услуга
• sim2real разликата между симулация и реалност
• границите на безопасност при много роботи

Например локалният инференс на GR00T може да изиска NVIDIA GPU, Docker, checkpoint и правилна конфигурация на данните. А истинският SO-101 не започва сам да хваща червеното кубче само защото сте написали mode=”real” – все още ви трябва камера, калибрация, политика и безопасна среда.

Истинската стойност: по-малко слепващ код

Най-заслужаващата внимание страна тук не е внезапният скок на възможностите на модела, а това, че инженерната верига беше свързана.

Най-болезненото в роботната разработка обикновено не са научните статии, а това, че различните системи не си говорят:

• един формат за набори данни
• други скриптове за симулация
• трети контрол на реалния хардуер
• четвърто изчисление на политиките
• пета комуникация между роботите
• и шесто – безопасното спиране пак е отделна система

Strands Robots ги сгъва в AgentTools.

Това е много практично както за изследователските, така и за стартъп екипите. Може първо да пуснете симулацията на SO100 на собствения си лаптоп – без да купувате хардуер, без GPU, без да искате права в Hub; след като процесът е потвърден, постепенно въвеждате истински SO101, GR00T, Hugging Face checkpoint-и и mesh за много роботи.

Бюджетът и рискът могат да се освобождават на етапи, а не от първия ден да претоварите всичко – хардуер, данни, обучение, деплой.

Защо това е важно за Agent

Досега инструментите на Agent бяха предимно от цифровия свят: файлове, браузър, бази данни, API, терминал, кодов интерпретатор.

Strands Robots бутна границата на инструментите към физическия свят: роботи, камери, сервомотори, симулационни среди, политики за действие, комуникация между машини.

Това означава, че обхватът на възможностите на Agent започва да се разширява от „обработка на информация“ към „физическо изпълнение“.

Разбира се, физическото изпълнение изисква много повече внимание. Реалният свят няма бутон undo – ако роботизирана ръка удари масата, смачка предмет или удари човек, това не се решава с повторно пускане на скрипта. Именно затова симулацията по подразбиране, изричният режим real, E-STOP и прекъсването за одобрение са всъщност знак за зрялост на проекта.

Отношението към ROS

Някой ще попита: Нима това ще замени ROS?

В краткосрочен план – не. ROS е старата основа на роботното системно инженерство: възлите, topic-ите, service-ите, launch-ът и драйверната екосистема са много дълбоки. Strands Robots е по-скоро Agent оркестрационен слой, ориентиран към „организиране на роботни задачи от големия модел чрез интерфейса на инструментите“.

По-вероятното бъдеще е такова: долният хардуер и сложните роботни системи остават с ROS/производителски SDK/контролери, а Agent слой чрез инструменти като Strands Robots свързва планирането на задачи, извикването на политики, записа на данни, симулационната проверка и координацията на много роботи.

Тоест той не взима шасито, а входа на горния работен процес.

Обобщение

Истинският смисъл на свързването на роботната верига чрез Strands + LeRobot не е, че с едно изречение роботизираната ръка веднага става умна, а че AI Agent започна да има стандартен интерфейс от инструменти към физическия свят.

LeRobot дава данните, моделите и хардуерните интерфейси за роботно обучение; MuJoCo – безопасната симулация; GR00T, ACT, Pi0, SmolVLA, Diffusion и др. – политиките; Zenoh mesh – комуникацията между роботите; Strands Robots всичко това опакова в AgentTools.

Това е неговата стойност: не революция с едно кликване, а куп по-малко слепващ код.

AI Agent дотогава имаше само мозък и уста, а сега започва да отглежда ръце и крака.

Но преди наистина да влезе в реалния свят, му трябват спирачки, парапети, одобрения, симулации и куп инженерни детайли.

Това е най-реалната стъпка, с която embodied intelligence слиза от презентацията върху лабораторната маса.