एआई एजेंट बड़ा हुआ: Strands+ रोबोटिक्स, प्राकृतिक भाषा प्रत्यक्ष ड्राइवर के माध्यम से LeRobot

एआई एजेंट, इन दो वर्षों में सबसे बड़ी समस्या क्या है?

यह नहीं है कि यह बात नहीं करता है, यह कोड नहीं लिखता है, यह है कि यह अधिकांश समय स्क्रीन में फंस गया है। आप इसे योजना बनाने, स्क्रिप्ट लिखने, एपीआई को समायोजित करने, यह मजबूत है; लेकिन आप वास्तव में इसे एक यांत्रिक हाथ धक्का देते हैं, एक रोबोटिक प्रदर्शन रिकॉर्ड करते हैं, एक सिमुलेशन चलाते हैं, फिर रणनीति को भौतिक हार्डवेयर में तैनात करते हैं, और यह इंजीनियरिंग गोंद के ढेर में दुर्घटनाग्रस्त हो जाता है।

अब यह ब्रेकपॉइंट भरा जा रहा है।

AWS पारिस्थितिकी में स्ट्रैंड्स रोबोट SDK का ओपन सोर्स हगिंग फेस लेरोबोट, मुजोको सिमुलेशन, स्ट्रेटेजिक लॉजिक, जेनोह मल्टी-मेश इत्यादि को स्ट्रैंड्स एजटूल के रूप में encapsulates करता है। आधिकारिक वाक्य बहुत प्रत्यक्ष है: स्टैंड-रोबोट एक ब्रांड्स अर्जेंटीना हाथ देता है।

अनुवाद है: एआई एजेंट बढ़ने शुरू हो रहा है।

क्या आपने इस बार प्रकाशित किया?

परियोजना को स्ट्रैंड्स-रोबोट कहा जाता है, जिसे स्ट्रैंड्स-लैब्स/रोबोट्स में कोडित किया जाता है, और Pypi पैकेज स्ट्रैंड्स-रोबोट भी है। इसकी मुख्य क्षमता एक सिमुलेशन रोबोट या एक वास्तविक रोबोट को एक उपकरण में बदलने की है जो स्ट्रैंड्स एजेंट का उपयोग कर सकता है।

सबसे छोटा उदाहरण बहुत प्रतिनिधि है:

मुझे खेद है।
मुझे खेद है।

रोबोट = रोबोट (so100)
एजेंट = एजेंट
"Pick up the red cube"

डिफ़ॉल्ट रूप से, रोबोट ("so100") ने जीपीयू के बिना और वास्तविक हार्डवेयर के बिना मुजोको सिमुलेशन शुरू किया। एक भौतिक रोबोट पर स्विच करने के लिए, आपको दृश्य मोड = "वास्तविक" जोड़ने की आवश्यकता है:

रोबोट = रोबोट

यह डिफ़ॉल्ट डिजाइन महत्वपूर्ण है: अनुकरण, फिर वास्तविक। एक प्राकृतिक भाषा निर्देश गलत तरीके से एक असली पहिया ड्राइव नहीं है।

LeRobot क्या है: रोबोटिक वर्ल्ड की हगिंग फेस टूल चेन?

स्ट्रैंड्स रोबोट को समझने के लिए आपको लेरोबोट को समझना होगा।

लेरोबोट, हगिंग फेस द्वारा शुरू की गई एक वास्तविक विश्व रोबोट लर्निंग लाइब्रेरी का उद्देश्य पाइटोर्च पारिस्थितिकी में रोबोटिक मॉडल, डेटा सेट और उपकरण को एकीकृत करना है और रोबोटिक लर्निंग की सीमा को कम करना है।

आधिकारिक स्थान स्पष्ट है:

• वास्तविक विश्व रोबोटिक मॉडल, डेटा सेट और उपकरण प्रदान करें
• रोबोटिक डेटा सेट और अधिक लोगों के साथ पूर्व प्रशिक्षण मॉडल साझा करना
• नकली शिक्षा, बढ़ी हुई शिक्षा, वीएलए मॉडल
• वास्तविक हार्डवेयर और सिमुलेशन वातावरण का समर्थन करें

LeRobot में सबसे महत्वपूर्ण चीजों में से एक LeRobotDataset प्रारूप है। यह रोबोटिक विजुअल वीडियो, स्टेट, एक्शन डेटा को मानक संरचनाओं में व्यवस्थित करता है, आमतौर पर MP4 या चित्र प्लस Parquet। नतीजतन, डेटा को हगिंग फेस हब पर अपलोड किया जा सकता है और तैनाती श्रृंखला के प्रशिक्षण, मूल्यांकन और पुन: उपयोग के लिए भी इस्तेमाल किया जा सकता है।

दूसरे शब्दों में, लेरोबोट रोबोटिक लर्निंग को "डाटा और मॉडल बेस" देता है।

लेकिन नीचे की सीट काम की एक पूरी स्ट्रीम नहीं है। जब आप वास्तव में जमीन पर उतरते हैं, तो आप सिमुलेशन, हार्डवेयर पोर्ट, कैमरा, अंशांकन, रणनीतिक तर्क, बहु रोबोट, सुरक्षा अवरोधों से भी निपटते हैं। स्ट्रैंड्स रोबोट इस मंजिल पर है।

स्ट्रैंड्स रोबोट को प्रतिस्थापित नहीं करते हैं, लेकिन सील करते हैं।

कई लोगों ने स्ट्रैंड्स + लेरोबोट देखा और पहली प्रतिक्रिया हो सकती है: क्या एक नया रोबोट ढांचा है?

Nope।

यह एक उपकरण परत है कि एजेंट कॉल कर सकते हैं में एक रोबोट लिंक सील की तरह है। लेरोबोट अभी भी रोबोटिक डेटा, रणनीति, हार्डवेयर इंटरफेस के एक बड़े हिस्से के लिए जिम्मेदार है; Mujoco अभी भी सिमुलेशन के लिए जिम्मेदार है; GR00T, ACT, Pi0, SmolVLA, डिफ्यूजन, आदि अभी भी एक रणनीतिक स्रोत है; और Zenoh Peer-to-peer जाल के लिए जिम्मेदार है।

स्ट्रैंड्स रोबोट का मूल्य यह है कि इन पहले बिखरे हुए घटकों को एजेंट वर्कफ़्लो में रखा गया है:

• रिकॉर्ड मॉडल डेटा
• LeRobotDataset
• ह्यूजेस फेस हब डेटा को अपलोड या फिर से उपयोग करना
• MujoCo में सिमुलेशन चलाएं
• स्थानीय या दूरस्थ नीति
• वास्तविक रोबोटों को तैनात किया जाना चाहिए।
• एकाधिक रोबोटों को मेष के माध्यम से समन्वय करें
• आवश्यक के रूप में प्रसारण ई-स्टॉप

इन चरणों का उपयोग गोंद कोड का एक गुच्छा होने के लिए किया जाता है। अब वे एजेंटटूल्स बन सकते हैं, और उसी स्ट्रैंड्सएजेंट द्वारा ले जाया जा सकता है।

एक वाक्य लिंक: यांत्रिक कार्रवाई के लिए प्राकृतिक भाषा

आधिकारिक लिंक सहज है:

प्राकृतिक भाषा कमान

इस लिंक की कुंजी यह है कि एजेंट सीधे बिजली को नियंत्रित नहीं करता है, लेकिन पॉलिसी प्रोग्राम के माध्यम से एक्शन चंक उत्पन्न करता है, फिर इसे सिमुलेशन या हार्डवेयर निष्पादन के लिए देता है।

समर्थन के रणनीतिक स्रोतों में शामिल हैं:

• NVIDIA GR00T
• LeRobot Act
• Pi0 / Pi0.5
• SmolvLA
• प्रसार नीति
• क्लासिक मोशन प्लानर
• एमपीसी
• स्क्रिप्ट नियंत्रक
• नकली नीति

इसका मतलब यह है कि स्ट्रेंड रोबोट एक ही मॉडल पर शर्त नहीं है, लेकिन एक ही अमूर्त इंटरफ़ेस के पीछे विभिन्न रणनीतियों को डाल रहा है। आप आज प्रक्रिया को सत्यापित करने के लिए नकली नीति का उपयोग कर सकते हैं, कल लेरोबोट मॉडल की लागत को स्विच कर सकते हैं, कल के बाद दिन GR00T तर्क सेवा चुन सकते हैं।

50+ रोबोट, 8 प्रमुख श्रेणियां

स्ट्रेंड्स रोबोट आधिकारिक तौर पर आठ श्रेणियों को कवर करने वाले 50+ रोबोट को सूचीबद्ध करता है:

• मैकेनिकल आर्म: SO100, SO101, कोच, OMX, पांडा, UR5e, xArm7 आदि।
• मानव रोबोट: Unitree G1, Unitree H1, Reachy2, Talos, Cassie, आदि।
• मोबाइल रोबोट: स्पॉट, Unitree Go2, स्ट्रेच, LeKiwi, EarthRover आदि।
• स्मार्ट हाथ: छाया हाथ, एलेग्रो हाथ, लीप हाथ, रोबोटिक 2F85, आदि।
• ALOHA, द्वि openarm, Trossen WXAI
• विमान: Crazyflie, Skydio X2
• इमोटिकॉन / इंटरैक्टिव रोबोट: रीच मिनी
• मोबाइल रोबोट

इनमें से कुछ रोबोट लेरोबोट के माध्यम से वास्तविक हार्डवेयर चला सकते हैं, जैसे SO100, SO101, कोच, OMX, होप जेआर, ALOHA, द्वि openarm, Reachy2, Unitree G1, LeKiwi, EarthRover।

इसके अलावा, सभी रोबोटों को अनुकरण किया जा सकता है। डेवलपर्स के लिए, इसका मतलब यह है कि हार्डवेयर खरीदने के लिए यह तय करने से पहले चलने वाली प्रक्रियाओं का कम लागत वाला सिमुलेशन इस्तेमाल किया जा सकता है।

मेष मल्टी-बॉब समन्वय + आपातकालीन रोक

एकाधिक रोबोटिक्स और सुरक्षा नियंत्रण भौतिक दुनिया में एजेंट बनने की समस्या है।

स्ट्रैंड्स रोबोट में एक जेनोह जाल नेटवर्क है। प्रत्येक रोबोट स्वचालित रूप से एक सहकर्मी बन जाता है और एक अन्य रोबोट के साथ बातचीत कर सकता है () प्रसारण के साथ कमांड () और ई-स्टॉप के साथ आपातकालीन रोक)।

मेष AWS Iot कोर तक पहुंच सकता है और डेटा-कनेक्ट प्लगइन के माध्यम से अधिक परिष्कृत डिवाइस संवेदी नेटवर्क बना सकता है।

सुरक्षा डिजाइन स्पष्ट है:

• डिफ़ॉल्ट सिमुलेशन, मोड स्विच दृश्यमान होना चाहिए
• स्थिति, निष्पादन, तीन उपकरण कार्रवाई बिंदुओं को रोकें ओपन
• ई-स्टॉप स्वतंत्र नियंत्रण प्रक्रियाएं
• वास्तविक कार्रवाई से पहले मानव अनुमोदन में एक रुकावट थी।

औद्योगिक दृश्य में, ये वैकल्पिक विन्यास नहीं हैं। एक कम दुर्घटना हो सकती है।

शब्दावली स्पष्टीकरण: किसने यह किया?

एकीकरण कार्यक्रम AWS ओपन सोर्स (Apache 2.0) द्वारा Huggingface.co ब्लॉग में प्रकाशित किया गया है। स्ट्रैंड्स एक एडब्ल्यूएस ओपन सोर्स है, एजेंट एसडीके (अपाचे 2.0) एक पूर्ण एजेंट फ्रेमवर्क के साथ पाइथन और टाइपस्क्रिप्ट का समर्थन करता है। लेरोबोट एक हगिंग फेस प्रोजेक्ट है। दोनों का चौराहे ट्रान्ड्स-रोबोट है।

कैसे?

यदि यह सिर्फ एक अनुकरण है, तो सिफारिश मुजोको अतिरिक्त के साथ शुरू होती है:

uv pip install "strands-robots [sim-mujoco]"

यदि आप वास्तविक हार्डवेयर और स्थानीय लेरोबोट नीति चाहते हैं:

uv pip install "strands-robots [sim-mujoco, lerobot]"

यदि आप चाहते हैं तो यह सब:

uv pip install "strands-robots [all]"

बुनियादी स्थापना प्रकाश है और इसमें केवल Numpy, Opencv-headless, तकिया आदि शामिल हैं। विभिन्न क्षमताओं को अलग से अतिरिक्त के माध्यम से स्थापित किया गया है: सिमुलेशन के लिए सिम-मुजोको, वास्तविक हार्डवेयर और स्थानीय रणनीति के लिए लेरोबोट, NVIDIA GR00T तर्क के लिए रूट-सेवा, जेनोह मल्टी-रोबोट नेटवर्क के लिए जाल, AWS IoT कोर फ्लोर दृश्य के लिए जाल-आईओटी।

विभाजन दृष्टिकोण व्यावहारिक है और सभी निर्भरताओं को नहीं भरता है।

इसे गलत नहीं पढ़ें: यह "एक कुंजी स्मार्ट" नहीं है।

ठंडे पानी का एक कटोरा होना चाहिए।

स्ट्रैंड्स रोबोट शांत है, लेकिन यह एक कुंजी नहीं है जो एआई को रोबोट विशेषज्ञ बनाती है।

रियल हार्डवेयर अभी भी चेहरे:

• पोर्ट मान्यता
• सत्तारूढ़ संचार
• कैमरा विन्यास
• यांत्रिक हाथ अंशांकन
• डेटा स्कीमा संरेखण
• चेकपॉइंट उपलब्धता
• GPU / Docker / तर्क सेवाओं
• Sim2real अंतर का सिम्युलेटर
• एक बहु रोबोट सुरक्षित सीमा है।

उदाहरण के लिए, स्थानीय GR00T तर्क को NVIDIA GPU, Docker, चेकपॉइंट और सही डेटा कॉन्फ़िगरेशन की आवश्यकता हो सकती है। इकाई SO-101 एक मोड = "वास्तविक" नहीं है जो स्वचालित रूप से लाल वर्गों को पकड़ता है। आपको अभी भी कैमरे, अंशांकन, रणनीति और सुरक्षा की आवश्यकता है।

वास्तविक मूल्य: कम गोंद कोड

यह मॉडलिंग क्षमता में अचानक वृद्धि नहीं थी जो इस समय सबसे बड़ी चिंता का विषय था, लेकिन निर्माण लिंक जो सुलभ थे।

रोबोटिक विकास का सबसे दर्दनाक हिस्सा अक्सर एल्गोरिदमिक पेपर नहीं होता है, लेकिन सिस्टम जो एक दूसरे से बात नहीं करते हैं:

• डेटा सेट प्रारूप
• लिपियों का अनुकरण करना।
• वास्तविक हार्डवेयर नियंत्रण सेट
• सामरिक तर्क।
• यह एक बहु-साइबॉर्ग संचार सेट है।
• यह बंद करने के लिए एक और सेटअप है।

स्ट्रेंड्स रोबोट उन्हें एजेंटटूल में संघनित करते हैं।

यह अनुसंधान और व्यापार टीमों दोनों के लिए व्यावहारिक है। आप हार्डवेयर खरीदने के बिना स्थानीय नोटबुक पर SO100 सिमुलेशन चला सकते हैं, बिना GPU के, हब विशेषाधिकारों के लिए आवेदन किए बिना; वास्तविक SO101, GR00T, Hugging फेस चेकपॉइंट, मल्टी-मेश शुरू करने से पहले प्रक्रिया पुष्टि।

पहले दिन पूर्ण दबाव में हार्डवेयर, डेटा, प्रशिक्षण और तैनाती डालने के बजाय चरणों में बजट और जोखिम जारी किए जा सकते हैं।

इस बात को एजेंट क्यों कहते हैं?

अधिकांश एजेंट उपकरण डिजिटल विश्व उपकरण थे: फाइलें, ब्राउज़र, डेटाबेस, एपीआई, टर्मिनल, कोड अनुवादक।

स्ट्रैंड्स रोबोट ने भौतिक दुनिया के लिए उपकरण सीमा को धक्का दिया: रोबोट, कैमरा, रैडर्स, सिमुलेशन, एक्शन रणनीतियों, मल्टी-मशीन संचार।

इसका मतलब यह है कि एजेंट की क्षमताओं की सीमा "सूचना प्रसंस्करण" से "भौतिक निष्पादन" तक विस्तार करना शुरू कर देती है।

बेशक, भौतिक प्रवर्तन अधिक सतर्क होना चाहिए। वास्तविक दुनिया ने कुंजी नहीं ली थी, और यांत्रिक हाथ ने टेबल को मारा, वस्तु को slamped किया, व्यक्ति को मारा, यह एक बार फिर हल नहीं किया। इसलिए डिफ़ॉल्ट सिमुलेशन, दृश्यमान वास्तविकता मशीन, ई-स्टॉप, और अनुमोदन बाधित हो गया, और सुरक्षा डिजाइन परियोजना परिपक्वता का संकेत के बजाय थे।

ROS का संबंध

कुछ पूछेंगे, "क्या यह आरओएस के लिए एक विकल्प है?

लघु अवधि नहीं ROS रोबोटिक सिस्टम इंजीनियरिंग का पुराना आधार है, और यह नोड्स, विषय, सेवा, प्रक्षेपण, ड्राइवर पारिस्थितिकी में बहुत गहरा है। स्ट्रैंड्स रोबोट, एजेंट परत की तरह अधिक, "लेट बिग मॉडल टूल इंटरफेस के माध्यम से रोबोटिक मिशन का आयोजन करता है।

भविष्य में अधिक संभावना पैटर्न यह है कि नीचे हार्डवेयर और जटिल रोबोट सिस्टम में अभी भी आरओएस / प्रोड्यूसर एसडीके / नियंत्रक हैं, और एजेंट परत लिंक मिशन योजना, सामरिक कॉल, डेटा रिकॉर्डिंग, सिमुलेशन, मल्टी-मशीन समन्वय जैसे स्ट्रेंड्स रोबोट।

दूसरे शब्दों में, यह चेसिस को नहीं बल्कि काम के ऊपरी स्तर को रोब करता है।

सारांश

इस समय स्ट्रैंड्स + लेरोबोट, वास्तविक बिंदु यह कहना नहीं है कि रोबोट आर्म अभी स्मार्ट है, लेकिन एआई एजेंट ने भौतिक दुनिया के लिए एक मानक उपकरण इंटरफ़ेस शुरू किया।

लेरोबोट रोबोटिक लर्निंग के लिए डेटा, मॉडल और हार्डवेयर इंटरफेस प्रदान करता है; मुजोको सुरक्षा सिमुलेशन प्रदान करता है; GR00T, ACT, Pi0, SmolVLA, डिफ्यूजन आदि रणनीति प्रदान करता है; जेनोह जाल बहु-रोबोट संचार प्रदान करता है; स्ट्रैंड्स रोबोट इन को एजेंटटूल में शामिल करता है।

यह क्या लायक है: एक कुंजी क्रांति नहीं, बल्कि बहुत सारे गोंद कोड।

एआई एजेंट का उपयोग मस्तिष्क और मुंह के लिए किया जाता है, और अब उसे हाथ और पैर मिलाया जाता है।

लेकिन इससे पहले कि यह वास्तव में वास्तविक दुनिया में प्रवेश करता है, यह ब्रेक, बाड़, अनुमोदन, सिमुलेशन और बहुत सारे विवरण की जरूरत है।

यह पीपीटी से प्रयोगशाला में सबसे वास्तविक कदम है।