120,000 अक्षर हटा दिए गए हैं! क्लाउड फेबल 5 सिस्टम संकेत लीक हो गया। एआई के सुरक्षा अंडरवियर कितने बचे हैं?

क्लाउड फेबल 5 यह तरबूज, एआई सुरक्षा उद्योग सार्वजनिक नग्नता की तरह दिखता है।

कई चीनी-भाषा सुरक्षा मीडिया और बहुलक प्लेटफार्मों के अनुसार, Mythopic ग्रेड मॉडल Claude Fable 5, जो जनता के लिए खुला है, को एक बहु-इंटेलिजेंस समन्वित हमले में बुजुर्ग plinius से बचकर प्राथमिकता दी गई है, और पूरी तरह से आंतरिक सिस्टम अलर्ट को मिलाया गया और गिटहब को अपलोड किया गया, लगभग 120,000 अक्षर।

Worse अभी भी, यह लीक एक साधारण भूमिका-सेटिंग व्यायाम नहीं है, लेकिन इसमें सुरक्षा नियंत्रण, जोखिम वर्गीकरण, सीमाओं का इनकार, टूल कॉल, रणनीतिक रूटिंग आदि जैसे मुख्य तर्क शामिल हैं। दूसरे शब्दों में, यदि रिपोर्ट सही है, तो यह सड़क पर एक फ्रंट-लाइन एआई मॉडल से सुरक्षा कंसोल नोट पोस्ट करने के लिए टैंटामाउंट होगा।

सबसे पहले, यह पेपर आपको लीक का उपयोग करने के तरीके को फिर से गणना, निकालने या सिखाने की अनुमति नहीं देगा। हम सिर्फ इस बारे में बात कर रहे हैं कि यह गंभीर क्यों है और एआई की सुरक्षा का क्या मतलब है।

चलो घटना के लिए समयरेखा साफ़ करते हैं।

क्लाउड फेबल 5 जून की शुरुआत में एंथ्रोपिक द्वारा शुरू किया गया एक नया मॉडल है, जिसे बाहरी दुनिया द्वारा मैथोस 5 के सार्वजनिक सुरक्षा संस्करण के रूप में देखा गया है। एक सार्वजनिक रिपोर्ट में, फैबल 5 को क्लाउड की एक नई पीढ़ी के रूप में वर्णित किया गया है, जो जटिल तर्क, दीर्घकालिक कार्य, पेशेवर कार्य धाराओं की ओर उन्मुख है।

लेकिन यह ऑनलाइन चला गया और विवादास्पद था।

विवाद की पहली लहर अत्यधिक सुरक्षा सीमा थी। यह बताया गया है कि Fable 5 सुरक्षा चिंताओं के कारण कुछ बुनियादी जैविक सवालों का जवाब देने से मना कर देंगे। दूसरे शब्दों में, यह अपर्याप्त नहीं है, लेकिन सुरक्षा रणनीतियों से जुड़ा हुआ है।

विवाद की दूसरी लहर Microsoft की दोहरे मंच साइट है। एक तरफ Fable 5 द्वारा क्लाइंट उन्मुख सेवाओं तक पहुंच और दूसरे पर आंतरिक कर्मचारियों पर प्रतिबंधों को अन्य पर डेटा सुरक्षा और मॉडल आउटपुट जोखिम से संबंधित कहा जाता है।

तीसरे वेव, जो इस समय सबसे अधिक अलग था: एक हमलावर ने बहु-स्मार्ट भाग के माध्यम से लगभग 120,000 अक्षरों का एक व्यवस्थित संकेत प्राप्त किया है और इसे गिटहब में अपलोड किया है।

आधिकारिक एंथ्रोपिक समाचार पृष्ठ देख सकते हैं कि संयुक्त राज्य अमेरिका सरकार ने Fable 5 और Mythos 5 द्वारा सभी यात्राओं को निलंबित कर दिया है। रिसाव के लिए आधिकारिक पुष्टि अभी तक नहीं दी गई है।

यह हमला डरावना क्यों है? यह एक विस्फोट नहीं है। यह एक भेड़िया रणनीति है।

पारंपरिक भाग अक्सर जादू संकेत पर भरोसा करते हैं: प्रेरण मॉडल नियमों को अनदेखा करता है, भूमिका निभाता है, कार्यों को विभाजित करता है और इनकार करता है।

लेकिन इस कहानी में एक दोहराया शब्द है: भेड़िया रणनीति।

इसका मतलब यह है कि हमलावर ने एक प्रॉम्प्ट पंच का उपयोग नहीं किया था, लेकिन इसके बजाय कई बुद्धिमान निकायों को एक साथ काम करने के लिए तैनात किया गया था:

• एक एजेंट मॉडल की सीमाओं का पता लगाने के लिए जिम्मेदार है।
• एक एजेंट एक संस्करण बनाने के लिए जिम्मेदार है।
• एक एजेंट यह न्याय करने के लिए कि क्या प्रतिक्रिया ने संरचनात्मक जानकारी लीक की है।
• एक एजेंट एक पूर्ण दस्तावेज़ में आउटपुट के एक टुकड़े को जोड़ने के लिए जिम्मेदार है।
• एक एजेंट आक्रमण रणनीति के निरंतर समायोजन के लिए जिम्मेदार है।

इसे एक संकेत गेम से स्वचालित रेड टीम सिस्टम में अपग्रेड किया गया है।

मानव assailant 100 बार कोशिश करने के थक जा सकता है, और एआई 100,000 बार कोशिश कर सकता है, और प्रतिक्रिया के आधार पर प्रत्येक बार स्वचालित रूप से अनुकूलित किया जा सकता है। मजबूत फ्रंट-लाइन मॉडल, अधिक खतरनाक यह एक हमला समन्वयक के रूप में उपयोग करने के लिए है।

यह वास्तव में क्या है: एआई सुरक्षा प्रणाली की मुख्य शक्ति को तोड़ना एआई ही बन रहा है।

सिस्टम अलर्ट लीक कितना गंभीर है?

बहुत से लोग पूछेंगे, "यह समस्या नहीं है? क्या?

यह वास्तव में आधुनिक बिग मॉडल सिस्टम की गलतफहमी है। वर्तमान प्रणाली संकेत अब एक पंक्ति नहीं है: "आप सहायक हैं"। यह एक चल समय रणनीति बयान की तरह है, जिसमें शामिल हो सकते हैं:

• मॉडल पहचान और इंटरैक्टिव शैली
• उच्च जोखिम सामग्री पहचान मानदंड
• सुरक्षित वर्गीकरण का स्तर
• विभिन्न जोखिम परिदृश्यों के लिए Refusal टेम्पलेट
• टूल कॉल सीमा
• कोड, साइबर सुरक्षा, जीवविज्ञान, रसायन विज्ञान, आदि जैसे संवेदनशील क्षेत्रों को संभालने के लिए रणनीतियाँ।
• जब आप एक सुरक्षित जवाब देंगे?
• जब आप कहते हैं?
• आपको उच्च स्तरीय स्पष्टीकरण कब दिया जाएगा?

एक बार जब इन बातों को सार्वजनिक कर दिया जाता है, तो हमलावरों को अनुमान नहीं लगाया जाता है।

यह पता चला है कि हमला मॉडल एक ब्लैकलॉक की तरह था: मैं लॉक कोर संरचना के बारे में नहीं जानता था, लेकिन मैंने इसकी कोशिश की। यह सिस्टम टिप लीक के बाद लॉक कोर प्रोफाइल प्राप्त करना पसंद है। एक हमलावर प्रत्येक नियम के आसपास एक रास्ता डिजाइन कर सकता है और सीमा पर एक विशिष्ट अंतर ढूंढ सकता है।

यही कारण है कि संकेत की लीकिंग "प्रबल्म" नहीं है, बल्कि एक वास्तविक सुरक्षा घटना है।

120,000 अक्षरों का क्या मतलब है?

120,000 वर्ण, मोटे तौर पर मध्यम उपन्यास के बराबर, या सुरक्षा नीति दस्तावेजों के दर्जनों पृष्ठों।

यदि यह आकार सही है, तो इसका मतलब है कि Fable 5 सुरक्षा नियंत्रण सरल नियम नहीं हैं, बल्कि सामरिक प्रणालियों का एक जटिल सेट है। यह ठीक कण अनुभागों में विभिन्न जोखिम क्षेत्रों को तोड़ने की संभावना है: साइबर सुरक्षा, जैव सुरक्षा, रसायन विज्ञान, मनोवैज्ञानिक हेरफेर, वित्तीय धोखाधड़ी, गोपनीयता प्रकटीकरण, कॉपीराइट, राजनीतिक संवेदनशीलता, नाबालिगों की सुरक्षा, चिकित्सा सलाह आदि।

दो विपरीत हैं।

सबसे पहले, एन्थ्रोपिक का सुरक्षा कार्य वास्तव में बहुत विस्तृत है। जैसा कि कई सीमाओं को स्पष्ट रूप से परिभाषित किया गया है, यही कारण है कि फैबल 5 ऑनलाइन जाने के बाद "बहुत सुरक्षित" है।

दूसरे, अधिक विस्तृत नियमों, स्पष्ट रूप से हमला का चेहरा प्रकट होने के बाद। हमलावरों को देखा जा सकता है कि कौन से श्रेणियां इनकार कर देगी, जो अभिव्यक्ति जारी की जाएगी और जहां ग्रे क्षेत्र होंगे।

अधिक परिष्कृत सुरक्षा रणनीति, एक बड़े सॉफ्टवेयर प्रणाली की तरह। सॉफ्टवेयर सिस्टम में बग होगा, और संकेत प्रणाली में तार्किक दोष भी होंगे।

यह पहली बार नहीं है: एआई सुरक्षा प्रकटीकरण के युग में प्रवेश कर रही है।

पिछले दो वर्षों में, वहाँ अधिक से अधिक एआई जैसी घटनाओं किया गया है।

कुछ लीक्ड क्लाउड कोड सोर्स कोड, कुछ ने वाणिज्यिक एजेंट के सिस्टम संकेत को खींच लिया, कुछ को ब्राउज़र प्लगइन के माध्यम से छिपा हुआ संकेत मिला, और कुछ ने सिस्टम नियमों के बारे में एक दूसरे से पूछने के लिए एक मॉडल का इस्तेमाल किया।

कारण सरल है: बड़े मॉडल उत्पादों की मुख्य संपत्ति पारंपरिक कोड से संकेत, उपकरण संगठन, रणनीतिक रूटिंग, मेमोरी सिस्टम और सुरक्षा नियमों में तेजी से बदलाव कर रही है।

व्यापार स्रोत कोड लीक करने से डरता था।

अब, एआई डरता है:

• सिस्टम टिप लीक
• उपकरण स्कीमा लीक
• सुरक्षा रिसाव
• रिसाव का आंतरिक आकलन
• एजेंट का काम लीक हो रहा है। लो
• मेमोरी और उपयोगकर्ता वरीयता लीक

ये चीजें आवश्यक रूप से पारंपरिक कोड नहीं हैं, लेकिन वे उत्पाद व्यवहार को निर्धारित करते हैं। वे नए युग के स्रोत कोड हैं।

उद्यम उपयोगकर्ताओं पर प्रभाव

यदि आप एक साधारण उपयोगकर्ता हैं, तो यह एक विशाल है।

लेकिन अगर आप कॉर्पोरेट सुरक्षा के प्रभारी हैं, तो यह अलग है।

एंटरप्राइज़ बड़े मॉडल को यात्री सेवा, कोड ऑडिटिंग, डेटा विश्लेषण, कार्यालय स्वचालन, आंतरिक ज्ञान आधार, वित्तीय प्रक्रियाओं और यहां तक कि सुरक्षित संचालन केंद्रों में एकीकृत करने की प्रक्रिया में हैं। मॉडल अब सिर्फ एक चैट रोबोट नहीं है, लेकिन टूल विशेषाधिकार के साथ एक ऑपरेटर।

एक बार सिस्टम अलर्ट और टूल सीमाओं को उजागर होने के बाद, assailant अधिक सटीक रूप से इनपुट का निर्माण कर सकता है ताकि मॉडल को उपकरण, लीक सूचना, बायपास अनुमोदन का दुरुपयोग करने और गलत कार्रवाई करने की अनुमति मिल सके।

विशेष रूप से, एजेंट सबसे खतरनाक दृश्य है। क्योंकि एजेंट सिर्फ एक जवाब नहीं है, यह फ़ाइलों को चलाता है, एपीआई कॉल करता है, संदेश भेजता है, डेटाबेस की जाँच करता है, कमांड चलाता है। जब सिस्टम संकेत लीक हो जाता है, तो अस्सैलेंट अपने मिशन के विघटन और इनकार करने के तर्क को जानता है, और एक हमला श्रृंखला को अधिक बारीकी से अपनी कमजोरी के लिए संरेखित कर सकता है।

इसलिए कंपनियां अब सिस्टम अलर्ट को "आंतरिक स्क्रिप्ट" के रूप में इस्तेमाल नहीं कर सकती हैं। इसे सुरक्षा परिसंपत्ति प्रबंधन में एकीकृत किया जाना चाहिए।

कंपनी खुद को कैसे बचा सकती है?

सबसे पहले, सिस्टम संकेत पर पूरी तरह से सुरक्षा प्रेस नहीं करते हैं।

एक संकेत एक मॉडल को बांध सकता है, लेकिन रक्षा की एक पंक्ति के रूप में नहीं। रियल सिक्योरिटी को टूल विशेषाधिकार, एपीआई गेटवे, डेटा एक्सेस लेयर, ऑडिट लॉग और मैनुअल क्लीयरेंस में सिंक करना चाहिए।

दूसरा, टूल विशेषाधिकार को कम करें।

एजेंट को स्पष्ट प्राधिकरण की आवश्यकता है कि वह क्या पढ़ सकता है, लिख सकता है, हटा सकता है और भेज सकता है। इसे वैश्विक प्रशासक विशेषाधिकार नहीं देना क्योंकि यह स्मार्ट दिखता है।

तीसरा, सिस्टम संकेत की एक परत होना चाहिए।

एक विशाल प्रोग्राम में सभी रणनीतियों को न लिखें। इसे एक पहचान परत, एक कार्य परत, एक उपकरण परत, एक सुरक्षा परत और एक लेखा परीक्षा परत में तोड़ दिया जा सकता है, जिसे गतिशील रूप से दृश्य द्वारा लोड किया जा सकता है। इस प्रकार, भले ही एक परत लीक हो, हमलावरों को पूर्ण नियंत्रण नहीं होगा।

चौथा, आउटपुट साइड डिटेक्शन पेश करें।

न केवल उपयोगकर्ता इनपुट का परीक्षण करें। मॉडल आउटपुट भी संवेदनशील सूचना मान्यता, अल्ट्रा vires व्यवहार का पता लगाने और खतरे के आदेश अवरोधन के अधीन हैं।

पांचवां, रेड टीम को स्वचालित करते हैं।

चूंकि assailant बहु-स्मार्ट शरीर पैक रणनीति का उपयोग करते हैं, इसलिए रक्षात्मक पक्ष बहु-स्मार्ट शरीर रेड का भी उपयोग करता है। मॉडल का एक समूह नियमित रूप से मॉडल के दूसरे समूह पर हमला करने के लिए प्रयोग किया जाता है, स्वचालित रूप से परीक्षण नमूने उत्पन्न करता है और लगातार रक्षा की रेखा को अद्यतन करता है।

मैं मूल क्यों नहीं जानता?

इंटरनेट पर किसी ने कहा होगा, "मुझे एक गिटहब लिंक प्राप्त करें।

अनुशंसित नहीं है।

सबसे पहले, मूल पाठ में विवरण हो सकता है जिसका उपयोग सीधे सुरक्षा रणनीतियों को बायपास करने के लिए किया जा सकता है। इसे फैलाने से लोगों को हमलों को ठीक करने में मदद मिलती है।

दूसरे, मूल पाठ की प्रामाणिकता आधिकारिक तौर पर मान्यता प्राप्त नहीं की गई है, और माध्यमिक संचरण आसानी से पूर्ण, दूषित सामग्री को ध्यान में रख सकता है।

तीसरा, शोधकर्ताओं के लिए, वास्तव में अध्ययन करने लायक क्या है, सुरक्षा वास्तुकला का असफल बिंदु है, बजाय अन्य लीक प्रॉम्प्ट की प्रतिलिपि।

सुरक्षा सर्कल को चर्चा करनी चाहिए कि लीक क्यों हो सकता है, कैसे क्षति को कम किया जा सकता है और इलेक्ट्रॉनिक निचोड़ने के बजाय नई ढाल कैसे बनाई जानी चाहिए।

इसका सबसे बड़ा प्रकाशन।

क्लाउड फेबल 5 ने लीक किया है, ostensibly एन्थ्रोपिक का एक एकल बिंदु फ्लिप, जो वास्तव में पूरे एआई उद्योग के लिए एक समस्या है।

हम बड़े मॉडलों के लिए निर्णय लेने, परिचालन और सुरक्षित सीमाओं पर तेजी से हैं। बड़े मॉडल सिस्टम में कई प्रमुख नियंत्रण एक कमजोर माध्यम के रूप में प्राकृतिक भाषा युक्तियों पर निर्भर रहते हैं।

प्राकृतिक भाषा के लाभ लचीले होते हैं और नुकसान बहुत लचीला होते हैं। यह कोड के रूप में कठोर नहीं है, जैसा कि एक्सेस कंट्रोल लिस्ट के रूप में स्पष्ट है, जैसा कि सैंडबॉक्स के रूप में कठिन है।

इसलिए भविष्य में एआई सुरक्षा पूरी तरह से "एक लंबे सिस्टम संकेत" पर आधारित नहीं हो सकती है।

सही दिशा होना चाहिए:

• आंतरिक सुरक्षा प्रशिक्षण
• बाहरी रणनीति इंजन
• उपकरण अनुमति सैंडबॉक्स
• अनिवार्य लेखा परीक्षा लॉग
• गोपनीय सूचना एकत्रीकरण
• बहु-मॉडल क्रॉस-चेक
• स्वचालन रेड टीम टेस्ट

सिस्टम संकेत एक स्टीयरिंग व्हील हो सकता है, लेकिन ब्रेक नहीं।

अंत में।

Fable 5, इस्त्री यह है कि एंथ्रोपिक एआई सुरक्षा ध्वज खिलाड़ी रहा है, और लॉन्च के तुरंत बाद सबसे मजबूत सुरक्षा मॉडल जारी किया गया था, और संदिग्ध प्रणाली चेतावनी लीक हो गई थी।

इसका मतलब यह नहीं है कि एन्थ्रोपिक नहीं हो सकता है। इसके विपरीत, यह दर्शाता है कि एआई सुरक्षा वस्तु स्वयं एक कठिन चरण तक पहुंच गई है।

यह मानव हमले AI था।

अब एआई संगठन एआई ने एआई पर हमला किया।

जब कोई हमला स्वचालित होता है, तो रणनीति स्वचालित होती है, और एक फ्लैश ड्राइव स्वचालित होता है, यह 120,000-characterized सुरक्षा चेतावनी के साथ अपर्याप्त होने के लिए बाध्य होता है।

एआई, सुरक्षित स्प्रिंग्स और शरद ऋतु का युग खत्म हो गया है, और युद्ध राष्ट्र अभी शुरू हो रहे हैं।