120 000 знака на показ! Изтече системният промпт на Claude Fable 5 – колко още е останало от сигурността на ИИ?

Случаят с Claude Fable 5 все повече прилича на публично „оголване“ на индустрията за сигурност на ИИ.

Според няколко китайски медии в сферата на сигурността и агрегаторски платформи новият модел Claude Fable 5 от клас Mythos, който Anthropic отвори за широката публика, бил отключен чрез джейлбрейк от изследователя elder_plinius с мултиагентна координирана атака, а пълният вътрешен системен промпт бил събран и качен в GitHub – общо около 120 000 знака.

Още по-сериозното е, че изтеклото съдържание не е обикновена ролева настройка, а привидно включва ключова логика: управление на сигурността, класификация на рисковете, граници на отказите, извикване на инструменти, стратегическо маршрутизиране. С други думи, ако съобщенията са верни, това е все едно ръководството за контролния панел на един front-line ИИ модел да е залепено на улицата.

Първо уточнение: тази статия няма да възпроизвежда, цитира или обяснява как се използва изтеклият промпт. Ще говорим само защо случката е сериозна и какво означава тя за сигурността на ИИ.

Първо нека подредим хронологията на събитията

Claude Fable 5 е новият модел, който Anthropic пусна в началото на юни и който се възприема като публична „безопасна“ версия на Mythos 5. В публичните съобщения Fable 5 е описан като новото поколение Claude за сложно разсъждение, дълги задачи и професионални работни процеси.

Но след старта си моделът не престава да е в центъра на спорове.

Първата вълна критики беше за прекалено високия праг на сигурност. Има съобщения, че Fable 5 от предпазливост отказва да отговаря дори на елементарни биологични въпроси. Тоест проблемът не е в способностите, а в това, че моделът е стегнат твърде силно от политиките за сигурност.

Втората вълна беше двойният стандарт на Microsoft: от една страна компанията включи Fable 5 в услуги за клиенти, а от друга – ограничи използването му от собствените си служители, уж заради риска за сигурността на данните и рисковете от изхода на модела.

Третата вълна – и най-гърмящата: атакуващ заяви, че чрез мултиагентен координиран джейлбрейк е извлякъл системния промпт от около 120 000 знака и го е качил в GitHub.

Каквото днес може да се види в официалната новинарска страница на Anthropic е: правителството на САЩ вече е издало директива за експортен контрол, спираща целия достъп до Fable 5 и Mythos 5. За самия теч на промпта официално все още няма пълно потвърждение.

Защо атаката е страшна: не е единичен пробив, а тактиката на глутницата

Традиционният джейлбрейк обикновено разчита на един „магически“ промпт: подлудяване на модела да пренебрегне правилата, влизане в роля, разбиване на задачата на части, заобикаляне на отказите.

Но в съобщенията за този случай постоянно се повтаря един израз: тактиката на глутницата.

Смисълът е, че атакуващият не налита с един-единствен промпт, а разполага няколко агента да действат съвместно:

• един Agent опипва границите на модела
• един Agent генерира вариации на въпросите
• един Agent преценява дали отговорът изтича структурна информация
• един Agent сглобява откъслечните изходи в пълен документ
• един Agent непрекъснато настройва стратегията на атаката

Така играта с промптите се издига до автоматизирана red-team система.

Човек атакуващ може да се умори след 100 опита; ИИ атакуващата система може да направи 100 000 опита и при всеки да се самооптимизира според обратната връзка. Колкото по-силен е front-line моделът, толкова по-опасно е да го ползват като координатор на атаки.

Това е и истинското предупреждение в този случай: главната сила, която пробива системите за ИИ сигурност, става самият ИИ.

Колко сериозна всъщност е течът на системния промпт

Мнозина ще попитат: То това само един промпт, не? И какво, ако е изтекъл?

Това всъщност е неразбиране на съвременните големи модели. Системният промпт днес отдавна не е едно изречение от типа „ти си любезен асистент“. Той по-скоро прилича на оперативна инструкция за политиките по време на работа и може да съдържа:

• идентичността на модела и стилът на взаимодействие
• критерии за разпознаване на съдържание с висок риск
• йерархия на класификацията по сигурност
• шаблони за отказ в различни рискови сценарии
• граници на извикването на инструменти
• политики за обработка на чувствителни области като код, киберсигурност, биология, химия
• кога да се пренастрои към по-безопасен отговор
• кога да се откаже напълно
• кога да се допусне само обяснение на общо ниво

След като всичко това стане публично, атакуващият вече не трябва да гадае на сляпо.

Досега атаката срещу модела приличаше на отключване на ключалка на тъмно: не знаеш устройството на цилиндъра и можеш само да опитваш налудо. След теча на системния промпт е сякаш си получил разреза на цилиндъра. Атакуващият може да проектира заобикаляне за всяко едно правило и целенасочено да търси граничните цепнатини.

Именно затова течът на промпта не е „въпрос на престиж“, а съвсем реален инцидент в сигурността.

Какво означават 120 000 знака

120 000 знака е приблизително колкото един среден по обем роман или няколко десетки страници документация за политика на сигурност.

Ако този мащаб е верен, значи контролът на сигурността на Fable 5 не са няколко прости правила, а цяла сложна система от политики. Много вероятно е различните рискови области да са разцепени на фини клонове: киберсигурност, биосигурност, химия, психологическа манипулация, финансови измами, изтичане на лични данни, авторски права, политическа чувствителност, защита на непълнолетни, медицински съвети и др.

Тук се открояват две противоречия.

Първо, инженерството за сигурност на Anthropic наистина е много детайлно – до там, че много граници са дефинирани изрично. Това е и причината Fable 5 да изглежда „безопасен дори прекалено“ след старта си.

Второ, колкото по-фини са правилата, толкова по-ясна става атакуващата повърхност след теч. Атакуващият вижда кои категории отключват отказ, кои формулировки минават и къде са сивите зони.

Колкото по-сложна е политиката за сигурност, толкова повече прилича на голям софтуерен пакет. А софтуерът има бъгове – системата от промптове също има логически дупки.

Не е за пръв път: ИИ сигурността навлиза в епохата на течовете

През последните две години подобни инциденти в света на ИИ стават все по-чести.

Някой е изтекъл изходния код на Claude Code, друг е изровил системния промпт на комерсиален Agent, трети е добрал скрития промпт чрез браузърно разширение, четвърти е измъкнал системните правила, като е карал един модел да разпитва друг.

Причината е проста: все повече от ключовите активи на продуктите с големи модели се преместват от традиционния код към промптовете, оркестрацията на инструментите, маршрутизирането на политиките, системите за памет и правилата за сигурност.

Преди компаниите се плашеха от изтичане на изходен код.

Сега ИИ компаниите трябва да се страхуват още от:

• теч на системния промпт
• теч на схемата на инструментите
• теч на safety policy
• теч на вътрешните eval набори
• теч на работните процеси на Agent
• теч на паметта и потребителските предпочитания

Тези неща не са непременно код в традиционния смисъл, но определят поведението на продукта. Те са изходният код на новата епоха.

Последствията за корпоративните потребители

Ако сте обикновен потребител, всичко това е просто един сочен сюжет.

Но ако отговаряте за сигурността в предприятие, картината е съвсем друга.

Предприятията все по-активно свързват големите модели с клиентско обслужване, одит на код, анализ на данни, офис автоматизация, вътрешни бази знания, финансови процеси и дори центрове за оперативна сигурност. Моделът вече не е просто чатбот, а действащ субект с права върху инструменти.

След като системният промпт и границите на инструментите са изложени, атакуващият може да конструира входовете много по-прецизно – да накара модела да употреби инструмент погрешно, да изтече информация, да заобиколи одобренията или да изпълни грешни действия.

Най-опасен е сценарият с Agent. Защото Agent не просто отговаря – той борави с файлове, вика API, праща съобщения, търси в бази данни, пуска команди. След теча на системния промпт атакуващият познава логиката му на разпределение на задачите и на отказите и може да изгради верига за атака, целенасочено нагодена към слабостите му.

Затова предприятията вече не могат да третират системния промпт като „вътрешна кореспонденция“. Трябва да го включат в управлението на активите по сигурност.

Как трябва да се защитят предприятията

Първо, не претоварвайте сигурността изцяло върху системния промпт.

Промптът може да укроти модела, но не бива да е единствената линия на отбрана. Истинската сигурност трябва да сяда в правата на инструментите, API шлюза, слоя за достъп до данни, одиторските логове и човешките одобрения.

Второ, минимизирайте правата на инструментите.

Какво чете Agent, какво пише, какво изтрива и до кого праща – всичко трябва да е изрично разрешено. Не давайте на модела глобални администраторски права само защото „изглежда умен“.

Трето, разслоявайте системния промпт.

Не пишете всички политики в един огромен промпт. По-добре разделете на слой за идентичност, слой за задачи, слой за инструменти, слой за сигурност и слой за одит и ги зареждайте динамично според сценария. Така дори при теч на един слой атакуващият не получава пълната контролна повърхност.

Четвърто, въведете контрол и на изхода.

Не проверявайте само входа от потребителя. И изходът на модела трябва да се подлага на разпознаване на чувствителна информация, откриване на действия извън правата и блокиране на опасни команди.

Пето, направете red-team тестовете автоматични.

Щом атакуващият ползва мултиагентна тактика на глутницата, отбраната също трябва да пуска мултиагентен red team. Редовно накарайте една група модели да атакува друга, автоматично генерирайте тестови примери и непрекъснато обновявайте отбранителните линии.

Защо не препоръчвам разпространение на оригинала

Някой непременно ще каже в мрежата: дай линка към GitHub, искам да видя.

Не препоръчвам.

Първо, оригиналът може да съдържа детайли, директно приложими за заобикаляне на политиките за сигурност. Разпространението му е равносилно на помагане на все повече хора да повторят атаката.

Второ, автентичността на оригинала не е официално потвърдена, а при вторичното му разпространение непълно или компрометирано съдържание лесно се приема за факт.

Трето, за изследователите истинската стойност е в точките на отказ на архитектурата за сигурност, а не в копи-пейст на чужд изтекъл промпт.

Общността в сферата на сигурността трябва да обсъжда защо се получи теч, как да се намали щетата и как да се изградят нови защити – а не да гледа промпта като на поредния електронен атракцион.

Най-големият урок от тази случка

Течът на промпта на Claude Fable 5 на пръв поглед изглежда като еднократен провал на Anthropic, но всъщност е проблем, от който цялата ИИ индустрия не може да избяга.

Предаваме на големите модели все повече решения, операции и граници на сигурността. А мнозина от ключовите управления в тези системи все още разчитат на такава крехка среда като промптът на естествен език.

Предимството на естествения език е гъвкавостта, но недостатъкът е точно прекалената гъвкавост. Той няма строгите типове на кода, не е ясен като списъците за контрол на достъпа и не изолира твърдо като sandbox.

Затова бъдещата ИИ сигурност не може да разчита само на „още по-дълги системни промптове“.

Истински надеждните направления са:

• вътрешно обучение на модела за сигурност
• външен двигател за политиките
• sandbox за правата на инструментите
• задължителни одиторски логове
• изолация на поверителната информация
• кръстосана проверка с няколко модела
• автоматизирани red-team тестове

Системният промпт може да е воланът, но не бива да е спирачката.

Накрая

Най-ироничното в случая с Fable 5 е, че Anthropic отдавна беше знаменосецът на ИИ сигурността – а най-силният „безопасен“ модел едва беше пуснат, когато се разбра за предполагаемия теч на системния промпт.

Това не означава, че Anthropic е слаб. Точно обратното – показва, че сигурността на ИИ сама по себе си навлезе в по-труден етап.

Преди човек атакуваше ИИ.

Сега ИИ организира ИИ да атакува ИИ.

Когато едновременно се автоматизират атаката, политиките и разборът след инцидента, разчитането на един системен промпт от 120 000 знака за защита на крепостта обречено не стига.

Епохата на дребните царства в ИИ сигурността свърши – войната между царствата тепърва започва.