120 000 символов раздеты догола! Утечка системного промпта Claude Fable 5 — какие рубежи ещё остались у AI-безопасности?

История с Claude Fable 5 чем дальше, тем больше похожа на публичную «прогулку без одежды» индустрии AI-безопасности.

По сообщениям нескольких китайских СМИ о кибербезопасности и агрегаторных платформ, общедоступную модель Anthropic класса Mythos — Claude Fable 5 — предположительно вскрыл джейлбрейкер elder_plinius с помощью многоагентной скоординированной атаки; полный внутренний системный промпт был собран и выложен на GitHub, объём — около 120 000 символов.

Хуже того: утекло, судя по всему, не обычное описание персонажа, а ключевая логика — управление безопасностью, классификация рисков, границы отказов, вызовы инструментов, маршрутизация политик. Иначе говоря, если сообщения верны, это как выложить на всеобщее обозрение инструкцию к пульту управления безопасностью передовой AI-модели.

Сразу оговоримся: в этой статье мы не будем воспроизводить, цитировать или учить пользоваться утёкшим промптом. Поговорим лишь о том, почему это серьёзно и что это значит для AI-безопасности.

Сначала — хронология событий

Claude Fable 5 — новая модель Anthropic, представленная в начале июня; её считают публичной «безопасной» версией Mythos 5. В открытых сообщениях Fable 5 описывали как новое поколение Claude для сложных рассуждений, длительных задач и профессиональных рабочих процессов.

Но после запуска скандалы не прекращались.

Первая волна — избыточно высокие пороги безопасности. По сообщениям, Fable 5 из соображений безопасности отказывалась отвечать даже на элементарные вопросы по биологии. То есть дело не в недостатке способностей, а в жёстко затянутых стратегиях безопасности.

Вторая волна — «двойные стандарты» Microsoft: с одной стороны, компания подключила Fable 5 к клиентским сервисам, с другой — ограничила её использование собственными сотрудниками; причиной, по имеющимся данным, стали безопасность данных и риски результатов модели.

Третья волна, самая громкая: атакующий заявил, что через многоагентный скоординированный джейлбрейк получил около 120 тысяч символов системного промпта и выложил их на GitHub.

Из официальной новостной страницы Anthropic сейчас видно: правительство США выдало директиву по экспортному контролю, приостановив весь доступ к Fable 5 и Mythos 5. Что касается утечки промпта — полного официального подтверждения пока нет.

Почему эта атака пугает: не одиночный прорыв, а тактика стаи волков

Классический джейлбрейк обычно опирается на один волшебный промпт: склонить модель игнорировать правила, сыграть роль, разбить задачу на части, обойти отказы.

Но в сообщениях об этом случае раз за разом повторяется один термин: тактика стаи волков.

Смысл: атакующий действует не одним промптом в лоб, а разворачивает несколько агентов, работающих согласованно:

• один агент зондирует границы модели
• другой генерирует вариации вопросов
• третий определяет, раскрывает ли ответ сведения о внутренней структуре
• четвёртый собирает разрозненные фрагменты вывода в цельный документ
• пятый непрерывно корректирует стратегию атаки

Так забава с промптами превращается в автоматизированную «красную команду».

Человек-атакующий устанет после сотни попыток, а AI-система атаки может сделать сто тысяч — и после каждой автоматически улучшаться по обратной связи. Чем сильнее передовые модели, тем опаснее использовать их как координатора атак.

И это главная причина насторожиться: главной силой, взламывающей системы AI-безопасности, становится сам AI.

Насколько серьёзна утечка системного промпта

Многие спросят: ну промпт и промпт, чем так страшна утечка?

Это распространённое заблуждение о современных системах больших моделей. Системный промпт давно уже не одна фраза «ты полезный ассистент». Это скорее эксплуатационная инструкция с политиками, которая может содержать:

• личность модели и стиль взаимодействия
• критерии распознавания высокорискового контента
• иерархию классификации безопасности
• шаблоны отказов для разных рисковых сценариев
• границы вызовов инструментов
• стратегии обработки чувствительных областей: код, кибербезопасность, биология, химия и др.
• когда переключаться на более безопасный ответ
• когда отказывать полностью
• когда разрешать давать общие объяснения

Стоит всему этому стать публичным — и атакующему больше не нужно гадать вслепую.

Раньше атака на модель напоминала вскрытие замка в темноте: не зная устройства цилиндра, действуешь наугад. После утечки системного промпта — как если бы у вас оказалась схема замка. Атакующий может проектировать обход под каждое правило и целиться точно в щели на границах.

Вот почему утечка промпта — не «вопрос престижа», а полноценный инцидент безопасности.

Что значат 120 тысяч символов

120 тысяч символов — примерно средний роман или несколько десятков страниц документов по политике безопасности.

Если объём подтверждается, значит, контроль безопасности Fable 5 — не пара правил, а целая сложная система политик. Вероятно, разные рисковые области разбиты на мелкозернистые ветки: кибербезопасность, биобезопасность, химия, психологические манипуляции, финансовое мошенничество, утечки приватности, авторские права, политически чувствительные темы, защита несовершеннолетних, медицинские советы и т. д.

Здесь два контрастных момента.

Первый: инженерия безопасности Anthropic действительно очень детальная. Настолько, что многие границы определены явно — оттого Fable 5 и показалась «слишком безопасной» после запуска.

Второй: чем детальнее правила, тем яснее становится поверхность атаки после утечки. Атакующий видит, какие категории вызывают отказы, какие формулировки пропускают, где серые зоны.

Чем сложнее политика безопасности, тем больше она похожа на огромную программную систему. У программ есть баги — у систем промптов точно так же есть логические уязвимости.

Это не впервые: AI-безопасность входит в эпоху утечек

За последние два года подобных инцидентов в AI-среде всё больше.

Кто-то сливал исходники Claude Code, кто-то вытаскивал системные промпты коммерческих агентов, кто-то добывал скрытые промпты через браузерные расширения, кто-то выманивал системные правила, заставляя модели расспрашивать друг друга.

Причина проста: ключевые активы продуктов на больших моделях всё больше смещаются из традиционного кода в промпты, оркестрацию инструментов, маршрутизацию политик, системы памяти и правила безопасности.

Раньше компании боялись утечки исходного кода.

Теперь AI-компаниям страшно ещё и этого:

• утечка системных промптов
• утечка схем инструментов
• утечка safety-политик
• утечка внутренних оценочных наборов
• утечка рабочих процессов агентов
• утечка памяти и пользовательских предпочтений

Это не обязательно код в традиционном смысле, но именно это определяет поведение продукта. Это и есть исходный код новой эпохи.

Что это значит для корпоративных пользователей

Если вы обычный пользователь, это для вас максимум громкая история.

Но если вы отвечаете за безопасность в компании, картина иная.

Компании подключают большие модели к поддержке клиентов, аудиту кода, анализу данных, автоматизации офиса, внутренним базам знаний, финансовым процессам и даже центрам безопасности. Модель уже не просто чат-бот, а оперирующий субъект с правами на инструменты.

Когда системный промпт и границы инструментов раскрыты, атакующий может точнее конструировать входы, заставляя модель неправильно использовать инструменты, раскрывать информацию, обходить согласования, выполнять ошибочные действия.

Особенно опасны агентские сценарии. Агент не просто отвечает — он оперирует файлами, вызывает API, отправляет сообщения, обращается к базам данных, запускает команды. После утечки системного промпта атакующий знает его логику декомпозиции задач и логику отказов и может выстроить цепочку атаки точно под его слабости.

Поэтому компании больше не могут считать системный промпт «внутренней документацией». Его нужно включить в реестр активов безопасности.

Как компаниям защищаться

Первое: не возлагайте всю безопасность на системный промпт.

Промпт может дисциплинировать модель, но не должен быть единственной линией обороны. Настоящая безопасность должна опускаться до прав на инструменты, API-шлюзов, уровня доступа к данным, журналов аудита и человеческих согласований.

Второе: минимизируйте права инструментов.

Что агент может читать, писать, удалять и кому отправлять — должно быть явно авторизовано. Не давайте глобальные права администратора лишь потому, что модель «кажется умной».

Третье: делите системный промпт на слои.

Не пишите все политики в одном огромном промпте. Разделите на слой идентичности, слой задач, слой инструментов, слой безопасности, слой аудита — и подгружайте динамически по сценарию. Тогда даже утечка одного слоя не отдаст атакующему всю панель управления.

Четвёртое: добавьте детекцию на стороне вывода.

Не проверяйте только пользовательский ввод. Вывод модели тоже должен проходить распознавание чувствительной информации, детекцию неправомерных действий и блокировку опасных команд.

Пятое: автоматизируйте «красную команду».

Раз атакующие используют многоагентную тактику стаи, обороняющимся нужна многоагентная красная команда. Регулярно позволяйте одной группе моделей атаковать другую, автоматически генерируйте тестовые примеры и непрерывно обновляйте линии обороны.

Почему я не советую распространять оригинал

В сети наверняка скажут: дайте ссылку на GitHub, покажите скорее.

Не советую.

Первое: оригинал может содержать детали, напрямую применимые для обхода политик безопасности. Распространять его — значит помогать другим воспроизводить атаку.

Второе: подлинность оригинала не подтверждена официально, и при повторном распространении неполное и загрязнённое содержимое легко принимается за факт.

Третье: исследователю по-настоящему стоит изучать точки отказа архитектуры безопасности, а не копипастить чужой утёкший промпт.

Обсуждать в среде безопасности нужно то, почему произошла утечка, как уменьшить ущерб и как построить новые уровни защиты, — а не разглядывать промпт как «электронные семечки».

Главный урок этой истории

Утечка промпта Claude Fable 5 на поверхности — отдельный прокол Anthropic, но по сути это проблема, от которой не уйти всей AI-индустрии.

Мы передаём большим моделям всё больше решений, действий и границ безопасности. При этом многие ключевые механизмы контроля в системах больших моделей всё ещё держатся на хрупком носителе — промптах на естественном языке.

Плюс естественного языка — гибкость; минус — ровно та же гибкость. В отличие от кода у него нет строгой типизации, он не так однозначен, как списки контроля доступа, и не изолирован жёстко, как песочница.

Поэтому безопасность AI будущего не может держаться только на «ещё более длинных системных промптах».

По-настоящему надёжные направления — это:

• внутреннее обучение модели безопасности
• внешние движки политик
• песочницы прав инструментов
• обязательные журналы аудита
• изоляция конфиденциальной информации
• кросс-валидация между несколькими моделями
• автоматизированное тестирование красной командой

Системный промпт может быть рулём, но не должен служить тормозом.

Напоследок

Самое ироничное в истории с Fable 5: Anthropic всегда была знаменосцем AI-безопасности — и вот её сильнейшая «безопасная» модель вскоре после запуска оказалась в центре сообщений об утечке системного промпта.

Это не значит, что Anthropic плоха. Наоборот: это значит, что сама задача AI-безопасности вступила в более сложную стадию.

Раньше человек атаковал AI.

Теперь AI организует AI для атаки на AI.

Когда одновременно автоматизируются атака, стратегии и разбор результатов, оборонять город одним промптом безопасности на 120 тысяч символов заведомо недостаточно.

Эпоха «вёсен и осеней» AI-безопасности закончилась — эпоха сражающихся царств только начинается.