120 tisíc znaků obnaženo! Unikl systémový prompt Claude Fable 5 – kolik bezpečnostních vrstev AI ještě zbývá?

Kauza Claude Fable 5 se čím dál víc podobá veřejnému striptýzu celého odvětví AI bezpečnosti.

Podle několika čínských bezpečnostních médií a agregačních platforem měl být Claude Fable 5 – veřejně dostupný model Anthropicu ze stejné třídy jako Mythos – prolomen útočníkem elder_plinius pomocí koordinovaného útoku více agentů; kompletní interní systémový prompt byl údajně zpracován a nahrán na GitHub v rozsahu přibližně 120,000 znaků.

Ještě horší je, že uniklý obsah není běžné nastavení role, ale zřejmě zahrnuje bezpečnostní řízení, klasifikaci rizik, hranice odmítání, volání nástrojů, směrování politik a další klíčovou logiku. Jinými slovy: pokud se zprávy potvrdí, je to, jako by návod k bezpečnostnímu panelu špičkového AI modelu někdo vyvěsil na ulici.

Nejprve upozornění: tento článek uniklé prompty nereprodukuje, necituje ani vás nenaučí je používat. Budeme se věnovat jen tomu, proč je celá věc závažná a co znamená pro bezpečnost AI.

Nejprve si ujasněme časovou osu událostí

Claude Fable 5 je nový model, který Anthropic představil začátkem června a který je navenek považován za veřejnou bezpečnou verzi Mythos 5. V dostupných zprávách je Fable 5 popisován jako nová generace Claude pro složité uvažování, dlouhodobé úlohy a profesionální workflow.

Po spuštění se ale kolem něj kupí spory.

První vlna se týká příliš vysokého bezpečnostního prahu. Podle některých zpráv Fable 5 kvůli bezpečnostním obavám odmítá odpovídat dokonce i na základní biologické otázky. Jinými slovy: schopnosti mu nechybí, je jen pevně svázaný bezpečnostní politikou.

Druhou vlnou je dvojí metr Microsoftu. Na jedné straně Fable 5 nasadil do služeb pro zákazníky, na druhé straně omezil jeho používání vlastním zaměstnancům, údajně kvůli bezpečnosti dat a rizikům výstupů modelu.

Třetí vlna, zatím nejvýbušnější: útočník tvrdí, že koordinovaným útokem více agentů získal systémový prompt o délce zhruba 120 tisíc znaků a nahrál ho na GitHub.

Z oficiálních novinek Anthropicu je patrné, že americká vláda vydala nařízení o exportních kontrolách a pozastavila veškerý přístup k Fable 5 i Mythos 5. Pokud jde o samotný únik promptu, oficiální potvrzení zatím chybí.

Proč je tento útok děsivý: nejde o jediný průlom, ale o taktiku vlčí smečky

Tradiční jailbreaky obvykle spoléhají na jeden zázračný prompt: přimět model ignorovat pravidla, hrát roli, rozdělit úlohu a obejít odmítnutí.

V těchto zprávách se ale opakovaně objevuje jeden pojem: taktika vlčí smečky.

Znamená to, že útočník nevrazil do modelu jedním promptem, ale nasadil několik agentů, kteří spolupracují:

• jeden Agent zjišťuje hranice modelu
• jeden Agent generuje varianty otázek
• jeden Agent vyhodnocuje, zda odpověď prozrazuje strukturu
• jeden Agent skládá roztříštěné výstupy do kompletního dokumentu
• jeden Agent průběžně upravuje útočnou strategii

Tím se z hraní si s prompty stal automatizovaný red teaming.

Lidský útočník se po stu pokusech unaví, AI útočný systém jich zvládne sto tisíc a při každém z nich se dokáže na základě zpětné vazby automaticky zlepšovat. Čím silnější je špičkový model, tím nebezpečnější je použít ho jako koordinátor útoku.

A právě v tom je celá událost nejvarovnější: hlavní silou, která prolomí bezpečnostní systémy AI, se stává sama AI.

Jak závažný je vlastně únik systémového promptu

Mnozí namítnou: vždyť je to jen prompt. Co na tom, když unikne?

To je nedorozumění o moderních velkých modelech. Dnešní systémový prompt už dávno není věta „jsi nápomocný asistent“. Spíš připomíná návod k běhové politice a může obsahovat:

• identitu modelu a styl interakce
• kritéria pro rozpoznání vysoce rizikového obsahu
• vrstvy bezpečnostní klasifikace
• šablony odmítnutí pro různá rizika
• hranice volání nástrojů
• strategie pro citlivé oblasti: kód, kybernetickou bezpečnost, biologii, chemii
• kdy přejít na bezpečnější odpověď
• kdy zcela odmítnout
• kdy je povoleno vysvětlení na vyšší úrovni

Jakmile se tyto věci dostanou na veřejnost, útočníci už nemusí hádat naslepo.

Útočení na model bylo dřív jako otevírání zámku potmě: neznáte stavbu cylindrické vložky, můžete jen zkoušet. Po úniku systémového promptu má útočník v ruce řez zámkem. Může pro každé pravidlo navrhnout způsob obejití a cíleně hledat mezery na hranicích.

Proto únik promptu není otázkou prestiže, ale skutečným bezpečnostním incidentem.

Co znamená 120 tisíc znaků

120 tisíc znaků odpovídá zhruba jedné novele nebo desítkám stran bezpečnostní dokumentace.

Pokud je tento rozsah pravdivý, znamená to, že bezpečnostní řízení Fable 5 není jen několik pravidel, ale celý komplexní systém politik. Pravděpodobně rozděluje různé rizikové oblasti do jemných větví: kybernetická bezpečnost, biologická bezpečnost, chemie, psychologická manipulace, finanční podvody, únik soukromí, autorská práva, politická citlivost, ochrana nezletilých, lékařská doporučení atd.

To přináší dva protiklady.

Zaprvé, bezpečnostní inženýrství Anthropicu je skutečně velmi detailní. Tolik hranic má přesnou definici, což je také důvod, proč Fable 5 po spuštění působil „bezpečně až přehnaně“.

Zadruhé, čím jemnější pravidla, tím jasnější je po úniku útočná plocha. Útočník vidí, které kategorie spustí odmítnutí, jaké formulace projdou a kde jsou šedé zóny.

Čím složitější bezpečnostní politika, tím víc připomíná rozsáhlý softwarový systém. Softwarové systémy mají chyby a systémy založené na promptech mají logické díry úplně stejně.

Není to poprvé: AI bezpečnost vstupuje do éry úniků

Podobných případů v AI světě za poslední dva roky přibývá.

Někdo zveřejnil zdrojový kód Claude Code, někdo vytáhl systémové prompty komerčních agentů, někdo získal skrytý prompt přes rozšíření prohlížeče, jiný nechal modely, aby se navzájem vyptávaly, a z nich vytáhl systémová pravidla.

Důvod je prostý: klíčové aktivum produktů postavených na velkých modelech se stále více přesouvá od tradičního kódu k promptům, orchestraci nástrojů, směrování politik, paměťovým systémům a bezpečnostním pravidlům.

Dřív se firmy bály úniku zdrojového kódu.

Dnes se AI firmy musí bát ještě:

• úniku systémového promptu
• úniku schémat nástrojů (tool schema)
• úniku safety policy
• úniku interních evaluačních sad
• úniku workflow agenta
• úniku paměti a uživatelských preferencí

Tyto věci nejsou kódem v tradičním slova smyslu, ale určují chování produktu. Jsou to zdrojové kódy nové éry.

Dopad na firemní uživatele

Pokud jste běžný uživatel, je to pro vás nanejvýš velká kauza.

Pokud ale zodpovídáte za bezpečnost ve firmě, situace je jiná.

Firmy zapojují velké modely do zákaznické podpory, auditu kódu, datové analýzy, kancelářské automatizace, interních znalostních bází, finančních procesů i bezpečnostních operačních center. Model už není jen chatbot, ale aktér s oprávněními k nástrojům.

Jakmile se systémový prompt a hranice nástrojů dostanou ven, mohou útočníci přesněji konstruovat vstupy, aby model zneužil nástroje, vyzradil informace, obešel schvalování nebo provedl chybné akce.

Nejnebezpečnější jsou scénáře s agenty. Agent nejen odpovídá – pracuje se soubory, volá API, posílá zprávy, dotazuje databáze a spouští příkazy. Když systémový prompt unikne, útočník zná jeho logiku rozkladu úloh i logiku odmítání a může navrhnout útočný řetězec přesně na míru jeho slabinám.

Firmy proto nemohou systémový prompt považovat za „interní text“. Měl by být součástí správy bezpečnostních aktiv.

Jak se mají firmy bránit

Zaprvé, nesázejte bezpečnost výhradně na systémový prompt.

Prompt může model usměrnit, ale nemůže být jedinou obranou. Skutečná bezpečnost musí klesnout do oprávnění nástrojů, API brány, vrstvy přístupu k datům, auditních logů a lidského schvalování.

Zadruhé, minimalizujte oprávnění nástrojů.

Co smí agent číst, zapisovat, mazat a komu posílat, musí být výslovně autorizováno. Nedávejte mu globální administrátorská práva jen proto, že model „vypadá chytře“.

Zatřetí, vrstvěte systémový prompt.

Nezapisujte všechny politiky do jednoho obřího promptu. Rozdělte je na vrstvu identity, úloh, nástrojů, bezpečnosti a auditu a načítejte je dynamicky podle scénáře. I když jedna vrstva unikne, útočník nezíská celou řídicí plochu.

Začtvrté, zaveďte detekci na straně výstupu.

Nekontrolujte jen vstup od uživatele. Výstupy modelu musí také procházet rozpoznáváním citlivých informací, detekcí překročení oprávnění a blokováním nebezpečných instrukcí.

Zapáté, automatizujte red teaming.

Když útočníci používají taktiku vlčí smečky s více agenty, musí i obrana používat víceagentní red team. Nechte pravidelně jednu skupinu modelů útočit na druhou, automaticky generovat testovací vzorky a průběžně aktualizovat obranu.

Proč nedoporučuji šířit originál

Na internetu se určitě ozvou hlasy: dejte odkaz na GitHub, ať se na to podívám.

Nedoporučuji.

Zaprvé, originál může obsahovat detaily přímo použitelné k obejití bezpečnostních politik. Jeho šíření pomáhá dalším lidem útok zopakovat.

Zadruhé, pravost originálu nebyla oficiálně potvrzena a při dalším šíření se snadno stane, že neúplný nebo zmanipulovaný obsah bude považován za fakt.

Zatřetí, pro výzkumníky je skutečně hodnotným tématem selhání bezpečnostní architektury, nikoli kopírování cizího uniklého promptu.

Bezpečnostní komunita by měla řešit, proč k úniku došlo, jak škody snížit a jak vybudovat novou obrannou vrstvu – ne si z promptu dělat zábavu na obrazovce.

Největší ponaučení z celé věci

Únik promptu Claude Fable 5 na povrchu vypadá jako jednorázové selhání Anthropicu, ale ve skutečnosti je to problém, kterému se nevyhne celé odvětví AI.

Svěřujeme velkým modelům stále více rozhodování, akcí a bezpečnostních hranic. Jenže spousta klíčových kontrol v systémech s velkými modely stále stojí na tak křehkém médiu, jakým je přirozený jazyk v promptu.

Výhodou přirozeného jazyka je flexibilita, nevýhodou je, že je až příliš flexibilní. Nemá přísné typy jako kód, není tak jednoznačný jako seznamy pro řízení přístupu a neizoluje tak tvrdě jako sandbox.

Bezpečnost AI proto v budoucnu nemůže stát jen na „delším systémovém promptu“.

Skutečně spolehlivý směr by měl být:

• bezpečnostní trénink uvnitř modelu
• externí politický engine
• sandbox oprávnění nástrojů
• povinné auditní logy
• izolace důvěrných informací
• křížové ověřování více modely
• automatizované red team testování

Systémový prompt může být volant, ale nemůže být brzda.

Na závěr

Na celé kauze Fable 5 je nejironější, že Anthropic byl dlouho vlajkonošem bezpečnosti AI – a teď se jeho nejbezpečnější model krátce po spuštění dočkal podezření z úniku systémového promptu.

Neznamená to, že by Anthropic selhal. Právě naopak: ukazuje to, že bezpečnost AI jako taková vstoupila do obtížnější fáze.

Dřív útočil na AI člověk.

Dnes AI organizuje AI, aby útočila na AI.

Když se zároveň automatizuje útok, politika i její vyhodnocování, pak obrana města pomocí jediného bezpečnostního promptu o 120 tisících znacích prostě stačit nemůže.

Období jar a podzimů v bezpečnosti AI skončilo, období válčících států teprve začíná.