120.000 caratteri esposti: il leak del system prompt di Claude Fable 5, quanto resta ancora della sicurezza dell'AI?
Il caso di Claude Fable 5, più lo si guarda, sembra sempre di più una striscia in pubblico dell'intero settore della sicurezza AI.
Secondo quanto riportato da diversi media cinesi di sicurezza e piattaforme di aggregazione, Claude Fable 5 — il modello della stessa fascia di Mythos aperto da Anthropic al pubblico — sarebbe stato scardinato tramite un attacco coordinato multi-agente da parte del jailbreaker elder_plinius; il system prompt interno completo sarebbe stato raccolto e caricato su GitHub, per un totale di circa 120.000 caratteri.
Ancora più serio: il materiale trapelato non sarebbe una semplice descrizione del personaggio, ma conterrebbe presumibilmente logiche centrali come gestione della sicurezza, classificazione dei rischi, confini dei rifiuti, chiamata degli strumenti e routing delle policy. In altre parole, se le notizie fossero vere, equivarrebbe ad affiggere per strada il manuale della console di sicurezza di un modello AI all'avanguardia.
Premessa: questo articolo non replica, non cita né insegna a usare il prompt trapelato. Parliamo solo del perché è una questione grave e di cosa significa per la sicurezza dell'AI.
Prima di tutto, mettiamo in ordine la cronologia
Claude Fable 5 è il nuovo modello lanciato da Anthropic all'inizio di giugno, visto dall'esterno come la versione pubblica e sicura di Mythos 5. Nei resoconti pubblici, Fable 5 è descritto come la nuova generazione di Claude orientata al ragionamento complesso, alle attività di lunga durata e ai workflow professionali.
Ma da quando è online, le polemiche non si sono mai fermate.
Prima polemica: soglia di sicurezza troppo alta. Alcune fonti segnalano che Fable 5, per prudenza, arriva a rifiutarsi di rispondere persino a domande elementari di biologia. Cioè: non è che manchi di capacità, è che è stato legato stretto dalle policy di sicurezza.
Seconda polemica: il doppio binario di Microsoft. Da un lato ha integrato Fable 5 nei servizi rivolti ai clienti, dall'altro ne ha limitato l'uso ai dipendenti interni, ufficialmente per ragioni legate alla sicurezza dei dati e ai rischi degli output del modello.
Terza polemica, quella più esplosiva: un attaccante dichiara di aver ottenuto, tramite jailbreak multi-agente coordinato, circa 120.000 caratteri di system prompt, caricandoli su GitHub.
Quello che oggi si legge nella pagina delle notizie ufficiali di Anthropic è che il governo statunitense ha emesso una direttiva di controllo delle esportazioni sospendendo ogni accesso a Fable 5 e Mythos 5. Sul leak dei prompt, per ora, l'ufficialità non ha dato conferme complete.
Perché questo attacco fa paura: non è un colpo singolo, è la tattica del branco
Il jailbreak tradizionale di solito si affida a un prompt magico: convincere il modello a ignorare le regole, a recitare una parte, a spezzettare il compito, a eludere i rifiuti.
Ma nei resoconti di questa volta ricorre insistente una parola: la tattica del branco di lupi.
Cioè: l'attaccante non carica frontalmente con un solo prompt, ma schiera più agenti che operano in sinergia:
- un Agent incaricato di esplorare i confini del modello
- un Agent incaricato di generare varianti delle domande
- un Agent incaricato di valutare se le risposte rivelano informazioni sulla struttura
- un Agent incaricato di ricomporre i frammenti di output in un documento completo
- un Agent incaricato di adattare di continuo la strategia d'attacco
Così si passa dal giochino dei prompt a un sistema red team automatizzato.
Un attaccante umano si stanca dopo un centinaio di tentativi; un sistema d'attacco AI può tentarne 100.000, e a ogni giro ottimizzarsi da solo in base al feedback. Più i modelli di frontiera sono forti, più è pericoloso usarli come coordinatori dell'attacco.
Ed è questo il punto davvero da meditare: la forza principale che sfonda i sistemi di sicurezza AI sta diventando l'AI stessa.
Quanto è grave, davvero, il leak di un system prompt
Molti si chiederanno: è solo un prompt, che male c'è se si scopre?
È un malinteso sui sistemi moderni basati su grandi modelli. Il system prompt di oggi è ormai lontano anni luce dal «sei un assistente utile». Somiglia piuttosto a un manuale operativo di policy a runtime, che può contenere:
- identità del modello e stile di interazione
- criteri di identificazione dei contenuti ad alto rischio
- livelli di classificazione della sicurezza
- template di rifiuto per i diversi scenari di rischio
- confini della chiamata degli strumenti
- policy di gestione dei settori sensibili: codice, sicurezza informatica, biologia, chimica e altri
- quando deviare verso risposte più sicure
- quando rifiutare del tutto
- quando consentire una spiegazione ad alto livello
Una volta rese pubbliche queste informazioni, chi attacca non deve più tirare a indovina alla cieca.
Prima, attaccare un modello era come scassinare al buio: non conoscendo la meccanica della serratura, si poteva solo provare a caso. Dopo il leak del system prompt, è come aver ottenuto la sezione trasversale del cilindro: chi attacca può progettare il bypass regola per regola, cercando apposta le fessure sui confini.
Ecco perché il leak dei prompt non è una «questione di facciata», ma un incidente di sicurezza in piena regola.
Cosa significano 120.000 caratteri
120.000 caratteri equivalgono più o meno a un romanzo medio o a decine di pagine di documenti di policy di sicurezza.
Se la scala è vera, significa che il controllo di sicurezza di Fable 5 non è un pugno di regole, ma un intero sistema di policy complesso. È molto probabile che suddivida i diversi domini di rischio in rami a granularità fine: sicurezza informatica, biosicurezza, chimica, manipolazione psicologica, frodi finanziarie, fuga di privacy, copyright, contenuti politicamente sensibili, tutela dei minori, consigli medici e via dicendo.
Qui emergono due contrasti.
Primo: l'ingegneria della sicurezza di Anthropic è davvero raffinata. Tanto che quasi ogni confine ha una definizione esplicita — ed è il motivo per cui Fable 5, appena arrivato online, è risultato «sicuro fino a diventarne eccessivo».
Secondo: più le regole sono fini, più un eventuale leak rende nitida la superficie d'attacco. Chi attacca vede quali categorie innescano il rifiuto, quali formulazioni passano, dove sono le zone grigie.
Più la policy di sicurezza è complessa, più assomiglia a un grande sistema software. E i sistemi software hanno bug: anche i sistemi di prompt hanno falle logiche.
Non è la prima volta: la sicurezza AI entra nell'era dei leak
Negli ultimi due anni episodi simili nel mondo AI sono in continuo aumento.
C'è chi ha fatto trapelare il codice sorgente di Claude Code, chi ha scovato il system prompt di Agent commerciali, chi è riuscito a ottenere prompt nascosti tramite estensioni del browser, chi ha fatto dire ai modelli le regole di sistema chiedendo da modello a modello.
Il motivo è semplice: gli asset centrali dei prodotti basati su grandi modelli si spostano sempre più dal codice tradizionale a prompt, orchestrazione degli strumenti, routing delle policy, sistemi di memoria e regole di sicurezza.
Prima le aziende temevano la fuga del codice sorgente.
Ora le aziende AI devono temere anche:
- il leak del system prompt
- il leak degli schema degli strumenti
- il leak delle safety policy
- il leak dei set di valutazione interni
- il leak dei workflow degli Agent
- il leak di memoria e preferenze degli utenti
Non sono codice nel senso tradizionale, ma determinano il comportamento del prodotto. Sono il codice sorgente della nuova era.
L'impatto sugli utenti aziendali
Se sei un utente qualunque, questa è al massimo una bella notizia da pettegolezzo.
Ma se sei il responsabile della sicurezza di un'azienda, il quadro cambia.
Le aziende stanno collegando i grandi modelli a assistenza clienti, revisione del codice, analisi dei dati, automazione d'ufficio, knowledge base interne, processi finanziari e persino centri operativi di sicurezza. Il modello non è più solo un chatbot: è un soggetto operativo con permessi sugli strumenti.
Una volta esposti il system prompt e i confini degli strumenti, chi attacca può costruire input con più precisione, spingendo il modello a usare male gli strumenti, a rivelare informazioni, a saltare le approvazioni o a eseguire azioni sbagliate.
Lo scenario più pericoloso è quello degli Agent. Perché l'Agent non si limita a rispondere: manipola file, chiama API, invia messaggi, interroga database, esegue comandi. Se il system prompt si scopre, chi attacca conosce la sua logica di scomposizione dei compiti e di rifiuto, e può costruire catene d'attacco calibrate sulle sue debolezze.
Per questo le aziende non possono più trattare il system prompt come «testo interno»: va incluso negli asset di sicurezza da gestire.
Come dovrebbero difendersi le aziende
Primo: non scaricare tutta la sicurezza sul system prompt.
Il prompt può vincolare il modello, ma non può essere l'unica linea di difesa. La vera sicurezza va fatta scendere a permessi degli strumenti, gateway API, livello di accesso ai dati, log di audit e approvazione umana.
Secondo: minimizzare i permessi degli strumenti.
Che cosa può leggere, scrivere, cancellare l'Agent, a chi può inviare: tutto va autorizzato esplicitamente. Non dare permessi di amministratore globali solo perché il modello «sembra intelligente».
Terzo: stratificare il system prompt.
Non scrivere tutte le policy in un unico prompt gigante. Si può suddividere in livello identità, livello compito, livello strumenti, livello sicurezza, livello audit, caricandoli dinamicamente per scenario. Così, anche se un livello viene scoperto, chi attacca non ottiene l'intero piano di controllo.
Quarto: introdurre i controlli sull'output.
Non controllare solo l'input dell'utente: anche l'output del modello va analizzato per individuare informazioni sensibili, azioni non autorizzate e istruzioni pericolose da bloccare.
Quinto: automatizzare il red team.
Se gli attaccanti usano la tattica multi-agente del branco, anche la difesa deve usare red team multi-agente. A intervalli regolari, far attaccare un gruppo di modelli da un altro, generando automaticamente campioni di test e aggiornando di continuo le difese.
Perché sconsiglio di diffondere il testo originale
Sicuramente in rete qualcuno dirà: dai, il link di GitHub, fammelo vedere subito.
Non conviene.
Primo: il testo originale potrebbe contenere dettagli direttamente utilizzabili per aggirare le policy di sicurezza. Diffonderlo significa aiutare più gente a replicare l'attacco.
Secondo: l'autenticità del materiale non è stata confermata ufficialmente, e la ridiffusione rischia facilmente di far passare per veri contenuti incompleti o contaminati.
Terzo: per i ricercatori, ciò che vale davvero la pena studiare sono i punti di rottura dell'architettura di sicurezza, non copiare e incollare il prompt che altri hanno fatto trapelare.
Quello di cui dovrebbe discutere la comunità della sicurezza è: perché è avvenuto il leak, come ridurre i danni, come costruire nuovi strati di difesa — non sedersi a guardare il prompt come uno spettacolo.
La lezione più grande di questa vicenda
Il leak del prompt di Claude Fable 5, in apparenza una caduta isolata di Anthropic, è in realtà un problema che l'intera industria AI non potrà evitare.
Stiamo affidando a grandi modelli un numero crescente di decisioni, operazioni e confini di sicurezza. Eppure molti controlli chiave dei sistemi basati su grandi modelli dipendono ancora dal fragile medium dei prompt in linguaggio naturale.
Il linguaggio naturale ha il pregio della flessibilità, e il difetto è proprio la troppa flessibilità: non ha i tipi rigorosi del codice, non è esplicito come una lista di controllo degli accessi, non isola fisicamente come una sandbox.
Per questo la sicurezza AI del futuro non può contare soltanto su «system prompt sempre più lunghi».
Le direzioni davvero affidabili sono:
- addestramento alla sicurezza interno al modello
- motori di policy esterni
- sandbox dei permessi sugli strumenti
- log di audit obbligatori
- isolamento delle informazioni riservate
- verifica incrociata tra più modelli
- test red team automatizzati
Il system prompt può essere il volante, ma non può fare da freno.
In conclusione
L'aspetto più ironico del caso Fable 5: Anthropic è sempre stata il portabandiera della sicurezza AI, eppure il suo modello più sicuro, appena arrivato online, si è visto attribuire un presunto leak del system prompt.
Non significa che Anthropic non valga niente. Anzi: significa che la sicurezza AI è entrata in una fase più difficile.
Prima erano gli esseri umani ad attaccare l'AI.
Ora è l'AI che organizza l'AI per attaccare l'AI.
Quando attacco, strategia e analisi post-mortem si automatizzano insieme, difendersi con un system prompt di 120.000 caratteri è destinato a non bastare.
Per la sicurezza AI è finita l'epoca degli scontri tra città-stato: è appena cominciata l'epoca della guerra totale.