120.000 tegn lækket! Claude Fable 5's systemprompt på gaden – hvor meget er der egentlig tilbage af AI-sikkerheden?

Claude Fable 5-sagen ligner mere og mere en offentlig afklædning af hele AI-sikkerhedsbranchen.

Ifølge flere kinesiske sikkerhedsmedier og aggregatorplatforme menes Anthropic's offentligt tilgængelige Mythos-klassemodel Claude Fable 5 at være blevet åbnet af jailbreakeren elder_plinius ved hjælp af et koordineret multi-agent-angreb, og den komplette interne systemprompt er blevet samlet og uploadet til GitHub – i alt omkring 120.000 tegn.

Værre er det, at det lækkede indhold ikke er en almindelig rollebeskrivelse, men angiveligt indeholder kernelogik for sikkerhedsstyring, riskoklassificering, afvisningsgrænser, værktøjskald og politikruting. Med andre ord: Hvis rapporterne stemmer, svarer det til at sætte brugsanvisningen til en banebrydende AI-models sikkerhedskonsol op på gaden.

Først en præcisering: Denne artikel gengiver, uddrager eller forklarer ikke, hvordan man bruger den lækkede prompt. Vi taler kun om, hvorfor sagen er alvorlig, og hvad den betyder for AI-sikkerhed.

Først: Lad os få begivenhedernes kronologi på plads

Claude Fable 5 er Anthropic's nye model fra begyndelsen af juni, som omverdenen ser som en offentlig sikkerhedsversion af Mythos 5. I offentlige rapporter beskrives Fable 5 som en ny generation af Claude rettet mod kompleks ræsonnering, langvarige opgaver og professionelle arbejdsgange.

Men siden lanceringen har den været omgivet af kontroverser.

Den første bølge af kontroverser handlede om for høje sikkerhedstærskler. Ifølge rapporter nægter Fable 5 af sikkerhedshensyn endda at besvare nogle grundlæggende biologi-spørgsmål. Modellen mangler altså ikke evner – den er blot stramt bundet af sikkerhedspolitikker.

Den anden bølge var Microsofts dobbeltmoral: På den ene side blev Fable 5 koblet på kunderettede tjenester, på den anden side begrænsede man intern brug blandt de ansatte – angiveligt på grund af datasikkerhed og risici ved modeloutput.

Den tredje bølge – og den mest sprængfarlige: En angriber hævder via et koordineret multi-agent-jailbreak at have fået fat i omkring 120.000 tegn af systemprompten og uploadet dem til GitHub.

Hvad der pt. kan ses på Anthropic's officielle nyhedsside: Den amerikanske regering har udstedt en eksportkontrolinstruks, der suspenderer al adgang til Fable 5 og Mythos 5. Angående selve promptlækagen har virksomheden endnu ikke givet en fuld bekræftelse.

Hvorfor angrebet er skræmmende: Ikke et enkelt granatslag, men floktaktik

Traditionelle jailbreaks hviler typisk på én magisk prompt: Få modellen til at ignorere regler, spille en rolle, opdele opgaver, omgå afvisninger.

Men i rapporterne om denne sag dukker ét ord gentagne gange op: floktaktik.

Det betyder, at angriberen ikke stormer frem med én prompt, men udruller flere agenter, der kæmper i fællesskab:

• Én agent kortlægger modellens grænser
• Én agent genererer varianter af spørgsmål
• Én agent vurderer, om svarene lækker strukturel information
• Én agent samler fragmenterede output til et komplet dokument
• Én agent justerer løbende angrebsstrategien

Dette løfter sagen fra et lille prompt-spil op til et automatiseret red team-system.

En menneskelig angriber giver måske op efter 100 forsøg – et AI-angrebssystem kan prøve 100.000 gange og optimere sig selv efter hver feedback. Jo stærkere frontier-modellerne bliver, jo farligere er det at bruge dem som angrebskoordinator.

Det er også derfor, denne hændelse virkelig bør gøre os opmærksomme: Dem, der bryder AI-sikkerhedssystemer, bliver i stigende grad AI selv.

Hvor alvorligt er et systemprompt-læk egentlig

Mange vil spørge: Det er jo bare en prompt – hvad så?

Det er en misforståelse af moderne store modelsystemer. En nutidig systemprompt er langt fra bare én sætning af typen 'du er en hjælpsom assistent'. Den ligner snarere en strategimanual til runtime og kan indeholde:

• Modelidentitet og interaktionsstil
• Kriterier for genkendelse af højrisikoindhold
• Hierarki af sikkerhedsklassifikation
• Afvisningsskabeloner for forskellige risikoscenarier
• Grænser for værktøjskald
• Håndteringsstrategier for følsomme områder som kode, cybersikkerhed, biologi og kemi
• Hvornår der skiftes til et sikrere svar
• Hvornår der afvises helt
• Hvornår en overordnet forklaring må gives

Når dette først er offentligt, behøver angriberne ikke længere at gætte i blinde.

Tidligere lignede et angreb på modellen at låse en dør op i mørke: Man kendte ikke låsekonstruktionen og måtte prøve sig frem. Efter en systemprompt-læk har man i stedet fået et tværsnit af låsekernen. Angriberen kan designe omgåelser til hver enkelt regel og systematisk finde sprækker i grænserne.

Det er netop derfor, en promptlæk ikke er et spørgsmål om 'at tabe ansigt', men en fuldt ud reel sikkerhedshændelse.

Hvad betyder 120.000 tegn

120.000 tegn svarer nogenlunde til en kortroman eller et sikkerhedspolitikdokument på flere snese sider.

Hvis størrelsen stemmer, viser det, at Fable 5's sikkerhedsstyring ikke består af et par enkle regler, men af et helt komplekst politiksystem. Meget tyder på, at de forskellige risikoområder er opdelt i finkornede grene: cybersikkerhed, biosikkerhed, kemi, psykologisk manipulation, økonomisk svindel, privatlækager, ophavsret, politisk følsomhed, beskyttelse af mindreårige, medicinske råd osv.

Det giver to kontraster.

For det første: Anthropic's sikkerhedsteknik er virkelig udført i detaljer. Så detaljeret, at mange grænser er klart definerede – og det er netop derfor, Fable 5 efter lanceringen virkede 'sikkerhedsmæssigt lidt for meget'.

For det andet: Jo finere reglerne er, jo tydeligere bliver angrebsfladen, når de lækker. Angriberen kan se, hvilke kategorier der udløser afvisninger, hvilke formuleringer der slipper igennem, og hvor der findes gråzoner.

Jo mere kompleks en sikkerhedspolitik er, jo mere ligner den et stort softwaresystem. Og softwaresystemer har fejl – promptsystemer har på samme måde logiske huller.

Det er ikke første gang: AI-sikkerhed er ved at gå ind i lækningsæraen

I de seneste to år er der blevet flere og flere lignende hændelser i AI-verdenen.

Nogen har lækket Claude Code-kildekoden, andre har gravet systemprompter ud af kommercielle agenter, nogen har fået adgang til skjulte prompts via browserudvidelser, og andre har narret reglerne ud af modellerne ved at lade dem spørge hinanden.

Årsagen er enkel: Stort set alt i store modelprodukters kerneaktiver flytter sig fra traditionel kode over i prompter, værktøjsorkestrering, politikruting, hukommelsessystemer og sikkerhedsregler.

Tidligere var virksomheder bange for, at kildekoden blev lækket.

Nu skal AI-virksomheder også frygte:

• Læk af systemprompter
• Læk af værktøjsskemaer
• Læk af sikkerhedspolitikker
• Læk af interne evalueringsdatasæt
• Læk af agentarbejdsgange
• Læk af hukommelse og brugerpræferencer

Disse ting er ikke nødvendigvis kode i traditionel forstand, men de bestemmer produktets adfærd. De er den nye tids kildekode.

Konsekvenser for virksomheder

Hvis du bare er en almindelig bruger, er dette højst en stor sladderhistorie.

Men hvis du er sikkerhedsansvarlig i en virksomhed, ser billedet anderledes ud.

Virksomheder kobler i stigende grad store modeller til kundeservice, kodegennemgang, dataanalyse, kontorautomatisering, interne vidensbaser, finansprocesser og endda sikkerhedsoperationscentre. Modellen er ikke længere bare en chatbot, men en aktør med værktøjsrettigheder.

Når systemprompter og værktøjsgrænser først er eksponeret, kan angribere konstruere input mere præcist og få modellen til at misbruge værktøjer, lække information, omgå godkendelser eller udføre forkerte handlinger.

Især agentscenarier er farlige. En agent svarer ikke kun – den styrer filer, kalder API'er, sender beskeder, forespørger databaser og kører kommandoer. Når systemprompten er lækket, kender angriberen dens opgavedekomposition og afvisningslogik og kan designe angrebskæder, der rammer præcis dens svagheder.

Derfor kan virksomheder ikke længere behandle systemprompten som 'internt tekstmateriale'. Den bør indgå i styringen af sikkerhedsaktiver.

Hvordan virksomheder bør forsvare sig

For det første: Læg ikke al sikkerhed i systemprompten alene.

En prompt kan begrænse en model, men må ikke være eneste forsvarslinje. Ægte sikkerhed skal placeres længere nede: i værktøjsrettigheder, API-gateways, datadgangslag, revisionslogge og manuelle godkendelser.

For det andet: Minimér værktøjsrettighederne.

Hvad en agent må læse, skrive, slette og hvem den må sende til, skal eksplicit autoriseres. Giv ikke en model globale administratørettigheder, bare fordi den 'ser smart ud'.

For det tredje: Lagdel systemprompten.

Skriv ikke alle politikker i én kæmpe prompt. Opdel i identitetslag, opgavelag, værktøjslag, sikkerhedslag og revisionslag, og indlæs dem dynamisk efter scenarie. På den måde får angriberen ikke hele kontrolplanet, selvom ét lag lækker.

For det fjerde: Indfør detektering på output-siden.

Undersøg ikke kun brugerinput. Modeloutput skal også gennemgås for følsom information, uautoriserede handlinger og farlige instruktioner.

For det femte: Automatisér red team-arbejdet.

Når angriberne bruger multi-agent floktaktik, skal forsvaret også bruge multi-agent red teams. Lad jævnligt en gruppe modeller angribe en anden gruppe, generér testprøver automatisk og opdatér forsvaret løbende.

Hvorfor jeg ikke anbefaler at sprede originalen

Der vil helt sikkert være nogen, der siger: Giv mig GitHub-linket, lad mig se det.

Det anbefaler jeg ikke.

For det første kan originalen indeholde detaljer, der direkte kan bruges til at omgå sikkerhedspolitikker. At sprede den er lig med at hjælpe flere med at gentage angrebet.

For det andet er originalens ægthed ikke officielt bekræftet, og spredning kan let få ufuldstændigt og forurenet indhold til at fremstå som fakta.

For det tredje er det for forskere det værd at studere sikkerhedsarkitekturens svigt – ikke at kopiere og indsætte andres lækkede prompts.

Det, sikkerhedsmiljøet bør diskutere, er: Hvorfor lækkede det, hvordan begrænses skaden, hvordan bygges nye forsvarslag – ikke at stirre på prompten som en realityshow-underholdning.

Den største lærdom fra denne sag

Claude Fable 5's promptlæk ser ved første øjekast ud som et enkeltpunktssvigt for Anthropic, men i virkeligheden er det et problem, hele AI-branchen må forholde sig til.

Vi overdrager flere og flere beslutninger, handlinger og sikkerhedsgrænser til store modeller. Men mange af de kritiske kontroller i store modelsystemer hviler stadig på et skrøbeligt medie: naturligt sprog.

Naturligt sprogs styrke er fleksibiliteten – og det er samtidig dets største problem. Det har ikke kodes strenge typer, ikke adgangskontrollisters tydelighed og ikke sandkassernes hårde isolation.

Fremtidens AI-sikkerhed kan derfor ikke udelukkende bygge på 'stadig længere systemprompter'.

De virkelig pålidelige retninger er:

• Intern sikkerhedstræning af modellen
• Eksterne politikmotorer
• Sandkasser for værktøjsrettigheder
• Obligatoriske revisionslogge
• Isolering af fortrolige oplysninger
• Krydsvalidering på tværs af modeller
• Automatiseret red team-testning

Systemprompten kan være et rat – men den må aldrig være bremsen.

Til sidst

Det mest ironiske ved Fable 5-sagen er: Anthropic har altid været AI-sikkerhedens flagskib, og så bliver deres stærkeste sikkerhedsmodel angiveligt ramt af en promptlæk kort efter lanceringen.

Det betyder ikke, at Anthropic er dårlige. Tværtimod viser det, at AI-sikkerhed som disciplin er nået ind i en sværere fase.

Før angreb mennesker AI.

Nu organiserer AI AI til at angribe AI.

Når angreb, politikker og evalueringer automatiseres samtidigt, er det dømt til ikke at være nok at forsvare sig med en 120.000 tegn lang sikkerhedsprompt.

AI-sikkerhedens rolige æra er forbi – kampæraen er lige begyndt.