120.000 tegn er fjernet! Claude Fable 5 system hint lekket. Hvor mange mer AIs undertøy er igjen?

Claude Fable 5 denne melonen, ser ut som en AI sikkerhetsbransjen offentlig nakenhet.

Ifølge en rekke kinesisk-språklige sikkerhetsmedier og polymerplattformer synes den mytopiske klassemodellen Claude Fable 5, som er åpen for publikum, å ha blitt primert av unnslipper eldre plinius i et fler intelligens koordinert angrep, og fullstendige interne systemvarsler ble samlet og lastet opp til GitHub, omtrent 120 000 tegn.

Vært fortsatt, er denne lekken ikke en vanlig rolleinnstillingsøvelse, men det ser ut til å inneholde kjernelogikk som sikkerhetskontroll, risikoklassifisering, benekting av grenser, verktøysamtaler, strategisk routing osv. Med andre ord, hvis rapporten er sann, vil dette være tantamount å legge ut en sikkerhetskonsollnote fra en frontlinje AI-modell på gaten.

For det første vil dette papiret ikke gjenoppta, trekke ut eller lære deg hvordan du bruker lekkasjer. Vi snakker om hvorfor dette er alvorlig og hva det betyr for AIs sikkerhet.

La oss fjerne tidslinjen for arrangementet.

Claude Fable 5 er en ny modell lansert av Antropic i begynnelsen av juni, som av omverdenen ses som en offentlig sikkerhetsversjon av Mythos 5. I en offentlig rapport er Fable 5 beskrevet som en ny generasjon av Claude, rettet mot komplekse resonnementer, langsiktige oppgaver, profesjonelle arbeidsstrømmer.

Men det gikk på nettet og var kontroversielt.

Den første bølgen av kontroverser var den overdreven sikkerhetsgrensen. Det er rapportert at Fable 5 til og med ville nekte å svare på noen grunnleggende biologiske spørsmål på grunn av sikkerhetsproblemer. Med andre ord er det ikke utilstrekkelig, men er bundet til sikkerhetsstrategier.

Den andre bølgen av kontroverser er Microsofts dobbelplattform. Adgang til kundeorienterte tjenester av Fable 5 på den ene siden og restriksjoner på internt personale på den andre skal relatere til datasikkerhet og modellutgangsrisiko på den andre.

Den tredje bølgen, som var den mest debacle denne gangen: en angriper hevder å ha fått et systematisk hint på rundt 120 000 tegn gjennom en multi-smart flukt og lastet den opp til GitHub.

Den offisielle Antropic nyhetssiden kan se at den amerikanske regjeringen har utstedt eksportkontrolldirektiver som suspenderer alle besøk av Fable 5 og Mythos 5. Når det gjelder lekkasjen er den offisielle bekreftelsen ennå ikke gitt.

Hvorfor er dette angrepet skremmende? Det er ikke en eneste eksplosjon. Det er en ulvestrategi.

Tradisjonelle unnslipper er ofte avhengige av et magisk hint: induksjonsmodellen ignorerer regler, spiller en rolle, deler oppgaver og omgås avslag.

Men det er et gjentatt ord i denne historien: ulv taktikken.

Det betyr at angriperen ikke brukte en rask slag, men i stedet plasserte en rekke intelligente kropper for å jobbe sammen:

• En agent er ansvarlig for å oppdage grensene for modellen.
• En, agent, er ansvarlig for å skape en variant.
• En agent for å vurdere om responsen lekket strukturell informasjon.
• En agent er ansvarlig for å samle et stykke ut i et fullstendig dokument.
• En agent er ansvarlig for kontinuerlig justering av angrepsstrategien.

Dette er blitt oppgradert fra et hintspill til et automatisert rødt lagsystem.

Mennesker kan være lei av å prøve 100 ganger, og AI kan prøve 100 000 ganger, og kan automatisk optimaliseres hver gang basert på tilbakemelding. Jo sterkere frontmodellen er, jo farligere er det å bruke den som angrepskoordinator.

Og det er det dette egentlig handler om: å bryte hovedkraften i AI-sikkerhetssystemet blir AI i seg selv.

Hvor alvorlig er systemets alarmlekkasje?

Mange spør, er det ikke problemet?" Så hva?

Dette er faktisk en misforståelse av det moderne store modellsystemet. Den nåværende systemhinten er ikke lenger en linje: \"Du er en nyttig assistent\". Det er mer som en kjøretid strategi uttalelse, som kan inneholde:

• Modellidentitet og interaktiv stil
• Identifikasjonskriterier for høyrisikoinnhold
• Nivå for sikker klassifisering
• Refusalmal for ulike risikoscenarier
• Verktøysamtalegrense
• Strategier for å håndtere følsomme områder som kode, cybersikkerhet, biologi, kjemi, etc.
• Når vil du gå til et tryggere svar?
• Når sa du nei?
• Når får du lov til å gi en høynivåforklaring?

Når disse tingene er gjort offentlig, trenger ikke angriperne å gjette.

Det viser seg at angrepsmodellen var som en blacklock: Jeg visste ikke om låskjernen struktur, men jeg prøvde det. Det er som å få en lås kjerneprofil etter systemspissen lekker. En angriper kan designe en vei rundt hver regel og finne et bestemt gap ved grensen.

Det er grunnen til at lekking av antydningen ikke er et \"problem\", men en reell sikkerhetsulykke.

Hva betyr 120 000 tegn?

120 000 tegn, omtrent tilsvarende en mellomroman, eller dusinvis av sider av sikkerhetspolitiske dokumenter.

Hvis denne størrelsen er sant, betyr det at Fable 5 sikkerhetskontroller ikke er enkle regler, men et komplekst sett taktiske systemer. Det er sannsynlig å bryte ned de ulike risikoområdene i fine partikkelseksjoner: cybersikkerhet, biosikkerhet, kjemi, psykologisk manipulasjon, økonomisk svindel, personvern, opphavsrett, politisk sensitivitet, beskyttelse av mindreårige, medisinsk råd osv.

Det er to kontraster.

For det første er Anthropics sikkerhetsarbeid veldig utformet. Så mye som mange grenser er tydelig definert, er det grunnen til at Fable 5 er \"lite for trygt\" etter det går på nettet.

For det andre, jo mer detaljert reglene, jo klarere angrepets ansikt når det er avslørt. Angriperne kunne se hvilke kategorier som ville utløse et avslag, hvilke uttrykk som ville bli frigitt og hvor det ville være grå områder.

Jo mer sofistikert sikkerhetsstrategien er, jo mer som et stort programvaresystem. Programvaren vil ha feil, og hintsystemet vil også ha logiske feil.

Dette er ikke første gang: AI sikkerhet kommer inn i æra av utlevering.

De siste to årene har det vært flere og flere AI-lignende hendelser.

Noen lekket Claude Code kildekode, noen trukket ut kommersiell agentens system hint, noen ble skjult gjennom en nettleser plugin, og noen brukte en modell til å spørre hverandre om systemreglene.

Årsaken er enkel: kjernen av store modellprodukter skifter stadig mer fra tradisjonelle koder til hint, verktøyorganisasjon, strategiske rutiner, minnesystemer og sikkerhetsregler.

Forretningen var tidligere redd for å lekke ut kildekoden.

Nå er AI redd:

• System tip lekkasje
• Verktøyskjema lekkasje
• Trygg lekkasje
• Intern vurdering av lekkasje
• Agentens jobb lekker. Lou.
• Minne- og brukerpreferanselekkasje

Dette er ikke nødvendigvis tradisjonelle koder, men de bestemmer produktadferd. De er kildekodene i den nye alderen.

Effekt på bedriftsbrukere

Hvis du bare er en vanlig bruker, er det en kjempe.

Men hvis du har ansvaret for bedriftssikkerhet, er det annerledes.

Bedrifter er i ferd med å integrere store modeller i personvern, koderevidering, dataanalyse, kontorautomatisering, intern kunnskapsbase, finansielle prosesser og til og med sikre driftssentre. Modellen er ikke lenger bare en chatrobot, men en operatør med verktøyprivilegier.

Når systemet varsler og verktøygrenser er eksponert, kan assailanten mer nøyaktig konstruere inngangen for å tillate modellen å misbruke verktøy, lekkasjeinformasjon, omgå godkjenninger og utføre feil handlinger.

Spesielt er agent den farligste scenen. Fordi Agent ikke bare er et svar, kjører det filer, ringer API, sender meldinger, sjekker databaser, kjører kommandoer. Når systemets hint er lekket, kjenner assailanten logikken om dekomponering og avvisning av oppdraget, og kan designe en angrepskjede mer nøye tilpasset sin sårbarhet.

Så selskaper kan ikke lenger bruke systemets varsling som et \"internt skript\". Den bør integreres i forvaltningen av sikkerhetsressurser.

Hvordan skal selskapet forsvare seg?

For det første, ikke trykk sikkerhet helt på systemet hint.

En antydning kan binde en modell, men ikke som en enkelt forsvarslinje. Ekte sikkerhet bør synke i verktøyprivilegier, API-gateways, datatilgang lag, revisjonslogger og manuell klargjøring.

For det andre, minimere verktøyrettigheter.

Agent trenger klar autorisasjon for det han kan lese, skrive, slette og sende. Ikke gi det globale administrator privilegier fordi det ser smart ut.

For det tredje, det bør være en laging av systemet hint.

Ikke skriv alle strategier i et stort program. Det kan deles ned i et identitetslag, et oppgavelag, et verktøylag, et sikkerhetslag og et revisjonslag som kan lastes dynamisk av scene. Således, selv om et lag lekker, vil angriperne ikke ha full kontroll.

For det fjerde, introdusere utgangssiden deteksjon.

Ikke bare test brukerinngang. Modellutganger er også underlagt sensitive informasjonsgjenkjenning, ultravires atferdsdetektering og farekommandoavlytting.

5. automatiser det røde laget.

Siden assailanter bruker flersmart kroppspakke taktikk, bruker den defensive siden også multismart kroppen Reds. En gruppe modeller brukes regelmessig til å angripe en annen gruppe av modeller, automatisk generere testprøver og kontinuerlig oppdatere forsvarslinjen.

Hvorfor foreslår jeg ikke originalen?

Noen på Internett må ha sagt: Gi meg en GitHub link.

Ikke anbefalt.

For det første kan den opprinnelige teksten inneholde detaljer som kan brukes direkte til å omgå sikkerhetsstrategier. Spredning hjelper flere mennesker til å gjenopprette angrep.

For det andre er ikke autentisiteten til den opprinnelige teksten offisielt anerkjent, og sekundær overføring kan lett ta hensyn til det ufullstendige, forurensede innhold.

For det tredje, for forskere, det som virkelig er verdt å studere, er feilpunktet i sikkerhetsarkitekturen, i stedet for å kopiere annen lekket hurtig.

Sikkerhetssirkelen bør diskutere hvorfor lekken, hvordan skaden kan reduseres og hvordan det nye skjoldet skal bygges, i stedet for å bruke hintene som en elektronisk klemme.

Den største åpenbaring av dette.

Claude Fable 5 har lekket, uten tvil et enkelt punktflip av Antropic, som faktisk er et problem for hele AI-industrien.

Vi leverer stadig mer beslutninger, operasjonelle og sikre grenser til større modeller. Mange av de viktigste kontrollene i store modellsystemer fortsetter å stole på naturlige språktips som et sårbart medium.

Fordelene ved naturlig språk er fleksible og ulempene er for fleksible. Det er ikke så stivt som koden, så klart som tilgangskontrolllister, like hardt som sandkasser.

Så den fremtidige AI-sikkerheten kan ikke utelukkende være basert på " en lengre systemhint."

Den sanne retningen bør være:

• Modell intern sikkerhetstrening
• Ekstern strategimotor
• Verktøytilgang Sandkasse
• Obligatorisk revisjonslogg
• Segregering av konfidensiell informasjon
• Multi-modell Cross-check
• Automasjon Red Team Test

Systemhinten kan være et ratt, men ikke en bremse.

På slutten.

Fabel 5, ironien er at Antropic har vært en AI sikkerhetsflaggspiller, og den sterkeste sikkerhetsmodellen ble lansert kort tid etter lanseringen, og den mistenkte systemvarselet ble lekket.

Det betyr ikke at Antropic ikke kan. Tvert imot, det viser at AI-sikkerhet tingen selv har nådd en vanskeligere fase.

Det var menneskeangrep AI.

Nå angriper AI AI.

Når et angrep er automatisert, er strategien automatisert og en flash-stasjon automatisert, er det bundet til å være utilstrekkelig med en 120 000-tegnet sikkerhetsvarsel.

AI, æra av trygge kilder og høster er over, og krigsnasjonene er bare begynnelsen.