← Tillbaka till listan

Kimi K3.1 har inte förmågan att ta bort attacken.

itadol5j

Först är slutsatsen att:Den här gången fanns det ingen "de-attack-kapacitet" och det fanns inget tecken på en "genial infiltration testingenjör som gick ner".

Månens mörka sida, orden är:De fann att utbildningsdata införlivade ett antal säkerhetsfunktioner, och sedan plockades de ut och raderades i två steg: Mid-training och RL.

Därefter sjönk deras egna interna penetrationsriktmärke från 90,5 procent till 81,0 procent.

Släppte 9,5 poäng. Relativ nedgång 10,5 procent.

Och?81,0 procent är fortfarande 2,4 gånger högre än 33,3 procent av sin föregångare K3.

Så termen "ta bort förmågan att attackera" är en logisk nivå med "mannen blir dum eftersom han är ner 95 till 90."

xdev-bench-hård

Låt oss först se vad som har tagits bort.

De flesta av recitationerna på Internet stannar vid frasen "Kimi tar bort förmågan att attackera." Den officiella texten är faktiskt mycket specifik, och jag tar ner den:

Först får de reda på var kraften kommer ifrån.

Eftersom utbildningsskalan har expanderat har kapaciteten att undersöka kryphål stadigt ökat. Retroaktiv källa upptäckt -Cyberinnehållet är inbäddat i det generiska mellanträningsspråket, och cyberuppgiften är också i RL-miljön. Regeringen använder en mycket uppriktig fras: "Detta är en naturlig biprodukt av utbildning i ett brett spektrum av data."

Steg två gjorde de ett jämförelseexperiment.

Validering på interna modeller: Om mellanträningen och RL-faserna inte tas bort, ökar nedströms cyberkapaciteten betydligt.

Steg tre, de gjorde det i den öppna källan.

För K3.1 Pros open-weather-förfrågan gick vi med på och flyttade cyberrelaterade data från båda träningsevenemang, samtidigt som vi förblev de allmänt föreslagna kodningsverktygen som behövs för modellanvändning.

Notera den sista meningen: "De generiska programmeringsuppgifterna som krävs för modellernas användbarhet behålls".

Denna mening är den mest kritiska i texten.De raderade "data som specifikt pekade på attacken", inte "all kunskap om kod, system, kryphål". Den senare eliminerar modellen eftersom kryphålet själv är en kod fel.

Det exakta svaret är:Det handlar inte om att ta bort förmågan att attackera, det handlar om att ta bort träningsförspänningen av "riktning mot attack".

Hur långt är dessa två saker? Titta på nästa avsnitt.

Två, 90,5. Det är ett nummer som aldrig publicerats.

Denna detalj saknas nästan.

Xdev-bench-hård, 90,5%, ärGör inte samma cyberträningsrör för data borttagning LineJag går ut ur checkpoint.

Denna checkpoint har aldrig publicerats. Det är inte en generationsprodukt, inte en offentlig version, utan en hypotetisk produkt som endast finns i interna kontrollexperiment.

Med andra ord är kärnan i denna jämförelse:

Vi kunde ha gjort 90,5, men vi valde att publicera 81,0.

Detta är en gång.Offentlig förklaring av självbehärskningInte en enda gång.Rapport av olyckor för nedbrytning av kapacitetJag vet inte.

Att kombinera dessa två saker är den största snedvridningen av cykeln.

Full mästare:

Modellmodellxdev-bench-hard (pass@3)
GPT-5.6 Sol100%
Kimi (checkpoint utan cyber data borttagning)90.5%
DeepSeek-V4.1-Flash85.7%
Kimi K3.1 Pro (faktisk frisättning)81.0%
GM-5.357.1%
Kimi K3 (tidigare generation)33.3%

Det finns tre kontraintuitiva fakta i denna tabell, säger jag.

xdev-bench-hård full lista

Tre eller tre försummade fakta, var och en vänder en populär.

Fakta ett: Den som raderades, 90,5, du har aldrig laddat ner.

Så du inte "förlorade" någonting. Du vet, "De kunde ha gjort mer, men de valde att inte."

Detta är ett uttalande om säkerhet, inte en förlust av kapacitet.

Fakta 2: Efter att den raderades var den 2,4 gånger starkare än föregående generation.

81.0 Ja, 33.3. Det numret är i titeln, och berättelsen om det hela är exakt motsatsen -

Det är inte Kimi som blir svag, det är Kimi som blir starkare, men inte till den punkt där han kan.

Fakta III: Det finns redan en öppen källkodsmodell högre än så.

DeepSeek-V4.1-Flash, 85,7 procent.

Så slutsatsen att "andra modeller kommer att ta bort förmågan att attackera" är de facto irrelevant.Listan innehåller en 4,7-punkts hög nationell produktionsmodell.

Om du säger trender är trender:Huvudet stängd källmodell är 100%, den öppna källan är mellan 81 och 86, och alla pressas i samma skala.

Detta är en helt annan bild från "kollektiv kastrering".

IV. VAD BASE är (och det kan inte mäta något)

Denna punkt är den jag vill ha mest.

Xdev-bench-hård ger dig tre saker:

  1. Källa kod med kryphål
  2. En kula tips
  3. Motsvarande binär

Kravet är att skriva ett utdrag, få någon kod som utförs i den oberoende sandlådan och hämta en hemlig sträng för automatisk betyg.

Källan är Linux kärna, Node.js, JavaScriptCore, Exim, VirGL, den verkliga programvaran. Lee.Nya uppenbarelserOch...Allt är på mitigation.Jag vet inte.

Denna sak är svårt? Hård. Användningen av mildrande åtgärder är verkligen svårt.

Men dess form är ingenting som riktig penetration.

Den verkliga infiltrationen tog lång tid:

Ställ in omfattningen, rör tillgångarna, hitta ingångarna, gräva affärslogik luckor, flytta horisontellt, dra på bevis, skriva rapporter, förklara för kunden.

Och xdev-bench-hård täcker bara en liten höger i mitten:"Jag vet att det finns ett hål här, skjut ner det."

Där riktiga pengar är, stegen framåt...

  • Kundens tillgångslista är fel. Du måste göra det själv.
  • Ett internt verktyg som ser ofarligt ut. Det är ett power hub.
  • Det finns ingen CVE, ingen ledtråd, ingen binär, bara en knut som får dig att känna "hur är detta konstigt?"
  • Vi måste bevisa effekten.

Ingen av dessa kan mätas.

Så när någon säger "AI ersatte infiltrationstestingenjören", är min fråga:Vilken del ersatte du?

Om det är "utnyttjandet efter en antydan om ett kryphål", är det sant, AI är snabbare än de flesta människor. Detta hände för två eller tre år sedan.

Om det betyder "att hitta den mest värdefulla platsen inför ett konstigt, odefinierat, gränslöst verkligt system".Långt bort.

Baslinjen är bara den smalaste delen.

V. Varför är detta självomfattande meningsfullt inom teknik?

Beslutet på månens mörka sida, ur en rent teknisk synvinkel, är rationellt.

Först är den öppna källvikten oåterkallelig.

En sluten källkodsmodell fann att det var för kapabelt att lägga till ett staket, ett begränsat antal och ett stängt API.När de öppna källvikterna släpps kan världen ladda ner dem och aldrig få dem tillbaka.

Så den enda riskkontroll som kan göras med öppna källkodsmodeller är...Innan det går ut.Jag vet inte.

För det andra är deras mål väl formulerade.

"Vi"Nej, jag är inte.Lanseringen utökar den öppna källvikten av den absoluta frontlinjen för cyberkapacitet.

Uppmärksamhet på termen "absolut front". Inte "inga angripbara modeller" men "ingen modell som sätter branschen taket upp toppen."

Skillnaden mellan de två linjerna är enorm. Den förra är liktydig med en avvikelse av kampsport, medan den senare är helt enkelt ett felaktigt huvud.

För det tredje begick de sig själva motsatsen.

Artikel 2: ”Vi avser attGradvis ökningcyberfunktioner som finns i öppna källvikter.

Artikel 3 förklarar motiveringen: att göra det möjligt för personer som behöver dubbla användningsmöjligheter att användaFörsvarJag vet inte. En kraftfull modell öppen källkod, kör på en användarstyrd infrastruktur, så att fler lag kan granska sina egna underhållskoderDessa inkluderar äldre system som nästan aldrig har varit föremål för en specifik säkerhetsöversyn.

Detta är inte ett PR-meddelande.Säkerhetsskulden i arvssystemet är en av de mest verkliga smärtorna på det kinesiska Internet. Ett självkörande revisionsverktyg för försvaret finns på Intranätet, och intäkterna är verkliga.

Så det är inte kastrering, det är hastighetsgräns. Riktningen är fortfarande framåt, bara en broms.

Det är taket, inte golvet.

Sex, det är inte kraften som verkligen oroar sig. Det är tre saker.

Om jag är en säkerhetsutövare är jag inte orolig för att vara dum.

Jag är orolig för tre saker:

1 Den skärande effekten.

Den övre gränsen för kapaciteten hos en öppen källkod modell är föremål för en "ström frontlinjen stängd källkod modell på en nivå av tre månader sedan".

K3.1 Pros cyberkapacitet ligger fortfarande bakom dem.Det har varit offentligt tillgängligt i minst tre månader.Front-line sluten källkod modell.

Detta "minst tre månader" är inte slumpmässigt.Det är en tid gap.Jag vet inte.

Vad betyder det för försvaret? BetydelseDe mest kraftfulla open-source verktyg du kan få är alltid tre månader bakom de bästa verktygen som angriparna kan köpa med pengar.

Detta gap försvinner inte till följd av valet av en viss tillverkare, och det är normalt i detta skede.

2 Öppenhet av datakällor kollapsade.

Den mest värdefulla delen av detta tillkännagivande är faktiskt inte 81,0.Det medger att cyberens makt kommer från den naturliga biprodukten av det gemensamma språket.Jag vet inte.

Översättare: Du vill lära en modell som läcker, du behöver inte mata data.Att mata tillräckligt med kod och systemkunskap, det gör det.

Det betyder "dismantling data" på lång sikt.Det går emot fysikens lagar.Jag vet inte. Du har raderat det uppenbara defensiva materialet, och den generiska kodkapaciteten kommer att spilla över till attackkapaciteten - 81,0 på listan, vilket är bevis i sig.

Benchmarks och realistiska sprickor kommer att växa.

Fabrikens handelskammare fortsätter att behålla sina interna riktmärken (officiellt känd som "keyp som utvecklar våra internationella riktmärken") eftersom de befintliga riktmärkena förlorar sin distinktion när de är fullt fyllda.

Men...Ju mer exakt baslinjen, längre bort från den verkliga scenen.Jag vet inte. Det finns ingen "bug hint" för riktig penetration, ingen "negativ binär" för "retribution" för "hemlig sträng".

Så riktmärkespoängen kommer att bli högre och modellen "kan avsluta ett riktigt projekt för dig" kommer att visas senare än du förväntade dig.

Vii. Tillbaka till frågan: Kommer infiltrationstestingenjörer att falla?

Nope. Men...Jobbet kommer att omfördelas.Och det händer redan.

Min dom är i tre:

De kommer att ersättas:

  • PC / extloit
  • Masskod statisk revision först.
  • Duplicera konfigurationsverifiering, baslinjeinspektion
  • De delar av rapporten som "replicerar för att ändra kundens namn"

Det kommer inte att ersättas:

  • Att bedöma var detta system är mest värt att kämpa för - det kräver affärsförståelse och avvägning.
  • Återetablering av tillgångsigenkänning i fall där tillgångsförteckningen själv är fel
  • Ska du fixa denna risk eller inte? Det är politik, inte teknik.
  • Ta ansvar.Något är fel. Det är signerat av någon.

Det kommer att förstoras:

  • En person + ett gäng parter som kan täcka bredden på ett tidigare lag
  • Poängen är,Kan du verifiera utgången av genten?Jag vet inte. Valideringskapaciteten blir ny kärnkompetens.

Det verkliga problemet är inte att förutsäga, men...Det förstår penetrationstestning som att skriva utspädning.Jag vet inte.

Denna förståelse var föråldrad innan AI dök upp.

Åtta: Jag ska ge dig de verkliga parametrarna i denna modell.

Eftersom det handlar om denna modell används faktiskt några siffror:

FöremålKimi K3.1 Pro
Parametrar3 biljoner.
Kontext1M (1 048 576 tokens)
Inträdespris13 miljoner token
Utgångspris68/miljoner token
Cache1,30 miljoner token
Cache skriver 5 minuter13 miljoner token
Cache skriven 1 timme26 miljoner token
Express Express ExpressKonsistens, 2-3 gånger hastighet, dubbelt pris (≤ 26 / 136)
Viktpublikation4 november

Priset anges. 5,2 gångerPriset på cache är inmatat. 1/10Jag vet inte. Detta är den standard långa kontexten + Cache Priority prissättning struktur:Ju längre ditt system rör sig, desto stabilare är det, desto större besparingar.

Det finns tre hårdare gränser. De som kliver på det kommer att skada.

  • temperature Fast 1.0Jag vet inte.top_p Fast 0.95Om du passerar på ett annat värde kommer du att sakna det.
  • Multi-cykel samtal måste returneras i sin helhet som de ärinklusive reasoning_contentJag vet inte. Om du missar det börjar du prata nonsens.
  • Visuell inputBild URL stöds inteendast bas64 eller ms://

Och den sista, antar jag, är att många människor skulle gå på det: du kastar en fotolänk till det, och det laddar inte ner det, och det går bara fel.

Priser och hårda gränser

Slutligen.

I denna bulletin tror jag att det inte är 81,0 eller 90,5 som är mest värt att komma ihåg.

Det är det:"Vi har för avsikt att gradvis öka kapaciteten av cyber tillgänglig i öppna källvikter."

Eftersom det erkänner en premiss...Förmågor kan regleras, inte bara liberaliseras eller förseglas.

Under de senaste två åren har det bara funnits två positioner i branschen på denna fråga: full eller no.Kimi gav en tredje position denna gång: öppen, men långsam och offentligt indikerade hur mycket.

Du kan inte komma överens med denna hastighet. Men åtminstone satte den på bordet och berättade var den var.

Det är mycket mer ärligt än de outtalade, tysta vägran på RLHF.

När det gäller "genius infiltration test ingenjörer," de inte falla.

Det kommer att hända människor som bara har kunnat "skanna skannern och byta nyttolast" under de senaste 10 åren.Detta hände innan AI dök upp, AI tryckte bara schemat två år framåt.