← Înapoi la listă

Kimi K3.1 nu are capacitatea de a elimina atacul.

itadol5j

În primul rând, concluzia este că:De data aceasta nu a existat nici o "de-atac capacitate" și nu a existat nici un semn de un "geniu inginer de testare infiltrare merge în jos."

Partea întunecată a lunii, cuvintele sunt:Ei au constatat că datele de formare au încorporat o serie de caracteristici de securitate, și apoi au fost alese și șterse în două etape: mijlocul de formare și RL.

După aceea, indicele lor de penetrare internă a scăzut de la 90,5% la 81,0%.

A scăzut 9,5 puncte. Scădere relativă 10,5%.

Şi?81,0% este încă de 2,4 ori mai mare decât 33,3% din predecesorul lor K3.

Deci termenul de "a muta capacitatea de a ataca" este un nivel logic cu "omul devine prost pentru că el este în jos 95 la 90."

xdev-bench-hard

Mai întâi, să vedem ce a fost şters.

Majoritatea recitaţiilor de pe Internet se opresc la fraza "Kimi elimină abilitatea de a ataca." Textul oficial este de fapt foarte specific, și voi lua în jos:

Mai întâi, află de unde vine curentul.

Pe măsură ce amploarea formării s-a extins, capacitatea de cercetare a crescut în mod constant. Descoperirea unei surse retroactive -Conținutul cibernetic este încorporat în limbajul generic de mijloc de formare, iar sarcina cibernetică este, de asemenea, în mediul RL. Guvernul foloseşte o frază foarte sinceră: "Acesta este un produs natural secundar al formării într-o gamă largă de date."

Pasul doi, au făcut un experiment de comparaţie.

Validarea modelelor interne: În cazul în care etapele de formare medie și LR nu sunt eliminate, capacitatea cibernetică din aval crește semnificativ.

Pasul trei, au făcut-o în sursă deschisă.

Pentru cererea deschisă a K3.1 Pro, am convenit și am mutat date legate de tehnologia cibernetică de la ambele evenimente de formare, rămânând în același timp instrumentele generale de codificare propuse necesare pentru utilizarea modelului.

Notă ultima teză, "Se păstrează sarcinile generice de programare necesare pentru utilitatea modelelor."

Această frază este cea mai critică din text.Au şters "datele care indică în mod specific atacul," nu "toate cunoştinţele despre cod, sisteme, lacune." Acesta din urmă elimină modelul deoarece portiţa de scăpare este un defect de cod.

Deci răspunsul exact este:Nu este vorba despre eliminarea capacității de a ataca, este vorba despre eliminarea prejudecata de formare de "direcție de atac."

Cât de departe sunt aceste două lucruri? Uită-te la următoarea secţiune.

Doi, 90.5. E un număr nepublicat.

Acest detaliu aproape că lipseşte.

Xdev-bench-hard, 90,5%, esteNu face același tub de formare cibernetică pentru îndepărtarea datelor Linie"Eu ies din punctul de control.

Acest punct de control nu a fost niciodată publicat. Nu este un produs de generaţie, nu o versiune publică, ci un produs ipotetic care există doar în experimentele de control intern.

Cu alte cuvinte, esenţa acestei comparaţii este:

"Am fi putut face 90.5, dar am ales să publicăm 81.0."

Aceasta este o singură dată.Declaraţia publică de autoconstrângereNici măcar o dată.Raportul privind accidentele de degradare a capacitățiiNu ştiu.

Combinarea acestor două lucruri este cea mai mare denaturare a ciclului.

Maestru complet:

Modelxdev-bench-hard (pass@3)
GPT- 5, 6 Sol100%
Kimi (punct de control fără eliminarea datelor cibernetice)90.5%
DeepSeek-V4.1-Flash85.7%
Kimi K3.1 Pro (eliberare efectivă)81.0%
GM-5.357.1%
Kimi K3 (fosta generație)33.3%

Sunt trei fapte contraintuitive în acest tabel, spun eu.

xdev-bench-hard lista completă

Trei sau trei fapte neglijate, fiecare inversând unul popular.

Primul lucru: cel care a fost şters, 90.5, nu l-ai descărcat niciodată.

Deci nu ai "pierdut" nimic. Știi, "Ei ar fi putut face mai mult, dar au ales să nu."

Aceasta este o declarație de securitate, nu o pierdere de capacitate.

Faptul 2: După ce a fost şters, a fost de 2,4 ori mai puternic decât generaţia anterioară.

81. 0 Da, 33.3. Acest număr este în titlu, și narațiunea întregului lucru este exact opusul -

Nu e Kimi obtinerea slab, este Kimi obtinerea mai puternic, dar nu la punctul în care el poate.

Faptul III: Există deja un model open source mai mare decât atât.

DeepSeek-V4.1-Flash, 85,7%.

Deci concluzia că "alte modele vor elimina capacitatea de a ataca" este de facto irelevantă.Lista conţine un model de producţie naţional înalt de 4,7 puncte.

Dacă spui tendinţe, tendinţele sunt:Modelul sursă închis cap este 100%, sursa deschisă este între 81 și 86, și toată lumea este stors în aceeași scară.

Aceasta este o imagine complet diferită de "castrare colectivă."

IV. CE ESTE BAZA (și nu poate măsura nimic)

Acest paragraf este cel pe care îl vreau cel mai mult.

Xdev-bench-hard îţi dă trei lucruri:

  1. Codul sursei cu lacune
  2. Un indiciu de glonţ.
  3. Binar corespondent

Cerința este de a scrie un exploit, obține orice cod executat în cutia de nisip independentă și de a prelua un șir de caractere secret pentru rating automat.

Sursa este kernel Linux, Node.js, JavaScriptCore, Exim, VirGL, software-ul real. Lee.Revelaţii recenteŞi...Totul se reduce.Nu ştiu.

Chestia asta e grea? Greu. Utilizarea măsurilor de atenuare este foarte dificilă.

Dar forma ei nu se compară cu penetrarea reală.

Adevărata infiltrare a durat mult:

Setați domeniul de aplicare, atingeți activele, găsiți intrările, sapa lacunele logice de afaceri, muta orizontal, trageți pe dovezi, scrie rapoarte, explica clientului.

Și xdev-bench-hard acoperă doar un mic drept în mijloc:"Ştiu că e o gaură aici, împuşcă-o."

Unde sunt banii adevăraţi, paşii înainte...

  • Lista clienţilor e greşită. Trebuie s-o faci singur.
  • Un instrument intern care pare inofensiv. Este un hub de putere.
  • Nu există nici CVE, nici un indiciu, nici binar, doar o bănuială care te face să te simți "cum e ciudat?"
  • Va trebui să dovedim impactul.

Niciuna dintre acestea nu poate fi măsurată.

Aşa că atunci când cineva spune: "AI a înlocuit inginerul de teste de infiltrare," întrebarea mea este:Ce parte ai înlocuit?

Dacă este "exploit după un indiciu de o portiță," este adevărat, AI este mai rapid decât majoritatea oamenilor. Asta s-a întâmplat acum doi sau trei ani.

Dacă înseamnă "a găsi cel mai valoros loc în faţa unui sistem real ciudat, prost definit, fără frontiere,"Departe.

Linia de bază este doar cea mai îngustă parte.

V. De ce această auto-îmbrățișare are sens în inginerie?

Decizia pe partea întunecată a lunii, din punct de vedere pur ingineresc, este raţională.

În primul rând, greutatea open source este irevocabilă.

Un model cu sursă închisă a constatat că era prea capabil să adauge un gard, un număr limitat și un API închis.Odată ce greutăţile open source sunt eliberate, lumea le poate descărca şi nu le mai poate recupera.

Singurul control al riscurilor care poate fi făcut cu modele open source este...Înainte să iasă.Nu ştiu.

În al doilea rând, obiectivele lor sunt bine articulate.

NoiNu, nu sunt.Lansarea extinde greutatea open source a liniei frontului absolut al capacității cibernetice.

Atenţie la termenul "faţă absolută." Nu "fără modele atacabile," ci "niciun model care să ridice tavanul industriei."

Diferenţa dintre cele două linii este enormă. Primul este echivalent cu o abandonare a artelor marţiale, în timp ce acesta din urmă este pur şi simplu un cap nepotrivit.

În al treilea rând, s-au angajat să facă contrariul.

Articolul 2: "Ne propunem săCreşterea treptatăcapacitățile informatice disponibile în greutățile open source.

Articolul 3 explică motivele: pentru a permite persoanelor care au nevoie de capacitate de utilizare dublăApărareNu ştiu. Un model puternic open source, care rulează pe o infrastructură controlată de utilizator, permițând mai multor echipe să își auditeze propriile coduri de întreținere -Acestea includ sisteme moștenite care aproape niciodată nu au fost supuse unei evaluări specifice a securității.

Aceasta nu este o declarație de relații publice.Datoria de securitate a sistemului moștenit este una dintre cele mai reale dureri ale internetului chinez. Un instrument de audit auto pentru apărare este disponibil pe Intranet, iar veniturile sunt reale.

Deci nu e castrare, e limita de viteza. Direcția este încă înainte, doar o frână.

E tavanul, nu podeaua.

Şase, nu puterea e cea care te îngrijorează. Sunt trei lucruri.

Dacă sunt practicant în siguranţă, nu sunt îngrijorat că sunt prost.

Mă îngrijorează trei lucruri:

1 Efectul de tăiere.

Limita superioara a capacitatii unui model open source este supusa unui "model curent de sursa deschisa la un nivel de trei luni in urma" .

"Capacitatea cibernetică K3.1 Pro este încă în spatele celor."A fost publică timp de cel puțin trei luni.Modelul de primă linie cu sursă închisă.

Acest "cel puțin trei luni" nu este aleator.E un decalaj de timp.Nu ştiu.

Ce înseamnă pentru apărare? SemnificațieCele mai puternice instrumente open-source pe care le puteți obține sunt întotdeauna trei luni în spatele cele mai bune instrumente atacatorii pot cumpăra cu bani.

Acest decalaj nu dispare ca urmare a alegerii unui anumit producător și este normal în această etapă.

2 Transparenţa surselor de date s-a prăbuşit.

Cea mai valoroasă parte a acestui anunț nu este de fapt 81.0.Recunoaşte că puterea cibernetică provine din produsul natural secundar al limbii comune.Nu ştiu.

Vrei să înveţi un model care se scurge, nu trebuie să alimentezi date.Hrănind destule cunoştinţe de cod şi sistem, da.

Asta înseamnă "dezmembrarea datelor" pe termen lung.E împotriva legilor fizicii.Nu ştiu. Ați șters materialul defensiv evident, iar capacitatea de cod generic se va revărsa în capacitatea de atac -- 81.0 pe listă, care este o dovadă în sine.

Valorile de referință și fisurile realiste vor crește.

Camerele de comerţ ale fabricii continuă să-şi menţină valorile de referinţă interne (cunoscute oficial sub numele de "Keyp evolution our international background"), deoarece criteriile de referinţă existente îşi pierd distincţia odată ce sunt complet completate.

Dar...Cu cât e mai precisă baza, cu atât e mai departe de scena reală.Nu ştiu. Nu există nici un "aluzie bug" pentru penetrare reală, nici un "binar negativ" pentru "retribuție" pentru "șir secret."

Deci scorurile de referinţă vor fi mai mari, iar modelul "pot termina un proiect real pentru tine" va apărea mai târziu decât te-ai aşteptat.

VI. Înapoi la întrebarea: Infiltrarea inginerilor de testare va cădea?

Nu. Dar...Slujba va fi redistribuită.Şi deja se întâmplă.

Judecata mea este în trei:

Vor fi înlocuite:

  • PC / extloit
  • Codul de masă primul audit static.
  • Verificarea duplicată a configurației, inspecția inițială
  • Acele părţi ale raportului care "replică schimbarea numelui unui client"

Nu va fi înlocuit:

  • Pentru a judeca unde acest sistem merită să lupţi -- necesită înţelegere de afaceri şi compromisuri.
  • Reinstituirea recunoașterii activelor în cazurile în care lista activelor în sine este greșită
  • "O să rezolvi acest risc sau nu?" E politică, nu tehnologie.
  • Ia responsabilitatea.Ceva nu e în regulă. E semnată de cineva.

Va fi mărit:

  • O persoană + o grămadă de partide care pot acoperi lăţimea unei echipe anterioare
  • Ideea este,Poţi verifica ieşirea lui Angent?Nu ştiu. Capacitatea de validare devine noi competențe de bază.

Deci adevărata problemă nu e să prezici, dar...Întelege testarea penetrării ca fiind o explicaţie.Nu ştiu.

Această înţelegere a fost depăşită înainte de apariţia AI.

Opt: Vă voi da parametrii reali ai acestui model.

Din moment ce este vorba despre acest model, câteva numere sunt de fapt utilizate:

PostulKimi K3.1 Pro
Parametrii3 trilioane.
Context1M (1,048,576 jetoane)
Introduceți prețulUn milion de dolari.
Prețul de ieșire68/ milioane token
Cache1,30 / Milioane de jetoane
Cache Scrie 5 minuteUn milion de dolari.
Cache scris 1 oră©26 / Milioane de jetoane
ExpressCoerenţa, de 2-3 ori viteza, preţul dublu (©26/©136)
Publicarea greutăţii4 noiembrie

Preţul este înscris. 5, 2 oriPreţul cache-ului este introdus. 1/10Nu ştiu. Acesta este contextul standard pe termen lung + Cache Structura prețurilor prioritare:Cu cât sistemul tău se mişcă mai mult, cu atât e mai stabil, cu atât mai mari sunt economiile.

Mai sunt trei limite. Cei care calcă pe el vor durea.

  • temperature Fixat 1.0Nu ştiu.top_p Fixat 0.95Dacă treci peste o altă valoare, o vei rata.
  • Conversațiile multi-ciclu trebuie să fie returnate în întregime așa cum suntinclusiv reasoning_contentNu ştiu. Dacă îţi lipseşte, începi să vorbeşti prostii.
  • Intrare vizualăURL imagine nesuportat, numai baza64 sau ms://

Şi ultima, cred, este că mulţi oameni ar călca pe ea: îi arunci o legătură foto, şi nu o descarcă, şi pur şi simplu merge prost.

Prețurile și limitele grele

În sfârşit.

În acest buletin, cred că nu este 81.0 sau 90.5 care merită amintit.

Asta e:"Ne propunem să creștem treptat capacitatea cibernetică disponibilă în greutățile open source."

Pentru că recunoaşte o premisă...Capabilitățile pot fi reglementate, nu pur și simplu liberalizate sau sigilate.

În ultimii doi ani, au existat doar două poziții în industrie în această privință: complet sau nu.Kimi a dat o a treia poziţie de data aceasta: deschisă, dar lentă, şi a indicat public cât de mult.

Nu poţi fi de acord cu viteza asta. Dar cel puţin a pus-o pe masă şi ţi-a spus unde este.

E mult mai cinstit decât refuzul tăcut de la RLHF.

Cât despre inginerii de testare geniali, nu cad.

Se va întâmpla oamenilor care au fost capabili doar să "scaneze scanerul şi să schimbe încărcătura" în ultimii 10 ani.Asta s-a întâmplat înainte să apară AI, AI a amânat programul cu doi ani înainte.