← Tilbake til listen

Gemini 4 Carbon for å få Google tilbake til nummer ett: en, og du trenger det ikke i dag.

itadol5j

Google har en ny modell. Beijing-tiden 29. oktober kl. 1.00 kom den offisielle bloggen på nettet med tittelen " vår neste frontmodell", de to første salgspunktene i teksten:State-of-the-art nettverkssikkerhet evne, og lang horisont (lang kontinuerlig drift) evne.

Ordet " først i verden" er ikke tomt. 59, nr 1.Jeg vet ikke. Nummer to Claude Opus 5.5 Ja 58, og nummer tre er det, 57.

Så dette blir ikke bakfrakken. Det er virkelig nummer ett. Problemet er...Hvor tykk er dette - først - og kan du røre det?

To stykker ble lagt frem:Vinner andreplass 1; den første evalueringen i konsolidert liste har bare fire ord - ingen offentlig evne API.Alt som var igjen var fotnoter til begge setningene.

Gemini 4 Carbon AA etterretningsindeks v. 5.0

Jeg sier den.

Listen er Artificial Analysis Intelligence Index, som nettopp er oppdatert til v. 5.0 og som samler ni vurderinger: AA-Briefcase, Automation Bench-AAA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omnicience, GDP.pdf, HLE-Diamond, CritPt v2 (subset av vanskeligheter), Terminal-Bench-Science.

Femti og femti. Se denne sekvensen, ikke feire.Den andre og tredje er de to refleksjonsfasene av samme modell.Opus 5.5 tar 58 i Max, 57 i Xheigh.

Denne setningen er oversatt:Googles ledelse denne gangen er mindre enn gapet mellom den andre sidens tenkedybde.

Med andre ord, det er ikke -generisk - men - diverse på samme nivå - Den virkelige betydningen er nærmere: de tre er nå fast i samme fraksjonelle band, og som får mer opplæring, mer matte, en dag endrer rekkefølge. Dette skjedde mer enn én gang i måneden.

Det er en detalj som mange mennesker hopper over:Denne listen er " bare oppdatert til V5.0".Vurderingen ble erstattet av en versjon, og historiske scorer kan ikke sammenlignes direkte. Så ordet " retur" er ikke teknisk gyldig:Det er ikke mulig å sammenligne hvem som er den første i forrige utgave og hvor mye mindre.Den første etter endringen er den første på den nye herskeren.

59 Dispariteter med 58, faller i konfigurasjonen av samme modell Lee.

Ii. Ordet «publishing» må følges av sitatmerker.

Tittelen på Ars Technica er ganske enkelt:Det er den siste fronter Ai-modellen du ikke kan bruke"- Den siste modellen, kan du ikke bruke den.

Det er ikke tittelfesten. Artificiell analyses modellside, Gemini 4 Carbons status er:Ingen offentlig evne API-Jeg vet ikke. Ingen av de oppførte institusjonene hadde tilgang til åpne grensesnitt og kan bare måles på den måten produsenten tilbyr.

Google selv sier - delikat tilnærming til å rulle ut - bevisst bremse ned:

TidHvem kan bruke den?Status
Begynner denne uken.Et lite parti av cyberforsvarere.Åpne
EtterStolte partnere gjennom Fairwind-programmetGraduell utgivelse
UbestemtUtvikler, virksomhet, forbruker" Så snart som mulig"

Kunngjøringen ga pris, benchmark, rangering.Bare ingen dato.Det er ikke en utelatelse, det er en standard operasjon: å forlate en --soon - det er verken et løfte eller et brudd.

Google deltar også i pre-testing prosessen i den amerikanske regjeringen. Dette er noe å være sikker på, men det betyr også én ting:Tiden du skal åpnes offisielt er ikke helt opp til Google.

Publikasjon og tilgjengelighet er to ting.

iii. Linjen med høyeste nettoverdi:

De tre eksterne referansene, Googles veldig sjenerøse, er både prosenter og kan finnes:

BenchmarkFor hva?Score
SEC-bench ProSe etter ekte hull i ekte programvare.88.2%
Express GymSjekk om sløyfehullet utnyttes.54.8%
CWE-benchPatch fra rot71.0%

Men det er et merket notat før samme avsnitt, som er svært beskjeden:Unnskyld, men jeg beklager.Ansett uten gjerdet

Hvorfor er det viktig? Fordi det er en anerkjennelse av:Disse tre tallene, som ikke er de evnene du faktisk kan bruke, er de teoretiske takene som er fjernet fra sikkerhetsbegrensningene.Så snart gjerdene er satt tilbake i det virkelige produktet, vil scorene komme ned.

Mer enn det, 54,8 prosent av midten.Avgjerdet ble fjernet, og det viste seg bare at mer enn halvparten av hullene faktisk ble utnyttet.Hva er status for de resterende 45%? Funnet, rapportert, men kunne ikke bevise konsekvensene - i forvaltningen av loopholes, ville verdien av slike oppdagelser være mye mindre.

Jeg tror ikke det er et svart sted. ExpluitGym er et hardt benchmark, 54,8% av dem er allerede det beste. Men les det som "AI har vært i stand til å bryte de fleste systemer automatisk" og det spiser de fem ordene.

Tre eksterne referanser. Alle løp av gjerdet.

iv. Det eneste stedet hvor Google er villig til å miste

Hele oppslagsverket handler om første, ledende, toppmoderne. Bare én linje er unntaket:

WebDev Arena Scorer 4,1768, opp 89 elo.

I denne linjen bodde jeg bevisst fordi det var det eneste tallet i hele teksten som var " ikke den første, men den eneste skrevet." 89 elos kampanje er ikke liten på arenaen, men Google pakket den ikke som - toppen - fordi den ikke kunne pakkes, så det var klart på listen at den hvite linjen var 4.

Denne detaljen gir meg litt mer tillit til disse tallene:Når et selskap er villig til å skrive nummer 4 i bulletinet, vet det at leseren vil se på det.

Fem, tre " bedre enn en modell." Ingen navn.

Og her er den delen du skal kaste opp. Tre av ytelsesmultiplikatorene i oppslaget er så lenge dette:

  • I det interne referansemerket er sikkerhetskodegenerasjonens suksessrate Argon Mer enn 2 gangerHvilken intern referanse? Veien er ikke offentlig.
  • "Chrome Team Report, høy kvalitet Patch GenerationDet er mer enn 10 ganger størrelsen på et annet laboratorium.- Hvem er den andre?
  • "Wiz har observert at det er foran referansen for Web penetration test - hvilken referanse? Ingen detaljer.

"Ten ganger bedre enn en modell som ikke kan sies" er en klassisk del av utgivelseslitteratur. Den oppfyller tre betingelser samtidig:Det høres veldig kraftig ut, kan ikke skades og kan ikke ta ansvar for feil utvalg av komparatoren.

Jeg sier ikke at disse tallene består. Chrome team og Wiz er ekte partnere, og denne interne valideringen kjører vanligvis bort. Når det gjelder en artikkel,En blanding av eksterne benchmarks og udetekterbare interne multiplerLeserens oppmerksomhet blir tatt bort av sistnevnte - fordi sistnevnte høres sterkere ut.Det er derfor den er skrevet inn.

Tre multipler som ikke kan vurderes

Pris: 50% rabatt, gyldig for konfidensialitet

Denne delen av Google er endelig ren:

ArtikkelInngangsprisEtter presentasjonsperioden
Inngang$ 2 / millioner token4 millioner dollar
Utgang$10/ million token$20/ million token
Cache-inngangSkriv inn prisen for å spille 95 % avslag (ca. $0.10)Basert på ny basispris

De to skal ses separat. Den gode nyheten er:Den nye modellen er den samme som Argon, ingen prisstigning.Forsidemodeller var ikke dyre, og var ikke vanlige i de to årene.

Dårlige nyheter er:Standardprisen er dobbelt så høy som presentasjonsprisen, og datoen for presentasjonen er ikke i bulletin.Det årlige budsjettet beregnes til $4/$20. Tallet, beregnet til $ 2 / $ 10, vil bli returnert til jobb før eller senere.

En ting til å huske:Cache inngang treffer 95% avslag, eller 0.05 ganger inngangsprisen.Denne rabatten er nå den verste blant alle vanlige produsenter. Hvis du har scenen av " den samme superlange konteksten," prisstrukturen er ekte -- hvis du kan bruke den først.

Innføring og standardpriser

Syv, den trygge delen, tallene er så vakre.

Google har et sett av justeringsindikatorer i bulletinen, som jeg kopierte som de er, fordi de er vakre:

  • Triminal-Bench 4.0 har redusert suksessrate 0.0%Og juksforsøket falt til 0,4%, mens nøyaktigheten økte.
  • I det indre diskkodingsmiljøet faller høyrisikovarsel.Nær 80%Jeg vet ikke.
  • Ikke støttede krav er omtrent mindre enn Argon Halvdel.Jeg vet ikke.
  • Korsing (overreach) 26%underservice 29%Jeg vet ikke.
  • Gray Swans indirekte hint injiseres i baseline. 0.0%(Argon er 0,7 %).

0, 0, 80, 50 %, 50 % - disse tallene tas sammen, noe som er et spørsmål å stille:Hvorfor er det altdown ned" og null" og ingen er absolutt?

Fordi de er...Forbedring i forhold til ArgonArgon ble sendt for to uker siden. To uker.To uker å redusere høyrisikovarsler med 80 prosent, noe som betyr at den forrige generasjonen var virkelig dårlig, eller at det interne settet var langt verre enn forventet.Begge forklaringene er ikke særlig gode.

Jeg vil skrive halvparten: Det står klart at på den offentlige referansen til Gray Swan betyr null suksessrate av angrepet at - alle forsøk i denne versjonen har mislyktes - - Ja, sir.Denne versjonen av vurderingenJeg vet ikke. Offensiven er en pågående konfrontasjon, dagens null prosent er ikke morgendagens null prosent.

Det er en ting jeg ikke sier: en to ukers generasjon.

Gemini 4 Argon ble utgitt for to uker siden. Karbon bygget på det.

Googles egne ord, " Illustrerer stedet vi presser fronten fremover " viser hvor raskt vi beveger oss fremover.Det er sannheten og problemet.

For dem som produserer betyr dette:Du bare legger Argon på linjen, Benchmark ut, rask ut, neste generasjon er på vei.Modellen ble endret fraannualårsbeslutning" til " månedlig vedlikehold". Det handler ikke om Google-familien, men om det mest radikale.

Det samme gjelder forfatteren. Da det kom ut, ville det neste kodenummeret blitt delt internt.

Ni, hva synes du om denne utgivelsen?

Du bør innrømme det.

  • Det tok AA Inteligence Index mot 5.0, først, 59 poeng, for informasjon.
  • Linjen av cybersikkerhet fungerer virkelig: de tre eksterne referansene er de beste for øyeblikket, ikke ordene.
  • Prisstrukturen holdes i frontmodell.
  • Ordren å gi den defensive siden først, deretter valuing, er logisk - evnen til å finne loopholes er mer farlig for angriperne.

Du burde ha gitt spørsmålsmerket.

  • Et punkt foran, mindre enn forskjellen mellom motstanderens egen tenkningsplass.Dette er sorteringen i samme horisontale band, ikke proxy.
  • Listen har nettopp blitt endret til v. 5.0, historien er enestående." Return nummer 1" er ikke metodisk gyldig.
  • Ingen av de tre interne multiplene har et sammenlignbart navn.Ingen gjennomgang er mulig og bør ikke nevnes som en konklusjon.
  • Den eksterne referansen var å fjerne gjerdet.Det betyr ikke at du kan gjøre det.
  • Det er 50% rabatt, men ingen frist.doble budsjettet.

Vi bør vente.

  • Vent til det offentlige API åpner seg og kjører det virkelige oppdraget. Det er en fullstendig vurdering mellom score og jobb.
  • Vent på tredjepart.Ta med gjerdet.De tre sikkerhetsbegrensningene representeres under betingelser.
  • Vent til noen setter karbon og opus 5,5 på samme Max-spor - og nå er dette 59, høyre, 58, og spilleautomaten er ikke justert.

Endelig tittelen. Google kom tilbake til førsteplassen denne gangen, og det er ikke å være. Men i frasen - Tilbake til verden først - er det en mindre gyldig antakelse:Det er en stabil, tilbake" først.

Den virkelige situasjonen er at de tre familiene presses i en fraksjonell belte, skifter seter hver eneste uke, hver gang med en -top-up - kunngjøring.Denne half første" halveringstiden er sannsynligvis så lenge som neste generasjon.

Å vinne ett poeng er sant. Først er det sant. Du kan ikke bruke det i dag. Det er den fullstendige formen på denne utgivelsen.