Gemini 4 Carbon om Google terug te krijgen naar nummer één: een, en je zult het vandaag niet nodig hebben.
Google heeft een nieuw model. Beijing tijd, 29 oktober, om 1 uur, de officiële blog kwam online met de titel "onze volgende fronter model," de eerste twee verkooppunten van de tekst:state-of-the-art netwerk security capability, en long horizon (long continuous operation) capability.
Het woord "eerste terug in de wereld" is niet leeg. 59, nummer één.Ik weet het niet. Nummer twee Claude Opus 5.5 Ja 58, en nummer drie is 57.
Dus dit wordt niet de terugslag. Het is echt nummer één. Het probleem is...Hoe dik is dit 'eerste' en kun je het aanraken?
Er werden twee stukken voorgesteld:Wint de tweede plaats 1; de eerste evaluatie in de geconsolideerde lijst heeft slechts vier woorden - geen publiek vermogen API.Alles wat overblijft waren voetnoten op beide zinnen.
Ik, zeg die.
De lijst is Artificial Analysis Intelligence Index, die zojuist is bijgewerkt naar v. 5.0 en die negen beoordelingen samenbrengt: AA-Briefcase, Automation Bench-AAA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (subset van moeilijkheden), Terminal-Bench-Science.
58, 57. Als je deze volgorde ziet, vier het niet.De tweede en derde fase zijn de twee reflectiefasen van hetzelfde model.Opus 5.5 neemt 58 in Max, 57 in Xheigh.
Deze zin wordt vertaald:Google's voorsprong deze keer is kleiner dan de kloof tussen de denkdiepte van de andere kant.
Met andere woorden, dat is niet "generiek" maar "divers op hetzelfde niveau." De werkelijke betekenis is dichterbij: de drie zitten nu vast in dezelfde fractionele band, en wie meer training krijgt, meer wiskunde, op een dag verandert de volgorde. Dit is deze maand meer dan eens gebeurd.
Er is nog een detail dat veel mensen overslaan:Deze lijst is "net bijgewerkt naar V5.0."De evaluatie werd vervangen door een versie, en historische scores kunnen niet direct worden vergeleken. Dus het woord "terugkeer" is technisch niet geldig:Het is niet mogelijk om te vergelijken wie de eerste is in de vorige editie en hoeveel minder.De eerste na de verandering is de eerste op de nieuwe liniaal.
ii. Het woord "publishing" moet gevolgd worden door aanhalingstekens.
De titel van Ars Technica is simpelweg:"Het is het laatste fronter Ai model dat je niet kunt gebruiken"Het nieuwste model, je kunt het niet gebruiken.
Het is niet het titelfeest. Artificial Analysis's model pagina, Gemini 4 Carbon's status is:"Geen publiek vermogen API"Ik weet het niet. Geen van de vermelde instellingen had toegang tot open interfaces en kon alleen worden gemeten op de door de fabrikant verstrekte wijze.
Google zelf zegt "betrouwbare aanpak van uitrol" opzettelijk vertragen:
| Tijd | Wie kan het gebruiken? | Status |
|---|---|---|
| Vanaf deze week. | Een kleine groep cyber verdedigers. | Open |
| Na | Vertrouwde partners via Fairwind-programma | Geleidelijke vrijgave |
| Onbepaald | Ontwikkelaar, onderneming, consument | "Zo snel mogelijk" |
De aankondiging gaf prijs, benchmark, rangschikking.Alleen geen afspraakje.Het is geen omissie, het is een standaard operatie: een "binnenkort" achterlaten is geen belofte noch een inbreuk.
Google neemt trouwens ook deel aan het pre-testproces in de regering van de Verenigde Staten. Dit is iets om zeker te zijn, maar het betekent ook één ding:De tijd om officieel voor u te worden geopend is niet helemaal aan Google.
iii. De lijn met de hoogste nettowaarde:
De drie externe benchmarks, Google's zeer genereus, zijn beide percentages en kunnen worden gevonden:
| benchmark | Waarvoor? | Score |
|---|---|---|
| SEC-bench Pro | Zoek echte gaten in echte software. | 88.2% |
| ExpressGym | Controleer of de mazen worden benut. | 54.8% |
| CWE-bench | Patchen van root | 71.0% |
Voor dezelfde paragraaf is er echter een afzonderlijke noot, die zeer bescheiden is:Het spijt me, maar het spijt me."Assessed zonder hek."
Waarom is dat belangrijk? Omdat het een erkenning is van:Deze drie cijfers, die niet de mogelijkheden zijn die je daadwerkelijk kunt gebruiken, zijn de theoretische plafonds die uit de beveiligingsbeperkingen zijn verwijderd.Zodra de hekken terug zijn gezet in het echte product, zullen de scores naar beneden komen.
Meer dan dat, 54,8 procent van het midden.Het hek werd verwijderd, en het bewees alleen dat meer dan de helft van de gaten daadwerkelijk werden geëxploiteerd.Wat is de status van de resterende 45%? Gevonden, gerapporteerd, maar kon de gevolgen niet bewijzen
Ik denk niet dat het een zwarte plek is. ExpluitGym is een harde benchmark, 54,8% daarvan is al de beste. Maar lees het als "AI heeft de meeste systemen automatisch kunnen breken" en het eet die vijf woorden.
iv. De enige plek waar Google bereid is te verliezen
Het hele bulletin gaat over de eerste, toonaangevende, state-of-the-art. Slechts één regel is de uitzondering:
WebDev Arena scoort 41768, 89 elo.
In deze regel bleef ik bewust omdat het het enige nummer in de hele tekst was dat "niet de eerste maar de enige geschreven." 89 elo's promotie is niet klein in de arena, maar Google niet ingepakt als "top" omdat het niet kon worden verpakt, dus het was duidelijk op de lijst dat de witte lijn was 4.
Dit detail geeft me een beetje meer vertrouwen in die getallen:Wanneer een bedrijf bereid is nummer 4 in het bulletin te schrijven, weet het dat de lezer het zal onderzoeken.
Vijf, drie "beter dan een model." N, geen namen.
En nu ga je overgeven. Drie van de performance multipliers in het bulletin zijn zo lang als dit:
- "In de interne benchmark, de beveiligingscode generatie succespercentage is Argon Meer dan 2 keerWelke interne benchmark? De weg is niet openbaar.
- "Chrome Team Report, hoogwaardige Patch GenerationHet is meer dan 10 keer zo groot als een ander lab.Wie is die andere?
- "Wiz heeft opgemerkt dat het voorsprong heeft op de webpenetratietest benchmark" - welke benchmark? Geen details.
"Tien keer beter dan een model dat niet kan worden gezegd" is een klassiek onderdeel van de uitgeverij literatuur. Het voldoet aan drie voorwaarden tegelijk:Het klinkt erg krachtig, kan geen meineed plegen en kan geen verantwoordelijkheid nemen voor de verkeerde selectie van de vergelijking.
Ik zeg niet dat deze getallen verzonnen zijn. Het Chrome team en Wiz zijn echte partners, en deze interne validatie loopt meestal weg. Maar als het gaat om een artikel,Een mix van externe benchmarks en niet-detecteerbare interne veelvoudenDe aandacht van de lezer wordt weggenomen door de laatste -- omdat deze laatste sterker klinkt.Daarom is het geschreven.
Prijs: 50% korting, geldig voor vertrouwelijkheid
Dit deel van Google is eindelijk schoon:
| Post | Inleiding | Na de presentatieperiode |
|---|---|---|
| Invoer | $2 miljoen token | $4 miljoen token |
| Uitvoer | $10/miljoen token | $20/miljoen token |
| Cache-invoer | Voer de prijs in om 95% korting te spelen (ongeveer $0,10) | Op basis van nieuwe basisprijs |
De twee zijn afzonderlijk te zien. Het goede nieuws is:Het nieuwe model is dezelfde prijs als Argon, geen prijsverhoging.Front-line modellen waren niet duur, en waren niet gebruikelijk in de twee jaar.
Het slechte nieuws is:De standaardprijs is tweemaal zo hoog als de presentatieprijs en de datum van de presentatie staat niet in het bulletin.Het jaarlijkse budget wordt berekend op $4/$20. Het bedrag, berekend op $2/$10, zal vroeg of laat worden teruggegeven aan het werk.
Nog één ding om te onthouden:Cache input raakt 95% of 0.05 keer de input prijs.Deze korting is nu de ergste onder alle mainstream fabrikanten. Als je de scène van "de zelfde super-lange context" hebt, is de prijsstructuur echt -- als je het eerst kunt gebruiken.
Zeven, het veilige deel, de nummers zijn zo mooi.
Google heeft een set van uitlijningsindicatoren in het bulletin, die ik gekopieerd zoals ze zijn, omdat ze mooi zijn:
- Triminal-Bench 4.0 heeft verminderd succespercentage 0.0%De poging tot vals spelen daalde tot 0,4%, terwijl de nauwkeurigheid steeg.
- In de interieur disk codering omgeving, hoog risico alert daalt.Bijna 80%Ik weet het niet.
- Niet ondersteunde claims zijn ongeveer minder dan Argon De helft.Ik weet het niet.
- Crossing (overreach) 26%, under-service 29%Ik weet het niet.
- Gray Swan's indirecte hint wordt geïnjecteerd in de basislijn. 0.0%(Argon is 0,7%).
0, 0, 80, 50 %, 50 %Waarom is het allemaal "down" en "nul" en geen is absoluut?
Omdat deze...Verbetering ten opzichte van ArgonEn Argon werd twee weken geleden gestuurd. Twee weken.Twee weken om waarschuwingen met een hoog risico met 80% te verminderen, wat betekent dat de vorige generatie echt slecht was, of dat de interne set veel slechter was dan verwacht.Beide verklaringen zijn niet erg goed.
Ik zou de helft willen schrijven: Het zegt duidelijk dat op de publieke benchmark van Gray Swan, het nul slagingspercentage van de aanval betekent dat "alle pogingen in deze versie hebben gefaald."Deze versie van de beoordelingIk weet het niet. Het offensief is een voortdurende confrontatie, vandaag is nul procent niet de nul procent van morgen.
Er is nog iets wat ik niet zeg: een generatie van twee weken.
Gemini 4 Argon is twee weken geleden vrijgelaten. Koolstof is erop gebouwd.
Google's eigen woorden, "Illustrates the place where we're pushing the front forward" - laten zien hoe snel we vooruit gaan.Dat is de waarheid en het probleem.
Voor degenen die produceren betekent dit:Je zet Argon aan de lijn, Benchmark, snel, de volgende generatie is onderweg.Het model werd veranderd van "jaarlijkse besluitvorming" naar "maandelijks onderhoud." Het gaat niet om de Google-familie, maar om de meest radicale.
Hetzelfde geldt voor de auteur. Toen het uitkwam, zou het volgende codenummer intern gesplitst zijn.
Negen, wat vind je van deze release?
Je moet het toegeven.
- Het kostte AA Inteligence Index v. 5.0, eerst 59 punten, ter informatie.
- De lijn van cybersecurity werkt echt: de drie externe benchmarks zijn de beste op dit moment, niet de woorden.
- De prijsstructuur is beperkt in voor model.
- De volgorde van het geven van de defensieve kant eerst, dan waarderen, is logisch . . de mogelijkheid om mazen te vinden is gevaarlijker voor de aanvallers.
Je had het vraagteken moeten roepen.
- Een punt vooruit, minder dan het verschil tussen de tegenstander eigen denken slot.Dit is het sorteren in dezelfde horizontale band, niet de proxy.
- De lijst is veranderd in v. 5.0, de geschiedenis is ongeëvenaard."Return Number One" is methodologisch niet geldig.
- Geen van de drie interne veelvouden heeft een vergelijkende naam.Een herziening is niet mogelijk en mag niet als conclusie worden aangehaald.
- De externe benchmark was om het hek te verwijderen.Dat betekent niet dat je het kunt.
- Het is 50% korting, maar geen deadline.Verdubbel het budget.
We moeten wachten.
- Wacht tot de publieke API opengaat en de echte missie leidt. Er is een volledige evaluatie tussen de score en je baan.
- Wacht op de derde partij.Breng het hek.De drie veiligheidsbenchmarks worden weergegeven onder voorwaarden.
- Wacht maar tot iemand koolstof en Opus 5.5 op dezelfde Max-sleuf zet -- en nu is dit 59, juist 58, en de sleuf is niet uitgelijnd.
Eindelijk de titel. Google keerde terug naar de eerste plaats deze keer, en dat is niet te zijn. Maar in de zin "Return to the world first" is er een minder geldige veronderstelling:Er is een stabiele, "terug" eerst.
De echte stand van zaken is dat de drie families in een fractionele gordel worden geperst, elke paar weken van plaats wisselen, telkens met een "top-up" aankondiging.Deze "eerste" halfwaardetijd is waarschijnlijk net zo lang als de volgende generatie.
Eén punt winnen is waar. Ten eerste is het waar. Je kunt het vandaag niet gebruiken. Dat is de complete vorm van deze release.