← Torna all’elenco

Gemini 4 Carbon per riportare Google al numero uno: uno, e non ne avrai bisogno oggi.

itadol5j

Google ha un nuovo modello. Pechino ora, 29 ottobre, alle 13.00, il blog ufficiale è venuto online con il titolo "il nostro prossimo modello anteriore", i primi due punti di vendita del testo:Capacità di sicurezza di rete all'avanguardia e capacità di orizzonte lungo (lungo funzionamento continuo).

La parola "prima volta nel mondo" non è vuota. Cinquantanove, numero uno.Non lo so. Numero due Claude Opus 5.5 Si 58, e il numero tre e', 57.

Quindi questa non sara' la retromarcia. E' davvero il numero uno. Il problema è...Quanto è spessa questa "prima" e puoi toccarla?

Due pezzi sono stati messi in avanti:Vince il secondo posto 1; la prima valutazione nell'elenco consolidato ha solo quattro parole - nessuna API di abilità pubblica.Tutto ciò che rimaneva era nota a entrambe le frasi.

Gemini 4 Carbon AA Intelligence Index v. 5.0

Dillo io.

L'elenco è Artificial Analysis Intelligence Index, che è appena stato aggiornato a v. 5.0 e che riunisce nove valutazioni: AA-Briefcase, Automation Bench-AAA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (sottoinsieme di difficoltà), Terminal-Bench-Science.

Cinquantasette. Vedendo questa sequenza, non festeggiare.La seconda e la terza sono le due fasi di riflessione dello stesso modello.L'Opus 5.5 prende 58 in Max, 57 in Xheigh.

Questa frase è tradotta:Google guida questa volta è più piccolo del divario tra la profondità di pensiero dell'altro lato.

In altre parole, non è "generico", ma "diverso allo stesso livello". Il vero significato è più vicino: i tre sono ora bloccati nella stessa banda frazionaria, e che ottiene più formazione, più matematica, un giorno cambia ordine. Questo è successo più di una volta questo mese.

C'è un altro dettaglio che molte persone saltano:Questa lista è "solo aggiornata a V5.0".La valutazione è stata sostituita da una versione, e i punteggi storici non possono essere confrontati direttamente. Quindi la parola "ritorno" non è tecnicamente valida:Non è possibile confrontare chi è il primo nell'edizione precedente e quanto meno.Il primo dopo il cambiamento è il primo sul nuovo righello.

59 Disparità con 58, cadendo nella configurazione dello stesso modello Lee.

Ii. La parola "publishing" deve essere seguita da virgolette.

Il titolo di Ars Technica è semplicemente:"E' l'ultimo modello Ai anteriore che non puoi usare"- L'ultimo modello in avanti, non puoi usarlo.

Non e' la festa del titolo. La pagina del modello di Analisi Artificiale, Gemini 4 Carbon è:"No public skill API"Non lo so. Nessuna delle istituzioni elencate aveva accesso a interfacce aperte e poteva essere misurata solo nel modo fornito dal produttore.

Google stesso dice "approccio liberato al rollout" — deliberatamente rallentare:

TempoChi può usarlo?Stato
A partire da questa settimana.Un piccolo gruppo di difensori informatici.Aperto
DopoPartner fidati attraverso il programma FairwindRilascio graduale
Non determinatoSviluppatore, impresa, consumatore"il più presto possibile"

L'annuncio ha dato il prezzo, il benchmark, la classifica.Solo nessun appuntamento.Non è un'omissione, è un'operazione standard: lasciare un "soon" non c'è né una promessa né una violazione.

A proposito, Google sta anche partecipando al processo di pre-testing nel governo degli Stati Uniti. Questo è qualcosa di sicuro, ma significa anche una cosa:Il tempo per essere ufficialmente aperto a voi non è interamente a Google.

Pubblicazione e disponibilità sono due cose.

Iii. La linea con il valore netto più alto:

I tre benchmark esterni, molto generosi di Google, sono entrambe percentuali e si possono trovare:

BenchmarkPer cosa?Punteggio
SEC-bench ProCerca dei veri buchi nel software reale.88.2%
ExpressGymControlla se la scappatoia viene sfruttata.54.8%
CWE-benchPatch da radice71.0%

Tuttavia, vi è una nota parentesi prima dello stesso paragrafo, che è molto modesta:Mi dispiace, ma mi dispiace."Valutato senza la recinzione."

Perche' e' importante? Perché è un riconoscimento di:Queste tre figure, che non sono le capacità che si possono effettivamente utilizzare, sono i soffitti teorici che sono stati rimossi dalle restrizioni di sicurezza.Non appena le recinzioni sono rimesso nel prodotto reale, i punteggi verranno giù.

Più di questo, il 54.8 per cento del mezzo.La recinzione è stata rimossa, e ha dimostrato solo che più della metà dei fori sono stati effettivamente sfruttati.Qual è lo stato del restante 45%? Trovato, segnalato, ma non poteva dimostrare le conseguenze — nella gestione delle scappatoie, il valore di tali scoperte sarebbe molto meno.

Non credo sia un punto nero. ExpluitGym è un punto di riferimento difficile, il 54,8% dei quali è già il migliore. Ma leggilo come "AI è stato in grado di rompere la maggior parte dei sistemi automaticamente" e sta mangiando quelle cinque parole.

Tre benchmark esterni. Sono scappati tutti dalla recinzione.

Iv. L'unico posto dove Google è disposto a perdere

Tutto il bollettino e' al primo posto, leader, all'avanguardia. Solo una riga è l'eccezione:

WebDev Arena punteggio 4,1768, su 89 elo.

In questa riga, sono volutamente rimasto perché era l'unico numero in tutto il testo che era "non il primo ma l'unico scritto". La promozione di 89 elo non è piccola nell'arena, ma Google non l'ha fasciato come "top" perché non poteva essere confezionato, quindi era chiaro nella lista che la linea bianca era 4.

Questo dettaglio mi dà un po 'più fiducia in quei numeri:Quando una società è disposta a scrivere il numero 4 nel bollettino, sa che il lettore cercherà in esso.

Cinque, tre "meglio di un modello". N, nessun nome.

Ed ecco la parte in cui vomiterai. Tre dei moltiplicatori di prestazioni nel bollettino sono fintanto che questo:

  • "Nel benchmark interno, il tasso di successo della generazione di codice di sicurezza è Argon Più di 2 volteQuale punto di riferimento interno? La strada non è pubblica.
  • "Chrome Team Report, alta qualità Patch GenerationSono piu' di 10 volte le dimensioni di un altro laboratorio.- Chi è l'altro?
  • "Wiz ha osservato che è davanti al benchmark del test di penetrazione Web" -- quale punto di riferimento? Nessun dettaglio.

"Ten volte meglio di un modello che non si può dire" è una parte classica della letteratura editoriale. Esso soddisfa simultaneamente tre condizioni:Sembra molto potente, non può essere pergiurato e non può assumersi la responsabilità per la scelta sbagliata del comparatore.

Non sto dicendo che questi numeri sono inventati. Il team Chrome e Wiz sono partner reali, e questa validazione interna di solito scappa. Ma quando si tratta di un articolo,Un mix di benchmark esterni e multipli interni non rilevabiliL'attenzione del lettore è presa da quest'ultimo -- perché quest'ultimo suona più forte.Ecco perche' e' scritto dentro.

Tre multipli che non possono essere esaminati

Prezzo: 50% di sconto, valido per la riservatezza

Questa parte di Google è finalmente pulita:

ArticoloPrezzo di introduzioneDopo il periodo di presentazione
Input$ / milioni di gettone14 milioni di dollari
Produzione$10/ million token$20/ milioni di tonnellate
Input di CacheInserisci il prezzo per giocare 95% off (circa $0.10)Sulla base del nuovo prezzo base

I due sono da vedere separatamente. La buona notizia è:Il nuovo modello è lo stesso prezzo di Argon, nessun aumento di prezzo.I modelli anteriori non erano costosi e non erano comuni nei due anni.

La cattiva notizia è:Il prezzo standard è due volte più alto del prezzo di presentazione, e la data della presentazione non è nel bollettino.Il bilancio annuale è calcolato a $4/$20. La cifra, calcolata a $2/$10, sarà restituita al lavoro prima o poi.

Un'altra cosa da ricordare:L'ingresso Cache colpisce il 95% di sconto, o 0,05 volte il prezzo di ingresso.Questo sconto è ora il peggiore tra tutti i produttori mainstream. Se si ha la scena di "lo stesso contesto super-lungo", la struttura dei prezzi è reale -- se si può utilizzare prima.

Introduzione e prezzi standard

Sette, la parte sicura, i numeri sono così belli.

Google ha una serie di indicatori di allineamento nel bollettino, che ho copiato come sono, perché sono belli:

  • Triminal-Bench 4.0 ha ridotto il tasso di successo 0.0%E il tentativo di barare è sceso allo 0,4%, mentre il tasso di accuratezza è aumentato.
  • Nell'ambiente di codifica del disco interno, gocce di allarme ad alto rischio.Vicino all'80%Non lo so.
  • I reclami non sostenuti sono circa meno di Argon Meta'.Non lo so.
  • Crossing (sovraggio) 26%, sotto servizio 29%Non lo so.
  • Il suggerimento indiretto di Gray Swan viene iniettato nella linea di base. 0.0%(Argon è 0,7%).

0, 0, 80, 50 %, 50 % — questi numeri sono presi insieme, che è una domanda:Perché è tutto "sotto" e "zero" e nessuno è assoluto?

Perche' sono...Miglioramento relativo a ArgonE Argon e' stato mandato due settimane fa. Due settimane.Due settimane per ridurre gli avvisi ad alto rischio dell'80 per cento, il che significa che la generazione precedente era davvero male, o che il set interno era molto peggio del previsto.Entrambe le spiegazioni non sono molto buone.

Vorrei scrivere metà: Si afferma chiaramente che sul punto di riferimento pubblico di Gray Swan, il tasso di successo zero dell'attacco significa che "tutti i tentativi in questa versione sono falliti".Questa versione della valutazioneNon lo so. L'offensiva è un continuo confronto, lo zero per cento di oggi non è lo zero per cento di domani.

C'è un'altra cosa che non sto dicendo: una generazione di due settimane.

Gemini 4 Argon è stato rilasciato due settimane fa. Carbon costruito su di esso.

Le parole di Google, "Illustra il luogo in cui stiamo spingendo il fronte in avanti" -- mostrare quanto velocemente stiamo andando avanti.Questa è la verità e il problema.

Per coloro che producono, questo significa:Hai appena messo Argon in fila, Benchmark fuori, pronta, la prossima generazione sta arrivando.Il modello è stato cambiato dal "decisione annuale" alla "manutenzione mensile". Non si tratta della famiglia Google, ma si tratta dei più radicali.

Lo stesso vale per l'autore. Quando è uscito, il numero successivo di codice sarebbe stato diviso internamente.

Nove, quindi che ne pensi di questa versione?

Dovresti ammetterlo.

  • Ha preso AA Inteligence Index v. 5.0, primo, 59 punti, per informazioni.
  • La linea di cybersecurity funziona davvero: i tre benchmark esterni sono i migliori al momento, non le parole.
  • La struttura dei prezzi è contenuta nel modello anteriore.
  • L'ordine di dare la parte difensiva prima, poi valutando, è logico — la capacità di trovare scappatoie è più pericolosa per gli aggressori.

Avresti dovuto chiamare il punto interrogativo.

  • Un punto in avanti, meno della differenza tra lo slot di pensiero dell'avversario.Questa è la selezione nella stessa banda orizzontale, non il proxy.
  • La lista è stata appena modificata in v. 5.0, la storia è senza pari."Ritorno numero uno" non è metodologicamente valido.
  • Nessuno dei tre multipli interni ha un nome comparativo.Nessuna recensione è possibile e non dovrebbe essere citata come conclusione.
  • Il punto di riferimento esterno era quello di rimuovere la recinzione.Non significa che puoi farlo.
  • E' il 50% di sconto, ma nessuna scadenza., raddoppiare il bilancio.

Dovremmo aspettare.

  • Attendere che l'API pubblica si apra e gestisce la vera missione. C'è una valutazione completa tra il punteggio e il tuo lavoro.
  • Aspetta la terza parte.Porta la recinzione.I tre parametri di sicurezza sono riprodotti in condizioni.
  • Attendere che qualcuno mette carbonio e Opus 5.5 sulla stessa slot Max -- e ora questo è 59, destra, 58, e la slot non è allineato.

Finalmente, il titolo. Google è tornato al primo posto questa volta, e questo non deve essere. Ma nella frase "Ritorna al mondo prima" c'è un'ipotesi meno valida:Prima c'è una stalla, "back".

Lo stato reale degli affari è che le tre famiglie sono spremute in una cintura frazionata, cambiando posti ogni poche settimane, ogni volta con un annuncio "top-up".Questa "prima" emivita è probabilmente fino alla prossima generazione.

Vincere un punto è vero. Primo, è vero. Non puoi usarlo oggi. Questa è la forma completa di questa release.