← Zurück zur Liste

Gemini 4 Carbon, um Google wieder auf Nummer eins zu bringen: eins, und Sie werden es heute nicht brauchen.

itadol5j

Google hat ein neues Modell. Pekinger Zeit, 29. Oktober, um 1 Uhr morgens, erschien der offizielle Blog mit dem Titel "unser nächstes Frontermodell", die ersten beiden Verkaufspunkte des Textes:State-of-the-Art-Netzwerk-Sicherheits-Fähigkeit und Long-Horizont (Long Continuous Operation) Fähigkeit.

Das Wort "zuerst zurück in der Welt" ist nicht leer. 59, Nummer eins.Ich weiß es nicht. Nummer zwei Claude Opus 5,5 Ja, 58, und Nummer drei ist es, 57.

Das wird also nicht die Gegenreaktion sein. Es ist wirklich die Nummer eins. Das Problem ist...Wie dick ist dieses "erste" und können Sie es berühren?

Es wurden zwei Teile vorgeschlagen:Gewinnt den zweiten Platz 1; die erste Bewertung in der konsolidierten Liste hat nur vier Wörter - keine öffentliche Fähigkeit API.Alles, was blieb, waren Fußnoten zu beiden Sätzen.

Gemini 4 Carbon AA Intelligence Index v. 5.0

Ich, sage das eine.

Die Liste ist der Artificial Analysis Intelligence Index, der gerade auf V. 5.0 aktualisiert wurde und neun Bewertungen zusammenführt: AA-Briefcase, Automation Bench-AAA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (Untergruppe der Schwierigkeiten), Terminal-Bench-Science.

58, 57. Wenn Sie diese Sequenz sehen, feiern Sie nicht.Die zweite und dritte sind die beiden Reflexionsstufen des gleichen Modells.Opus 5.5 nimmt 58 in Max, 57 in Xheigh.

Dieser Satz wird übersetzt:Der Vorsprung von Google ist diesmal kleiner als die Lücke zwischen der Denktiefe der anderen Seite.

Mit anderen Worten, das ist nicht "generisch", sondern "vielfältig auf der gleichen Ebene". Die wahre Bedeutung ist näher: Die drei sind jetzt in der gleichen gebrochenen Band stecken, und wer bekommt mehr Training, mehr Mathematik, eines Tages ändert die Ordnung. Dies ist in diesem Monat mehr als einmal geschehen.

Es gibt noch ein Detail, das viele Leute überspringen:Diese Liste ist "nur auf V5.0 aktualisiert".Die Auswertung wurde durch eine Version ersetzt und historische Werte können nicht direkt verglichen werden. Das Wort "Rückkehr" ist also technisch nicht gültig:Es ist nicht möglich zu vergleichen, wer der erste in der vorherigen Ausgabe ist und wie viel weniger.Der erste nach dem Wechsel ist der erste auf dem neuen Herrscher.

59 Disparities mit 58, fallen in der Konfiguration des gleichen Modells Lee.

ii. Dem Wort "Publishing" müssen Anführungszeichen folgen.

Der Titel von Ars Technica lautet einfach:"Es ist das letzte Fronter-Ai-Modell, das Sie nicht verwenden können"- Das neueste Vorwärtsmodell, Sie können es nicht verwenden.

Es ist nicht die Titelparty. Die Modellseite der künstlichen Analyse, Gemini 4 Carbon Status ist:"Keine öffentliche Fähigkeit API"Ich weiß es nicht. Keines der börsennotierten Institute hatte Zugang zu offenen Schnittstellen und konnte nur in der vom Hersteller angegebenen Weise gemessen werden.

Google selbst sagt "absichtlicher Ansatz für den Rollout" - absichtlich verlangsamt:

UhrzeitWer kann es benutzen?Status
Ab dieser Woche.Eine kleine Gruppe von Cyber-Verteidigern.Offen
nachVertrauensvolle Partner durch das Fairwind-ProgrammSchrittweise Freigabe
UnbestimmtEntwickler, Unternehmen, Verbraucher"so bald wie möglich"

Die Ankündigung gab Preis, Benchmark, Ranking.Nur kein Datum.Es ist keine Auslassung, es ist eine Standardoperation: Ein "bald" zu hinterlassen, gibt es weder ein Versprechen noch einen Bruch.

Übrigens beteiligt sich Google auch am Vortestprozess in der Regierung der Vereinigten Staaten. Das ist sicher, aber es bedeutet auch eines:Die Zeit, um Ihnen offiziell geöffnet zu werden, liegt nicht ganz bei Google.

Veröffentlichung und Verfügbarkeit sind zwei Dinge.

iii. Die Linie mit dem höchsten Nettowert:

Die drei externen Benchmarks, Googles sehr großzügig, sind beide Prozentsätze und können gefunden werden:

BenchmarkWozu?Score
SEC-Bank ProSuchen Sie nach echten Löchern in echter Software.88.2%
ExpressGymPrüfen Sie, ob die Lücke ausgenutzt wird.54.8%
CWE-BankPatch von root71.0%

Es gibt jedoch eine Klammernote vor dem gleichen Absatz, die sehr bescheiden ist:Es tut mir leid, aber es tut mir leid."Beurteilt ohne Zaun."

Warum ist das wichtig? Weil es eine Anerkennung von ist:Diese drei Zahlen, die nicht die Fähigkeiten sind, die Sie tatsächlich verwenden können, sind die theoretischen Obergrenzen, die aus den Sicherheitsbeschränkungen entfernt wurden.Sobald die Zäune in das reale Produkt zurückgelegt werden, werden die Werte sinken.

Mehr als das, 54,8 Prozent der Mitte.Der Zaun wurde entfernt, und es bewies nur, dass mehr als die Hälfte der Löcher tatsächlich ausgenutzt wurden.Wie ist der Status der restlichen 45%? Gefunden, berichtet, konnte aber die Konsequenzen nicht beweisen - bei der Verwaltung von Schlupflöchern wäre der Wert solcher Entdeckungen viel geringer.

Ich glaube nicht, dass es ein schwarzer Fleck ist. ExpluitGym ist ein harter Benchmark, von denen 54,8% bereits der beste ist. Aber lesen Sie es als "AI konnte die meisten Systeme automatisch brechen" und es isst diese fünf Wörter.

Drei externe Benchmarks. Alle rannten vom Zaun.

iv. Der einzige Ort, an dem Google bereit ist zu verlieren

Das ganze Bulletin dreht sich um den ersten, führenden, State-of-the-Art. Nur eine Zeile ist die Ausnahme:

WebDev Arena erzielte 4,1768, bis 89 elo.

In dieser Zeile blieb ich absichtlich, weil es die einzige Zahl im ganzen Text war, die "nicht die erste, sondern die einzige geschriebene" war. 89 elo's promotion ist nicht klein in der arena, aber google hat es nicht als "top" eingepackt, weil es nicht verpackt werden konnte, also war auf der liste klar, dass die weiße linie 4 war.

Dieses Detail gibt mir ein wenig mehr Vertrauen in diese Zahlen:Wenn ein Unternehmen bereit ist, Nummer 4 in das Bulletin zu schreiben, weiß es, dass der Leser es untersuchen wird.

Fünf, drei "besser als ein Modell". N, keine Namen.

Und hier ist der Teil, wo du dich hinwerfen wirst. Drei der Leistungsmultiplikatoren im Bulletin sind so lang wie diese:

  • "Im internen Benchmark ist die Erfolgsquote bei der Generierung von Sicherheitscodes Argon." Mehr als 2 malWelcher interne Benchmark? Der Weg ist nicht öffentlich.
  • "Chrome Team Report, hochwertige Patch Generation"Es ist mehr als 10 mal so groß wie ein anderes Labor.- Wer ist der andere?
  • "Wiz hat beobachtet, dass es vor dem Web-Penetrationstest-Benchmark liegt" - welcher Benchmark? Kein Detail.

"Zehnmal besser als ein Modell, das nicht gesagt werden kann" ist ein klassischer Teil der Literaturveröffentlichung. Es erfüllt drei Bedingungen gleichzeitig:Es klingt sehr kraftvoll, kann nicht verschworen werden und kann keine Verantwortung für die falsche Auswahl des Komparators übernehmen.

Ich sage nicht, dass diese Zahlen erfunden sind. Das Chrome-Team und Wiz sind echte Partner, und diese interne Validierung läuft normalerweise weg. Wenn es um einen Artikel geht,Eine Mischung aus externen Referenzwerten und nicht nachweisbaren internen VielfachenDie Aufmerksamkeit des Lesers wird von letzterem genommen - weil letzteres stärker klingt.Deshalb ist es geschrieben.

Drei Vielfache, die nicht überprüft werden können

Preis: 50% Rabatt, gültig für Vertraulichkeit

Dieser Teil von Google ist endlich sauber:

PositionEinführungspreisNach dem Präsentationszeitraum
Input$ 2 / Millionen Token$ 4 / Million Token
Output$ 10 / Million Token$ 20 / Millionen Token
Cache-EingabeGeben Sie den Preis ein, um 95% zu spielen (ca. 0,10)Basierend auf neuem Basispreis

Die beiden sind getrennt zu sehen. Die gute Nachricht ist:Das neue Modell ist der gleiche Preis wie Argon, keine Preiserhöhung.Frontlinienmodelle waren nicht teuer und waren in den zwei Jahren nicht üblich.

Die schlechte Nachricht ist:Der Standardpreis ist doppelt so hoch wie der Präsentationspreis, und das Datum der Präsentation ist nicht im Bulletin.Das jährliche Budget wird mit $ 4 / $ 20 berechnet. Die Zahl, berechnet auf $ 2 / $ 10, wird früher oder später zur Arbeit zurückkehren.

Noch eine Sache zum Erinnern:Cache-Eingaben erreichen 95% oder das 0,05-fache des Eingangspreises.Dieser Rabatt ist jetzt der schlechteste unter allen Mainstream-Herstellern. Wenn Sie die Szene "den gleichen superlangen Kontext" haben, ist die Preisstruktur real - wenn Sie sie zuerst verwenden können.

Einführung und Standardpreise

Sieben, der sichere Teil, die Zahlen sind so schön.

Google hat eine Reihe von Ausrichtungsindikatoren im Bulletin, die ich kopiert habe, weil sie schön sind:

  • Triminal-Bench 4.0 reduziert die Erfolgsquote 0.0%Und der Betrugsversuch sank auf 0,4%, während die Genauigkeitsrate stieg.
  • In der internen Festplattencodierungsumgebung fällt ein Hochrisikoalarm.Nahezu 80%Ich weiß es nicht.
  • Nicht unterstützte Ansprüche sind etwa weniger als Argon zur Hälfte.Ich weiß es nicht.
  • Überkreuzung (Overreach) 26%, Unterbetrieb 29%Ich weiß es nicht.
  • Der indirekte Hinweis von Gray Swan wird in die Baseline injiziert. 0.0%(Argon ist 0,7%).

0, 0, 80, 50 %, 50 % — diese Zahlen werden zusammen genommen, was eine Frage ist:Warum ist alles "unten" und "Null" und keines ist absolut?

Weil diese...Verbesserung gegenüber ArgonUnd Argon wurde vor zwei Wochen geschickt. Zwei Wochen.Zwei Wochen, um Hochrisikowarnungen um 80 Prozent zu reduzieren, was bedeutet, dass die vorherige Generation wirklich schlecht war oder dass das interne Set viel schlechter war als erwartet.Beide Erklärungen sind nicht sehr gut.

Ich würde gerne die Hälfte schreiben: Es heißt eindeutig, dass auf dem öffentlichen Benchmark von Gray Swan die Null-Erfolgsrate des Angriffs bedeutet, dass "alle Versuche in dieser Version gescheitert sind." - Ja, Sir.Diese Fassung der BewertungIch weiß es nicht. Die Offensive ist eine anhaltende Konfrontation, die Null Prozent von heute sind nicht die Null Prozent von morgen.

Es gibt noch eine Sache, die ich nicht sage: eine zweiwöchige Generation.

Gemini 4 Argon wurde vor zwei Wochen veröffentlicht. Kohlenstoff darauf aufgebaut.

Googles eigene Worte "Illustriert den Ort, an dem wir die Front nach vorne schieben" - zeigen, wie schnell wir vorankommen.Das ist die Wahrheit und das Problem.

Für diejenigen, die produzieren, bedeutet dies:Du hast gerade Argon auf die Linie gesetzt, Benchmark raus, prompt raus, die nächste Generation ist unterwegs.Das Modell wurde von "jährlicher Entscheidungsfindung" zu "monatlicher Wartung" geändert. Es geht nicht um die Google-Familie, sondern um die radikalste.

Dasselbe gilt für den Autor. Als es herauskam, wäre die nächste Codenummer intern aufgeteilt worden.

Neun, was halten Sie von diesem Release?

Sie sollten es zugeben.

  • Es nahm AA Inteligence Index v. 5.0, zuerst, 59 Punkte, für Informationen.
  • Die Linie der Cybersicherheit funktioniert wirklich: Die drei externen Benchmarks sind derzeit die besten, nicht die Worte.
  • Die Preisstruktur ist im Frontmodell zurückhaltend.
  • Die Reihenfolge, zuerst die defensive Seite zu geben und dann zu bewerten, ist logisch - die Fähigkeit, Schlupflöcher zu finden, ist für die Angreifer gefährlicher.

Du hättest das Fragezeichen nennen sollen.

  • Ein Punkt voraus, weniger als der Unterschied zwischen dem eigenen Denkspiel des Gegners.Dies ist die Sortierung im gleichen horizontalen Band, nicht der Proxy.
  • Die Liste wurde gerade in V. 5.0 geändert, die Geschichte ist beispiellos."Return Number One" ist methodologisch nicht gültig.
  • Keines der drei internen Vielfachen hat einen Vergleichsnamen.Keine Überprüfung ist möglich und sollte nicht als Schlussfolgerung zitiert werden.
  • Der externe Benchmark war, den Zaun zu entfernen.Es bedeutet nicht, dass Sie es tun können.
  • Es ist 50% Rabatt, aber keine Frist.Das Budget verdoppeln.

Wir sollten warten.

  • Warten Sie, bis sich die öffentliche API öffnet und die eigentliche Mission ausführt. Es gibt eine vollständige Bewertung zwischen der Punktzahl und Ihrem Job.
  • Warten Sie auf die dritte Partei.Bringen Sie den Zaun.Die drei Security Benchmarks werden unter Bedingungen reproduziert.
  • Warten Sie, bis jemand Kohlenstoff und Opus 5,5 auf den gleichen Max-Slot legt - und jetzt ist dies 59, rechts, 58, und der Slot ist nicht ausgerichtet.

Zum Schluss der Titel. Google ist diesmal auf den ersten Platz zurückgekehrt, und das soll nicht sein. Aber in der Phrase "Zurück zur Welt zuerst" gibt es eine weniger gültige Annahme:Es gibt eine stabile, "zurück" zuerst.

Die wirkliche Situation ist, dass die drei Familien in einem Bruchgürtel gequetscht werden, die Sitze alle paar Wochen wechseln, jedes Mal mit einer "Top-up" -Ankündigung.Diese "erste" Halbwertszeit ist wahrscheinlich so lang wie die nächste Generation.

Einen Punkt zu gewinnen ist wahr. Erstens ist es wahr. Sie können es heute nicht benutzen. Das ist die komplette Form dieses Releases.