Gemini 4 Carbon untuk mendapatkan Google kembali ke nomor satu: satu, dan Anda tidak akan membutuhkannya hari ini.
Google memiliki model baru. Waktu Beijing, 29 Oktober pukul 1 pagi, blog resmi online dengan judul "model depan kami berikutnya", dua poin penjualan pertama teks:State- dari -the- art kemampuan keamanan jaringan, dan cakrawala panjang (lama operasi) kemampuan.
Kata "kembali pertama di dunia" tidak kosong. Lima puluh sembilan, nomor satu.Aku tidak tahu. Nomor dua Claude Opus 5.5 Ya 58, dan nomor tiga, 57.
Jadi ini tidak akan menjadi reaksi. Ini benar-benar nomor satu. Masalahnya adalah...Seberapa tebal ini "pertama" dan dapat Anda menyentuhnya?
Dua potong diletakkan ke depan:Memenangkan tempat kedua, evaluasi pertama dalam daftar konsolidasikan hanya memiliki empat kata - tidak ada kemampuan publik API.Semua yang tersisa adalah catatan kaki untuk kedua kalimat.
Aku, katakan itu.
Senarai ini adalah Indeks Intelijen Buatan, yang baru saja diperbarui untuk vs 5.0 dan yang membawa bersama-sama sembilan penilaian: AA-Briefcase, Automation Bench-AAA, Terminal- Bench 4.0, FrontierCode 2.0, AAA-Omniscience, GDP.pdf, HLE-Diamond, CritPt v2 (subset kesulitan), Terminal- Bench-Science.
Lima puluh delapan, lima puluh tujuh. Melihat urutan ini, tidak merayakan.Yang kedua dan ketiga adalah dua tahap refleksi dari model yang sama.Opus 5.5 mengambil 58 di Max, 57 di Xheigh.
Kalimat ini diterjemahkan:Google memimpin kali ini lebih kecil dari jarak antara pemikiran sisi lain.
Dengan kata lain, itu bukan "generik" tapi "beragam pada tingkat yang sama". Arti sebenarnya adalah lebih dekat: tiga sekarang terjebak dalam fraksional band yang sama, dan siapa yang mendapat pelatihan lebih, lebih banyak matematika, urutan perubahan satu hari. Ini telah terjadi lebih dari sekali bulan ini.
Ada satu detail lagi yang banyak orang lewati:Daftar ini adalah "baru saja diperbarui ke V5.0".Evaluasi diganti oleh sebuah versi, dan nilai sejarah tidak dapat secara langsung dibandingkan. Jadi kata "kembali" secara teknis tidak valid:Tidak mungkin untuk membandingkan siapa yang pertama di edisi sebelumnya dan berapa banyak kurang.Yang pertama setelah perubahan adalah yang pertama pada penguasa baru.
Ini. Kata "penerbitan" harus diikuti dengan tanda kutip.
Judul dari Ars Technicca adalah sederhana:"Ini adalah model terakhir Ai yang tak bisa kau gunakan"- Model maju terbaru, Anda tidak dapat menggunakannya.
Ini bukan pesta judul. Halaman model Analisis Buatan, Status Gemini 4 Karbon adalah:"Tidak ada kemampuan publik API"Aku tidak tahu. Tak satu pun dari lembaga terdaftar memiliki akses untuk membuka antarmuka dan hanya bisa diukur dengan cara yang disediakan oleh produsen.
Google sendiri mengatakan "pendekatan disengaja untuk rollout" - sengaja melambat:
| Waktu | Siapa yang bisa menggunakannya? | Status |
|---|---|---|
| Mulai minggu ini. | Sekumpulan kecil pertahanan cyber. | Buka |
| Setelah | Mitra terpercaya melalui Program Fairwind | Rilis Gradual |
| Belum ditentukan | Pengembang, perusahaan, konsumen | "sesegera mungkin" |
Pengumuman memberi harga, benchmark, peringkat.Hanya ada tanggal.Ini bukan kelalaian, ini operasi standar: meninggalkan "segera" tidak ada janji atau pelanggaran.
By the way, Google juga berpartisipasi dalam proses pengujian-awal di Pemerintah Amerika Serikat. Ini adalah sesuatu untuk memastikan, tetapi juga berarti satu hal:Waktu untuk dibuka secara resmi kepada Anda tidak sepenuhnya sampai Google.
Ini. Baris dengan nilai bersih tertinggi:
Ketiga benchmark eksternal, Google sangat murah hati, baik persentase dan dapat ditemukan:
| Benchmark | Untuk apa? | Nilai |
|---|---|---|
| Rahasia-bangku Pro | Cari lubang nyata dalam perangkat lunak nyata. | 88.2% |
| ExpressGym | Periksa apakah celah sedang dieksploitasi. | 54.8% |
| CWE- bangku | Patch dari root | 71.0% |
Namun, ada catatan bracketed sebelum paragraf yang sama, yang sangat sederhana:Maafkan aku, tapi aku minta maaf."Dibentuk tanpa pagar".
Mengapa itu penting? Karena itu adalah pengakuan dari:Ketiga angka ini, yang bukan kemampuan yang dapat Anda gunakan, adalah langit-langit teoritis yang telah dihapus dari batasan keamanan.Begitu pagarnya dikembalikan ke produk asli, nilainya akan turun.
Lebih dari itu, 54,8 persen dari pertengahan.Pagar itu dihapus, dan hanya membuktikan bahwa lebih dari setengah lubang sebenarnya dieksploitasi.Bagaimana status 45% sisanya? Ditemukan, dilaporkan, tapi tidak bisa membuktikan konsekuensinya - dalam manajemen celah, nilai penemuan tersebut akan jauh lebih sedikit.
Saya tidak berpikir itu adalah titik hitam. ExpluitGym adalah benchmark keras, 54,8% yang sudah yang terbaik. Tapi membacanya sebagai "AI telah mampu untuk memecahkan kebanyakan sistem secara otomatis" dan itu makan lima kata.
IV. The only place where Google is willing to lose
Seluruh buletin adalah tentang pertama, terkemuka, negara - dari - the- seni. Hanya satu baris adalah pengecualian:
WebDev Arena skor 4.1768, naik 89 elo.
Dalam baris ini, saya sengaja tinggal karena itu adalah satu-satunya nomor dalam seluruh teks yang "bukan yang pertama tapi satu-satunya ditulis". Promosi 89 elo tidak kecil di arena, tapi Google tidak membungkusnya sebagai "top" karena tidak dapat dikemas, jadi jelas dalam daftar bahwa garis putih adalah 4.
Rincian ini memberi saya sedikit lebih percaya pada angka-angka:Ketika sebuah perusahaan bersedia untuk menulis nomor 4 dalam buletin, ia tahu pembaca akan melihat ke dalamnya.
Lima, tiga "lebih baik daripada model". N, tidak ada nama.
Dan inilah bagian di mana Anda akan muntah. Tiga dari pengganda kinerja dalam buletin selama ini:
- "Dalam benchmark internal, kode keamanan tingkat keberhasilan adalah Argon Lebih dari 2 kaliYang benchmark internal? Cara ini bukan publik.
- "Laporan Tim Chrome, Generasi Patch Kualitas TinggiIni lebih dari 10 kali ukuran laboratorium lain.- Siapa yang satunya?
- "Wiz telah mengamati bahwa ia berada di depan uji penetrasi Web" -- benchmark yang mana? Tidak ada detail.
"Sepuluh kali lebih baik daripada model yang tidak dapat dikatakan" adalah bagian klasik dari penerbitan sastra. Ini memenuhi tiga kondisi secara bersamaan:Kedengarannya sangat kuat, tidak bisa berbohong dan tidak bisa bertanggung jawab untuk seleksi yang salah dari perbandingan.
Saya tidak mengatakan angka-angka ini dibuat. Tim Chrome dan Wiz adalah mitra sejati, dan validasi internal ini biasanya melarikan diri. Tapi ketika datang ke sebuah artikel,Campuran benchmarks eksternal dan tidak terdeteksi internal multiplesPerhatian pembaca diambil oleh yang terakhir -- karena yang terakhir terdengar lebih kuat.Itu sebabnya ditulis.
Harga: diskon 50%, valid untuk kerahasiaan
Bagian Google ini akhirnya bersih:
| Butir | Harga perkenalan | Setelah periode presentasi |
|---|---|---|
| Masukan | $2 / jutaan token | $4 / juta token |
| Keluaran | $10 / juta token | 20 juta dolar token |
| Masukan Cache | Masukkan harga untuk bermain 95% off (sekitar $0.10) | Berdasarkan harga dasar baru |
Keduanya harus terlihat terpisah. Kabar baiknya adalah:Model baru adalah harga yang sama seperti Argon, tidak ada kenaikan harga.Model garis depan tidak mahal, dan tidak umum dalam dua tahun.
Kabar buruknya adalah:Harga standar dua kali lebih tinggi dari harga presentasi, dan tanggal presentasi tidak dalam buletin.Anggaran tahunan dihitung pada $4 / $20. Angka, dihitung pada $2 / $10, akan kembali bekerja cepat atau lambat.
Satu hal lagi untuk diingat:Masukan cache mencapai 95%, atau 0.05 kali harga masukan.Diskon ini sekarang yang terburuk di antara semua produsen mainstream. Jika Anda memiliki adegan "konteks super- panjang yang sama", harga struktur itu nyata -- jika Anda dapat menggunakannya terlebih dahulu.
Tujuh, bagian yang aman, jumlahnya begitu indah.
Google memiliki satu set indikator alignment dalam buletin, yang saya disalin seperti mereka, karena mereka indah:
- Triminal- Bench 4.0 telah mengurangi tingkat keberhasilan 0.0%Dan usaha kecurangan menurun menjadi 0,4%, sementara tingkat akurasi meningkat.
- Dalam lingkungan koding disk interior, peringatan risiko tinggi menurun.Dekat dengan 80%Aku tidak tahu.
- Klaim tidak didukung adalah tentang kurang dari Argon Setengah.Aku tidak tahu.
- Crossing (melampaui batas) 26%, under-service 29%Aku tidak tahu.
- Petunjuk abu-abu Swan langsung disuntikkan ke dasar. 0.0%(Argon adalah 0.7%).
0, 0, 80, 50%, 50% - angka-angka ini diambil bersama-sama, yang merupakan pertanyaan untuk bertanya:Mengapa semua "turun" dan "nol" dan tidak ada yang mutlak?
Karena ini adalah...Improvitas relatif terhadap ArgonDan Argon dikirim dua minggu lalu. Dua minggu.Dua minggu untuk mengurangi resiko tinggi peringatan dengan 80 persen, yang berarti bahwa generasi sebelumnya benar-benar buruk, atau bahwa internal set jauh lebih buruk dari yang diharapkan.Kedua penjelasan tidak sangat baik.
Saya ingin menulis setengah: Ini jelas menyatakan bahwa di benchmark publik Gray Swan, tingkat keberhasilan serangan nol berarti bahwa "semua upaya dalam versi ini telah gagal".Versi penilaian iniAku tidak tahu. Penyerangan adalah konfrontasi yang sedang berlangsung, nol persen hari ini bukanlah nol persen besok.
Ada satu hal lagi yang tidak saya katakan: generasi dua minggu.
Gemini 4 Argon dibebaskan dua minggu lalu. Karbon dibangun di atasnya.
Kata-kata Google sendiri, "Menggambarkan tempat di mana kita mendorong depan ke depan" -- tunjukkan seberapa cepat kita bergerak maju.Itulah kebenaran dan masalahnya.
bagi orang (miskin) yang mengeluarkan (hartanya),Anda hanya menempatkan Argon pada baris, Benchmark keluar, bergegas keluar, generasi berikutnya adalah dalam perjalanan.Model ini diubah dari "pengambilan keputusan tahunan" menjadi "pemeliharaan bulanan". Ini bukan tentang keluarga Google, tapi ini tentang yang paling radikal.
Hal yang sama berlaku untuk penulis. Ketika keluar, nomor kode berikutnya akan dibagi secara internal.
Sembilan, jadi apa pendapat Anda tentang rilis ini?
Kau harus mengakuinya.
- Butuh indeks inteligensi AA v. 5.0, pertama, 59 poin, untuk informasi.
- Garis keamanan cyber benar-benar bekerja: tiga benchmark eksternal adalah yang terbaik saat ini, bukan kata-kata.
- Struktur harga dikendalikan di depan model.
- Perintah memberi sisi pertahanan pertama, kemudian menghargai, adalah logis - kemampuan untuk menemukan celah lebih berbahaya untuk penyerang.
Kau seharusnya memanggil tanda tanya.
- Satu poin di depan, kurang dari perbedaan antara pemikiran lawan.Ini adalah pengurutan dalam band horisontal yang sama, bukan proxy.
- Daftar baru saja diubah untuk melawan 5.0, sejarah tak tertandingi."Return Nomor Satu" tidak valid.
- Tak satu pun dari tiga internal multiple memiliki nama komparatif.Tidak ada ulasan yang mungkin dan tidak boleh dianggap sebagai kesimpulan.
- Benchmark eksternal adalah untuk menghapus pagar.Bukan berarti kau bisa melakukannya.
- Diskon 50%, tapi tak ada batas waktu., dua kali lipat anggaran.
Kita harus menunggu.
- Tunggu sampai API umum terbuka dan menjalankan misi nyata. Ada evaluasi lengkap antara skor dan pekerjaanmu.
- Tunggu pihak ketiga.Bawa pagarnya.Ketiga standar keamanan direproduksi dalam kondisi.
- Tunggu sampai seseorang menempatkan karbon dan Opus 5.pada slot Max yang sama - dan sekarang ini adalah 59, benar, 58, dan slot tidak selaras.
Akhirnya, judul. Google memang kembali ke tempat pertama kali ini, dan itu tidak akan terjadi. Tapi dalam frase "Kembali ke dunia dulu" ada asumsi yang kurang valid:Ada stabil, "kembali" pertama.
Keadaan nyata urusan adalah bahwa tiga keluarga diperas dalam sabuk fractional, mengubah kursi setiap beberapa minggu, setiap kali dengan pengumuman "top- up".Ini "pertama" half-life mungkin selama generasi berikutnya.
Memenangkan satu poin itu benar. Pertama, itu benar. Kau tak bisa menggunakannya hari ini. Itulah bentuk lengkap rilis ini.