Gemini 4 Carbon benchmark sonuçları: 19 testin tamamı
Google’ın yayımladığı 19 testin sonuçlarını inceleyin: Gemini 4 Carbon nerede öne çıkıyor, hangi testlerde rakiplerinin gerisinde kalıyor?
👁 114 okunma
Google, Gemini 4 Carbon ile birlikte 19 testin sonuçlarını yayımladı. Carbon; Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 ve Claude Fable 5.1 ile karşılaştırılıyor. Tablonun tamamını aktarıyor, her testin neyi ölçtüğünü açıklıyor ve Carbon’ın kazanamadığı sonuçları sıralıyorum. Bunlar üreticinin açıkladığı sonuçlar. Carbon’ı kendim test etmedim; model yalnızca Fairwind programında kullanılabiliyor.
19 testin tamamı: sonuç tablosu
Her satırdaki en iyi sonuç kalın yazılmıştır. Tire, ilgili model için sonuç bulunmadığını gösterir.
| Test | Carbon | Argon | GPT-6 Astra | Opus 5.5 | Fable 5.1 |
|---|---|---|---|---|---|
| Artificial Analysis Index v5.0 | 59 | 50 | 57 | 58 | 49 |
| Vals Index v2.2 | %70,4 | %69,2 | %65,0 | %70,2 | - |
| SWE-sweep | %9,6 | %4,3 | %9,5 | %3,6 | %2,9 |
| FrontierSWE 2 | %61,2 | %55,0 | %65,5 | %62,3 | %56,3 |
| Terminal-Bench 4.0 (AA) | %65,2 | %57,1 | %59,1 | %59,6 | %52,0 |
| Agents’ Last Exam v1.1 | %77,4 | %69,0 | %73,1 | %71,6 | - |
| OSWorld-2.1 (çevrimdışı) | %81,5 | %74,7 | %80,9 | %87,2 | %76,8 |
| AutomationBench (Zapier) | %53,9 | %51,3 | %41,4 | %42,5 | %31,4 |
| Vending-Bench 2 (USD cinsinden bakiye) | 16 484 | 13 718 | 15 515 | 9 235 | 5 422 |
| Chartography | %72,5 | %71,6 | %71,0 | %66,3 | %46,2 |
| Blueprint-Bench 2 | %58,6 | %54,4 | %49,7 | %51,2 | %41,9 |
| GraphWalks 256k-1M | %96,2 | %84,2 | %71,8 | %66,8 | %65,0 |
| RiemannBench | %80,0 | %76,0 | %72,0 | %69,6 | %65,6 |
| Terminal-Bench-Science 0.1 (AA) | %64,8 | %52,9 | %63,3 | %59,0 | %43,3 |
| CWE-bench | %71,0 | %68,0 | %68,0 | %67,0 | %58,0 |
| ExploitGym | %54,8 | %42,0 | %42,4 | %34,5 | - |
| SEC-bench Pro | %88,2 | %83,4 | %85,4 | - | - |
Sonuç: Carbon, 19 testin 17’sinde en iyi sonucu alıyor. İki testte rakiplerine yeniliyor: FrontierSWE 2’de GPT-6 Astra’ya, OSWorld-2.1’de Claude Opus 5.5’e.
Testler neyi ölçüyor?
Genel zekâ
- Artificial Analysis Index v5.0 - Araçların da kullanıldığı 5.0 sürümünde birden fazla testi birleştiren bağımsız bir sıralama. Carbon 59, Opus 5.5 58, GPT-6 Astra ise 57 puan alıyor. Tablodaki tamamen harici bir şirketten gelen tek satır bu; Carbon’ın farkı burada en küçük.
- Vals Index v2.2 - Vals AI tarafından hazırlanan, mesleki görevleri bir araya getiren bir endeks. Carbon %70,4, Opus 5.5 %70,2 alıyor; sonuçlar neredeyse berabere.
Yazılım geliştirme
- SWE-sweep - Tüm modellerin tek haneli sonuçlar aldığı, çok zor yazılım geliştirme görevleri. Carbon %9,6, GPT-6 Astra %9,5 alıyor. Google, Carbon’ın puanını mini-swe-agent aracıyla kendisi hesapladı; rakiplerin sonuçlarını herkese açık sıralamadan aldı.
- FrontierSWE 2 - Proximal şirketinin herkese açık sıralamasındaki mühendislik görevleri. Burada GPT-6 Astra %65,5 ile, %61,2 alan Carbon’ı geçiyor. Opus 5.5 de %62,3 ile daha yüksek sonuç alıyor.
- Terminal-Bench 4.0 - Terminalde çalışan bir ajanı ölçüyor; sonuç Artificial Analysis’ten. Carbon %65,2 alıyor ve Opus’a yaklaşık 6 puan fark atıyor. Google’dan gelmeyen bir sonuç olduğu için bu, yazılım geliştirme alanındaki en ikna edici sonuç.
Bilgisayar kullanımı
- Agents’ Last Exam v1.1 - Beş saatlik süre içinde tamamlanması gereken 122 ajan görevi. Carbon %77,4 alıyor. Google Carbon’ı kendisi test etti; Astra ve Opus’un sonuçlarını herkese açık tablodan aldı.
- OSWorld-2.1 - Model, internet bağlantısı olmayan 82 görevde yalnızca ekran görüntülerini kullanarak gerçek bir sistemde tıklama yapıyor. %87,2 ile Opus 5.5 kazanıyor; Carbon %81,5’te kalıyor. Pencereli uygulamaları kullanacak bir ajan geliştiriyorsanız bu testte Claude hâlâ daha güçlü.
Ofis işleri ve iş dünyası
- AutomationBench - Zapier tarzı otomasyon görevleri. Carbon %53,9 alıyor. Opus 5.5 ve GPT-6 Astra ise yaklaşık %42 ile belirgin biçimde geride kalıyor.
- Vending-Bench 2 - Model, simüle edilmiş bir atıştırmalık otomatını uzun süre yönetiyor ve testte son bakiye ölçülüyor. Carbon 16 484 USD, Opus 5.5 ise yalnızca 9 235 USD kazanıyor. Bu test, modelin birçok adım boyunca stratejisini koruyabilmesini gösteriyor.
Görseller ve grafikler
- Chartography - Araç kullanmadan grafik okuma. Carbon %72,5 ile Argon’un (%71,6) hemen önünde.
- Blueprint-Bench 2 - Teknik çizim ve planları anlama; puan benzerliğe göre hesaplanıyor. Carbon %58,6 alıyor.
Uzun bağlam
- GraphWalks 256k-1M - Model, 256 bin ile 1 milyon token arasında uzunlukta metinle tanımlanan bir graf üzerinde ilerliyor. Carbon %96,2 alırken rakipler arasındaki en iyi sonuç, %71,8 ile GPT-6 Astra’nın. Tablodaki en büyük fark bu. Dikkat: Google burada tüm modellerin puanlarını kendisi hesapladı. Argon’un bir milyon token sınırının nasıl çalıştığını Gemini 4 Argon’da bir milyon token yazısında anlattım.
Bilim ve matematik
- RiemannBench - Surge’ün herkese açık sıralamasındaki matematik görevleri. Carbon %80,0 alıyor.
- Terminal-Bench-Science 0.1 - Terminalde yapılan bilimsel görevler; sonuç Artificial Analysis’ten. Carbon %64,8, GPT-6 Astra %63,3 alıyor.
Siber güvenlik
- SEC-bench Pro - JavaScript motorundaki gerçek güvenlik açıklarını bulma testi; 183 görev içeriyor. Carbon %88,2, GPT-6 Astra %85,4 alıyor.
- ExploitGym - Bir güvenlik açığından yararlanmanın mümkün olup olmadığını ölçüyor. Carbon %54,8 alarak Astra’yı (%42,4) 12 puandan fazla geçiyor.
- CWE-bench - Güvenlik açığını kaynağında düzeltme testi; sıralamayı Collinear şirketi yürütüyor. Carbon %71,0, Argon ve Astra ise %68,0 alıyor.
Google, ExploitGym ve SEC-bench Pro testlerini internet bağlantısı olmadan, modelin korumaları kapalıyken Antigravity ortamında kendisi yaptı. Rakiplerin sonuçları aynı test çalıştırmasından değil, kendi raporlarından alındı.
Sonuç tablosunu değerlendirirken nelere dikkat etmeli?
- Sonuçları kim hesapladı? Artificial Analysis, Vals, Surge, Zapier, Andon Labs ve Collinear gibi kaynaklardan gelen bağımsız sıralamalar var. SWE-sweep, Agents’ Last Exam, OSWorld, GraphWalks, ExploitGym ve SEC-bench Pro sonuçlarını ise Google kendisi hesapladı. Carbon’ın en büyük farkları da Google’ın hesapladığı testlerde görülüyor.
- Test ayarları. Carbon ve Argon, Gemini API üzerinden en yüksek düşünme ayarlarıyla ve tek denemede çalıştırıldı. Rakipler de genellikle en yüksek ayarlarla test edildi, ancak sonuçlar kendi raporlarından alındı.
- Puan farkları. Artificial Analysis’te Carbon 59, Opus 58, Astra 57 puan alıyor. Sıralamanın bir sonraki güncellemesinde bu kadar küçük farklar kolayca değişebilir.
Google, önceki Argon değerlendirmesinde 19 test yayımlamış ve 13’ünü kazanmıştı. Bunu Gemini 4 Argon benchmark sonuçları yazısında ele aldım. Carbon’ın sonuçları 19 testin 17’sinde en iyi; Argon’a kıyasla en büyük sıçrama uzun bağlam, bilim ve siber güvenlik alanlarında. Modelin ayrıntılı açıklaması, fiyatları ve erişim bilgileri için Gemini 4 Carbon sayfasına bakabilirsiniz.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Kaynaklar
- Google DeepMind: Gemini 4 Carbon - Model değerlendirmesi, yöntem ve sonuçlar (PDF), 28.10.2026
- Google: Gemini 4 Carbon: yeni frontier modelimiz, 28.10.2026
- Artificial Analysis Intelligence Index
Kontrol tarihi: 28.10.2026.
Parıldak'taki benzer konular
