Gemini 4 Argon kod yazmada nasıl? Test ve benchmark sonuçları

👁 119 okunma

Gemini 4 Argon, Lehçe hazırlanmış dört kodlama görevimdeki 51 birim testinin tamamını geçti. Bunun maliyeti 0,028 USD oldu ve toplamda 25 saniye bekledim. Test ettiğim üst seviye modeller arasında bunu daha ucuza ya da hızlıya yapan olmadı. Ancak kodlama benchmarkları daha karmaşık bir tablo çiziyor: Google’ın verilerine göre Argon DeepSWE’de önde, ancak FrontierSWE ve Terminal-Bench 4.0’da geride. Bağımsız Arena Code WebDev sıralamasında ise 8. sırada. Aşağıda kendi testimi, benchmark sonuçlarını ve Argon’la nerelerde kod yazabileceğinizi bulabilirsiniz. Model hakkındaki genel bilgileri Gemini 4 Argon rehberinde bulabilirsiniz.

Dört görev, 51 test

Görevler kısa, ancak her birinde modellerin hata yapabileceği bir tuzak var. Test materyali Lehçe hazırlanmıştı; aşağıdaki açıklamalar bunun Türkçe aktarımıdır:

• Polonya vergi kimlik numarasını doğrulama: Tire, boşluk ve PL öneki içeren yazımları işleme; ağırlıklı kontrol toplamını hesaplama; kalan 10 ise numarayı geçersiz sayma.
• Aralıkları birleştirme: Birinin bitişi diğerinin başlangıcına değen aralıkları birleştirme; (5, 2) gibi ters yazılmış aralıkları düzeltme.
• Polonya’daki iş günlerini hesaplama: 2024-2030 yılları, hareketli tatiller ve Noel arifesi. Noel arifesi ancak 2025’ten itibaren tatil günü sayılıyor.
• Fatura tutarını yazıyla yazma:Lehçede zloti ve grosz birimlerinin doğru biçimlerini kullanma; grosz düzeyine yuvarlama ve bir milyara kadar tutarları işleme.

Argon’un ürettiği kod nasıl görünüyor?

Argon, giriş cümlesi eklemeden kodu tek başına bir blokta verdi; tür açıklamaları ve yorumlar Lehçeydi. En dikkat çekici bölüm, iş günleri görevindeki tatil listesi. Gemini 3.8 Flash bir gün önce bu noktada hata yapmıştı. Aşağıdaki kod, Lehçe testte üretilen kodun yorumları Türkçeye çevrilmiş hâlidir; bu Türkçe bir test sonucu değildir:

def tatilleri_al(yil: int) -> set[datetime.date]:
    paskalya = paskalyayi_hesapla(yil)
    tatiller = {
        datetime.date(yil, 1, 1),   # Yeni Yıl
        datetime.date(yil, 1, 6),   # Üç Kral Bayramı
        paskalya,                   # Paskalya'nın ilk günü (pazar)
        paskalya + datetime.timedelta(days=1),   # Paskalya'nın ikinci günü (pazartesi)
        datetime.date(yil, 5, 1),   # Ulusal Bayram (İşçi Bayramı)
        datetime.date(yil, 5, 3),   # Üçüncü Mayıs Ulusal Bayramı
        paskalya + datetime.timedelta(days=49),  # Pentekost'un ilk günü (pazar)
        paskalya + datetime.timedelta(days=60),  # Corpus Christi (perşembe)
        datetime.date(yil, 8, 15),  # Meryem Ana'nın Göğe Yükselişi
        datetime.date(yil, 11, 1),  # Azizler Günü
        datetime.date(yil, 11, 11), # Ulusal Bağımsızlık Günü
        datetime.date(yil, 12, 25), # Noel'in ilk günü
        datetime.date(yil, 12, 26), # Noel'in ikinci günü
    }
    # 2026'daki yasal duruma göre (2024 yasası),
    # Noel arifesi (24 Aralık) 2025'ten itibaren resmî tatildir.
    if yil >= 2025:
        tatiller.add(datetime.date(yil, 12, 24))
    return tatiller

Paskalya tarihini Meeus/Jones/Butcher algoritmasıyla hesaplıyor; istediğim gibi her şey standart kütüphanede. Gemini 3.8 Flash, Noel arifesini bütün yıllarda tatil saymış ve Aralık 2024 testini geçememişti. Tutarı yazıyla yazma görevinde Argon, kapsam dışındaki tutarlar için kendi isteğiyle ValueErrorekledi. Ayrıca 12,13 orijinal Polonya para birimi tutarını Lehçe aslından çeviri olarak “on iki zloti on üç grosz” şeklinde doğru yazdı. Orijinal test Lehçe dilindeydi. Muse Wonder ise bu örnekte orijinal Lehçe testteki bozuk harfli ifade şeklinde yazdı.

Argon aynı görevlerde rakipleriyle karşılaştırıldığında

Hata yapmayan modeller arasında Argon, Opus 5.5’ten neredeyse 3 kat; GPT-6 Astra’dan 4,6 kat daha ucuz. Ancak bunların birkaç düzine satırlık küçük işlevler olduğunu belirtmek gerekir. Bu test, modelin Polonya’ya özgü ayrıntıları anlayıp bariz hatalardan kaçınıp kaçınmadığını gösteriyor. Büyük bir kod deposunda, çok sayıda dosyayla ve terminalde uzun süre çalışan bir ajan olarak nasıl performans göstereceğini ise ölçmüyor. Bunun için benchmarklara bakmak gerekiyor.

Google’ın kodlama benchmarklarında Argon

Google’ın 30 Eylül tarihli tablosunda Argon, en yüksek düşünme ayarında yer alıyor. Üç kodlama testinin sonuçları karışık:

Aynı Google tablosunda Claude Fable 5.1, DeepSWE’de 67,4%, FrontierSWE’de 56,3% ve Terminal-Bench’te 57,9% alıyor. Google’ın tablosunun tamamında Argon 19 testin 13’ünde önde. Ancak üç kodlama benchmarkının ikisinde rakiplerinin gerisinde; Terminal-Bench 4.0’da da Opus 5.5’in 9 yüzde puan arkasında.

Bağımsız benchmark sonuçları ne söylüyor?

• Artificial Analysis, Terminal-Bench 4.0: Argon 57%, Claude Sonnet 5.5 64%, Claude Opus 5.5 60%, GPT-6 Astra 59%. Bağımsız ölçüm, terminal çalışmalarında Argon’un Anthropic ve OpenAI modellerinin gerisinde kaldığını doğruluyor.
• Arena, Code Arena: WebDev: 1679 puanla 8. sırada. Karşılaştırma için aynı Argon’un High ayarı, Text Arena’da 1525 puanla 1. sırada (ön sonuç).

Bloomberg: Google çalışanları sonuçlardan kuşku duydu

Bloomberg, 30 Eylül’de Techmeme’in aktardığı haberde, Google çalışanlarına göre modelin bazı gerçek kodlama görevlerinde benchmarkların gösterdiğinden daha kötü performans sergilediğini yazdı. Google bu değerlendirmeye itiraz ediyor. Küçük testim bu tartışmayı sonuçlandırmıyor; Argon kısa işlevleri hatasız yazdı. Bununla birlikte bağımsız Terminal-Bench sonucu ve WebDev’deki 8. sıra, Google tablosundaki en iyi sonuçlardan çok Bloomberg’in aktardığı değerlendirmeyle örtüşüyor.

Argon ile nerede kod yazabilirsiniz?

• Google Antigravity (masaüstü uygulaması ve CLI): Argon yalnızca Google AI Ultra planında sunuluyor. Google AI Pro planı Antigravity’yi içeriyor, ancak Argon’u içermiyor. Araştırmacılar Antigravity’nin en üst düzeyini 6 ay boyunca ücretsiz alabiliyor. Başlangıç adımlarını Antigravity’ye nasıl başlanır? yazısında anlattım.
• Gemini API: Model kimliği gemini-4-argon; ücretli hesaplarda kullanılabiliyor. 30 Kasım 2026’ya kadar bir milyon token başına 2/10 USD, 1 Aralık’tan itibaren 4/20 USD. Giriş ve çıkış tokenları için ortak sınır toplam 1 milyon token. 9to5Google’a göre AI Studio arayüzünde ve Android Studio’nun Canary sürümünde Argon kullanmak için Ultra gerekiyor.
• OpenRouter: google/gemini-4-argon, aynı fiyatlar ve 1.048.576 token bağlam penceresi. Testimi bu platformda yaptım. Argon, 13 Ekim 2026’da Polonya’dan sorunsuz çalıştı; bu, başka ülkelerde kullanılabildiğini kanıtlamaz. Kullanılabilirlik durumunu sağlayıcıdan kontrol edin. OpenRouter anahtarını kabul eden araçlarda da kullanabilirsiniz.

Sonuç

Tek tek işlevler, betikler ve küçük düzeltmeler yazmak için Argon, şimdiye kadar test ettiğim en ucuz üst seviye model ve testimde tek hata bile yapmadı. Ancak uzun süre kod deposu ve terminal üzerinde çalışan ajan görevlerinde bağımsız benchmarklar da Claude Opus 5.5’i öne çıkarıyor. API üzerinden kod yazıyorsanız, fiyat 30 Kasım’a kadar sonraki seviyenin yarısı olduğundan Argon’u kendi kodunuzda denemeye değer. Diğer araçlarla karşılaştırmayı kodlama için yapay zekâ rehberinde bulabilirsiniz.

// okumaya devamGemini: belgelerle çalışma ve yanıt kontrolüRehberlerFLUX 3 Image Klein: RTX 4090 testi ve 7,5 GB VRAMKarşılaştırmalarQwen-Image 2.1 Turbo: RTX 4090’da 4 saniyede görselKarşılaştırmalar