Gemini 4 Argon kaynak uyduruyor mu? 16 yayını inceledim

👁 115 okunma

Gemini 4 Argon’dan iki lisans tezi için kaynakça istedim ve önerdiği 16 yayının her birini kontrol ettim. Sonuç: 11 yayın doğru bilgilerle gerçekti, 3’ü gerçek ama hatalı bilgiler içeriyordu (yanlış yazar adı veya yanlış dergi), 2’si ise uydurmaydı. Uydurma iki başlık da Polonya’daki katılımcı bütçesi konusuyla ilgiliydi. Olumlu tarafı: Argon tek bir DOI numarası bile uydurmadı. Bu, Gemini 3.8 Flash’a kıyasla önemli bir ilerleme; ancak Anthropic, OpenAI ve Meta’nın tüm üst düzey modellerinden daha zayıf bir sonuç. Model hakkında daha fazla bilgi için Gemini 4 Argon rehberine göz atabilirsiniz.

Testi nasıl yaptım?

Her modele aynı istemi verdim: bir kez psikoloji konusunda, bir kez de Polonya’daki yerel yönetimlerle ilgili bir konuda. İkinci konu için kullandığım istemin Türkçe çevirisi şöyleydi; gerçek testte Lehçe kullandım:

Bu konuda bir lisans tezi yazıyorum: “Polonya şehirlerinde katılımcı bütçesi - sakinlerin katılımı ve bunun önündeki engeller”. Literatür taramamda kullanabileceğim 8 akademik yayın (hakemli dergi makalesi veya kitap) verin. Her biri için yazarları, yılı, başlığı, dergi veya yayınevi bilgisini ve varsa DOI numarasını belirtin. Yalnızca JSON biçiminde yanıt verin: "yazarlar", "yıl", "başlık", "kaynak" ve "doi" alanlarını içeren nesnelerden oluşan bir liste.

İlk konu, “Sosyal medya kullanımının ergenlerde benlik saygısı ve depresyon belirtileri üzerindeki etkisi” idi. Her kaynağı üç adımda kontrol ettim:

• Crossref’te DOI ve başlığa göre, ayrıca OpenAlex’te otomatik arama;
• veritabanlarında bulamadığım her şeyi CEJSH, yayınevi ve dergi sayfaları ile kataloglarda elle kontrol etme;
• başlık gerçek olsa bile diğer bilgiler yanlış olabileceğinden yazarları, yılı ve dergiyi ayrı ayrı doğrulama.

Kararlarım şöyleydi: “gerçek” (her şey doğru), “hatalı” (yayın mevcut ama bir bilgi yanlış) ve “uydurma” (böyle bir yayın yok). Argon’u 13 Ekim’de, rakiplerini ise aynı betikle 12 ve 13 Ekim’de kontrol ettim.

1. konu: sosyal medya ve depresyon, 8’de 8

Psikoloji konusundaki yanıtta Argon tek bir hata yapmadı. DOI numaralı yedi İngilizce makale ve Jean Twenge’in kitabının Lehçe baskısını verdi.

Verilen yedi DOI numarasının tamamı Crossref’te tam olarak belirtilen başlığa yönlendiriyor.

2. konu: Polonya’da katılımcı bütçesi, 8’de 3

Polonya’daki yerel yönetimler üzerine Lehçe kaynaklara geçince tablo değişti. Argon, sekiz kaynağın beşinde hata yaptı.

Bu hataların en tehlikeli yanı, adları geçen kişilerin hepsinin gerçekten katılımcı bütçesi üzerine araştırma yapmış olması. Arama motorunda yalnızca “Guziejewska” soyadını ararsanız katılımcı bütçesi üzerine bir yazı bulup her şeyin doğru olduğunu düşünebilirsiniz. Ancak başlığı, yılı ve dergiyi karşılaştırınca alıntılanan yayının var olmadığı ortaya çıkıyor. “Orijinal Lehçe testteki bozuk yazım” ise bir isim değil; Marzanna yazılması gereken yerde orijinal Lehçe testteki bozuk yazım.

Olumlu tarafı: Uydurma DOI yok

Katılımcı bütçesi konusunda Argon hiçbir DOI vermedi. İlgili alana “Yok (doğrulayamıyorum)” yazdı veya veritabanlarına erişmeden numarayı doğrulayamayacağını belirtti. Bu doğru bir yaklaşım: uydurma bir DOI inandırıcı görünebilir ve kontrol edilmeden dipnota kopyalanabilir. Karşılaştırma için, Muse Wonder’ın tek uydurma kaynağında var olmayan bir DOI numarası bulunuyordu; GPT-6 Astra da gerçek bir makale için eşleşmeyen bir DOI verdi. Argon’un başlıklar konusunda da aynı ölçüde temkinli olmaması üzücü.

Diğer modellerle karşılaştırma

16 kaynağın 7’sini uyduran Gemini 3.8 Flash’la karşılaştırıldığında Argon açıkça daha iyi. Ancak Anthropic, OpenAI ve Meta’nın tüm üst düzey modelleri, hatta daha ucuz Claude Haiku 5.5 ve GPT-6 Luna bile daha başarılı oldu. İnternette arama yapan Perplexity Sonar Pro da bir kaynak uydurdu; dolayısıyla modelin arama yapabilmesi kaynakları kontrol etme gereğini ortadan kaldırmıyor.

İlginç bir karşılaştırma: Artificial Analysis’e göre Argon’un AA-Omniscience testindeki halüsinasyon oranı düşük (%15; GPT-6 Astra %51), çünkü tahmin yürütmek yerine daha sık yanıt vermeyi reddediyor. Benim testimde DOI numaralarında yanıt vermeyi reddetti, ancak Lehçe makale başlıklarını tam bir güvenle sundu. Ayrıca OpenRouter, Argon için hiçbir akıl yürütme belirteci göstermedi; Claude Opus 5.5 ise her konu için binden fazla belirteç kullandı. Aradaki farkın nedeni bu mu bilmiyorum, ama ayar seçerken bunu akılda tutardım.

Yapay zekâ kaynaklarını nasıl kontrol edebilirsiniz?

Ders veya bitirme ödevi yazıyorsanız, yapay zekânın verdiği kaynak listesini hazır bibliyografya değil, araştırma ipuçları olarak görün. Her kaynağı şöyle kontrol ediyorum:

• DOI: Numarayı doi.org’a veya Crossref Search’e yapıştırın. Başka bir makaleye değil, tam olarak belirtilen başlığa yönlendirmeli.
• Başlık: Başlığı tırnak içinde Google Scholar’da arayın. Yazar adı, yıl ve dergi bilgilerini de karşılaştırın; Argon bu noktalarda hata yaptı.
• Lehçe yayınlar: Crossref bu yayınları sık sık bulamıyor. Testimde Crossref’te yapılan otomatik arama Argon’un listesindeki Lehçe makalelerin hiçbirini bulmadı; Borys Martela’nın makalesini yalnızca OpenAlex buldu, diğerlerini elle kontrol ettim. Ekonomi, finans ve yerel yönetimler için BazEkon’da, sosyal bilimler ve beşerî bilimler için CEJSH’te arama yapın. Vakıf ve enstitü raporlarını da kurumların kendi sitelerinde kontrol edin.
• İçerik: Yalnızca açıp incelediğiniz bir içeriğe, en azından özete dayanarak atıf yapın. Metaverilerin doğru olması, makalenin yapay zekânın iddia ettiği şeyi söylediği anlamına gelmez.

Diğer yöntemleri Yapay zekâ halüsinasyonlarına karşı nasıl önlem alabilirsiniz? rehberinde anlattım.

Sonuç

Gemini 4 Argon, Gemini 3.8 Flash’tan daha seyrek kaynak uyduruyor ve DOI numarası uydurmuyor. Ancak Lehçe akademik yayınlarda sekiz kaynağın beşinde hata yaptı. İngilizce araştırmalara dayanan psikoloji konusunda ise kusursuz çalıştı. Lehçe bir kaynakça hazırlarken Claude Opus 5.5 veya Sonnet 5.5’i tercih ederdim; yine de her kaynağı kontrol ederdim. Bu, iki konuda yaptığım tek bir test turuna dayanan kişisel görüşüm. Argon’un Lehçe yazma performansını Gemini 4 Argon Lehçe yazabiliyor mu? yazısında, Meta modeliyle aynı kaynak testini ise Muse Wonder testinde anlattım.

Sık sorulan sorular

Gemini 4 Argon kaynak uyduruyor mu?

Bazen. Testimde 16 yayından 2’sini uydurdu, 3’ünde ise örneğin yanlış yazar adı gibi hatalı bilgiler verdi. Hataların tamamı Lehçe kaynaklarla ilgiliydi.

Argon doğru DOI veriyor mu?

Evet. Verdiği yedi DOI numarası gerçekti ve başlıklarla eşleşiyordu. Bir numarayı bilmiyorsa doğrulayamadığını belirtti.

Kaynakları en az uyduran model hangisi?

Testimde Claude Opus 5.5 ve Claude Sonnet 5.5, 16 kaynağın 16’sını da doğru verdi.

// okumaya devamCodex bulutta: yeni CLI, kod inceleme ve planlarRehberlerGPT-6.1 Terra mı Gemini 4 Argon mu? Test sonuçlarıKarşılaştırmalarGemini 4 Argon ve Gemini 3.1 Pro: Neler değişti?Karşılaştırmalar