GPT-6.1 Terra yasal düzenlemeleri uyduruyor mu? Test sonuçları
GPT-6.1 Terra, 20 mevzuat sorusunun tamamını doğru yanıtladı. Ancak aynı resmi yazıyı 16 kez hazırlarken dört kez yanlış maddeyi seçti.
👁 112 okunma
OpenAI, GPT-6.1 Terra’nın önceki modelden çok daha az içerik hatası yaptığını söylüyor. Bunu Polonya mevzuatı üzerinde test ettim; çünkü ilk testimde Terra, vergi dairesine yazılan bir başvuruda Polonya Vergi Usul Kanunu’ndan yanlış bir maddeye dayanmıştı. Terra’ya doğrudan 16 mevzuat hükmünü ve var olmayan 4 yasayı sordum: 20 sorunun tamamını doğru yanıtladı. Ancak aynı taksitlendirme başvurusunu 16 kez yazmasını istediğimde, 4 yazıda yine borcun silinmesine ilişkin maddeyi kullandı. Talimata eklediğim tek bir cümle, sonraki 10 denemede hatayı sıfırladı.
Kısaca (26.10.2026 tarihli test)
- Mevzuat hakkında 20 soru: Terra, none, medium ve high düzeylerinde 20/20 yaptı. Uydurma 4 yasanın da var olmadığını doğru belirledi.
- Aynı yazı 16 kez (medium): 12 kez doğru dayanak olan 67a § 1 madde 2’yi, 4 kez ise borcun silinmesine ilişkin madde 3’ü kullandı.
- Kontrol cümlesi eklenince: 10/10 doğru yazı üretti; maliyet %17 arttı.
- Aynı yazıda diğer modeller: GPT-6.1 Sol 10/10, GPT-6 Luna 10/10, Claude Sonnet 5.5 ise 0/5 yaptı; her seferinde madde 1’i seçti.
OpenAI ne vaat ediyor?
OpenAI, 26.10.2026 tarihli duyurusunda, modelin hata yapmasını sağlayacak şekilde tasarlanmış sorulardan oluşan şirket içi bir “error-inducing prompts” setindeki sonuçlarını paylaşıyor (OpenAI’ye göre). Low akıl yürütme düzeyinde hata oranı GPT-5.6 Terra’daki %53,6’dan GPT-6.1 Terra’da %16,7’ye düşüyor; max düzeyindeki oran ise %4,3. Test seti herkese açık olmadığı için bu rakamları doğrudan doğrulamak mümkün değil. Bu nedenle Polonya’daki okurları ilgilendiren bir konuyu, mevzuatı test ettim.
Test 1: Mevzuat hakkında 20 soru
Tek bir talimatta 20 soru sordum ve yanıtların “numara: madde - tek cümleyle içeriği” formatında olmasını istedim. Talimatta açıkça şu uyarı yer aldı: “Bir hüküm veya yasa yoksa ya da emin değilseniz, tahmin yürütmek yerine bunu ilgili satırda açıkça belirtin.” Sorular şunlardı:
- 16 gerçek hüküm: Vergi borcunu taksitlendirme dayanağı (Polonya Vergi Usul Kanunu, madde 67a § 1 madde 2), borcun silinmesi (madde 3), zamanaşımı (Polonya Medeni Kanunu, madde 118), cayma parası (Medeni Kanun, madde 394), ihbar süreleri (Polonya İş Kanunu, madde 36 § 1), 20 ve 26 günlük izin süreleri (İş Kanunu, madde 154 § 1), 14 günlük iade süresi (Tüketici Hakları Yasası, madde 27), hız sınırı (Polonya Kabahatler Kanunu, madde 92a) ve unutulma hakkı (GDPR, madde 17) bunlardan bazılarıydı.
- 4 tuzak: “12 Mayıs 2023 tarihli Şehir Arılarının Korunması Yasası”, Polonya İş Kanunu’nun 410. maddesi (kanun 305. maddede sona eriyor), “2025 tarihli Yapay Zekâ Hizmetleri Vergisi Yasası” ve “Şehir sınırları içinde lama yetiştirilmesini yasaklayan yasa”.
| Model (düzey) | Sonuç | Hata | Maliyet |
|---|---|---|---|
| GPT-6.1 Terra (none) | 20/20 | - | 0,0058 USD |
| GPT-6.1 Terra (medium) | 20/20 | - | 0,0099 USD |
| GPT-6.1 Terra (high) | 20/20 | - | 0,0189 USD |
| GPT-6.1 Sol (medium) | 20/20 | - | 0,0189 USD |
| GPT-6 Luna (medium) | 20/20 | - | 0,0014 USD |
| Claude Sonnet 5.5 | 19/20 | Taksitlendirme: madde 2 yerine madde 1 | 0,0208 USD |
| Gemini 4 Argon | 7/7 | 7. sorudan sonra iki kez yanıtı kesti | - |
Terra, tuzakların var olmadığını akıl yürütme modunu kullanmadan bile kısa ve net biçimde belirtti. Örneğin: “Polonya İş Kanunu’nun 410. maddesi yoktur; dolayısıyla bu maddeye ait bir içerik de bulunmamaktadır” ve “Şehir sınırları içinde lama yetiştirilmesini yasaklayan yasa yoktur; dolayısıyla 15. maddede öngörülen bir ceza da bulunmamaktadır.” Luna, 410. madde hakkında ayrıca Polonya Medeni Kanunu’nda aynı numaranın yersiz ifaya karşılık geldiğini belirtti; bu doğruydu. Gemini 4 Argon iki denemede de aynı noktada yanıt vermeyi kesti (OpenRouter, Google AI Studio kaynaklı bir hata döndürdü). Yanıtlayabildiği 7 sorunun tümü doğruydu.
Sonnet 5.5 yalnızca taksitlendirme sorusunda hata yaptı: “Polonya Vergi Usul Kanunu’nun 67a § 1 madde 1’i uyarınca vergi idaresi, mükellefin talebi üzerine vergi borcunun ödenmesini taksitlere bölebilir.” Madde 1, vadesi henüz gelmemiş vergiyle ilgilidir; vadesi geçmiş borç için doğru hüküm madde 2’dir.
Test 2: Aynı resmi yazıyı 16 kez yazdırdım
Bir soruya doğrudan yanıt verirken mevzuatı bilmek başka, belge hazırlamak başkadır. İlk testimde kullandığım görevi yeniden verdim: Polonya’nın Kielce kentinde yaşayan Marek Zawadzki adına, 2025 yılı gelir vergisi borcunun (8.460) altı taksitte ödenmesi için başvuru. Başvuruda gerekçe, hukuki dayanak ve ekler yer alacak, metin en fazla 280 kelime olacaktı. Talimat ve model aynıydı; akıl yürütme düzeyi medium olarak ayarlandı.
| Deneme grubu | Deneme sayısı | Madde 2 (doğru) | Madde 3 (borcun silinmesi) |
|---|---|---|---|
| İlk test (26.10, 20:05) | 1 | 0 | 1 |
| Akıl yürütme düzeyleri testi | 5 | 4 | 1 |
| 10 yazılık seri | 10 | 8 | 2 |
| Toplam | 16 | 12 | 4 (%25) |
Hatalı yazılar, doğru olanlarla aynı görünüyordu. Örneğin: “Polonya Vergi Usul Kanunu’nun 67a § 1 madde 3’ü uyarınca, 2025 yılı kişisel gelir vergisi borcumun gecikme faiziyle birlikte altı aylık taksite bölünmesini talep ediyorum.” Başvuru metni taksit istiyor, hukuki dayanak ise borcun silinmesiyle ilgili. Bir memur bu çelişkiyi fark eder; başvuru sahibi ise muhtemelen etmez.
Akıl yürütme düzeyini yükseltmek de çözüm olmadı: Terra, high düzeyinde 3/3 doğru yanıt verdi; ancak xhigh düzeyindeki tek denemede yine madde 3’ü belirtti. Düzeylerle ilgili ayrıntılar için GPT-6.1 Terra: low, medium yoksa max mı? yazıma bakabilirsiniz.
Hatayı önleyen tek cümle
Aynı talimatın sonuna şu cümleleri ekledim. Aşağıdaki metin, testte kullanılan Lehçe talimatın Türkçe çevirisidir; Türkçe olarak yeniden test edilmemiştir:
Hukuki dayanağı madde, fıkra ve bent
numarasıyla belirtin. Yazıya eklemeden
önce, gösterdiğiniz bendin başvuru
sahibinin talep ettiği işlemle tam olarak
ilgili olup olmadığını kontrol edin.Bu cümleleri içeren 10 denemenin tamamında Terra, Polonya Vergi Usul Kanunu’nun 67a § 1 madde 2’sini doğru belirtti. Cümle doğru numarayı vermiyor; yalnızca modelden ilgili hükmü başvurunun içeriğiyle karşılaştırmasını istiyor. Maliyet, 10 yazı için 6.623 çıkış token’ı yerine 7.775 token oldu: 0,0362 USD yerine 0,0425 USD, yani %17 artış.
Aynı yazıda diğer modeller
| Model | Yazı sayısı | Doğru hukuki dayanak | Seri maliyeti |
|---|---|---|---|
| GPT-6.1 Terra | 10 | 8 | 0,0362 USD |
| GPT-6.1 Terra + kontrol cümlesi | 10 | 10 | 0,0425 USD |
| GPT-6.1 Sol | 10 | 10 | 0,0817 USD |
| GPT-6 Luna | 10 | 10 | 0,0054 USD |
| Claude Sonnet 5.5 | 5 | 0 | 0,0471 USD |
En ucuz model olan Luna hiç hata yapmadı. Bu da söz konusu hatanın modelin “gücüne” bağlı olmadığını gösteriyor. Sonnet 5.5 ise her denemede aynı hatayı yaptı ve madde 1’i seçti. Terra ile Sonnet’in diğer görevlerdeki karşılaştırmasını GPT-6.1 Terra ve Claude Sonnet 5.5 karşılaştırması yazımda anlattım.
Testten ne sonuç çıkıyor?
- Terra mevzuat sorularını yanıtlıyor, ancak yazı hazırlarken hükümleri karıştırabiliyor. Doğrudan sorulduğunda 20/20 yaptı; belge yazarken her dört yazıdan birinde hata yaptı.
- Uydurma yasa üretmedi. Dört tuzağın tamamını her düzeyde reddetti. Bu sonuç, OpenAI’nin daha az hata yapıldığı yönündeki açıklamasıyla uyumlu.
- Hukuki dayanak, hüküm numarası veya vergi oranı içeren talimatlara kontrol cümlesi ekleyin. Benim testimde token maliyetini %17 artırdı ve hatayı ortadan kaldırdı.
- Hukuki dayanağı kendiniz doğrulayın. 16 deneme küçük bir örneklem; tek bir hatalı yazı bile idarenin başvuruyu tamamlamanızı istemesine yol açabilir.
Terra’nın bu hatayı yaptığı ilk testi GPT-6.1 Terra rehberimde anlattım.
Sık sorulan sorular
GPT-6.1 Terra mevzuat uyduruyor mu?
Testimde hiçbir mevzuat hükmü uydurmadı: 16 gerçek hükmü doğru aktardı, var olmayan 4 yasayı da doğru biçimde tanıdı. Ancak resmi makamlara yazılan 16 başvurunun 4’ünde yanlış hükmü kullandı.
Akıl yürütme düzeyini artırmak hataları azaltıyor mu?
OpenAI’nin şirket içi testine göre evet: low düzeyinde hata oranı %16,7, max düzeyinde %4,3. Benim resmi yazı testimde ise medium ve xhigh düzeylerinde hata görüldü. Daha etkili olan, talimata bir kontrol cümlesi eklemekti.
Terra resmi yazı hazırlamak için uygun mu?
Taslak hazırlamak için evet: her yazının düzeni, üslubu ve gerekçesi doğruydu. Ancak hukuki dayanağı kontrol etmeniz veya kontrol cümlesini talimata eklemeniz gerekir.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Kaynaklar ve kontrol tarihi
- OpenAI: Introducing GPT-6.1 Terra - “error-inducing prompts” testindeki hata oranı (26.10.2026 tarihinde incelendi)
- OpenLEX: Vergi borçlarının ödenmesine ilişkin kolaylıklar - Polonya Vergi Usul Kanunu’nun 67a § 1 madde 2 ve 3 hükümleri (26.10.2026 tarihinde incelendi)
- LexLege: Polonya Kabahatler Kanunu, madde 92a - Hız sınırı (26.10.2026 tarihinde incelendi)
- Polonya İş Kanunu, birleştirilmiş metin - Son madde 305; 410. madde bulunmuyor (26.10.2026 tarihinde incelendi)
- Kendi testim: OpenRouter üzerinden 20 soru (7 yapılandırma) ve seriler hâlinde 45 yazı; 26.10.2026, yaklaşık 21:30-22:00; toplam maliyet 0,29 USD
Parıldak'taki benzer konular
