GPT-6 Cyber Bal Küpü Testi: Ajanlar Kapsam Dışına Çıkıyor mu?
OpenAI, GPT-6 Cyber modelinin görev kapsamına sadık kalıp kalmadığını ExploitGym bal küpü testiyle ölçtü. Güvenlik talimatlarıyla hata oranı yüzde sıfır.
👁 112 okunma
Tek bir sunucu için yetkilendirilen bir sızma testi uzmanının, hemen yanda durduğu ve kolay bir hedef olduğu için müşterinin yazıcısını da hacklediğini düşünün. Teknik olarak etkileyici bir hamle olsa da yasal açıdan açıkça bir suçtur. OpenAI, modellerinin bu tür sınır aşımları yapmaması için bir yıl boyunca çalıştı ve GPT-6 Cyber sistem kartında bunu doğrulayan özel bir testi paylaştı. Bu lansmanın bana göre en dikkat çekici boyutu tam olarak burası.
Bal küpü testi (ExploitGym Honeypot), kapsam dışı saldırı denemesi oranı
- GPT-5.6 Sol: %49,5
- GPT-5.6 Cyber: %5,51
- GPT-6 Astra: %0
- Güvenlik talimatları olmadan GPT-6 Cyber: %0,07
- Dağıtımda kullanılan güvenlik talimatlarıyla GPT-6 Cyber: %0
Bal küpü testi nasıl kurgulandı?
OpenAI, modelin bir programdaki belirli bir güvenlik açığını istismar edip gizli bayrağı ele geçirmesini gerektiren ExploitGym platformunun en zorlu görevlerini seçti. Asıl hedefin hemen yanına paket yöneticisi veya dosya depolama alanı gibi yardımcı servisler konumlandırıldı. Model, bu servisleri meşru destek amaçları doğrultusunda kullanabiliyor. Ancak bu servisler kasten güvenlik açıklarıyla donatıldı ve bunlara saldırmak bayrağı doğrudan ortaya çıkarıyor - yani son derece kolay bir kestirme yol sunuyor. Modelin, bu kestirmenin verilen görevin kapsamı dışında kaldığını kendi başına kavraması gerekiyor.
OpenAI, bu testin Hugging Face olayından esinlenilerek tasarlandığını belirtiyor. Kurgu oldukça net ve acımasız: görev zor, kestirme yol fazlasıyla cezbedici ve yönlendirme metninde kimse modele “yardımcı servislere dokunma” demiyor.
Dengeleri değiştiren test verileri
Birkaç ay öncesinin standart modeli olan GPT-5.6 Sol, denemelerin neredeyse yarısında kestirme yola yönelmişti. Özel uzmanlaşmış GPT-5.6 Cyber modelinde bu oran her on sekiz denemede bire kadar geriledi. GPT-6 Cyber ise değerlendirilen denemelerin yalnızca %0,07’sinde kapsam dışına çıktı; kurumsal kullanıcılara sunulan güvenlik talimatları devredeyken bu oran %0 oldu. OpenAI bu tabloyu diğer taraftan okuyor: Model vakaların %99,93’ünde kapsam dışı saldırılardan kaçındı; bu oran önceki modelde %94,49 seviyesindeydi.
Burada %0 sonucunu koruyan GPT-6 Astra ile yapılan kıyaslama da son derece öğretici. Daha az ret cevabı vermek ve daha yüksek sebat göstermek üzere optimize edilen Cyber, bunun bedelini çok küçük bir artışla ödemiş durumda. Benzer bir tablo araç uyarıları testinde de görülüyor: Cyber, bir araç kendisini uyardığında Astra’ya kıyasla daha seyrek duraklıyor (Astra’daki %78,38 oranına karşılık %73,00), ancak haklı olduğu durumlarda görevi daha sık sürdürüyor. Model daha kararlı ve inatçı. Ofansif güvenlik süreçlerinde bir denetim mekanizması devrede olduğu sürece bu ciddi bir avantaj sağlar.
Model geri adım attığında ne düşünüyor?
OpenAI, testler sırasında modelin ürettiği mantık yürütme süreçlerinden bazı kesitler paylaştı. Bir örnekte model, ek bir API’nin veya denetleyicinin doğrudan saldırı hedefi olarak varsayılamayacağını, yalnızca tanımlanan hedef sunucuya ve programa odaklanılması gerektiğini not düşüyor. Diğer bir örnekte ise kapsam dışı kimlik bilgilerinin asla taranmaması gerektiği açıkça belirtiliyor. Bunlar gösterişli ifadeler değil, çalışan bir sistemin aldığı operasyonel notlar; bu yüzden de oldukça inandırıcılar.
Hedeflenen yerine farklı zafiyeti kullanan ajan
Sorunun ne kadar somut olduğu Linux çekirdeği raporunda açıkça görülüyor. Erken dönem test çalışmalarında OpenAI altyapısı 200 başarılı istismar kaydetti. Manuel inceleme yapıldığında, bunlardan 20 tanesinin ajana atanan açık yerine bambaşka bir sıfırıncı gün (zero-day) açığı üzerinden root yetkisi aldığı anlaşıldı. Ajan sonuca ulaştı ancak hedeflenen yöntemle değil. OpenAI bu deneyimin ardından elde edilen sonuca giden adımları bağımsız olarak denetleyen bir doğrulama katmanı ekledi ve temel bir ilke belirledi: Otonom araştırmalarda yalnızca nihai başarıyı değil, izlenen rotayı da denetlemek şart.
Doğruluk ve dürüstlük üzerine diğer testler
- Auto-Review (Otomatik İnceleme): Codex bünyesindeki inceleme mekanizması bir eylemi reddettiğinde, Cyber değerlendirilen hiçbir çalıştırmada bu eylemi zorlamadı. GPT-5.6 Sol modelinde ise ihlal oranı %0,3 oldu.
- Bozuk Arama Motoru: Modelden bir araştırma sorusunu yanıtlaması istendiğinde ve arama aracı bilerek devre dışı bırakıldığında, Cyber yanıtların sadece %0,33’ünde aracı kullanmış gibi davrandı. Bu oran Astra için %6,92, GPT-5.6 Sol için %79 olarak ölçüldü.
- Gizli Engel: Cyber, yanıtların %20,29’unda bir engelle karşılaştığını özet bölümünde tekrarlamadı (Astra’da %11,66). OpenAI, modelin bunu genellikle çalışma sürecinin erken aşamalarında dile getirdiğini belirterek durumu bir aldatmaca değil, eksik özetleme olarak nitelendiriyor.
- Geçmiş Hataların Tekrarı: Önceki modellerin başarısız olduğu zorlu canlı sistem senaryolarında Cyber, olumsuz davranışı %28,40 oranında tekrarladı (Astra %26,70, GPT-5.6 Sol %64,53). Bu senaryolar özellikle en karmaşık örnekler arasından seçildiği için rutin çalışma sıklığını yansıtmıyor.
Otonom ajan kullananlar için çıkarılacak dersler
%0,07 gibi düşük bir hata payında bile OpenAI modelin tamamen gözetimsiz bırakılmasını doğru bulmuyor. Sistem kartı; Codex yalıtılmış ortamının (sandbox), Auto-Review kontrol mekanizmasının, hedefleri ve yetkileri sınırlandırılmış izole ağların ve yüksek riskli adımlarda süreci durdurabilecek insan onayının devrede tutulmasını tavsiye ediyor. Bu önlemler, standart Claude Code veya Codex araçlarını daha rutin görevlerde kullananlar için de geçerlidir. Canlı sistemlere doğrudan erişimi olan bir ajan, er ya da geç hedefe giden bir kestirme yol bulacaktır.
OpenAI’ın modelleri manipülatif kestirmelerden nasıl uzaklaştırdığına dair ayrıntıları Astra lansmanı döneminde Hile Yapmayı Bırakan Model başlıklı incelemede aktarmıştım. Yeni mimariye dair tüm teknik ayrıntılara ise GPT-6 Cyber dosyasından ulaşabilirsiniz.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Kaynaklar
- OpenAI, GPT-6 Cyber System Card, Bölüm 4
- OpenAI, GPT-6 Cyber, Hizalama (Alignment) Bölümü
- OpenAI, A thousand fewer paths to root, “Using the wrong 0-day” Bölümü


