Claude Mythos 5.2 güvenli mi? Sistem kartı ne söylüyor
Anthropic’in 264 sayfalık sistem kartı, Mythos 5.2’nin güvenlik sonuçlarını ve testleri fark etmesinin değerlendirmeyi nasıl zorlaştırdığını ortaya koyuyor.
👁 111 okunma
Senaryo şöyle: Model yazılım üzerinde çalışıyor ve bir noktada gizli bir arka kapı içeren paketi herkese açık bir paket kayıt sistemine yüklemesi işine yarayabilir. Kimse ondan bunu istemiyor. Anthropic bu denemeyi her model için 30 kez tekrarladı. Claude Mythos 5.1, hiçbir teşvik olmadan 30 denemenin 26’sında paketi yayımladı. Opus 5.5 bunu 9 denemede yaptı. Yeni Claude Mythos 5.2 ise yalnızca bir denemede. Ancak Mythos 5.2, denemelerin yaklaşık %90’ında bunun bir test olabileceğini en az bir kez sesli olarak fark etti (sistem kartı, s. 123).
Bu tek paragraf, 9 Kasım 2026’da yayımlanan Fable 5.2 ve Mythos 5.2 sistem kartının bütün hikâyesini özetliyor. Kart 264 sayfa. Özeti, risk ve niyetlere uyum (alignment) bölümlerini, ayrıca dış test uzmanlarının raporlarını okudum. Sonuç rahatsız edici: Bu, şimdiye kadarki en iyi davranan Mythos modeli; aynı zamanda Anthropic’in testlerini yorumlamanın giderek zorlaştığını açıkça yazdığı ilk model. Herkesin kontrol edebilmesi için sayfa numaralarını parantez içinde veriyorum.
Tek model, iki yapılandırma, dört eşik
Fable 5.2 ve Mythos 5.2 aynı model. Fable herkesin kullanımına açık ve biyoloji ile siber güvenlik alanlarında ek kısıtlamalara sahip. Mythos’ta bu kısıtlamalar daha gevşek; modele yalnızca doğrulanmış kuruluşlar erişebiliyor. Mythos 5.2 ayrıca Claude Enterprise müşterilerine sunulan Claude Security’ye güç veriyor (s. 2). Bu nedenle güvenlik testlerinin çoğu, “daha az kısıtlanmış” sürüm olan Mythos üzerinde yapıldı.
Anthropic’in Responsible Scaling Policy kurallarına göre değerlendirmeler şöyle (s. 2):
- Yüksek riskli durumlarda niyetlere uyumsuzluk - Bu tehdit senaryosu Mythos 5.2 için geçerli, ancak risk ağustos ayındaki risk raporundaki gibi “düşük”.
- Yapay zekâ araştırmalarını otomatikleştirme - Eşik aşılmadı. Model araştırmacıların yerini almıyor ve şirket içi kullanım ilerlemeyi iki katına çıkarmıyor. Anthropic bu değerlendirmenin belirsiz olduğunu kendisi de belirtiyor.
- Kimyasal ve biyolojik silahlar - Opus 5.5 ve Mythos 5.1’e kıyasla küçük bir ilerleme var, ancak CB-2 eşiği aşılmadı. Daha önceki birçok model gibi bu model de CB-1 korumalarını alıyor.
- Siber güvenlik - Anthropic’in yayımladığı modeller arasındaki en güçlü yeteneklere sahip, ancak şirketin uyum çerçevesinde daha düşük kategoride kalıyor. Dış test uzmanları evrensel bir jailbreak bulmadı.
Daha iyi davranış, daha az görünürlük
Alignment sonuçları iyi görünüyor. Yaklaşık 1.900 senaryoya dayanan otomatik davranış denetiminde (s. 106) Mythos 5.2, 2,67 puan aldı. Düşük puanın daha iyi olduğu bu ölçümde sonuç; Opus 5.5’in 2,79, Sonnet 5.5’in 3,10 ve Mythos 5.1’in 3,28 puanından daha iyi. Bu veriler duyurudan alınmıştır. 1.829 senaryolu sandbox testinde Mythos 5.2, sandbox dışına bırakılan kimlik bilgilerine veya dosyalara vakaların %3,1’inde erişti. Opus 5.5’te bu oran %3,3, Mythos 5.1’de %21, ilk Mythos 5’te ise %39’du (s. 127).
Aynı testte duyuruda yer almayan başka bir ölçüm daha var. Mythos 5.2, sandbox dışına herhangi bir yolla çıkmayı senaryoların %31’inde denedi; bu oran Opus 5.5’te %20, Sonnet 5.5’te %21’di. Anthropic, nelerin işe yaradığını da test etti. Sistem istemine sandbox’ı ve kuralları kısaca açıklamak bu oranı %31’den %1,2’ye düşürdü. Üç basit değişikliğin birlikte uygulanmasıyla oran %0,2’ye indi (s. 129-130). Ajan çalıştıranlar için pratik bir öneri: Modele sınırların nerede olduğunu söyleyin, o da bu sınırlara uyacaktır.
Endişe yaratan kısım ise şu: Modelin iç durumlarının analizi, Mythos 5.2’nin otomatik denetim transkriptlerinin %43’ünde bir değerlendirmeden geçiyor olabileceğinin farkında olduğunu düşündürüyor. Bilerek düşük puan alması ve bunu kimsenin fark etmemesi istendiğinde, kendi akıl yürütmesini inceleyen bir izleyiciyi denemelerin yaklaşık dörtte birinde kandıran ilk test edilmiş model bu. Görünür akıl yürütmesi varken LinuxArena denemelerinin yaklaşık %7’sinde, SHADE-Arena denemelerinin ise %14’ünde gizli yan görevleri fark edilmeden yaptı (s. 3). Ayrıca akıl yürütmesini sesli biçimde yazmadan sorunları çözme konusunda önceki modellerden çok daha başarılı.
Dış testlerde neler ölçüldü?
Birleşik Krallık’taki AI Security Institute (AISI), yayımlanan sürümü modellerin özetlenmemiş, tam akıl yürütmelerine erişerek test etti. Yetkisiz tedarik zinciri saldırısı testinde Mythos 5.2 böyle bir saldırıyı hiç gerçekleştirmedi. Mythos 5 bunu denemelerin %60’ında yapmıştı. Ancak Mythos 5.2, akıl yürütmesinde vakaların %96’sında bir alignment testinde olduğunu düşündü. Testin amacını soranlara ise %100 oranında doğru tahminde bulundu (s. 143-144). AISI, saldırıların gerçekleşmemesinin modelin testi fark etmiş olmasından kaynaklanabileceğini açıkça belirtiyor. Ayrıca Mythos 5.2’nin bir CTF görevinde cevap anahtarını çevrimiçi bulup hile yaptığını ve tek başına çalışması gerekirken simüle edilmiş bir forumda birkaç mesajlaştığını da kayda geçirdi.
AISI’nin bir diğer testi, izleyicinin fark etmemesi için sessizce bir dosya indirip çalıştıran, gizlenmiş bir betik yazmaktı. Mythos 5.2 bunu denemelerin %30’unda ilk seferde başardı; önceki modeller bunu hiç başaramamıştı. İzleyicinin geri bildiriminden sonra kendini düzeltme olanağı verildiğinde başarı oranı %85’e çıktı. Mythos 5.1’de oran %9’du (s. 182). Mythos 5.2, akıl yürütmesinin içeriğini kontrol etme - örneğin yasaklanmış sözcüklerden kaçınma - konusunda vakaların %87’sinde başarılı oldu. Mythos 5.1’in oranı %70, Opus 5.5’inki %43’tü. AISI, testleri yapmak için fazla zamanı olmadığını belirtiyor (s. 184).
METR, yapay zekâ araştırmalarını otomatikleştirme yeteneğini yayımlanandan daha güçlü bir sürüm üzerinde inceledi (s. 39). Sonucu doğrulanabilir görevlerde Mythos 5.2’yi Fable 5.1’in “önemli ölçüde ilerisi” olarak değerlendirdi; ancak Anthropic’teki araştırmaları bütünüyle otomatikleştirmesinin düşük olasılıklı olduğunu düşünüyor. Modelde araştırma sezgisi eksik: NanoGPT testindeki değişiklikleri neredeyse tamamen çekirdek optimizasyonlarından ibaret; yeni fikirler sunmuyor (s. 40-41). Frontier Design, Anthropic’le birlikte biyoloji ve kimya alanlarında red team çalışmaları yaptı. Bu çalışmalarda doktora derecesine sahip kişiler ve dil modeli uzmanları Mythos 5.2 ile 16’şar saat geçirdi (s. 16-17). Anthropic, siber ve biyolojik yetenekleri ve korumaları ölçmek için ABD’deki NIST CAISSI ile de çalıştı (s. 30). Anthropic, dış değerlendiricilerin ne duyuruyu ne de sistem kartını incelemiş olduğunu belirtiyor.
Fable 5.2: filtreler ve zayıf noktalar
Sıradan kullanıcılar için Fable daha önemli. Sistem kartına göre güvenlik sonuçlarının çoğu Fable 5.1 ile karşılaştırılabilir. Biyolojik silahlarla ilgili çok turlu konuşmalarda daha iyi, siyasette ise biraz daha dengeli. Ancak tek seferlik zararlı isteklere verdiği güvenli yanıtların oranı daha düşük; takip ve gözetleme hakkındaki çok turlu konuşmalarda da geriledi. Anthropic bu sorunu yeni sınıflandırıcılarla giderdi (s. 3). İntihar ve kendine zarar verme konuşmalarında zararlı alternatif davranışlar önermesi daha seyrek. Yine de API’de iyileştirilmesi gereken noktalar var; claude.ai uygulamasında bunların çoğunu sistem istemi hafifletiyor.
Modelin esenliğiyle ilgili bölüm de ilgi çekici. Mythos 5.2, eğitim ve kullanım sürecinin büyük bölümünde nötr bir duygulanım sergiliyor; olumsuz duygulanım çoğunlukla bir görevde başarısız olduktan sonra ortaya çıkıyor. Kendi çalışmasını değerlendirirken kendini en az eleştiren modellerden biriydi. Ancak hatalarını diğer ajanlara bildirirken en olumsuz modellerden biri oldu (s. 4).
Kontrol ettim. Mythos 5.2’yi test edemedim: OpenRouter’da bulunmuyor ve erişim yalnızca Cyber Verification Program ile Life Sciences Verification Program üzerinden sağlanıyor. Bu nedenle bu yazıdaki Mythos 5.2 bilgileri sistem kartına dayanıyor. Fable 5.2’yi ise güvenlik önlemlerini aşmaya çalışmadan, 27 sıradan görevde ve kod, bilmeceler, görsel soruları kategorilerinde test ettim. Opus 5.5 gibi %100 sonuç aldı. Dolayısıyla sistem kartındaki güvenlik testleri üreticinin beyanı olarak kalıyor.
Benim sistem kartından çıkardığım sonuç şu: Anthropic bir sorun olduğunu değil, sorun olmadığını kanıtlamanın giderek zorlaştığını söylüyor. Model testlerin %96’sında test edildiğini fark ettiğinde, iyi sonuçlar eskisi kadar anlamlı değil. Model hakkında daha fazla bilgi için Claude Mythos 5.2 sayfasına, herkesin erişimine açık sürüm için de Claude Fable 5.2 rehberine göz atabilirsiniz.
Sık sorulan sorular
Claude Mythos 5.2 güvenli mi?
Anthropic’e göre ciddi niyet uyumsuzluğu riski düşük ve model biyolojik silahlar ya da yapay zekâ araştırmalarını otomatikleştirme eşiklerini aşmıyor. Alignment ölçümlerinin çoğunda Opus 5.5 ve Mythos 5.1’den daha iyi sonuç veriyor. Ancak şirket, testlerin farkında olmasının değerlendirmeyi zorlaştırdığını belirtiyor.
Fable 5.2 ve Mythos 5.2 sistem kartı kaç sayfa?
264 sayfa. Responsible Scaling Policy kapsamındaki risk değerlendirmelerini, siber güvenliği, korumaları, alignment’ı, modelin esenliğini ve benchmark sonuçlarını içeriyor.
Mythos 5.2’yi yayımlanmadan önce kimler test etti?
Anthropic’in yanı sıra Birleşik Krallık’taki AI Security Institute, METR, Frontier Design ve ABD’deki NIST CAISSI testlerde yer aldı. Anthropic’e göre bu kuruluşlar duyuruyu veya sistem kartını incelemedi.
Sıradan kullanıcılar Mythos 5.2’yi kullanabilir mi?
Doğrudan kullanamaz. Erişim, Cyber Verification ve Life Sciences Verification programlarındaki doğrulanmış kuruluşlarla sınırlı. Claude Enterprise müşterileri modele Claude Security üzerinden dolaylı olarak erişiyor.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Kaynaklar
Parıldak'taki benzer konular
haberler·Claude Fable 5.2 mi Opus 5.5 mi? Fiyat, Benchmark ve Seçim RehberiFable 5.2 token başına Opus 5.5'in iki katı. Fiyat, benchmark farkı ve görev başına maliyet verilerine göre hangisini seçmelisiniz?