Otonom siber savunma yapay zekâsı nasıl test edilir?
Kerri Prinos ve Lilianne Brush, otonom savunma ajanlarını ticari EDR sistemleriyle değerlendirmenin zorluklarını inceliyor.
👁 116 okunma
Kerri Prinos ve Lilianne Brush, arXiv’de (2606.08168) yayımladıkları 17 sayfalık makalede, ticari EDR (uç nokta tespiti ve müdahalesi) sistemleriyle çalışan otonom savunma ajanlarını değerlendirmenin zorluklarını anlatıyor. Makalenin ilk sürümü 6 Haziran 2026’da, ikinci sürümü ise 21 Ekim 2026’da yayımlandı.
Otonom savunma ajanlarını test etmek neden zor?
Modern ticari EDR sistemleri artık bir operatörün yapılandırdığı pasif araçlardan ibaret değil. Yazarlara göre bu ürünler, operatör tarafından belirlenen kural kümelerinden; otonom yapay zekâ bileşenlerinin devreye alındığı, hatta giderek daha sık operatör politikalarının yerini aldığı çok bileşenli sistemlere dönüştü. Başka bir deyişle, otonom bir savunma ajanı böyle bir sistemi yapılandırmaya çalıştığında pasif bir aracın ayarlarını değiştirmiyor; üreticinin mantığına göre kendi kararlarını veren bir kara kutuyla etkileşime giriyor.
Bu durum temel bir soruyu gündeme getiriyor: Savunma faaliyetlerinin bir kısmını ajan değil, EDR sistemi kendi başına yürütüyorsa savunma ajanının yararlı bir iş yapıp yapmadığını nasıl değerlendirebiliriz?
Araştırmacılar hangi test çerçevesini kurdu?
Prinos ve Brush, ticari EDR sistemlerini yapılandıran otonom savunma ajanları için ilk değerlendirme çerçevesi olduğunu belirttikleri bir yöntem sunuyor. Çerçeve, Game of Active Directory (GOAD) laboratuvar ortamında çalıştırıldı. Otonom sızma testi aracı olarak Horizon3’ün NodeZero ürünü, test edilen başlıca EDR sistemi olarak da Microsoft Defender XDR kullanıldı. Ardından Defender testlerinden çıkarılan sonuçların Microsoft’a özgü mü yoksa daha genel mi olduğunu incelemek için aynı çerçeve CrowdStrike Falcon ve SentinelOne Singularity’ye de genişletildi.
Deneme niteliğindeki savunma ajanı kıyaslamasında temel model olarak iki dil modeli kullanıldı: Claude Sonnet 4.6 ve Cisco Foundation-Sec-8B. Belgede bu kıyaslamaya ilişkin ayrıntılı sayısal sonuçlar yer almıyor; yazarlar yöntem ve nitel bulgular üzerinde duruyor.
Simülasyonların gösteremediği üç sorun
Yazarlar, kendi ifadelerine göre ne simülasyonlardan ne de açık kaynaklı yazılımlarla yapılan testlerden çıkarılabilecek üç önemli ders aktarıyor.
İlk olarak, ticari EDR telemetrisi politikaların etkinliğini ölçmek için değil, SOC analistlerinin iş akışlarını desteklemek için tasarlanıyor. Bu nedenle ajanın sistemden aldığı veriler, kendi eylemlerinin bir şeyi değiştirip değiştirmediğini doğrudan değerlendirmeye elverişli değil.
İkinci olarak, eylemleri belirli politikalara göre ayrı ayrı ilişkilendirmek, neyin ajan tarafından neyin EDR’nin otonom işleyişiyle yapıldığını ayırt etmek açısından kritik. Bu ayrım olmadan sonuçtaki başarıyı ya da başarısızlığı kime atfetmek gerektiği bilinmiyor.
Üçüncü olarak, EDR’nin davranışı farklı çalıştırmalarda değişiyor. Bunun başlıca nedeni, tehditleri izole eden “containment” işleminin birikerek ortamın durumunu değiştirmesi. Dolayısıyla testlerin tekrarlanabilir olduğu varsayılamıyor.
Simülasyondan gerçek ortama geçişteki fark
Yazarların “sim-to-real gap” adını verdiği, simülasyon testleriyle gerçek kurumsal ortamdaki davranış arasındaki fark, bu üç gözlemin ortak sonucu. Yazarlara göre bu durum, kendi otonomisine sahip kara kutuların bulunduğu ortamlarda savunma ajanlarını kıyaslamak için yeni bir yönteme duyulan ihtiyacı ortaya koyuyor.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →Bu araştırma neden önemli?
Bana göre makale, üzerinde nadiren açıkça durulan bir sorunu ele alıyor: Otonom bir saldırgana otonom bir savunmacı eklediğimizde ve bu savunmacı da kendi başına çalışan bir sistemi yapılandırdığında, karşımızda üç ajan katmanı oluyor ve kimin ne yaptığını anlamanın kolay bir yolu kalmıyor. Makalenin değeri kıyaslama sonuçlarında değil - aslında ayrıntılı sonuçlar yok - yöntemle ilgili üç somut sorunu net biçimde tanımlamasında. Bu çalışma “ölçtük, sonuçlar şöyle” demekten çok “nasıl ölçeceğiz?” sorusuna odaklanıyor. Kurumsal ortamlarda yapay zekâ tabanlı güvenlik sistemleri geliştiren veya değerlendirenler için bu üç ders, testleri tasarlarken neleri varsaymamaları gerektiğine dair pratik bir rehber sunuyor.
Kaynak: arXiv cs.AI: Closing the Sim-to-Real Gap: An Evaluation Framework for Autonomous Cyber Defense Configuration of Commercial EDR (22.10.2026 tarihli belge). Bu yazı, başka medya kuruluşlarının haberlerine değil, belgenin tam metnine dayanıyor.
Parıldak'taki benzer konular
