COPEX: MCP kullanan dil modelleri nasıl kandırılıyor?
COPEX, MCP istemcisi olarak çalışan dokuz dil modelini 25 saldırı türü ve 125 senaryoyla test etti. Ortalama saldırı başarısı yüzde 64,4 oldu.
👁 113 okunma
Bu makale, arXiv’de yayımlanan ve NeurIPS 2026 Workshop on Agents in the Wild etkinliğine poster olarak kabul edilen bir çalışmayı ele alıyor. Çalışmanın altı yazarı var: Nahom Birhan, Mehrdad Rostamzadeh, Sidhant Narula, Mahmoud Nazzal, Mohammad Ghasemigol ve Daniel Takabi.
MCP nedir, sorun nerede?
Model Context Protocol (MCP), dil modellerinin harici araçları kullanmasını sağlayan bir standarttır. Modeller bu protokol sayesinde işlevleri çağırabilir, veri alabilir ve sunucularla iletişim kurabilir. Böyle bir sistemde model, MCP istemcisi olarak çalışır: kullanıcıdan talimatları, kullanılabilir araçların şemalarını, araçların sonuçlarını ve protokol mesajlarını alır. Bu kanalların her biri, modelin davranışını istenmeyen biçimde etkilemeye yönelik girişimler için olası bir noktadır.
Yazarlar belirli bir yöntem sorununa dikkat çekiyor: AI ajanlarının güvenliğine yönelik önceki testler, tek başına modeli değil, devreye alınmış sistemin tamamını değerlendiriyor. Bu nedenle modelin saldırılara açık olup olmadığını ya da onu saldırılardan koruyan veya saldırılara maruz bırakan unsurun çevresindeki altyapı - koruma mekanizmaları, orkestrasyon ve genel görev becerileri - olup olmadığını ayırt etmek zorlaşıyor. COPEX bu sorunu çözmeyi amaçlıyor.
COPEX nedir, nasıl çalışır?
COPEX (COntext Provider EXploitation), MCP istemcisi olarak yalnızca modeli değerlendirmek üzere tasarlanmış bir benchmark. Ajanın çevresindeki yapı sabit tutuluyor ve yalnızca test edilen model değişiyor. Böylece sonuçlar sistemin tamamı yerine belirli modelin güvenlik açıklarına odaklanıyor.
Benchmark, 125 senaryoya dönüştürülmüş 25 saldırı türünü kapsıyor. Saldırılar, dört farklı giriş yüzeyine göre sınıflandırılmış:
- model ve ajan,
- istemci,
- sunucu ve araç,
- taşıma katmanı.
Testler dokuz model üzerinde yapıldı ve toplam 3375 deneme gerçekleştirildi.
COPEX test sonuçları: rakamlar
Saldırıların ortalama başarı oranı yüzde 64,4 oldu. Giriş yüzeylerine göre ortalama oranlar yüzde 58,3 ile yüzde 71,4 arasında değişti. Yazarlar, istemci ve taşıma katmanı düzeyindeki saldırıların bazılarının kısmen modelin gözlemi veya denetimi dışında başarılı olabildiğini belirtiyor. Bu da modelin güvenlik açığıyla tüm sistemin maruz kaldığı riski birbirinden ayırmak gerektiğini gösteriyor.
Çalışmada savunmaların etkinliği de incelendi. Girdi ve bağlamın birlikte taranması, saldırıların ortalama başarı oranını yüzde 49,6 azalttı. Ancak bu sonuç yalnızca sekiz saldırıdan oluşan bir alt küme için ve hiçbir korumanın kullanılmadığı sürümle karşılaştırıldığında elde edildi. Belgede savunmanın nasıl çalıştığı veya test edilen alt kümede hangi saldırıların bulunduğu ayrıntılı olarak açıklanmıyor.
Çalışmada hangi bilgiler eksik?
Özette test edilen dokuz modelin adları verilmiyor. Bu nedenle hangi sistemlerin değerlendirildiği ve aralarındaki farkların ne kadar büyük olduğu bilinmiyor. Ayrıca 25 saldırı türünün ayrıntıları ve savunma olarak kullanılan tarama yönteminin işleyişi açıklanmıyor. Benchmark, makalede belirtilen adreste herkese açık; ancak içeriği burada incelenen metnin kapsamını aşıyor.
Google · KaynaklarınızParıldak'ı Google'ınızda üst sıralara taşıyın - tek tıklaTercih ettiğiniz kaynaklara ekleyin →COPEX sonuçları ne anlama geliyor?
Koruma bulunmayan testlerde saldırıların yüzde 64,4 başarıya ulaşması göz ardı edilemeyecek bir sonuç. Bu oran, MCP istemcisi olarak çalışan modellerin denemelerin çoğunda manipülasyona açık olduğunu gösteriyor. Yazarların yaptığı ayrım da önemli: Bazı saldırılar modelin zayıflığından değil, modelin erişim alanının dışındaki noktalardan kaynaklanıyor. Bu, bu tür sistemlerin güvenliğinden kimin sorumlu olduğu konusundaki yaklaşımı değiştirmeli. Tek savunma hattı olarak modele güvenmek yeterli değil. Benchmark, modelleri daha hassas biçimde karşılaştırmak için bir araç sunuyor; ancak test edilen modellerin listesi bilinmediğinden sonuçların pratikte ne ölçüde ayırt edici olduğunu değerlendirmek zor.
Kaynak: arXiv cs.AI: COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol (MCP) Layers (belge tarihi: 2026-10-20). Bu değerlendirme, başka medya kuruluşlarının haberlerine değil, belgenin tam metnine dayanıyor.
Parıldak'taki benzer konular
