FairStress: Yapay zekâ modellerinde gizli karar asimetrileri

👁 114 okunma

Dil modellerindeki demografik adaleti ölçen testlerin çoğu, adayın kimliğini değiştirip modelin yine aynı kişiyi seçip seçmediğine bakıyor. Ai2 (Allen Institute for AI), bu yaklaşımın yeterli olmadığını düşünerek 20 Ekim 2026’da FairStress adlı bir benchmark yayımladı. Test, daha zor fark edilen bir noktayı ölçüyor: Birisi modeli kararından döndürmeye çalıştığında model kararını ne ölçüde savunuyor?

Mevcut adalet testleri neden yetersiz kalıyor?

Model, adayın ırkından bağımsız olarak daha güçlü adayı seçiyorsa adil görünebilir. Peki kararını değiştirmeye yönelten bir argüman ortaya çıktığında ne olur? Örneğin, “Kıdemli bir yönetici, B adayını gayriresmî olarak tavsiye etti” denirse modelin tepkisi değişir mi? FairStress, böyle bir argümanın çoğunluk grubundan bir adayı desteklediğinde de azınlık grubundan bir adayı desteklediğinde de aynı etkiye sahip olup olmadığını inceliyor. Araştırmacılar bu hedefi “simetrik dayanıklılık” olarak adlandırıyor: Doğru karar, bundan kimin yararlandığından bağımsız olarak aynı ölçüde zor değiştirilebilir olmalı.

FairStress benchmark’ı nasıl oluşturuldu?

FairStress; işe alım, sağlık hizmetleri, kredi, eğitim, konut ve adalet sistemi gibi 29 alana yayılan, iki adayın yer aldığı 300 gerçekçi senaryodan oluşuyor. Bazı senaryolarda bir aday açıkça daha güçlü, bazılarında ise durum bilerek belirsiz bırakılmış. Demografik kimlik dört biçimde veriliyor: hiç belirtilmiyor, çağrışım yapan bir adla ima ediliyor, dolaylı biçimde aktarılıyor veya açıkça ifade ediliyor. Her senaryoya, modeli kararını değiştirmeye yönelten “adversarial prefix” argümanları ekleniyor. Bu argümanlar otoriteye, toplumsal uzlaşmaya, varsayılan kanıtlara, hukuki konulara veya tarihsel ayrımcılığa dayanabiliyor. Değişkenlerin birleşimi, 300 senaryoyu 13 milyondan fazla test örneğine dönüştürüyor. Ayrıca 50 bin örnek içeren daha küçük FairStress-Core alt kümesi de yayımlandı.

15 modelin test sonuçları ne gösteriyor?

Testlerde Olmo, Llama, Qwen, Gemma, Claude ve GPT ailesi dâhil açık ağırlıklı ve ticari modeller incelendi. İstemlerde demografik bilgi yokken modeller simetrik davrandı. Kimlik daha belirgin hâle geldikçe asimetriler ortaya çıktı. Araştırmacılar temel örüntüyü “kalıp yargı karşıtı aşırı telafi” olarak tanımlıyor: Değişiklik azınlık grubundan adayı desteklediğinde modeller doğru kararlarından daha kolay vazgeçti. Doğru yanıttan vazgeçme eğilimindeki ortalama fark, kimliğin dolaylı biçimde ima edildiği senaryolarda 6,9 yüzde puan; açıkça etiketlendiği senaryolarda ise 9,3 yüzde puandı. FairStress-Core alt kümesinde Claude Opus 5 ve GPT-5.5, hiçbir adayın nesnel olarak daha güçlü olmadığı durumlarda azınlık grubundan adayı vakaların %60-65’inde seçti. Azınlık grubundan adaya geçiş ile çoğunluk grubundan adaya geçiş arasındaki fark, incelenen 12 yapılandırmada 8,8 ile 42,4 yüzde puan arasında değişti.

Model açıklamaları ve iç aktivasyonlar

Modellerin kararlarını nasıl açıkladıklarında da farklılıklar görüldü. Azınlık grubundan adayı seçtiklerinde “dayanıklılık”, “çeşitlilik” ve “engeller” gibi sözcükleri daha sık kullandılar. Çoğunluk grubundan adayı seçtiklerinde ise “kanıt”, “kriterler” ve “ayrıntılı” gibi süreç odaklı ifadeler öne çıktı. Kontrollü analizde Gemma-3-12B-it ve Qwen2.5-7B-Instruct modellerinin iç aktivasyonları, hangi tarafın seçileceğini yaklaşık %73 doğrulukla tahmin etti. Aynı aktivasyonların metinsel açıklamaları %57-59 doğruluğa ulaştı; başlangıç düzeyi %50’ydi. Araştırmacılar, bu analiz bölümünün yalnızca iki modeli kapsadığını ve davranışsal sonuçlara kıyasla daha temkinli değerlendirilmesi gerektiğini belirtiyor.

Eğitim verileri ve çözüm denemeleri

Olmo 3’ün eğitim verileri denetlendiğinde, ret eğitimi veri kümelerinden yaklaşık 99 bin örnek bulundu. İnce ayar ve tercih eğitimi verilerindeki 28 bin tematik kümeden yalnızca dokuzu demografiye değil, liyakate dayalı kararlarla ilgiliydi; dokuzunun tamamı ret örneklerinden oluşuyordu. Azınlık grupları daha koruyucu veya olumlu bir çerçevede sunulurken beyaz ve cisgender kişiler için koruyucu çerçeve eksikti ve olumsuz bir yaklaşım görülüyordu. Araştırmacılar, bu veriler ile gözlemlenen asimetriler arasında nedensel bir bağ olup olmadığının henüz açık bir soru olduğunu vurguluyor. Test edilen dokuz önyargı azaltma tekniğinin çoğu asimetrileri etkili biçimde düşürmedi. Aktivasyona dayalı yöntemlerden biri, Qwen2.5-7B-Instruct modelinin açık senaryolardaki doğruluğunu %98’den %47’ye indirdi. En iyi sonucu “karşıolgusal düşünce zinciri” yöntemi verdi: Modelden senaryoyu kimlikleri değiştirerek yeniden değerlendirmesini istemek, doğruluğu korurken farkı azalttı ancak tamamen ortadan kaldırmadı.

FairStress sonuçları neden önemli?

Bana göre FairStress, önceki testlerin gözden kaçırdığı gerçek bir soruna işaret ediyor: Bir model çıktıda adil görünebilir, ancak kararın kimin yararına olduğuna bağlı olarak farklı argüman standartları uygulayabilir. Bu durum, yalnızca sonucun değil baskılara karşı dayanıklılığın da önemli olduğu işe alım, kredi ve sağlık hizmetleri gibi yüksek riskli alanlarda özellikle kaygı verici. “Kalıp yargı karşıtı aşırı telafi” bulgusu, modelleri adalet için eğitirken kullanılan mevcut yaklaşımların asimetrileri ortadan kaldırmak yerine yenilerini yaratabileceğini düşündürüyor. Benchmark‘ın açık olması, araştırmacılara kendi modellerini değerlendirmek için yararlı bir araç sunuyor. Bununla birlikte çalışma, bu sorunun nasıl etkili biçimde çözüleceği sorusunu henüz yanıtlamıyor.

Kaynak: Hugging Face: FairStress: Büyük dil modellerinde karar adaletinin daha derinlemesine değerlendirilmesi (20.10.2026 tarihli belge). Bu yazı, başka medya kuruluşlarının aktarımlarına değil, belgenin tam metnine dayanıyor.

// okumaya devamKarar modelleri mi küçük dil modelleri mi? Maliyet ve hızKarşılaştırmalarSansürsüz yapay zekâ: Daha az kısıtlamalı modellerGenelDaha Az Bilinen Yapay Zekâ Modelleri: MiMo, Qwen3.8 Max, GLM-5.3 ve Muse SparkRehberler