Nash-MOPD: Çoklu öğretmen eğitiminde veri nasıl dağıtılır?

👁 114 okunma

Çalışma arXiv’de (cs.LG / cs.AI) yayımlandı; Siyuan Gan ve belgede açıkça belirtilmeyen kurum bağlantılarına sahip altı ortak yazar tarafından 19 Ekim 2026’da gönderildi.

Çoklu öğretmen eğitiminde bütçe nasıl paylaştırılır?

Çoklu öğretmenli on-policy damıtma (Multi-teacher On-Policy Distillation, MOPD), tek bir öğrenci modelin her biri matematik veya kodlama gibi farklı bir alanda uzmanlaşmış birkaç modelden aynı anda öğrenmesini sağlar. Buradaki zorluk, öğrencinin sınırlı sayıdaki optimizasyon adımını ve örneği (rollout) alanlar arasında paylaştırmaktır.

Yazarlar, karşılaştırma için kullanılan iki mevcut temel yöntemi açıklıyor. Fixed adı verilen ilk yöntem, alanlar için veri kümesi büyüklüklerine dayalı sabit örnekleme oranları kullanıyor ve bu oranları uyarlamıyor. İkinci yöntem D3-MOPD ise öğretmen ile öğrenci arasındaki ters KL ıraksamasından ve bu değerde yakın zamanda görülen düşüşten yararlanarak oranları dinamik biçimde ayarlıyor. Ancak D3-MOPD, son dönemde hızlı ilerleyen alanları kayırabiliyor; bu nedenle daha yavaş öğrenen alanlara gereğinden az örnek ayrılabiliyor.

Nash-MOPD: Yerel minimaks oyunu ve Nash dengesi

Nash-MOPD, alanlara kaynak dağıtımını yerel bir minimaks oyunu olarak formüle ederek bu sorunu ele alıyor. Oyunun dengesi, yerel modelde tahmin edilen en düşük oransal ters KL ıraksaması azalmasını en üst düzeye çıkarıyor. Böylece daha yavaş ilerleyen alanların kaynak yetersizliği yaşaması önlenmeye çalışılıyor. Basitçe söylemek gerekirse yöntem, benzer düzeyde ilerleme kaydetmek için daha fazla örneğe ihtiyaç duyan alanlara daha çok istem veriyor.

Yazarlar, Nash-MOPD’nin öğretmenlere ek sorgular göndermeyi veya ilave rollout üretmeyi gerektirmediğini vurguluyor. Yöntem, eğitim sürecinde zaten mevcut olan ters KL ıraksaması istatistiklerini kullanıyor.

Nash-MOPD deneylerinin sonuçları

Testler iki temel model üzerinde yapıldı: DeepSeek-R1-Distill-Qwen-1.5B ve Qwen3-8B-Base. Yazarlar 100 eğitim adımından sonraki sonuçları raporluyor. DeepSeek-R1-Distill-Qwen-1.5B üzerinde Nash-MOPD, 100 adım sonunda matematik ve kodlama alanlarında her iki temel yöntemin (Fixed ve D3-MOPD) nihai sonuçlarını aşıyor. Qwen3-8B-Base üzerinde ise 100 adım sonunda Fixed yönteminin nihai sonucuna ulaşıyor.

Genel değerlendirmede Nash-MOPD, raporlanan dokuz ölçütün sekizinde önde. Matematik ve kodlama doğruluğuna ilişkin altı ölçütün tamamında ya en iyi sonucu alıyor ya da en iyi sonuçla eşitleniyor. Belgede bu ölçütlerin ayrıntılı sayısal değerleri verilmiyor; bu bilgiler özette bulunmuyor.

Belgede hangi bilgiler eksik?

Erişilebilen metin yalnızca arXiv özetinden oluşuyor. Ayrıntılı sonuç tabloları, öğretmen modellerin mimarileri, kullanılan veri kümelerinin listesi, hesaplama maliyetlerinin analizi veya MOPD grubu dışındaki yöntemlerle karşılaştırma yer almıyor. Tam PDF’de yöntem ayrıntıları ve ablasyon deneyleri bulunabilir; ancak PDF’nin içeriği sağlanmadı.

Nash-MOPD sonuçları ne anlama geliyor?

Bu erken aşamadaki bir ön baskıdır ve hakem değerlendirmesinden geçmemiştir; bu nedenle sonuçlara temkinli yaklaşmak gerekir. Hızla ilerleyen alanları daha da ödüllendirmek yerine yavaş öğrenen alanları korumak için Nash dengesi kullanma fikri, kavramsal açıdan makul görünüyor. Öğretmenlere yeni sorgular eklemediği için hesaplama açısından da verimli olabilir. Tam makaledeki sonuçlar 100 adımda görülen üstünlüğü doğrularsa Nash-MOPD, tek bir modelin birden fazla uzmanlaşmış veri kümesi üzerinde eğitildiği durumlarda kullanımı destekleyen önemli bir gerekçe sunabilir. Ancak şu an elimizde yalnızca özet var ve mutlak değerlerdeki farkların ne kadar büyük olduğu bilinmiyor.

Kaynak: arXiv cs.AI: Nash-MOPD: Optimizing Task Trade-offs in Multi-Teacher On-Policy Distillation (20 Ekim 2026 tarihli belge). Bu değerlendirme, başka medya kuruluşlarının haberlerine değil, belgenin tam metnine dayanmaktadır.

// okumaya devamRaven tek fotoğrafla evinizi bulabilir mi? Maliyeti 3 sentYapay zekânın durumuRaven tek fotoğrafla evinizi nasıl bulabiliyor?Yapay zekânın durumuChatGPT konuşmalarınız model eğitiminde kullanılıyor mu?Karşılaştırmalar