Yapay zeka sözlüğü / MoE (Mixture of Experts)

🏗️ Modeller ve eğitim

Mixture of Experts, modelin çok sayıda uzmanlaşmış alt ağdan (“uzmanlardan”) oluştuğu, ancak her sorguda bunlardan yalnızca birkaçını etkinleştirdiği bir mimaridir. Böylece modelin toplam parametre sayısı çok yüksek olabilirken hızlı ve ucuza çalışması da mümkün olur; çünkü aynı anda yalnızca bir bölümü devrededir. Son yılların önde gelen birçok modelinin, özellikle de açık modellerin temelinde MoE bulunur. Kullanıcı açısından teknik bir ayrıntı olsa da yüz milyarlarca parametreli modellerin nasıl olup da ışık hızında yanıt verebildiğini açıklar.