Inference

Inference (çıkarım), eğitilmiş modelin kullanıldığı aşamadır: Model sorgunuzu alır ve token’ları teker teker üreterek yanıt verir. Bu aşama, modelin günlük kullanımını, daha önce büyük miktarda veriyle gerçekleştirilen eğitiminden ayırır. AI hizmetlerinin çalışma maliyetleri çoğunlukla inference maliyetleridir. Bu nedenle sağlayıcılar kuantizasyon, daha iyi donanım ve MoE gibi mimarilerle bu maliyetleri düşürmeye çalışır. Bir sohbet botu yanıtı anlık olarak “yazarken” inference’ı gerçek zamanlı, genellikle akış modunda görürsünüz.