Yapay zeka sözlüğü / Nicemleme (kuantizasyon)
🏗️ Modeller ve eğitim
Nicemleme (kuantizasyon)
Sayıları daha düşük hassasiyetle kaydederek modeli küçültme; model daha hızlı çalışır ve daha zayıf donanımlarda kullanılabilir.
Kuantizasyon, modeli küçültme tekniğidir: Modelin ağırlıkları daha düşük sayısal hassasiyetle (ör. 16 bit yerine 4 bit) kaydedilir; böylece dosya birkaç kat daha az bellek kaplar ve hesaplamalar hızlanır. Bunun bedeli, çoğu zaman fark edilmeyen küçük bir kalite kaybıdır. Büyük açık modellerin ekran kartlı ev bilgisayarlarında, hatta dizüstü bilgisayarlarda çalıştırılabilmesini kuantizasyona borçluyuz. Kuantize edilmiş modellerin popüler biçimleri, kendi sunucusunda barındırma topluluklarında yaygındır ve yapay zekâyı yerel olarak çalıştırmanın temelini oluşturur.
İlgili kavramlar