Kendi ekran kartınızda neler çalıştırabilirsiniz?
“Bu benim ekran kartımda çalışır mı?” sorusunun hesaplanabilir bir yanıtı var: ağırlıklar çarpı bit sayısı, buna bir de bağlam uzunluğuyla büyüyen ve bazen modelin kendisinden bile daha çok şaşırtan dikkat önbelleği ekleniyor. Donanımı ve model boyutunu seçin; nelerin sığacağını, nelerin sistem belleğine aktarılması gerektiğini ve yaklaşık saniyede kaç token elde edeceğinizi göstereyim.
Donanımınız
Değerler listeden otomatik doldurulur ve üreticinin sağladığı katalog verileridir. Bunları değiştirebilirsiniz; çünkü gerçekte kullanılabilir bellek, çalıştırdığınız diğer uygulamalara bağlıdır. Apple bilgisayarlarda bellek işlemci ve grafik işlem birimi arasında ortaktır; bu nedenle belleğin tamamını modele ayıramazsınız.
Çalıştırmak istediğiniz model
Son iki değer modelin yapısını belirtir. Bu boyuttaki modeller için tipik değerleri giriyorum; model kartındaki kesin değerleri biliyorsanız kendi değerlerinizi yazın.
Sonuç
Bu donanımdaki tüm kuantizasyonlar
Aynı parametre sayısı, farklı ağırlık hassasiyeti. Dört bitin altına inmek, özellikle Türkçe metinlerde ve kodda yanıt kalitesini genellikle gözle görülür biçimde düşürür.
| Kuantizasyon | Ağırlık başına bit | Ağırlıklar | Dikkat belleğiyle birlikte | Sığıyor | Saniyedeki token sayısı |
|---|
Ne kadar bağlamı işleyebilirsiniz?
Farklı bağlam uzunluklarında dikkat belleği
Şaşırtıcı olan kısım bu. Model rahatça sığıyor; ancak 100 bin tokenlık bağlamda bir anda bellek yetmiyor.
Sığabilecek en uzun bağlam
mevcut ayarlarda token, yani yaklaşık-Türkçe metinde kelime.
Bir tokenı 0,55 Türkçe kelime olarak hesaplıyorum; gerçek metinlerde sonuç böyle çıkıyor. Tam olaraktoken sayacında.