VRAM
Ekran kartı belleği, yerel olarak ne kadar büyük bir modeli çalıştırabileceğinizi belirler.
VRAM, grafik işlemcinin hesaplamalar sırasında ihtiyaç duyduğu verileri depolamak için kullandığı bellektir. Bu verilere örneğin yapay zekâ modeli, işlenen görüntü ve ara sonuçlar dahildir.
Kendi bilgisayarında bir poster için illüstrasyon hazırlayan bir grafik tasarımcı düşünün. 32 GB RAM’i ve 8 GB VRAM’e sahip bir ekran kartı var. Görsel oluşturan program, sistem belleğinde hâlâ bolca yer olmasına rağmen “out of memory” hatası veriyor. Ayrı bir ekran kartına sahip tipik bir bilgisayarda bu iki değer, ortak tek bir bellek havuzunu ifade etmez. RAM eklemek, ekran kartının fiziksel belleğini artırmaz.
Ne kadar VRAM’iniz olduğunu nasıl kontrol edebilirsiniz?
Windows’ta Görev Yöneticisi’ni açın, Performans sekmesine gidin ve kullandığınız GPU’yu seçin. Ayrı bir ekran kartınız varsa öncelikle ayrılmış GPU belleğine bakın; ayrılmış ve paylaşımlı belleğin toplamına değil. İki ekran kartınız varsa programın hangisini kullandığını kontrol edin. GPU’nun adı ve bellek kapasitesi, teknik özellikleriyle eşleşmelidir.
NVIDIA ekran kartlarında, yüklü ortamınızda mevcutsa nvidia-smi komutunu da kullanabilirsiniz. Bu komut bellek kullanımını ve işlemleri gösterir ancak ileride çalıştırılacak her görevin ihtiyaç duyacağı belleği tam olarak öngöremez. Bazı Mac’lerde olduğu gibi birleşik belleğe sahip bilgisayarlarda durum farklıdır: Uygulamalar, sistem ve GPU aynı havuzu kullanır. Bu havuzun kapasitesini, ayrı bir ekran kartının yalnızca VRAM’iyle doğrudan karşılaştırmayın.
Yapay zekâ için gereken bellek neye bağlıdır?
Modelin boyutu, ağırlıklarının nasıl saklandığı, görüntü çözünürlüğü ve aynı anda hesaplanan sonuç sayısı önemlidir. Dil modellerinde bunlara bağlam uzunluğu ve sonraki token’ları işlemek için gereken bellek de eklenir. Eğitim, parametreleri güncellemek için ek veriler sakladığından genellikle hazır bir modeli kullanmaktan daha fazla bellek gerektirir.
Basitleştirilmiş bir hesaplama: İki baytla saklanan bir milyar parametreli modelin ağırlıkları, ondalık sistemde yaklaşık 2 GB yer kaplar. Bu, programın tamamının donanım gereksinimi değildir. Çalışma verilerini, ortamın ek yükünü ve ek bellek payını da hesaba katmalısınız. Kuantizasyon, ağırlıkların kapladığı alanı azaltabilir ancak diğer bileşenleri ortadan kaldırmaz.
“Yapay zekâ için şu kadar GB yeter” şeklinde tek bir yanıt yoktur. Aynı bilgisayar küçük bir metin modelini çalıştırabilirken büyük bir video görevini belleğine sığdıramayabilir. Gereksinimleri yalnızca “Stable Diffusion” veya “yerel sohbet botu” gibi genel adlara göre değil, kullandığınız belirli model, sürüm, ayarlar ve program için kontrol edin.
Out of memory hatası aldığınızda ne yapmalısınız?
-
Çalışmanızı kaydedin ve GPU kullanan diğer programları kapatın. Arka planda ikinci bir görsel oluşturma işleminin çalışıp çalışmadığını kontrol edin. Program penceresini kapatmanız, işlemin sona erdiği anlamına gelmeyebilir.
-
Aynı anda birkaç görsel oluşturmak yerine tek bir görsel oluşturun. Deneme görselinin çözünürlüğünü veya metin modelinde bağlam uzunluğunu düşürün. Hangi değişikliğin işe yaradığını anlamak için her seferinde tek bir ayarı değiştirin.
-
Program destekliyorsa kuantizasyonu, görüntüyü parçalara bölerek işlemeyi veya hesaplamaların bir kısmını RAM ve CPU’ya aktarmayı deneyin. Bu çözümlerin de sınırlamaları vardır ve çalışmayı önemli ölçüde yavaşlatabilir. Her model her yöntemi desteklemez.
-
Aynı görevi yeniden çalıştırıp en yüksek bellek kullanımını ve geçen süreyi kaydedin. Donanımınızı değiştirmeniz gerekip gerekmediğine ancak bundan sonra karar verin. Diffusers bellek optimizasyonu belgeleri, bellek kullanımı ve hız arasındaki ödünleşimleri açıklar.
En sık yapılan hata: Daha fazla VRAM her zaman daha hızlı demek
Daha fazla bellek öncelikle görevi belleğe sığdırmaya yardımcı olur. Ancak tek başına ekran kartının görevi ne kadar hızlı tamamlayacağını göstermez. İşlemci mimarisi, bellek bant genişliği, kullanılan modelin desteklenmesi ve yazılım da önemlidir. Bulutta çalışan bir görsel oluşturma aracı kullanıyorsanız hesaplamalar ekran kartınızda hiç yapılmıyor olabilir; bu durumda daha güçlü bir GPU satın almak hizmet sağlayıcının kuyruğunu hızlandırmaz.