Qwen3.6-27B RTX 4090’da: 24 GB’a hangi sürüm sığar?

👁 113 okunma

Qwen3.6-27B son haftalarda evde çalıştırılan bir kodlama asistanı olarak forumlarda ve öneri listelerinde yeniden sıkça anılıyor. En çok sorulan soru da basit: 24 GB’lık bir RTX 4090’a sığar mı? Doğru kuantizasyonla ve uzun bağlamla sığıyor. Hız ölçmedik ve saniye başına token rakamı vermiyoruz. Aşağıda mimariyi, üreticinin benchmarklarını ve dosyalardan ile resmi yapılandırmadan çıkardığımız bellek hesabını bulacaksınız.

Ekim modeli değil

Önce tarih. Hugging Face’teki Qwen/Qwen3.6-27B deposu 21 Nisan 2026’da oluşturuldu, son dosya değişikliği 24 Nisan 2026 tarihli. Yani model altı aydır ortada: model kartının altında 754 topluluk kuantizasyonu listeleniyor ve Ollama’da kendi etiket ailesi var. Yeni olan, modelin kullanımı: daha fazla kişi onu yerel kodlama asistanı olarak benimsiyor.

Lisans Apache 2.0; ticari kullanım, değiştirme ve yeniden dağıtım serbest. Model 27 milyar parametreli (BF16’da 27,8 milyar).

Yoğun model, MoE değil

27B yoğun (dense) bir model: her token için tüm parametreler devrede. Aynı ailede bir de Qwen3.6-35B-A3B var; 35 milyar parametrenin yaklaşık 3 milyarının etkin olduğu bir MoE. O sürüm daha hızlı olabilir, ama ağırlıklar için daha fazla bellek istiyor ve 24 GB’lık bir kartta bu dezavantaj.

DeltaNet: KV önbelleği neden küçük kalıyor?

Mimari 16 bloğa ayrılmış 64 katmandan oluşuyor. Her blokta üç Gated DeltaNet katmanı ve bir standart dikkat (attention) katmanı var. DeltaNet doğrusal bir dikkat türü: okunan her tokeni saklamak yerine sabit boyutlu bir durum tutuyor. Sonuç olarak 64 katmanın yalnızca 16’sı bağlamla birlikte büyüyen KV önbelleğini taşıyor. Uzun bağlamı tüketici kartında mümkün kılan şey bu.

Model metin, görsel ve video okuyabiliyor. Yerel bağlam 262.144 token; YaRN ile 1,01 milyona kadar uzatılabiliyor, ama Qwen bu uzatmanın kısa metinlerdeki sonuçları kötüleştirebileceği uyarısını yapıyor. Resmi öneri, düşünme modunu korumak için en az 128K bağlam kullanmak.

Bu öneri pratikte belirleyici. Bir kod deposu üzerinde çalışan ajan dosyaları, komut çıktılarını ve kendi düşünme adımlarını aynı bağlamda tutuyor. Bağlam kısa kalırsa model önceki adımları unutuyor. Bu yüzden aşağıdaki hesapta ölçüt olarak 128K bağlamı aldık.

Üreticinin benchmarkları

Aşağıdaki rakamlar model kartından. Bağımsız bir tekrarını görmedik.

Nasıl okumalı: ajan tabanlı kodlamada 27B, 397B’lik selefini yakalıyor ve Terminal-Bench’te Claude Opus 4.5 ile berabere. Ancak Opus 4.5 bir önceki nesil; güncel Claude Opus 5.5 tabloda yok. Genel bilgide (MMLU-Pro) 3.5’e göre neredeyse hiç ilerleme yok. Kodda ise Gemma 4 31B’nin çok önünde.

VRAM hesabı (ölçüm değil, bizim hesabımız)

Hesabı unsloth/Qwen3.6-27B-GGUF deposundaki gerçek GGUF dosya boyutlarından, ondalık GB cinsinden yaptık. Kartta 24 GiB var, bu da yaklaşık 25,8 GB ediyor.

• KV önbelleği: 16 tam dikkat katmanı, 4 KV başlığı, başlık boyutu 256. FP16’da token başına 64 KiB: 32K’da 2,15 GB, 128K’da 8,59 GB, tam 262K’da 17,18 GB. q8_0 ile bu kabaca yarıya iniyor: 1,14 / 4,56 / 9,13 GB.
• DeltaNet’in sabit durumu: yaklaşık 0,15 GB.
• Pay: sürücü, Windows masaüstü ve hesaplama tamponları için 1,5 GB. Bu bizim varsayımımız.
• Kullanılabilir alan: yaklaşık 24,3 GB.

Hangi sürüm?

Görsel modülü (F16 mmproj) 0,93 GB ekliyor ve yalnızca görsel ya da ekran görüntüsü göndereceğiniz zaman gerekli.

Tablodaki toplamlar dosya boyutu, q8_0 önbellek ve DeltaNet durumunun toplamı; 1,5 GB’lık pay buna dahil değil, onu kullanılabilir 24,3 GB’tan zaten düştük.

Önerimiz

128K bağlam ve q8_0 KV önbelleğiyle Q4_K_M ya da UD-Q4_K_XL. Bu kombinasyon Qwen’in düşünme için bağlam önerisini karşılıyor ve birkaç GB boş alan bırakıyor. Q5_K_M daha kısa görevler için uygun. Q6_K ise uzun bağlamdan, yani bir kod deposu üzerinde ajan çalışmasından vazgeçmek demek.

Ollama ve llama.cpp ayarları

Ollama’da varsayılan qwen3.6:27b etiketi 18-19 GB, qwen3.6:27b-q4_K_M ise 17 GB yer kaplıyor. Uzun bağlam için sunucuyu başlatmadan önce şu ortam değişkenlerini ayarlayın:

OLLAMA_FLASH_ATTENTION=1
OLLAMA_KV_CACHE_TYPE=q8_0
OLLAMA_CONTEXT_LENGTH=131072

ollama run qwen3.6:27b-q4_K_M

Buradaki q8_0, KV önbelleğinin 8 bitte tutulması demek; yukarıdaki hesapta önbelleği yarıya indiren ayar bu. Bağlam uzunluğu 131072 token, yani 128K. Değişkenleri kalıcı yapmak için Windows’ta sistem ortam değişkenlerine, Linux’ta ise Ollama servisinin ayarlarına eklemeniz gerekiyor; ardından Ollama’yı yeniden başlatın.

llama.cpp’de karşılık gelen parametreler şunlar:

llama-server -m Qwen3.6-27B-Q4_K_M.gguf -c 131072 -fa on -ctk q8_0 -ctv q8_0

Yerel modellerle ilgili diğer yazılarımızı yerel yapay zekâ etiketinde topladık. API üzerinden bulut modellerle karşılaştırmak isterseniz Claude API fiyatları yazımıza bakabilirsiniz.

Sık sorulan sorular

16 GB’lık kartta çalışır mı?

Yalnızca çok sıkıştırılmış sürümlerle. 13,59 GB’lık Q3_K_M bağlama çok az yer bırakıyor. 10,85 GB’lık UD-IQ2_M daha fazla yer bırakıyor, ama kaliteden ödün vererek.

Tam BF16 çalıştırılabilir mi?

Kuantizasyon olmadan tek bir tüketici kartında hayır. Ollama’daki bf16 sürümü 56 GB.

RTX 4090’da hızı ne?

Ölçmedik ve tahmini bir rakam yazmayacağız. Yukarıdaki hesap yalnızca bellekle ilgili.

Görsel modülüne ihtiyacım var mı?

Yalnızca görsel ya da ekran görüntüsü gönderecekseniz. Metin tabanlı kod çalışması için onu dışarıda bırakıp 0,93 GB kazanabilirsiniz.

Kaynaklar - 1 Kasım 2026’da kontrol edildi

• Hugging Face: Qwen3.6-27B model kartı (erişim 01.11.2026)
• Hugging Face API: depo tarihi, lisans, parametreler (erişim 01.11.2026)
• Hugging Face: Qwen3.6-27B config.json (erişim 01.11.2026)
• Hugging Face: unsloth/Qwen3.6-27B-GGUF dosya boyutları (erişim 01.11.2026)
• Ollama: qwen3.6 etiketleri (erişim 01.11.2026)
• Gigazine: Qwen3.6-27B (23.04.2026)

// okumaya devamSora kapandı: hangi alternatif nasıl seçilir?Rehberler2026’da Hangi Kindle Alınır? Önce Kütüphanenizi Kontrol EdinGenelChatGPT Plus mı Pro mu? Fiyatlar ve farklarRehberler