basal-omni’yi Yerel Olarak Çalıştırma: Ollama, llama.cpp ve Mac

👁 113 okunma

basal-omni, Remek Kinas’ın geliştirdiği Polonyalı bir karar modelidir: metin yazmak yerine listedeki seçeneklerden birini seçer ve kararından ne kadar emin olduğunu bildirir. 19 Ekim’den itibaren küçük sürümleri sunucu tipi bir ekran kartı olmadan da Ollama, llama.cpp veya Mac üzerinden çalıştırılabiliyor. Bunu RTX 4090’ımda GGUF dosyasındaki mini sürümle yaptım ve daha önce Jev ile diğer karar modellerini sınadığım aynı Polonyaca destek talebi setini kullandım. Aşağıda bende çalışan kurulum adımları, donanım gereksinimleri ve sonuçlar var.

Donanımınıza göre hangi sürümü seçmelisiniz?

Tüm dosyalar Remek’in Hugging Face hesabında, Apache-2.0 lisansıyla yayımlanıyor. GGUF ve MLX sürümleri yalnızca metin işliyor; görsel ve ses desteği yok.

Geliştirici yalnızca Q8_0 ve Q6_K kuantizasyonlarını yayımladı; çünkü kendi özgün sürüm uyumluluk testini yalnızca bu sürümler geçti. 2-10 seçenekli 10.606 karar üzerinde Q8_0, bf16 sürümüyle vakaların %98,7’sinde aynı seçimi yapıyor; Q6_K için bu oran %97,1. Q5_K_M ve Q4_K_M testleri geçemedi. En büyük sürüm olan ultra (31 milyar parametre) için geliştiricinin yayımladığı bir GGUF dosyası yok.

Adım adım kurulum: Windows, NVIDIA ekran kartı ve Ollama

19 Ekim’de Windows 11, Ollama 0.40.5 (en az 0.35 gerekli) ve uv üzerinden Python 3.12 ile kurulum yaptım.

1. Ortamı ve basal 2.2 motorunu kurun. Ollama modunda modeli ekran kartında Ollama çalıştırdığı için CPU sürümü PyTorch yeterli oldu:

   uv venv --python 3.12 env
   uv pip install --python env/Scripts/python.exe torch --index-url https://download.pytorch.org/whl/cpu
   uv pip install --python env/Scripts/python.exe "basal @ https://github.com/rkinas/basal/archive/refs/tags/v2.2.0.tar.gz"

2. Modeli indirin (yaklaşık 8 GB). Q8_0 dosyasıyla birlikte Modelfile, tokenizer, kalibrasyon ve basal.json gibi küçük dosyalar da gerekiyor. Bunları tek tek indirdim; motorla birlikte kurulan hf aracıyla indirmek daha kolay:

   hf download Remek/basal-omni-1.0-mini-GGUF --local-dir basal-omni-1.0-mini-GGUF --exclude "*Q6_K*"

3. Depodaki hazır Modelfile ile modeli Ollama’ya kaydedin:

   cd basal-omni-1.0-mini-GGUF
   ollama create basal-omni-1.0-mini:q8_0 -f Modelfile.Q8_0
   cd ..

4. Ollama’dan önce basal sunucusunu başlatın:

   basal-serve --model ./basal-omni-1.0-mini-GGUF --mode ollama --ollama-model basal-omni-1.0-mini:q8_0 --port 8000

5. İlk sorgu (Python ve standart kütüphane). Biçim Jev API’siyle aynı; uç nokta /v1/systemone. Aşağıdaki Polonyaca test sorgusunun Türkçe çevirisidir; testin kendisi Polonyaca yapıldı, Türkçe olarak yeniden test edilmedi:

   import json, urllib.request
   body = {"state": "Saat 9.00’dan beri panel çalışmıyor, 500 hatası veriyor ve tüm satış ekibi işini yapamıyor.",
     "questions": {
       "dzial": {"type": "choice", "instructions": "Bu destek talebi hangi bölüme yönlendirilmeli?",
         "criteria": {"platnosci": "ödemeler ve faturalar", "awaria": "teknik bir şey çalışmıyor",
                      "sprzedaz": "satın alma öncesi sorular"}},
       "pilne": {"type": "noul", "instructions": "Bugün içinde müdahale etmek gerekiyor mu?",
         "criteria": {"true": "evet", "false": "hayır"}}}}
   req = urllib.request.Request("http://127.0.0.1:8000/v1/systemone",
     json.dumps(body, ensure_ascii=False).encode("utf-8"),
     {"Content-Type": "application/json; charset=utf-8"})
   print(json.load(urllib.request.urlopen(req))["answers"])

Sonuçta seçilen seçeneği, her seçeneğin olasılığını ve güven değerini (confidence), evet/hayır sorularında ise “evet” yanıtının olasılığını alırsınız. Karşılaştığım veya geliştiricinin belirttiği iki önemli noktaya dikkat edin:

• Windows konsolunda Lehçe karakterler. Git Bash üzerinden curl ile gönderdiğim sorgu UTF-8 kod çözme hatası verdi. Açık kodlama belirterek Python’dan gönderince sorunsuz çalıştı.
• Normal ollama run komutu işe yaramaz. Bu şekilde model yalnızca serbest metin yanıtı verir. Olasılıkları içeren, belirli türde yanıtları basal-serve hesaplar; seçenek kodlarının olasılıklarını tek bir token’dan okur.
• Ollama modunun sınırları: Soruda en fazla 20 seçenek ve sorgu başına 4096 token. Daha uzun belgeler ve en fazla 255 seçenek için geliştirici llama.cpp modunu öneriyor.

llama.cpp ve Mac seçenekleri

• llama.cpp’yi aynı süreçte çalıştırma: basal[gguf] eklentisini kurun (llama-cpp-python 0.3.36 veya üzeri), ardından basal-serve --model ./basal-omni-1.0-mini-GGUF --mode gguf --gguf basal-omni-1.0-mini-GGUF/basal-omni-1.0-mini-Q8_0.gguf --port 8000 komutunu kullanın. NVIDIA ekran kartında llama-cpp-python’ı CUDA desteğiyle derlemek gerekir. Bu seçeneği test etmedim.
• Apple Silicon işlemcili Mac: --mode mlx modunu, basal[mlx] eklentisini ve -MLX deposunu kullanabilir veya Metal üzerinden GGUF çalıştırabilirsiniz. Geliştiriciye göre mini Q8_0, 16 GB belleğe sahip Mac’te çalışıyor. M4 Pro’da MLX mini sürümü, aynı anda 8 sorgu gönderildiğinde saniyede 0,73 karar veriyor; tek bir sorgu 173 ms sürüyor. Mac’im olmadığı için bunu da test etmedim.

Testim: 50 Polonyaca destek talebi ve 10 araç kararı

Artificial Analysis sıralamasındaki modelleri test ettiğim 13 Ekim tarihli veri setini kullandım: çevrimiçi mağazaya gönderilmiş 50 destek talebi (7 bölüm ve aciliyet) ile asistanın kendi yanıtını verip vermeyeceğine, araç çağırıp çağırmayacağına, ek soru sorup sormayacağına veya isteği reddedip reddetmeyeceğine karar verdiği 10 konuşma. Soruları ve cevap anahtarını değiştirmedim. Test Polonyaca yapıldı; Türkçe örnekler testte kullanılan özgün Polonyaca metinlerin çevirisidir ve Türkçe olarak yeniden test edilmedi. Daha önce olduğu gibi bölüm puanını 47 destek talebi üzerinden hesaplıyorum; cevap anahtarındaki üç maddenin tartışmalı olduğu ortaya çıktı (ayrıntılar için AI karar modelleri rehberi). basal da 13 Ekim’de test ettiğim 11 modelin tamamı gibi bu üç maddeyi yanlış yanıtladı.

• En küçük basal, API üzerinden sunulan büyük karar modellerinin ortalarında yer alıyor. Jev 1.13’ten bir destek talebi daha doğru sınıflandırdı; Microsoft-Decision-1 ve Decider’dan ikişer talep geride kaldı. Buna karşılık yalnızca 4 milyar parametreye sahip ve ev tipi bir ekran kartında çalışıyor.
• Aciliyet değerlendirmesi çok iyi: 50’de 47. Daha yüksek skoru yalnızca Decider ve GPT-6 Luna Decisions aldı (48’er). basal, ekran kartının üç kez aşırı ısınmasını (olasılık 0,05) ve kıvılcım çıkaran kahve makinesini (0,34) acil saymadı; kripto para spam’ini ise gereksiz yere acil olarak işaretledi.
• Bölüm sınıflandırmasındaki hatalar: “hazırlanıyor” durumundaki düğün pastasını teslimat yerine satış olarak sınıflandırdı; kıvılcım çıkaran kahve makinesini şikâyet yerine arıza saydı; e-posta listesi teklifini spam yerine satış olarak işaretledi. Ayrıca iptal edilen sipariş için para iadesi talebini ve çalışmayan indirim kodunu yanlış sınıflandırdı.
• Güven değerini kendi verinizle kontrol edin. Güven değeri en az 0,9 olan durumlarda basal 40 destek talebinin 35’ini, Jev ise 39 talebin 37’sini doğru yanıtladı. basal’ın yüksek güvenle yanıldığı örnekler arasında e-posta listesi teklifi (0,95) ve çalışmayan indirim kodu (0,97) var. Bu yüzden örneklerinize göre eşikleri ayarlayan yeni basal-calibrate aracı önemli.
• Hız: Karar başına medyan süre 137 ms; modelin ekran kartına yüklendiği ilk sorgu 12 saniye sürdü. API modellerini 13.10’da Polonya’dan ölçtüm; ağ gecikmesi de süreye dahildi (Jev 361 ms). Dolayısıyla bire bir karşılaştırma değil. Ancak yerel kullanımda token başına ücret ödemezsiniz ve veriler bilgisayarınızdan çıkmaz.

Test, ekran kartında 20 saniye sürdü. Tek bir deneme yaptım; seçeneklerin sırası aynıydı ve GGUF dosyasına kalibrasyon da dahildi. Testten sonra modeli bellekten kaldırdım.

Yerel basal hangi durumlarda mantıklı?

• Verilerin şirket dışına çıkmaması gerekiyorsa - müşteri talepleri, belgeler ve e-postalar gibi.
• Çok sayıda karar veriyorsanız ve her seferinde listeden bir seçim yapmanız gerekiyorsa: bölüm, aciliyet, konu, metni kabul edip etmeme veya hangi aracı çağırma gibi.
• Eşik değerlerini ayarlamak için etiketlenmiş birkaç yüz örneğiniz varsa ve yalnızca güvenilir kararları otomatik olarak işlemek istiyorsanız.

Modelin geçmişini ve sıralamada nasıl sonuç aldığını basal-omni’nin JevBench’te açık modeller arasında birinci olması hakkındaki yazımda anlattım. Kendi bilgisayarınızda çalıştırabileceğiniz diğer modelleri yerel yapay zekâ rehberinde derledim.

// okumaya devamWan 3.0 promptları: kamera, reklam, diyalog ve animeYapay zekâ araçlarıOpera WebAI: Tarayıcıda yerel yapay zekâ nasıl kullanılır?Yapay zekâ araçlarıCrawl4AI: Yerel Web Scraper Kurulumu ve Gerçek TestYapay zekâ araçları