basal-omni: JevBench’te açık modeller arasında birinci

👁 113 okunma

Remek Kinas’ın basal-omni-1.0-ultra modeli, metin yazmak yerine listeden bir yanıt seçen ve ne kadar emin olduğunu bildiren modellerin sıralandığı JevBench’te açık ağırlıklı modeller arasında ilk sırada. Capability Score puanı 82,5. Kapalı API hizmetleri de hesaba katıldığında yalnızca Sqwish’in kettei-fat modeli (86,3) daha yüksek puan alıyor. basal; OpenAI ve Microsoft’un kapalı karar modellerini ve bu model türünü başlatan TypeSafe’in Jev modelini geride bırakıyor. JevBench tablosunu, Hugging Face model kartlarını ve sıralamayı kimin yönettiğini inceledim. En küçük sürümü de kendi bilgisayarımda çalıştırdım.

Remek Kinas ne duyurdu?

Remek Kinas (@KinasRemek), 17 Ekim’de X’te basal-omni’nin JevBench’te “dünyada açık modeller arasında TOP1” ve tüm modeller arasında TOP2 olduğunu yazdı. Paylaşımını “Yani mümkün mü? Mümkün! Polonya yapay zekâsı.” sözleriyle bitirdi. Bağımsız değerlendirme için sıralamanın yazarı @airesearch12’ye de teşekkür etti. X sayacına göre paylaşım 19 Ekim’de yaklaşık 266 bin görüntülenme almıştı.

basal, Kinas’ın projesi. Kendi çalıştırma motoru basal-serve’in yanı sıra iki model ailesi var: Polonya’da geliştirilen Bielik v3’ü temel alan basal-2.0 ve Google’ın Gemma 4 modelini temel alan basal-omni. basal-omni metin, görüntü ve ses işleyebiliyor; ultra sürümü ses desteğine sahip değil. Ancak diğer karar modelleri gibi cümle üretmiyor. Örneğin bir başvurunun içeriği gibi bir durum ve kapalı yanıt seçenekleri içeren sorular alıyor, ardından tek bir işlemde her seçeneğin olasılığını döndürüyor. Bu çalışma biçimini Jev modeliyle TypeSafe geliştirdi. Eylül ayında TypeSafe’in Jev modelini yazmıştım; bu model türünü AI karar modelleri rehberimde anlatıyorum.

JevBench puanı ne gösteriyor?

JevBench her sisteme aynı 1500 kararı veriyor ve dört ölçütü değerlendiriyor: doğruluk (Intelligence), bildirilen güven düzeyinin gerçek doğrulukla örtüşüp örtüşmediğini ölçen kalibrasyon, hız ve 1000 kararın maliyeti. Açık modellerin ana tablosu, doğruluk ile kalibrasyonun ortalaması olan Capability Score’a göre sıralanıyor. Bu tabloya yalnızca Jev sınıfındaki sistemler girebiliyor: maliyetleri Jev’in en fazla iki katı, yanıtları da en fazla iki kat yavaş olmalı.

Aynı ölçütle değerlendirilen API hizmetleri tablosunda Sqwish’in kettei-fat modeli (86,3) ilk sırada. Ardından Liquid AI’ın d1-ultra modeli (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), GPT-6 Luna üzerinde çalışan OpenAI Decisions (73,5) ve Microsoft-Decision-1 (72,2; sonuç geçici olarak işaretlenmiş) geliyor. basal, 82,5 puanla iki tablo birlikte ele alındığında 2. sırada.

“TOP1” ne anlama geliyor, ne anlama gelmiyor?

• Capability Score’da, yani doğruluk ve kalibrasyonda ilk sırada. Hız ve maliyetin de yüzde 25’er ağırlık taşıdığı resmî JevBench toplam puanında (Composite) basal-omni-1.0-ultra, 184 açık sistem arasında 3. sırada. Daha üstte, çalıştırma maliyetleri daha düşük ancak doğrulukları belirgin biçimde zayıf iki çok daha küçük 4B model var: H2O-Lightning-4B v1.1 ve Torchcast Decision 4B. Doğruluk puanları sırasıyla 60,0 ve 60,3.
• Sıralama sürüme göre değişiyor. basal, 17.10’da v1.6.28 sürümüyle tabloya girdiğinde sürüm notlarında o sıradaki görev çekilişinde 45 model arasında 4. olduğu belirtiliyordu. Güncel sıralama, 18.10 tarihli v1.7.46 tablosunda yer alıyor.
• Ultra’nın hızını doğrudan JevBench kendi kartında ölçüyor: medyan süre 0,102 saniye. Maliyeti 1000 karar başına 0,045 USD; Jev’den yüzde 38 daha yüksek, ancak Jev sınıfı sınırları içinde.
• Tabloda yalnızca ultra var. basal-omni’nin daha küçük mini ve max sürümlerinin JevBench’te ayrı bir puanı yok.

JevBench’i kim yönetiyor?

JevBench, Benchmark Heaven sitesinde yer alıyor. Site ve GitHub deposundaki bilgilere göre MIT lisanslı açık kaynaklı bir hobi projesi. Projeyi X’te @airesearch12 adını kullanan Florian Standhartinger yürütüyor; Kinas’ın teşekkür ettiği kişi de aynı isim. Site, modelleri “TypeSafe AI’dan bağımsız” biçimde karşılaştırdığını belirtiyor. Sıralamanın adı ve ölçütü Jev’den geliyor: maliyet ve süre sınırları Jev’e göre belirleniyor, Jev 1.13.0 ise sıralama dışında referans modeli olarak gösteriliyor. Sitede proje sahibinin TypeSafe veya Kinas’la bağlantısı olduğuna dair bilgi bulamadım. Görevlerin bir bölümü açık, çoğuysa modellerin ezberlemesini önlemek için gizli. Proje sahibi yöntem değişikliklerini her sürümün notlarında açıklıyor.

JevBench, mevcut sıralamalardan yalnızca biri. 19.10 tarihli Artificial Analysis Decision Index tablosunda Liquid AI’ın d1-ultra modeli 65,2 puanla ilk sıradaydı; Jev 1.13 ikinciydi. basal-omni bu değerlendirmede test edilmemişti.

Üç model boyutu ve geliştiricinin kendi kıyaslaması

v1 değerlendirmesi, geliştiricinin kendi hazırladığı 10 kategorideki gizli karar kümesini kullanıyor; görevler Lehçe ve İngilizce. Dolayısıyla bu, bağımsız bir ölçüm değil, geliştiricinin paylaştığı bir sonuç. Model kartlarına göre ultra, varsayılan yüzde 1 hata eşiğinde kararların yüzde 56,8’ini otomatik olarak kabul ediyor, geri kalanını insana yönlendiriyor. Tüm sürümlerin en zayıf olduğu kategoriler, kesin eşikler ve tarihler içeren kurallar. Geliştirici bu tür işlerin kodla hesaplanmasını öneriyor.

19 Ekim’den itibaren mini ve max sürümleri Ollama ve llama.cpp için GGUF, vLLM için FP8 ve Mac için MLX biçimlerinde de sunuluyor. Bunlar, basal 2.2 motoru ve kendi verilerinizle kalibrasyon için yeni basal-calibrate aracıyla birlikte yayımlandı: basal 2.2 ve basal-calibrate.

Remek Kinas kimdir?

Remigiusz Kinas, biyoloji ve klinik araştırmalar için AI modelleri geliştiren Varşova merkezli Ingenix.ai’de Principal AI Researcher olarak çalışıyor. Polonya’nın Bielik modellerinin ortak geliştiricilerinden ve Kaggle Grandmaster unvanına sahip. basal, kendisinin ayrı projesi: model motorunun kodu GitHub’daki rkinas/basal deposunda, modellerse Remek’in Hugging Face hesabında yer alıyor. 2.2 sürümünde topluluktan birkaç kişinin katkısıyla yapılan düzeltmeler de bulunuyor.

En küçük sürümü test ettim

19 Ekim’de basal-omni-1.0-mini’nin GGUF Q8_0 (7,9 GB) sürümünü Ollama üzerinden RTX 4090’da çalıştırdım. Modeli, 13.10’da AA sıralamasındaki modelleri test ederken kullandığım, Lehçe 50 mağaza başvurusu ve araç seçimiyle ilgili 10 karardan oluşan veri kümesinde denedim. Test Lehçe yapıldı; Türkçe test değildi. Mini, 47 başvurunun 42’sinde doğru departmanı, 50 başvurunun 47’sinde doğru öncelik düzeyini ve 10 kararın 10’unda doğru aracı seçti. Aynı veri kümesinde Jev 1.13’ten bir başvuru daha fazla sınıflandırdı. Yerel çalıştırmada karar başına medyan süre 137 ms oldu. Adım adım kurulum ve tüm sonuçlar: basal’ı yerel çalıştırma: Ollama, llama.cpp ve Mac.

Kimler için uygun?

• Çok sayıda Lehçe metni sınıflandıran ve verilerini harici bir API’ye göndermek istemeyen şirketler: başvurular, e-postalar ve belgeler gibi. Apache-2.0 lisansı ticari kullanıma izin veriyor.
• AI ajanları geliştiren ekipler: araç çağırma, ek bilgi isteme veya reddetme gibi kararları sayısal güven düzeyiyle hızlıca vermek isteyenler.
• Metin yazmak için uygun değil. basal müşteriye yanıt veremez veya özet yazamaz; bu işler için hâlâ sıradan bir dil modeli gerekiyor.

// okumaya devamAI modelinin güven skoru: 0,9 ne demek? basal mini ile kalibrasyonKarşılaştırmalarGPT-6 Cyber Benchmark Testleri: Sistem Kartı VerileriKarşılaştırmalarGPT-Image-2.6 vs 2.5: Aynı Tarife, Üç Kat Yüksek FaturaKarşılaştırmalar