Liquid AI d1-ultra: Decision Index’te lider, fiyatı ve test sonuçları

👁 113 okunma

Liquid AI, 15 Ekim’de d1-ultra’yı piyasaya sürdü. Metin yazmak yerine bir seçenek listesinden yanıt seçen ve her seçenek için olasılık veren bir karar modeli olan d1-ultra, Artificial Analysis’in Decision Index sıralamasında 65,2 puanla lider. TypeSafe’in Jev 1.13 modeli 57,5 puanla geride kalıyor. AA tablosunu, üreticinin sitesini ve fiyatlandırmayı inceledim; modelin Polonya’dan çalışıp çalışmadığını da kontrol ettim. 19 Ekim’de ayrıca Lehçe müşteri başvurularından oluşan test setimde denedim.

d1-ultra nasıl bir model?

d1-ultra, Liquid AI’ın en büyük karar modeli. Metinleri, görselleri ya da ikisini birlikte analiz edip üç tür soruya yanıt veriyor: evet/hayır, listedeki seçeneklerden birini seçme ve ölçek üzerinde puanlama. Üreticinin örnekleri arasında baskılı devre kartı fotoğrafında kusur tespiti ve müşterinin fotoğraf eklediği hasar başvurusunun incelenmesi var. Bağlam penceresi 32 768 token.

Liquid, modelin kendi değişikliklerini eklediği daha büyük ve açık bir model temel alınarak geliştirildiğini söylüyor; ancak hangi model olduğunu veya parametre sayısını açıklamıyor. d1-ultra yalnızca API üzerinden sunuluyor. Bu ailede açık ağırlıklara sahip modeller, LFM Open License ile sunulan daha küçük d1-3B ve d1-omni-600M. Serinin önceki, daha küçük d1 modelini d1 serisinin tanıtımında ele almıştım.

Decision Index sonuçları

Modelin öne geçmesinde, endeksteki dört testin üçünde gösterdiği başarı etkili. d1-ultra, karar modelleri arasında şu sonuçlarla en iyi performansı gösteriyor:

• When2Call (yanıt verme, araç çağırma, ek bilgi isteme veya isteği reddetme kararı): 92,6. Önceki liderler Celeris-1 Decision ve GLiDE 83,7 puan almıştı.
• WildGuardTest (zararlı istekler ve yanıtlar): 95,4; GLiDE 95,1 puan aldı.
• Bilmediğini kabul etme (bilgi sorularında): 84,5; Microsoft-Decision-1 39,8 puan aldı.

Bilgi ve akıl yürütme testlerinde ise daha zayıf. Bilgi sorularındaki doğruluk oranı 31,6; en iyi d1 modeli 41,0 puan alıyor. HLE-MultiChoice’ta d1-ultra 15,0 puanda kalırken Jev 1.13 20,9 puan alıyor. Sıradan dil modelleri bu endekste daha yüksek sonuçlara ulaşabiliyor: Claude Haiku 5.5, Max modunda 68,4 puan alıyor; ancak 1 milyon görev için yaklaşık 2073 USD tutuyor. Liquid ayrıca d1-ultra’nın kendi gerçekleştirdiği 112 değerlendirmenin tamamında Jev 1.14’ü geçtiğini söylüyor. Bu, üreticinin paylaştığı bir sonuç; henüz bağımsız olarak tekrarlanmadı.

Karar modellerini değerlendiren diğer sıralama JevBench’te d1-ultra, Capability Score’da 80,5 puanla API hizmetleri arasında ikinci sırada. 86,3 puan alan kettei-fat ilk sırada. Açık bir model olan basal-omni-1.0-ultra burada 82,5 puan aldı; ancak Decision Index’te ölçülmediği için bu iki modeli AA’nın aynı tablosunda karşılaştırmak mümkün değil.

d1-ultra fiyatı ve erişim seçenekleri

• Fiyat: 1 milyon giriş token’ı için 0,042 USD. Model token üretmediğinden çıkış ücretsiz. Liquid, 1024 x 1024 px boyutundaki bir görseli 1536 token olarak hesaplıyor.
• Nereden erişilir: Liquid API (console.liquid.ai), diğer karar modelleriyle aynı /v1/systemone biçimini kullanan OpenRouter’da liquid/d1-ultra ve Vercel AI Gateway.
• Polonya’dan erişim: 19.10’da yaptığım kontrolde OpenRouter, Liquid’de ayrıca hesap açmadan çalıştı. Bu kontrol yalnızca Polonya’daki erişimi doğruluyor; bulunduğunuz yerdeki kullanılabilirliği sağlayıcıdan kontrol edin.

d1-ultra’yı Lehçe test ettim

sıralamanın tanıtımında kullandığım aynı test setini kullandım: mağaza başvurularının kategorisini ve aciliyetini belirlemek için 50 başvuru, araç seçimi için 10 karar. Değerlendirme anahtarı 13.10’da sabitlendi. Testi Lehçe yaptım; aşağıdaki sonuçlar Türkçe üzerinde yapılmış bir test değildir.

• Kategori: 47 başvurunun 44’ünde doğru sonuç verdi. Bu, 13.10’da en iyi sonuç alan karar modelleriyle (Microsoft-Decision-1, Decider, Mercury, Clef) aynı skor. Jev 1.13 41, basal-omni-1.0-mini 42 doğru yanıt verdi.
• Güven: Güven eşiği 0,9 olduğunda 42 başvurunun 40’ında doğru sonuç verdi.
• Aciliyet: 50 başvurunun 43’ünde doğru sonuç verdi. Eşik 0,5 iken bekleyebilecek 7 işi acil olarak işaretledi. Bu nedenle eşiği kendi verilerinizle daha yüksek belirlemeniz gerekir.
• Araç seçimi: 10’da 10.
• Süre ve maliyet: Polonya’dan yapılan testte ağ bağlantısı dâhil medyan süre 351 ms oldu. Testin tamamı 0,00075 USD tuttu; bu, bu tür görevlerde 1 milyon görev için yaklaşık 12,5 USD’ye karşılık geliyor.

Tüm karar modellerini, iki sıralamayı ve testlerimi Yapay zekâ karar modelleri rehberinde bir araya getirdim.

// okumaya devamGPT-6.1 Terra: Hangi Akıl Yürütme Seviyesi Seçilmeli?KarşılaştırmalarGPT-6.1 Terra teknik çizimleri okuyabiliyor mu? Test sonuçlarıKarşılaştırmalarTripo P2 ve Meshy 7: Fotoğraftan 3D modeleKarşılaştırmalar