Karar modeli mi LLM mi? 1 milyon sınıflandırma maliyeti

👁 114 okunma

Karar modeli, yanıt kapalı bir seçenek listesinden seçilecekse ve günde binlerce karar veriliyorsa daha hesaplı olabilir. 1 milyon sınıflandırmada fark birkaç kata çıkıyor: Artificial Analysis’in 13.10.2026 tarihli ölçümlerine göre en iyi karar modellerinde 1 milyon sınıflandırma görevi 12,1-22,8 USD, Claude Haiku 5.5’te ise 91,5 USD tutuyor. Lehçe destek talepleriyle yaptığım testte, Microsoft-Decision-1 ile emin olunmayan durumlarda Claude Haiku 5.5’i birlikte kullanmak, yalnızca Haiku kullanımıyla aynı doğruluğu 5,5 kat daha düşük maliyetle sağladı. Aşağıda hesaplamaların tamamını, kullanıma hazır bir hesaplayıcıyı ve dikkat edilmesi gereken noktaları bulabilirsiniz.

Karar modelinin ne olduğunu ve sıralamada hangi modelin öne çıktığını AI karar modelleri rehberimde ve Decision Index hakkındaki haberimde anlattım. Burada yalnızca maliyet hesabına odaklanıyorum.

Karar modeli ne zaman avantajlı?

Aşağıdaki beş koşulu değerlendirin. Ne kadar çoğu karşılanırsa tasarruf da o kadar artar:

• Yanıt bir listeden seçiliyor. Departman, kategori, evet/hayır, bir ölçekte puan ya da araç adı gibi. Bir cümle yazdırmanız gerekiyorsa karar modeli bunu yapamaz.
• Karar sayısı yüksek. Günde 100 kararda ayda birkaç sent tasarruf edersiniz; çalışan kodu değiştirmeye değmeyebilir. Günde 10 bin kararda ise ayda yüz binlerce karardan söz ediyoruz.
• Modelin ihtiyaç duyduğu tüm bilgiler girdide mevcut. Talebin içeriği, sipariş bilgileri ve müşteri geçmişi gibi. Belleğinden bilgi gerektiren sorularda karar modellerinin doğruluğu AA’ya göre %28-41, Claude Haiku 5.5’in ise %52.
• Hız önemli. AA ölçümlerinde görev başına medyan süre 63-500 ms; küçük LLM’lerde ise 1,4-1,5 sn. Her adımda birkaç karar veren bir ajan için bu fark önemlidir.
• Bir güven eşiği belirlemek istiyorsunuz. Karar modeli her seçenek için olasılık verdiğinden emin olunmayan durumları kolayca başka bir aşamaya aktarabilirsiniz.

Hesap 1: Artificial Analysis’e göre 1 milyon sınıflandırma

Artificial Analysis her test için maliyeti ayrı ayrı veriyor. Tipik bir sınıflandırma işine en yakın test WildGuardTest: model, bir isteğin ve yanıtın zararlı olup olmadığını değerlendiriyor. 13.10.2026 tarihli 1 milyon görev maliyeti ve sonuç (F1):

Sonuç: Decider v1.1 27B ve Jev 1.13 bu sınıflandırmada Claude Haiku 5.5’ten daha iyi sonuç veriyor; maliyetleri sırasıyla 7,6 ve 4 kat daha düşük. Claude Opus 5.5, bu sınıflandırmada Haiku’dan yalnızca biraz daha iyi olmasına karşın 41 kat daha pahalı. Bu iş için büyük bir model kullanmak gereğinden fazla maliyetli.

Hesap 2: Testimde 1 milyon Lehçe destek talebi

13.10.2026’da bir mağazaya gönderilmiş 50 Lehçe destek talebini OpenRouter üzerinden işledim. Tek bir istekte 7 seçenekli departman sınıflandırması ve aciliyet değerlendirmesi yaptım. Maliyeti her istek için OpenRouter faturalarından ölçtüm ve 1 milyon talebe göre hesapladım. Doğruluğu, net olarak sınıflandırılabilen 47 talep üzerinden değerlendirdim. Üç talepte tüm modeller benim doğru yanıt kabul ettiğim departmandan farklı bir seçim yaptı; ayrıntılar rehberde.

Benzer token fiyatlarına rağmen maliyetlerin farklı olmasının nedenleri:

• Tokenizer. Soruların da bulunduğu aynı Lehçe destek talebi, Mercury Decide’da ortalama 205, Microsoft-Decision-1’de 280, Jev’de ise 650 token olarak işlendi.
• LLM istemi daha uzun. Claude Haiku 5.5’e bir sistem talimatı ve JSON şeması verdim. Her talep için ortalama 782 giriş ve 45 çıkış tokenı kullandı; çıkış tokenları giriş tokenlarından 5 kat daha pahalı.
• OpenRouter’daki sağlayıcı. Clef ve Clef-Flash, Cloudflare’den daha ucuz bir sağlayıcı üzerinden çalıştı. Workers AI kullanılsaydı daha fazla ödenecekti.

Kaskad: Aynı doğruluk, çok daha düşük maliyet

Karar modeli, seçtiği seçenek için bir güven değeri verir. En basit yöntem şu: Güven en az 0,8 ise yanıtı kabul edin, daha düşükse LLM’e sorun. İkinci aşamada Claude Haiku 5.5 (low) kullanarak test sonuçları üzerinden hesaplama yaptım:

• Emin olunmayan durumların %6’sında Haiku’ya aktarılan Microsoft-Decision-1, yalnızca Haiku ile aynı sayıda doğru sonuç verdi. 1 milyon talebin maliyeti 100,8 USD yerine 18,2 USD oldu; yani 5,5 kat daha düşüktü.
• Jev tek başına en az doğru sonucu verdi (41), ancak güven değeri hataları iyi belirledi: emin olunmayan %17’lik kesim Haiku’ya aktarıldığında doğru sonuç sayısı 45’e yükseldi.
• Testin ölçeğini göz önünde bulundurun. 47 talep küçük bir örneklem; tek bir talepteki fark bile rastlantısal olabilir. Aktarım oranını ve eşiği kendi verilerinizden en az birkaç yüz örnekle belirleyin.

Hesap 3: Hız

Maliyet tek ölçüt değil. AA’ya göre görev başına medyan süre Jev için 127 ms, Claude Haiku 5.5 (low) için 1434 ms. Arka arkaya verilen 1 milyon karar Jev’de yaklaşık 35 saat, Haiku’da ise neredeyse 400 saat sürüyor. Uygulamada görevler paralel yürütülür; bu durumda sağlayıcının istek sınırları önem kazanır. Örneğin Perplexity, kuruluş başına saniyede 10 istek sunuyor. Bir adımda araç, aciliyet ve güvenlik hakkında karar veren bir ajan için her kararda 1,3 sn’lik farkı kullanıcı hissedebilir.

Kullanıma hazır maliyet hesaplama betiği

Kendi token ve fiyat bilgilerinizi girin; betik karar modelinin, LLM’in ve kaskadın maliyetini hesaplasın. Varsayılan değerler testimdeki ortalamalardan alınmıştır (Microsoft-Decision-1 ve Claude Haiku 5.5). Betiği 13.10.2026’da Python 3.13 yüklü boş bir klasörde denedim; herhangi bir kütüphane yüklemek gerekmiyor. Varsayılan değerlerle sonuç: 11,76 USD (karar modeli), 100,70 USD (LLM), 17,80 USD (kaskad, %82 tasarruf).

# 1 milyon kararın maliyeti: karar modeli, LLM ve kaskad (13.10.2026)
# Çalıştırma: python karar_hesaplayici.py (Python 3.8+, ek kütüphane gerekmez)

N = 1_000_000          # karar sayısı
TOK_GIRIS_KARAR = 280  # karar modeli için karar başına giriş tokenı (kendi kullanımınızda ölçün)
FIYAT_KARAR = 0.042    # 1 milyon giriş tokenı başına USD (Microsoft-Decision-1; çıkış 0 USD)
TOK_GIRIS_LLM = 782   # LLM'de görev başına giriş tokenı (istem + şema + talep)
TOK_CIKIS_LLM = 45    # LLM'de görev başına çıkış tokenı (JSON + akıl yürütme)
FIYAT_LLM_GIRIS = 0.10  # 1 milyon giriş tokenı başına USD (Claude Haiku 5.5)
FIYAT_LLM_CIKIS = 0.50  # 1 milyon çıkış tokenı başına USD (Claude Haiku 5.5)
AKTARIM = 0.06        # güven eşiğinin altında olup LLM'e aktarılan kararların oranı


def karar_maliyeti(n):
    return n * TOK_GIRIS_KARAR * FIYAT_KARAR / 1e6


def llm_maliyeti(n):
    return n * (TOK_GIRIS_LLM * FIYAT_LLM_GIRIS + TOK_CIKIS_LLM * FIYAT_LLM_CIKIS) / 1e6


yalnizca_karar = karar_maliyeti(N)
yalnizca_llm = llm_maliyeti(N)
kaskad = karar_maliyeti(N) + llm_maliyeti(N * AKTARIM)
print(f"Karar modeli:          {yalnizca_karar:8.2f} USD")
print(f"LLM:                   {yalnizca_llm:8.2f} USD")
print(f"Kaskad (LLM'e %{AKTARIM:.0%} aktarım): {kaskad:8.2f} USD")
print(f"Kaskad tasarrufu:      {yalnizca_llm - kaskad:8.2f} USD ({1 - kaskad / yalnizca_llm:.0%})")

Token sayılarını ölçmenin kolay yolu: Kendi gerçek sorgularınızdan 50-100 tanesini gönderin ve API yanıtındaki usage alanını inceleyin. OpenRouter bu alanda maliyeti de USD cinsinden veriyor.

Kolayca gözden kaçan ek maliyetler

• Etiketlenmiş örnekler. Güven eşiğini belirlemek için doğru yanıtı işaretlenmiş birkaç yüz talebe ihtiyacınız olur. Bu, birkaç saatlik insan emeği demektir.
• Lehçe için kalibrasyon. Testimde modeller, olasılık değerleri 0,5’e yakınken aciliyet konusunda hata yaptı. Microsoft-Decision-1, 0,5 eşiğinde 8 yanlış alarm verdi. 0,5 eşiği genellikle kötü bir seçimdir.
• Aşırı özgüvenli modeller. AA’ya göre tüm karar modelleri, özellikle bilgi gerektiren sorularda, doğruluklarının gösterdiğinden daha yüksek güven bildiriyor. Sınıflandırma görevlerinde durum daha iyi olsa da bunu kendi verilerinizle kontrol edin.
• Kişisel veriler. Jev verileri ABD’de işliyor; OpenAI ve Microsoft ise AB’de veri işleme seçeneği sunuyor (OpenAI’de %10 ek ücretle). Açık modelleri (Decider, Clef, d1-3B) kendi sisteminizde çalıştırabilirsiniz; ancak bu durumda GPU’lu sunucu maliyeti size ait olur.
• Tek sistem yerine iki sistem. Kaskad, ek kod, izleme ve iki ayrı fatura demektir. Düşük işlem hacminde tek bir LLM’in sağladığı basitlik, tasarruftan daha değerli olabilir.

LLM kullanmaya ne zaman devam etmeli?

• Metin yanıtı ya da kararın gerekçesi gerekiyorsa (istisna: Celeris-1 Decision tek cümlelik bir gerekçe sunuyor),
• Karar, girdide bulunmayan dünya bilgisine bağlıysa,
• Seçenek listesi sürekli değişiyorsa, çok uzunsa ya da net değilse,
• Karar sayısı azsa - ayda 1000 kararda Claude Haiku 5.5 yaklaşık 0,10 USD tutuyor.

Sık sorulan sorular

Karar modeliyle 1 milyon sınıflandırma ne kadara mal olur?

Artificial Analysis’e göre en iyi karar modellerinde (Decider v1.1 27B, Microsoft-Decision-1, Mercury Decide, Jev 1.13) 12,1-22,8 USD; Claude Haiku 5.5 (low) ile 91,5 USD. Kısa Lehçe destek talepleriyle yaptığım testte ise karar modellerinin maliyeti 4,1-27,3 USD, Claude Haiku 5.5’in maliyeti 100,8 USD oldu.

Karar modeli, LLM kadar doğru sonuç verir mi?

Sınıflandırma ve araç seçiminde en iyi karar modelleri küçük LLM’lerle benzer ya da daha iyi sonuç verebilir. Bilgi sorularında ve zor akıl yürütme görevlerinde ise belirgin biçimde geride kalırlar.

Model kaskadı nedir?

Ucuz bir karar modelinin yüksek güven duyduğu durumları sonuçlandırdığı, geri kalanları ise daha pahalı bir modele ya da bir insana aktardığı yöntemdir. Testimde Microsoft-Decision-1 ve Claude Haiku 5.5, vakaların %6’sını Haiku’ya aktararak Haiku’nun tek başına sağladığı doğruluğu maliyetinin %18’iyle elde etti.

Karar modeline geçmek için günde kaç karar gerekir?

Herkes için geçerli tek bir eşik yok. Testimdeki maliyetlerle her 1 milyon talepte yaklaşık 73-97 USD tasarruf ediliyor. Günde 50 bin kararda (ayda 1,5 milyon) bu, ayda yaklaşık 110-145 USD tasarruf anlamına geliyor. Yanıt süresi de birkaç kat kısalıyor.

Açıklama: Jev’i daha önceki araştırmalarımdan tanıyorum; eylül ayında onun için basit bir API istemcisi yazmıştım. TypeSafe bu yazıyı sipariş etmedi ve finanse etmedi. Testte tüm modellere aynı görevler verildi.

Kaynaklar

• Artificial Analysis Decision Index v1.0 (13.10.2026)
• Artificial Analysis: WildGuardTest sonuçları ve maliyetleri (veriler 13.10.2026’da alındı)
• OpenRouter: Decisions API
• Perplexity: Decisions API istek sınırları
• Kendi testim: 13.10.2026, 50 destek talebi ve araç seçimiyle ilgili 10 karar, OpenRouter üzerinden 11 model; test Polonya’dan yapıldı ve Lehçe içerik kullanıldı. Maliyet: 0,022 USD.

// okumaya devamMicrosoft-Decision-1: Yapay zekâ karar modeli ve test sonuçlarıKarşılaştırmalarKarar modelleri mi küçük dil modelleri mi? Maliyet ve hızKarşılaştırmalarAI modelinin güven skoru: 0,9 ne demek? basal mini ile kalibrasyonKarşılaştırmalar