Yapay zeka sözlüğü / Gecikme (latency)

⚙️ Teknik

Latency, sorgunun gönderilmesiyle modelin yanıt vermesi arasındaki gecikmedir; uygulamada çoğunlukla yanıtın ilk token’ına kadar geçen süre ölçülür. Akıcı bir sesli sohbet veya kod otomatik tamamlama için saniyenin küçük parçaları bile önemlidir; rapor oluştururken gecikme o kadar önemli değildir. Latency’yi modelin boyutu, sunucu yükü, prompt’un uzunluğu ve çalışma modu etkiler (akıl yürütme modelleri fark edilir ölçüde daha uzun “düşünür”). Uygulama geliştiricileri çoğu zaman farklı modeller arasında seçim yapar: anında yanıtlar için hızlı, kullanıcının bekleyebileceği görevler içinse güçlü bir model.