Yapay zeka sözlüğü / Streaming
⚙️ Teknik
Streaming
Yanıtın canlı olarak, token token gönderilmesi; sohbetin ekranda “yazılmasını” sağlayan şey.
Streaming, modelin yanıtın tamamını oluşturana kadar beklemek yerine yanıtı token token, oluşturdukça göndermesidir. Sohbetlerin ekranda klavyede yazan biri gibi “yazmasını” sağlayan özellik budur. Streaming, görsel etkinin yanı sıra pratik avantajlar da sunar: Kullanıcı okumaya hemen başlar, böylece algılanan gecikme azalır. Uzun yanıtlar oluşturulurken işlem durdurulabilir; bu da zamandan ve maliyetten tasarruf sağlar. Kendi uygulamalarınızı geliştirirken API’lerde standart bir seçenektir.
İlgili kavramlar