Yapay zeka sözlüğü / Token
⚙️ Teknik
Token
Modelin işlediği metin parçası (bir sözcüğün bölümü). Sınırlar ve ücretler token üzerinden hesaplanır.
Token, dil modelinin işlediği temel birimdir; genellikle bir sözcükten daha kısa olan metin parçasıdır. Türkçede ekler nedeniyle tek bir sözcük birden fazla tokena bölünebilir; bu yüzden aynı cümle beklediğinizden daha fazla token tutabilir. Tokenlar, yapay zekâ dünyasının para birimidir: bağlam penceresi, kullanım sınırları ve API ücretleri (girdi ve çıktı için milyon token başına maliyet) bunlarla hesaplanır. Bir araç metnin çok uzun olduğunu söylüyorsa, karakter sayısını değil token sayısını kastediyordur.
İlgili kavramlar