Tokenizasyon

Tokenlaştırma, metni model eğitilirken belirlenen sözlüğe göre tokenlara bölme işlemidir. Sık kullanılan sözcükler tek tokenla temsil edilirken daha az kullanılanlar daha küçük parçalardan oluşturulur; bu nedenle sıra dışı adlar veya yazım hatası içeren sözcükler birçok tokana ayrılır. Tokenlaştırma biçimi, modellerin bazı tuhaflıklarını açıklar: Sözcüklerdeki harfleri saymakta zorlanmaları, yazımdaki küçük değişikliklere duyarlı olmaları ve diller arasında maliyet farkları görülmesi gibi. Kullanıcı için çıkarılacak pratik sonuç şudur: Özlü ve temiz metin daha az token, dolayısıyla daha düşük maliyet ve bağlamda daha fazla yer demektir.