Transformer

Transformer, Google araştırmacılarının 2017’de yayımladığı “Attention Is All You Need” başlıklı çalışmada tanımlanan bir sinir ağı mimarisidir. Temel fikri, modelin metindeki sözcüklerin birbirleriyle ne ölçüde ilişkili olduğunu, aralarındaki mesafeden bağımsız olarak ağırlıklandırmasını sağlayan dikkat mekanizmasıdır. Son birkaç yıldır gözlemlediğimiz kalite sıçramasını mümkün kılan transformer mimarisidir: veri ve işlem gücü arttıkça olağanüstü iyi ölçeklenir. GPT adındaki “T” harfi transformer’dan gelir; önde gelen dil modellerinin neredeyse tamamı bu mimariye dayanır.