Yapay zeka sözlüğü / Damıtma (distilasyon)
🏗️ Modeller ve eğitim
Damıtma (distilasyon)
Küçük bir modeli büyük modelin yanıtlarıyla eğitmek; “öğrenci” model, “öğretmen” modelin becerilerini edinir.
Bilgi damıtma, küçük bir modelin (“öğrenci”) büyük bir modelin (“öğretmen”) yanıtlarını taklit etmeyi öğrendiği tekniktir. Küçük modeli ham verilerle sıfırdan eğitmek yerine, büyük modelin çıktılarını kullanırız; böylece boyutunun çok küçük bir kısmıyla öğretmeninin becerilerinin önemli bölümünü edinir. Bu, yaygın kullanım için hızlı ve ucuz modeller oluşturmanın standart yollarından biridir. Başkasına ait kapalı bir modelin API’si üzerinden damıtılması ise tartışmalıdır; çoğu sağlayıcının kullanım koşulları bunu açıkça yasaklar.
İlgili kavramlar