Yapay zeka sözlüğü / Guardrails
🛡️ Güvenlik ve kalite
Guardrails
Modelin söyleyebileceklerini veya yapabileceklerini sınırlayan güvenlik önlemleri.
Guardrail’ler (güvenlik önlemleri), modelin davranışını sınırlayan; zararlı, yasa dışı veya uygulamanın amacına uymayan içerikleri önlemeyi hedefleyen kurallar, filtreler ve eğitim tekniklerinden oluşan bir bütündür. Modelin izinsiz giriş talimatları ya da birine nasıl zarar verileceğine dair tavsiyeler yazmayı reddetmesini bunlar sağlar. Güvenlik önlemleri birkaç düzeyde işler: eğitim sırasında (model reddetmeyi öğrenir), sistem prompt’larında ve girdileri ve çıktıları denetleyen harici filtrelerde. Bunların ayarlanması sürekli bir uzlaşma gerektirir: fazla gevşek olurlarsa zararlı içerikleri geçirir, fazla katı olurlarsa zararsız istekleri reddederler.
İlgili kavramlar