Halüsinasyon
Modelin uydurma bir tarih, alıntı veya kaynak vererek kendinden emin biçimde yanlış bilgi sunması. Bu yüzden bilgileri doğrulayın.
Yapay zekâ halüsinasyonu, modelin uydurma veya bilgilerle desteklenmeyen bir iddiayı gerçekmiş gibi sunduğu yanıttır.
Örnek: Yerel bir şirket için Türkçe bir açıklama hazırlıyorsunuz ve asistana şirketin kuruluş yılını soruyorsunuz. Model, sağlanan materyalde bu bilgilerden hiçbiri yer almadığı hâlde belirli bir tarih ve kurucunun adını yazıyor. Söyledikleri inandırıcı geliyor ve metnin geri kalanına uyuyor, ancak doğrulanması gerekiyor. Bu, örnek bir durumdur; belirli bir model üzerinde belgelenmiş bir test değildir.
Günlük işlerde halüsinasyon nasıl görünür?
Bu, var olmayan bir yayın, yanlış kişiye atfedilen bir alıntı, uydurulmuş bir yazılım özelliği veya kaynakta bulunmayan bir sayı olabilir. Bazen yanıtın çoğu doğrudur, ancak tek bir cümlede sorun vardır. Bir kurum adının doğru yazılması ve profesyonel bir üslup kullanılması bu tür hataları önlemez.
Her hatanın nedeni aynı değildir. Uygulama eski bir belgeyi getirebilir, bir tabloyu yanlış okuyabilir veya kullanıcıdan hatalı veri alabilir. Uygulamada önce hangi iddianın desteklenmediğini belirleyin, sonra nedenini araştırın. Sorunu yalnızca „halüsinasyon” diye adlandırmak süreci düzeltmez.
Model eksik bilgileri neden tamamlar?
Dil modeli, öğrendiği örüntülere ve elindeki bağlama dayanarak yanıt üretir. Her zaman güncel ve eksiksiz bir bilgi bankasına bağlı değildir. Yanlış bir varsayım içeren soru, modeli bu varsayımı sorgulamak yerine genişletmeye yöneltebilir.
Yanıtların nasıl eğitildiği ve değerlendirildiği de önemlidir. Bilmediğini kabul etmek yerine tahminde bulunmak ödüllendiriliyorsa model, yanıt vermeyi reddetmek yerine kesin bir bilgi sunabilir. Bu mekanizma Why Language Models Hallucinate araştırmasında ele alınıyor. Ancak buradan her modelin aynı sıklıkta hata yaptığı veya her yanıtın şüpheli olduğu sonucu çıkmaz.
Yanıtı adım adım nasıl doğrulayabilirsiniz?
-
Doğrulanabilir iddiaları ayıklayın. Bir şirket açıklamasında bunlar tarih, isimler, adres ve faaliyet alanı olabilir. Yalnızca metnin genel olarak „mantıklı görünüp görünmediğini” kontrol etmeyin.
-
Önemli her bilgi için açıp inceleyebileceğiniz bir kaynak belirleyin. Şirket duyurusu için bu, bir belge veya resmî web sitesi olabilir. Yalnızca bağlantı verilmesi yeterli değildir: Bağlantının açıldığını ve ilgili bilginin gerçekten sayfada yer aldığını kontrol edin.
-
Alıntıyı karakter karakter, başka sözlerle aktarımı ise orijinalin anlamıyla karşılaştırın. Belgenin tarihini ve modelin „olabilir” ifadesini „olmalı”ya veya bir planı gerçekleşmiş bir olaya dönüştürüp dönüştürmediğini kontrol edin.
-
Hesaplamaları hesap makinesinde veya e-tabloda tekrar yapın. Sayıların doğru aktarılmış olması, sonucun da doğru olacağını garanti etmez. Yanıt farklı dönemleri veya birimleri bir araya getiriyorsa önce bunları aynı hâle getirin.
-
Doğrulanmamış bir ayrıntıyı yayımlamayın. Ayrıntıyı çıkarın, eksik olduğunu belirtin veya bilgi sahibi bir kişiye danışın. Aynı modele „emin misin?” diye sormak bağımsız doğrulama değildir.
İsteminizde modelin bilgi uydurmasını nasıl önleyebilirsiniz?
Şöyle yazabilirsiniz: „Yalnızca aşağıdaki materyali kullan. Her bilgi için kaynaktan bir alıntı ver. Bilgi yoksa VERİ YOK yaz”. Böylece bir belgeyi özetlemeyi yeni bir öneri oluşturmaktan ayırabilirsiniz. Örnek bir reklam sloganı yaratıcı olabilir; şirketin kuruluş yılı yaratıcı biçimde tamamlanamaz.
RAG olarak bilinen belge arama yöntemi doğru materyali sağlayabilir, ancak tüm hataları ortadan kaldırmaz. Kaynağın doğru seçilip seçilmediğini ve yanıtın içeriğiyle uyuşup uyuşmadığını yine de kontrol etmek gerekir. Yanıt üretimindeki rastgeleliği azaltmak da gerçeği garantileyen bir düğme değildir: Aynı yanlış yanıt yalnızca daha sık tekrarlanabilir.
En yaygın hata: Tek doğrulama kaynağı olarak ikinci bir sohbet botuna başvurmak
İki model aynı hatayı tekrarlayabilir veya aynı kusurlu kaynağa dayanabilir. İkinci bir asistan, kontrol edilmesi gereken cümleleri belirlemenize yardımcı olabilir; ancak yanıtların birbiriyle uyuşması kanıtın yerini tutmaz. Belgeyi, ölçümü veya programın çalışmasını kontrol edin. Emin olmak için botların ilk yanıtla aynı fikirde olmasına değil, kaynağa güvenin.