Web sitenizin içeriğini kim alıyor?
Yapay zekâ botları web sitenizi tarayıp metinleri eğitim veya yanıtlarda alıntılamak için topluyor. Bunlar farklı amaçlar ve birbirinden ayrılabilir. Hangi botlara izin vereceğinizi seçin; robots.txt ve llms.txt kayıtlarını, sunucu için kesin engelleme kurallarını oluşturayım ve alan adınızın mevcut durumunu kontrol edeyim.
Alan adınızın bugün nelere izin verdiğini kontrol edin
Belirttiğiniz alan adından yalnızca robots.txt ve llms.txt dosyalarını alıyorum; bunlar zaten herkese açık olan iki dosya. Ardından aşağıdaki listedeki her robotun bu dosyalarda nasıl karşılandığını kontrol ediyorum. Bu grupta ağa erişen tek araç budur. Sınır: saatte yirmi kontrol.
Kogo wpuszczasz
İçeriğin model eğitimi için toplanmasıyla arama motorunun yanıtında kaynak gösterilmesi iki farklı şeydir. İlki size hiçbir şey kazandırmaz, ikincisi sitenize trafik getirebilir. Bu nedenle her şeyi tek bir kuralla engellemek yerine bunları ayrı ayrı ele almakta fayda var.
Wpisy do robots.txt
Bunu mevcut dosyanın sonuna ekleyin. Arama motoru robotlarıyla ilgili kuralları olduğu gibi bırakın; bu kayıtlar onları etkilemez.
Blokada po stronie serwera
Plik llms.txt
Engellemenin tersi: alan adının kök dizinine konan, modellere bu sitenin ne olduğunu ve hangi içeriklerinden alıntı yapmaya değer olduğunu anlatan kısa bir dosya. Yaptırım gücü yoktur ve işletmecilerle üzerinde anlaşılmış bir standart da değildir; ancak hazırlaması beş dakika sürer ve bazı araçlar tarafından okunur. Sohbet yanıtlarında yer almak istiyorsanız bu dosyayı bulundurmanızda fayda var.
Her şeyi engellemeden önce
Engellemek, trafiği de kesmek demektir
Arama motoru olarak işaretlenen robotlar, sohbet araçlarının bağlantı verdiği dizinleri oluşturur. Bunları engellerseniz siteniz yanıtlarda yer almaz, rakipleriniz alır. Bu gerçek bir maliyettir, teori değil.
Google söz konusu olduğunda iki farklı şey var
Google-Extended, içeriğin model eğitimi için kullanılmasını kapsar ve normal arama motorundaki sıralamayı etkilemez. Normal Googlebot ayrı bir kayıttır; arama sonuçlarından trafik almak istiyorsanız bu kayda dokunmayın.
Liste değişiyor
Robot adları zamanla ortaya çıkar ve kaybolur; işletmeciler de duyuru yapmadan yenilerini ekler. Bu liste bugünkü durumu yansıtır ve zaman zaman kendi sunucu günlüklerinizle karşılaştırılmalıdır; çünkü sitenizi gerçekten kimin ziyaret ettiğini onlar gösterir.