llms.txt: ChatGPT ve diğer yapay zekâ botları okuyor mu?

👁 111 okunma

Sitemde 230 satırlık, en önemli sayfalara 170 bağlantı içeren ve WordPress tarafından otomatik oluşturulan bir llms.txt dosyası var. 24 Ekim-5 Kasım 2026 arasındaki 13 günlük sunucu kayıtlarını, yani 1.832.096 isteği inceledim. Bu dönemde OpenAI, Anthropic ve Perplexity botlarıyla ilişkilendirilen isteklerin sayısı 61 bini aştı. Bu botlardan biri llms.txt dosyasını kaç kez açtı? Sıfır.

llms.txt sık sık ChatGPT’de görünür olmanın ilk adımı olarak sunuluyor. Kayıtlarım farklı bir tablo gösteriyor. Burada sayıları, analiz yöntemimi ve siz de kendi sitenizde kontrol edebilmeniz için kullanabileceğiniz komutları paylaşıyorum.

llms.txt nedir?

Jeremy Howard’ın 3 Eylül 2024’te önerdiği bu dosya, llmstxt.org adresinde açıklanıyor. Sitenin ana dizininde, /llms.txt adresinde bulunan dosya, Markdown biçiminde düz metinden oluşuyor. Zorunlu tek öğe, site adını içeren bir H1 başlığı. Ardından kısa bir açıklama ve dil modelinin önce okuması önerilen sayfalara bağlantılar içeren H2 bölümleri eklenebiliyor. Amaç, modelin menüler, reklamlar ve komut dosyaları arasında arama yapması yerine kolayca işleyebileceği bir içerik listesi sunmak.

Benim dosyam “# Site adı” başlığıyla başlıyor. İçinde sitenin açıklaması, yazar ve yöntem bilgilerini içeren bir bölüm, ardından araçlar, canlı hizmet durumu, fiyatlar ve karşılaştırmalar için bağlantı grupları var. Aynı dizinde, içeriğin tamamını içeren llms-full.txt dosyası da bulunuyor. Bu dosya 7,34 MB ve 80.795 satır.

llms.txt herhangi bir kuruluşun standardı değil. OpenAI, Anthropic veya Perplexity botlarının belgelerinde yer almıyor. Google konuyla ilgili görüşünü açıkça belirtti; aşağıda buna da değineceğim.

Sunucu kayıtları ne gösterdi?

Sunucu her isteği IP adresi, tarih, yol, yanıt kodu ve tarayıcı tanımlayıcısı, yani user agent ile kaydediyor. Günlük arşivlerinden /llms.txt, /llms-full.txt ve /robots.txt dosyalarına yapılan ziyaretleri çıkardım. Ayrıca yapay zekâ botlarının sitenin tamamına yaptığı istekleri ayrı olarak saydım.

llms.txt dosyasına 95, llms-full.txt dosyasına 22 ziyaret geldi. Dosyayı en çok, 26 kez, bir SEO denetim aracı olan SEOJuice indirdi. Onu agentwebmap-bot (15 kez), code-docs-corpus veri kümesi tarayıcısı (7 kez), Googlebot (4 kez), birkaç site denetim aracı ve dosyanın nasıl göründüğüne bakan, muhtemelen sektör çalışanı olan kişilerden gelen bir düzine kadar sıradan tarayıcı izledi.

Ham sonuçlarda GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot için de birer ziyaret ve başka botlardan birkaç istek gördüm. İlk bakışta umut vericiydi; saatlere bakana kadar. İsteklerin tümü, 30 Ekim’de 00:03:13-00:03:26 arasında 13 saniyede, Polonya’daki tek bir IP adresinden geldi. Her birinde farklı bir bot tanımlayıcısı vardı. Dosya oluşturucusunu düzenlerken kendi yaptığım erişim testiydi. Gerçek GPTBot, Polonya’daki bir ev interneti bağlantısından gelmez.

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
(18 bot tanımlayıcısı, tek IP adresi, 13 saniye)

Bu istekleri çıkardığımda OpenAI, Anthropic veya Perplexity botlarının llms.txt dosyasını hiç indirmediği görülüyor. Sonucu ters yönden de kontrol ettim: OpenAI ve Perplexity’nin yayımladığı resmî IP adresi listelerini alıp llms.txt istekleriyle karşılaştırdım. Bu adreslerden tek bir istek bile gelmemişti.

Botlar siteye geliyor, llms.txt dosyasına gelmiyor

Yapay zekâ botlarının sitemden habersiz olduğu söylenemez. Aynı 13 günlük dönemdeki istekler şöyleydi:

* Yalnızca OpenAI ve Perplexity’nin yayımladığı resmî IP aralıklarından gelen istekler. ClaudeBot, Claude-User, GPTBot ve Googlebot sayıları, IP doğrulaması yapılmadan bot tanımlayıcısına göre sayılan isteklerdir. Dönem: 24.10-5.11.2026; sunucu kayıtları.

OAI-SearchBot 3.484 farklı adresi, PerplexityBot ise 3.774 farklı adresi ziyaret etti. İkisi de Googlebot gibi site haritasındaki ve bağlantılardaki sayfalara gidiyor. Orijinal sayfaları zaten okuyorlarsa llms.txt içindeki bir listeye neden ihtiyaç duysunlar?

Bir sonuç beni şaşırttı. OAI-SearchBot’un 19.921 isteğinin yalnızca 5.259’u sayfalara yönelikti. Geri kalanlar CSS dosyaları, komut dosyaları ve yalnızca tarayıcıda çalıştırılan kendi istatistik sayaçlarıma yapılan 7.364 çağrıydı. Sonuç şu: ChatGPT arama botu sayfaları JavaScript ile birlikte işliyor. Tıklamaları kendi komut dosyanızla ölçüyorsanız, sayıları şişirmemesi için bu çağrıları filtreleyin.

Sohbet kullanıcıları adına sayfaları kim okuyor?

En ilginç bot tanımlayıcısı ChatGPT-User. ChatGPT’de biri soru sorduğunda ve model yanıt vermek için bir siteyi ziyaret ettiğinde bu tanımlayıcı görünüyor. 13 günde OpenAI adreslerinden, 790 farklı sayfaya 2.219 ziyaret geldi. Ana sayfa 388 ziyaretle ilk sıradaydı. Ardından seçim tarihleri (56), yapay zekâ takvimi (22), ChatGPT fiyatları (18) ve ChatGPT Plus ve Pro karşılaştırması (14) geldi.

Burada bir örüntü var: Sohbet botu, yanıtı değişebilen somut bir bilgiye ihtiyaç duyduğunda siteye başvuruyor. Tarihler, fiyatlar ve plan karşılaştırmaları gibi. Bing verilerinde de benzer bir durum gördüm; Copilot’un kaynak seçimi hakkındaki yazımda bunu anlatmıştım. Modelin bir özete değil, güncel bilginin ve kontrol tarihinin başlarda yer aldığı sayfaya ihtiyacı var.

Sahte botlara dikkat

Perplexity-User tanımlayıcısıyla 540 istek kaydedildi, ancak bunların hiçbiri Perplexity IP adreslerinden gelmedi. İsteklerin tümü /.env, /.env.production veya /config/gcp-credentials.json gibi dosyaları arıyordu. Bunlar, yöneticilerin doğrulama yapmadan erişim izni vermesini umarak yapay zekâ botu gibi davranan tarayıcılar. ChatGPT-User olarak tanımlanan 2.782 ziyaretin 563’ü de OpenAI’den gelmedi.

Pratik öneri: User agent “GPTBot” yazıyor diye bir isteğe hemen izin vermeyin. IP adresini resmî listeyle doğrulayın. Bunu yapamıyorsanız bot tanımlayıcısını kanıt değil, yalnızca bir beyan olarak değerlendirin.

Google llms.txt hakkında ne diyor?

Google, yapay zekâ arama sonuçları için optimizasyon rehberinde, üretken yapay zekâ özellikleri dâhil arama sonuçlarında görünmek için özel yapay zekâ dosyaları veya Markdown dosyaları oluşturmanız gerekmediğini belirtiyor; arama motoru bunları kullanmıyor. llms.txt için de ayrı bir not var: Dosyayı tutabilirsiniz, ancak Google bunu yok saydığı için arama görünürlüğünüze ne faydası olur ne de zararı. Bu bilgi, Haziran 2026’da dokümantasyona eklendi. Bir yıl önce Google’dan Gary Illyes de aynı şeyi kamuya açık şekilde söylemişti.

Googlebot’un llms.txt dosyasına yaptığı 4 ziyaret bu durumu değiştirmiyor. Googlebot bağlantılarda bulduğu her adresi indirebildiğinden bu dosyaya da uğramış.

Sonuç: Dosyayı tutuyorum ama para ödemiyorum

llms.txt dosyasını silmiyorum. Otomatik oluşturuluyor, kimseye zarar vermiyor ve SEO araçlarıyla birkaç küçük tarayıcı tarafından okunuyor. OpenAI veya Anthropic bir gün bu dosyayı kullanmaya başlarsa hazır olacak.

Ancak biri size ChatGPT’de önerilmenin yolu olarak “llms.txt kurulumu” satıyorsa, paranızı boşa harcıyorsunuz. Kayıtlarımda bu dosya modeller için değil, denetim araçları için kullanılıyor. Fiyatı, tarihi ve yanıtı ilk paragrafta bulunan bir sayfaya bir saat ayırmak, bu dosyadan daha fazla katkı sağlar.

Kayıtların işe yaradığına işaret ettiği adımlar şöyle:

• Doğru botlara izin verin. OAI-SearchBot ve PerplexityBot, sohbet arama motorlarında görünmenizi sağlar. Bunları robots.txt dosyasında veya barındırma hizmetinizin güvenlik duvarında engellerseniz dizinlerinden çıkarsınız. GPTBot’un eğitim amacıyla veri toplaması ise ayrı bir tercih.
• Hızlı ve engelsiz bir site sunun. ChatGPT-User, sohbet sırasında gelen kullanıcı isteği üzerine siteyi ziyaret eder. Yavaş yanıt veren veya “insan olduğunuzu doğrulayın” ekranı gösteren bir sayfa yanıta giremez.
• Sık değişen bilgileri net verin. Sohbet botlarının en çok ziyaret ettiği sayfalar tarih, fiyat veya planlar arasındaki farkla ilgili soruları yanıtlıyordu. Model bu bilgiyi hafızasında bulundurmadığı için sayfadan alması gerekiyor.
• Tahmin etmek yerine ölçün. Sunucu kayıtları ücretsizdir ve botların hangi sayfaları, kullanıcı isteği üzerine hangi adresleri okuduğunu gösterir.

Kendi sitenizde nasıl kontrol edebilirsiniz?

Barındırma hizmetinizden alabileceğiniz ham erişim kayıtlarına ihtiyacınız var. Bu kayıtlar genellikle kontrol panelindeki logs dizininde bulunur veya arşiv olarak indirilebilir. Başlangıç için şu üç komut yeterli:

# 1. llms.txt dosyasını kim indiriyor? (adres, tarih, bot tanımlayıcısı)
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. Yapay zekâ botlarının siteye yaptığı istekleri sayın
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. ChatGPT'nin kullanıcı isteğiyle okuduğu sayfaları bulun
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

Son olarak IP adreslerini OpenAI’nin (openai.com adresindeki chatgpt-user.json, searchbot.json ve gptbot.json dosyaları) ve Perplexity’nin yayımladığı listelerle karşılaştırın. Bu adımı atlayınca, benim ilk analizimde olduğu gibi tarayıcıları da saymış olursunuz.

Bu ölçüm, ChatGPT’nin önerdiği bir şirket olmayı anlatan GEO kursumunilk adımı. Kurs; müşterilerin belirli bir sektörde sorabileceği soruları derlemekten yapay zekâ botlarının siteye erişip erişemediğini kontrol etmeye ve müşteriye rapor sunmaya kadar 29 dersten oluşuyor. Kurs, laboratuvardaki 27 başka kursla birliktekombAIn paketinde de yer alıyor. Diğer kursları yapay zekâ kursları listesinde görebilir, kavramı GEO sözlüğü yazısında inceleyebilirsiniz.

Kaynaklar ve kontrol tarihi

Kayıtlar ve dosyalar 6.11.2026’da kontrol edildi.

• Sunucu erişim kayıtları, 24.10-5.11.2026 (1.832.096 istek), kendi analizim
• llmstxt.org - Jeremy Howard’ın llms.txt önerisi, 3.09.2024
• Google Search Central - yapay zekâ arama optimizasyonu rehberi (llms.txt bölümü)
• OpenAI - OAI-SearchBot, GPTBot ve ChatGPT-User hakkında bilgi ve IP adresi listeleri
• Perplexity - PerplexityBot ve Perplexity-User hakkında bilgi
• Anthropic - ClaudeBot, Claude-User ve Claude-SearchBot hakkında bilgi
• Search Engine Roundtable, 24.07.2025 - Gary Illyes: Google llms.txt dosyasını desteklemiyor

// okumaya devamKimya için hangi yapay zekâ? ChatGPT Plus testiKarşılaştırmalarAlmanca öğrenmek için en iyi yapay zekâ: ChatGPT, Gemini, DeepLGenelÇocuklar için yapay zekâ güvenliği: deepfake ve sohbet botlarıGenel