robots.txt ve AI Crawler'lar: GPTBot, ClaudeBot, Bingbot Rehberi

AI Crawler'lar: Yeni Nesil Botlar Kapınızda

Web sunucu loglarınıza bir göz atsanız muhtemelen tanımadığınız user-agent'lar görürsünüz: GPTBot/1.0, ClaudeBot/1.0, Google-Extended... 2026'da web sitenizi ziyaret eden botlar artık sadece Google ve Bing değil. OpenAI'ın GPTBot'u, Anthropic'in ClaudeBot'u, Meta'nın ExternalAgent'ı ve daha birçoğu düzenli olarak sitenizi tarıyor.

Bu botları nasıl yönettiğiniz hem AI görünürlüğünüzü hem de sunucu performansınızı doğrudan etkiliyor. Yanlış bir Disallow kuralı ChatGPT'nin sizi hiç önerememesine yol açabilir; yanlış bir izin ise gereksiz yere bant genişliği tüketebilir. Bu rehber her iki hatadan da nasıl kaçınacağınızı açıklıyor.

AI Bot'ları Anlamak: Eğitim mi, Çıkarım mı?

Tüm AI botları aynı şeyi yapmaz. Bu ayrımı anlamak, hangi botlara ne kadar izin vereceğinize karar vermenizi kolaylaştırır.

Eğitim botları (GPTBot, ClaudeBot), içeriğinizi gelecekteki model sürümlerini eğitmek için toplar. Bu botlara izin verirseniz içeriğiniz AI'nın "bilgi tabanına" girer ve model sizi daha iyi tanır. Uzun vadeli görünürlük için kritik.

Çıkarım ve retrieval botları (ChatGPT-User, PerplexityBot), bir kullanıcı gerçek zamanlı soru sorduğunda sayfanızı anlık olarak tarar. Bu botlara izin verirseniz siteniz canlı AI yanıtlarında kaynak olarak gösterilebilir. Kısa vadeli trafik için kritik.

İdeal strateji: her iki bot türüne de ürün ve içerik sayfalarında izin vermek, yalnızca kişisel veri içeren ve işlemsel sayfaları engellemek.

AI Bot User-Agent Listesi (2026 Güncel)

AI modellerinin eğitim veya çıkarım amaçlı kullandığı başlıca botlar ve önerileri:

E-Ticaret İçin Önerilen robots.txt Stratejisi

E-ticaret siteleri için AI bot'ları tamamen engellemek mantıklı değildir. Bunun yerine, seçici izin stratejisi uygulamanızı öneriyoruz:

# Geleneksel Arama Motorları
User-agent: Googlebot
Allow: /
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /odeme/

# AI Eğitim Botları — İzin Ver (Görünürlük İçin)
User-agent: GPTBot
Allow: /urunler/
Allow: /kategori/
Allow: /blog/
Disallow: /sepet/
Disallow: /hesabim/

User-agent: ClaudeBot
Allow: /urunler/
Allow: /kategori/
Allow: /blog/
Disallow: /sepet/
Disallow: /hesabim/

User-agent: Google-Extended
Allow: /

# Sitemap
Sitemap: https://siteadi.com/sitemap.xml

Dikkat: GPTBot'u tamamen engelerseniz, ChatGPT sitenizi kullanıcılara öneremez. Bu, potansiyel müşteri kaybı demektir.

İzin Ver mi, Engelle mi? Karar Matrisi

robots.txt Yapılandırmasını Test Etme

Robots.txt değişikliklerini canlıya almadan önce mutlaka test edin. Google Search Console'un "robots.txt Tester" aracı hem Googlebot hem de özel user-agent'lar için test yapmanıza izin veriyor. Ayrıca şu URL formatıyla herhangi bir botun sitenizi nasıl gördüğünü simüle edebilirsiniz:

Basit bir test: https://siteniz.com/robots.txt adresini tarayıcıdan açın ve tüm kuralların doğru yazıldığını gözle kontrol edin. Sözdizimi hataları (yanlış boşluk, eksik iki nokta üst üste) kuralın tamamen görmezden gelinmesine neden olabilir.

E-Ticaret Sitelerinde En Çok Yapılan 3 robots.txt Hatası

Hata 1: Tüm AI botlarını toplu engelleme. Bazı geliştiriciler User-agent: * ile tüm bilinmeyen botları engeller. Bu yaklaşım GPTBot ve ClaudeBot'u da engeller ve AI görünürlüğünüzü sıfıra indirir.

Hata 2: Crawl-delay değerini çok yüksek ayarlamak. Crawl-delay: 300 gibi değerler bazı botların sitenizi taramaktan vazgeçmesine yol açar. 10-30 saniye makul bir değer; daha yüksekse bot sitenizi gönüllü olarak atlayabilir.

Hata 3: Dinamik sayfaları yanlışlıkla izin vermek. /ara/ veya /filtre/ gibi arama ve filtreleme sayfaları binlerce URL üretir ve bot bant genişliğinizi boşa harcar. Bu dizinleri her zaman engelleyin.

Sunucu Günlüklerini İzleyin

En iyi robots.txt stratejisi bile gerçek veriye dayanmalı. Nginx veya Apache sunucu loglarından AI bot trafiğini izlemek için şu log formatı satırını kullanabilirsiniz:

Aylık bazda GPTBot ve ClaudeBot tarafından taranan sayfa sayısını takip edin. Eğer bu sayı azalıyorsa bir yerlerde engel oluşmuş demektir. Artıyorsa AI görünürlüğünüz de büyüyor demektir.

Sonuç: robots.txt Artık Sadece SEO Değil, AI Stratejisi

2026'da robots.txt dosyanız sadece Google için değil, bir düzineden fazla AI şirketi için önem taşıyor. Her biri farklı bir şekilde içeriğinizi kullanıyor ve hepsine doğru sinyali vermek AI görünürlüğünüzün temelini oluşturuyor.

Önerilen robots.txt şablonunu sitenize uygulayın, ardından Rozetly ile AI Bot Erişim Puanınızı kontrol edin. Sitenizin mevcut bot yapılandırmasını otomatik olarak analiz edip hangi botların engellendiğini, hangilerine izin verildiğini ve bu durumun AI görünürlüğünüze etkisini raporluyoruz. llms.txt oluşturma rehberi ile birlikte uyguladığınızda etkisi çok daha güçlü oluyor.