robots.txt ve AI Crawler'lar: GPTBot, ClaudeBot, Bingbot Rehberi

AI Crawler'lar: Yeni Nesil Botlar Kapınızda

2026'da web sitenizi ziyaret eden botlar artık sadece Google ve Bing değil. OpenAI'ın GPTBot'u, Anthropic'in ClaudeBot'u, Meta'nın Llama crawler'ı ve daha birçoğu düzenli olarak sitenizi tarıyor. Bu botları doğru yönetmek, hem AI görünürlüğünüz hem de sunucu performansınız için kritik.

AI Bot User-Agent Listesi (2026 Güncel)

AI modellerinin eğitim veya çıkarım amaçlı kullandığı başlıca botlar:

E-Ticaret İçin Önerilen robots.txt Stratejisi

E-ticaret siteleri için AI bot'ları tamamen engellemek mantıklı değildir. Bunun yerine, seçici izin stratejisi uygulamanızı öneriyoruz:

# Geleneksel Arama Motorları
User-agent: Googlebot
Allow: /
Disallow: /sepet/
Disallow: /hesabim/
Disallow: /odeme/

# AI Eğitim Botları — İzin Ver (Görünürlük İçin)
User-agent: GPTBot
Allow: /urunler/
Allow: /kategori/
Allow: /blog/
Disallow: /sepet/
Disallow: /hesabim/

User-agent: ClaudeBot
Allow: /urunler/
Allow: /kategori/
Allow: /blog/
Disallow: /sepet/
Disallow: /hesabim/

User-agent: Google-Extended
Allow: /

# Sitemap
Sitemap: https://siteadi.com/sitemap.xml

Dikkat: GPTBot'u tamamen engelerseniz, ChatGPT sitenizi kullanıcılara öneremez. Bu, potansiyel müşteri kaybı demektir.

İzin Ver mi, Engelle mi? Karar Matrisi

Sonuç

AI crawler yönetimi, 2026'da SEO stratejinizin ayrılmaz bir parçasıdır. Doğru robots.txt yapılandırması ile hem AI görünürlüğünüzü artırabilir hem de hassas verilerinizi koruyabilirsiniz. Rozetly, sitenizin mevcut bot yapılandırmasını analiz ederek size özel öneriler sunuyor.