Ana sayfa › SEO sözlüğü › robots.txt nedir, ne işe yarar?
robots.txt nedir, ne işe yarar?
Sitenizin kapısındaki not: hangi botun nereye girebileceğini söyler. Artık yalnızca Google değil, yapay zekâ botları da okur.
Kısaca ne demek
robots.txt, sitenizin kök dizininde duran düz bir metin dosyasıdır: siteniz.com/robots.txt. Botlara hangi bölümleri tarayabileceklerini söyler.
İçeriği basittir. User-agent satırı kuralın hangi bota ait olduğunu, Disallow nereye girilemeyeceğini, Allow ise istisnayı belirtir. Sonuna genellikle sitemap adresi eklenir.
Neyi engeller, neyi engellemez
robots.txt taramayı engeller, indekslemeyi değil. Engellenmiş bir sayfaya başka sitelerden bol link geliyorsa Google onu içeriğini hiç görmeden yine de sonuçlarda gösterebilir — üstelik açıklamasız, çıplak bir bağlantı olarak.
Bir sayfanın gerçekten sonuçlardan çıkması gerekiyorsa doğru araç noindex'tir. robots.txt ise sunucu yükünü azaltmak ve botu anlamsız bölümlerde (sonsuz filtre kombinasyonları, arama sonucu sayfaları) dolaştırmamak içindir.
Bir de güvenlikle karıştırılır. robots.txt herkese açık bir dosyadır; gizli bölümün adresini oraya yazmak, o adresi ilan etmektir.
Yapay zekâ botları
Son yıllarda listeye yeni isimler girdi: GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Google-Extended.
Burada gerçek bir tercih var. Bu botları engellerseniz içeriğiniz yapay zekâ eğitiminde ve cevaplarında kullanılmaz — ama cevaplarda kaynak olarak da gösterilmezsiniz. Birçok site sahibi bunu farkında olmadan yapıyor: hazır bir robots.txt şablonu kopyalanıyor ve marka, yapay zekâ cevaplarından sessizce siliniyor.
Karar sizin, ama bilerek verilmeli. İnsanların ürün sorularını giderek daha çok yapay zekâya sorduğu bir ortamda bu satır bir görünürlük kararıdır.
Sık yapılan hatalar
Bütün siteyi kapatmak. Disallow: / satırı sitenin tamamını tarama dışı bırakır. Geliştirme sırasında konulup unutulan bu tek satır, canlı sitelerin arama trafiğini sıfırlayan en sık sebeplerden biridir.
CSS ve JavaScript'i engellemek. Google sayfayı tarayıcı gibi çizerek değerlendirir; stil ve script dosyaları kapalıysa sayfayı bozuk görür.
Yanlış yere koymak. Dosya kök dizinde olmalıdır; alt klasördeki robots.txt okunmaz.
Sık sorulanlar
robots.txt dosyam yoksa ne olur?
Sorun değil. Dosya yoksa botlar her yeri tarayabileceğini varsayar; çoğu küçük site için bu zaten istenen davranıştır.
Yapay zekâ botlarını engellemeli miyim?
İçeriğiniz kopyalanmasın istiyorsanız engelleyin; yapay zekâ cevaplarında kaynak olarak anılmak istiyorsanız açık bırakın. İkisi aynı anda olmuyor.
Robots.txt değişikliği ne zaman etkili olur?
Google dosyayı genellikle günde bir kez okur; değişiklik birkaç saat içinde dikkate alınır.
erseo sitenizi tarar, teknik sorunları önem sırasına dizer ve her birini jargon olmadan açıklar. Ücretsiz denetim için kredi kartı istemiyoruz.
Sitenizi ücretsiz denetleyin