Robots.txt test.Sitenizi kimin okuyabildiğini görün.
Sitenizin adresini yazın veya dosyayı yapıştırın. Dosyadaki hataları, hangi arama ve yapay zeka botlarına izin verdiğini ve herhangi bir adresin engellenip engellenmediğini, hangi satırın karar verdiğiyle birlikte gösteren bir test alanı görürsünüz.
Neleri kontrol eder?
- Arama botları
- Googlebot, Bingbot ve Applebot'un sitenizi tarayıp tarayamayacağı ve buna hangi satırın karar verdiği.
- Yapay zeka botları
- ChatGPT, Claude, Perplexity ve Gemini'nin arkasındaki botların sayfalarınızı okuyup okuyamayacağı; yapay zeka araması ve yapay zeka eğitimi olarak ayrı ayrı.
- Yazım
- Botların atladığı satırlar: yazım hataları, User-agent satırından önceki kurallar, eğik çizgisiz yollar ve Google'ın artık okumadığı noindex gibi komutlar.
- Site haritaları
- Dosyanın site haritanızı tam adresiyle gösterip göstermediği.
- Engellenen dosyalar
- CSS veya JavaScript'i gizleyen ve Google'ın sayfalarınızı ziyaretçilerin gördüğü gibi görmesini engelleyen kurallar.
- Boyut
- Google robots.txt'nin yalnızca ilk 500 KB'ını okur; sonrası yok sayılır.
Sonuç nasıl okunur?
- Kırmızı noktalardan başlayın
- Kırmızı nokta, arama motorlarının veya yapay zeka cevaplarının muhtemelen bulunmasını istediğiniz sayfalara ulaşamadığı anlamına gelir. Önce bunları düzeltin.
- Önemli sayfalarınızı deneyin
- En önemli sayfalarınızın adresini test alanına yapıştırıp Googlebot ve OAI-SearchBot'u kontrol edin. İkisi de izinli demeli.
- Yapay zeka eğitimine karar verin
- GPTBot, ClaudeBot veya Google-Extended'ı engellemek metninizi model eğitiminin dışında tutar, ama sizi yapay zeka aramasından gizlemez. Karar sizin.
- Düzenledikten sonra tekrar kontrol edin
- Düzenlediğiniz dosyayı yüklemeden önce buraya yapıştırın; bir yazım hatası canlı sitenize hiç ulaşmasın.
Sorular
Aradığınızı bulamadınız mı? Bize ulaşın: destek ekibi
siteniz.com/robots.txt adresinde duran ve botlara sitenin hangi bölümlerini ziyaret edebileceklerini söyleyen düz bir metin dosyasıdır. Arama motorları ve çoğu yapay zeka botu taramadan önce bu dosyayı okur.
Hayır. Taramayı durdurur, dizine eklemeyi değil. Engellenen bir sayfa, başka siteler ona link veriyorsa sonuçlarda yine görünebilir. Bir sayfayı aramadan çıkarmak için taramaya izin verip sayfaya noindex meta etiketi ekleyin.
Aramayı eğitimden ayırın. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi botlar soruları cevaplamak için sayfa açar ve size ziyaretçi getirebilir; çoğu site bunlara izin verir. GPTBot, ClaudeBot ve Google-Extended eğitim için metin toplar; bunları engellemek bir iş kararıdır ve Google Arama'yı etkilemez.
Botlar eksik dosyayı (404) her şeyi tarama izni olarak kabul eder. Bu sorun değildir, ama site haritanızı gösteren kısa bir dosya arama motorlarının yeni sayfaları bulmasına yardım eder.
Google tarama hızını sunucunuzun ne kadar hızlı yanıt verdiğine göre ayarlar. Bing ve Yandex crawl-delay'e hâlâ uyar.
Hayır. Yapıştırılan dosya tarayıcınızda kontrol edilir. Bir adres yazdığınızda sunucumuz herkese açık dosyayı bir kez okur ve saklamaz.
Diğer ücretsiz SEO araçları
- Sitemap kontrolSite haritanızı bulun, doğrulayın ve listelediği sayfaların gerçekten açılıp açılmadığını görün.
- llms.txt oluşturucuSitenizin sayfalarından bir llms.txt dosyası oluşturun; yapay zeka asistanları önemli sayfalarınızı bulsun.
- SEO analiziHerhangi bir sayfanın Google ve yapay zeka aramasındaki puanını saniyeler içinde öğrenin, önce yapmanız gereken üç düzeltmeyi görün.
- Site hız testiGoogle'ın hız testi telefonda ve bilgisayarda aynı anda; sayfayı en çok neyin yavaşlattığıyla birlikte.