Hızlı Şablon
Sitemap
Birden fazla sitemap için virgülle ayırın
Bot Kuralları
Ek Ayarlar
Boş bırakılırsa eklenmez
ROBOTS.TXT ÇIKTISI
robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayıp taramayacağını söyleyen bir protokol dosyasıdır. Sitenizin kök dizinine (https://example.com/robots.txt) yerleştirilir.
📋 Temel Direktifler
- ✦ User-agent — Hangi bot için kural
- ✦ Disallow — Erişimi engelle
- ✦ Allow — Erişime izin ver
- ✦ Sitemap — Sitemap konumu
- ✦ Crawl-delay — Bot yavaşlatma
🤖 Yaygın Bot İsimleri
- ✦ * — Tüm botlar
- ✦ Googlebot — Google
- ✦ Bingbot — Bing
- ✦ GPTBot — ChatGPT crawler
- ✦ CCBot — Common Crawl (AI)
⚠️ Dikkat Edilecekler
- ✦ robots.txt herkese açık bir dosyadır
- ✦ Güvenlik için kullanmayın
- ✦ Kötü niyetli botlar uymayabilir
- ✦ Hassas içeriği şifreyle koruyun
💡 WordPress İpuçları
- ✦ /wp-admin/ engelleyin
- ✦ /wp-includes/ engelleyin
- ✦ /xmlrpc.php engelleyin
- ✦ Sitemap: …/sitemap_index.xml
Dosya Konumu: robots.txt dosyasını sunucunuzun kök dizinine yükleyin. WordPress kullanıcıları Yoast SEO veya Rank Math eklentileri üzerinden de düzenleyebilir.