YardimoBot

YardimoBot yalnızca sahipliği doğrulanmış alan adlarını tarar. Bir müşteri, sitesinin sahibi olduğunu ana sayfadaki meta etiketi veya sunucuya koyduğu doğrulama dosyası ile kanıtlamadan tarama başlatamaz.

Taranan sayfaların metni yalnızca o müşterinin kendi bilgi tabanında saklanır ve yalnızca kendi ziyaretçilerine cevap üretmek için kullanılır.

robots.txt kurallarına uyar ve Crawl-delay değerine saygı gösterir. Aynı siteye varsayılan olarak saniyede en fazla bir istek gönderir, eş zamanlı bağlantı açmaz.

Yalnızca HTML sayfaları okur; görsel, video ve 5 MB üstü yanıtlar indirilmez. Sayfada noindex varsa sayfa atlanır.

Sitenizin robots.txt dosyasına aşağıdaki satırları eklemeniz yeterlidir. Engel bir sonraki taramada geçerli olur.