kostenloser Webspace werbefrei: lima-city

Bots via .htaccess begrenzen

lima-city → Forum → Programmiersprachen → PHP, MySQL & .htaccess

1. Autor dieses Themas

   mylonky

   mylonky hat kostenlosen Webspace.

   2:27, 24.1.2016

   Hallo Community,
   
   ich habe ein Kleines Problem mit einem Crawler Bot,
   
   ich will ihn nicht ganz aussperren, sondern nur eingrenzen, es reicht wenn er maximal 3x gleichzeitig da ist aber in meinem Forum ist er liebendgerne bis zu 23x gleichzeitig Online, geht das in etwa was ich meine?
   
   
   
   https://ftimg.de/image/Uc (alle bis auf der Makierte Bot)
   
   Beitrag zuletzt geändert: 24.1.2016 2:28:24 von mylonky

2. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

   lima-city: Gratis werbefreier Webspace für deine eigene Homepage

3. hddg

   hddg hat kostenlosen Webspace.

   11:42, 24.1.2016

   Der Bot, der Dich nervt, ist von ahrefs.com, einem SEO-Anbieter, der mit Hilfe dieses Bots eine Datenbank mit Backlinks erstellt. Laut https://ahrefs.com/robot akzeptiert dieser Bot eine Directive "Crawl-Delay" in der robots.txt um den zeitlichen Abstand zwischen zwei Requests zu setzen.
   
   H.
4. Autor dieses Themas

   mylonky

   mylonky hat kostenlosen Webspace.

   21:40, 24.1.2016

   das heißt wenn ich z.b.
   User-Agent: AhrefsBot
   Crawl-Delay: 20
   rein schreibe kommt alle 20 sekunden nurnoch einer oder habe ich dann alle 20 sekunden 30?

5. Diskutiere mit und stelle Fragen: Jetzt kostenlos anmelden!

   lima-city: Gratis werbefreier Webspace für deine eigene Homepage

Dir gefällt dieses Thema?