Das halbe Internet aussperren

David Naylor hat meiner Meinung nach die beste robots.txt gebaut die es bisher gab. Aber seht selbst:  http://www.davidnaylor.co.uk/robots.txt / Backup

Mit einer Robots.txt kann der Webmaster kontrollieren, welche Unterseiten seiner Website von Suchmaschinen indiziert werden sollen.

weiterlesen ›

Böse Bots per User-Agent aussperren

Folgende Eintrag in die .htacces packen und schups die wups werden die gängigsten bösen Bots vom Webspace ausgesperrt:

weiterlesen ›