Das halbe Internet aussperren

David Naylor hat meiner Meinung nach die beste robots.txt gebaut die es bisher gab. Aber seht selbst:  http://www.davidnaylor.co.uk/robots.txt / Backup

Mit einer Robots.txt kann der Webmaster kontrollieren, welche Unterseiten seiner Website von Suchmaschinen indiziert werden sollen.

weiterlesen ›