David Naylor hat meiner Meinung nach die beste robots.txt gebaut die es bisher gab. Aber seht selbst: http://www.davidnaylor.co.uk/robots.txt / Backup
Mit einer Robots.txt kann der Webmaster kontrollieren, welche Unterseiten seiner Website von Suchmaschinen indiziert werden sollen.
weiterlesen ›