Im "Kleinen Leitfaden zur Manipulation von Suchergebnissen" finden Sie Hinweise, welche Tricks zur Erlangung einer vorderen Suchposition von Suchmaschinen als Spam eingestuft werden. Wird ein solcher Manipulationsversuch bemerkt, kann der Ausschluss aus dem Index die Folge sein. Eine Webseite, die von Suchmaschinen nicht mehr gefunden wird, ist aber so gut wie nicht mehr existent. Wie aber sicher feststellen, dass eine Webseite nicht mehr erfasst ist? Einige Indizien, die in den nächsten Tagen dargestellt werden, lassen zuverlässig darauf schließen, dass es sich nicht nur um eine Verschlechterung der Suchposition z.B. aufgrund einer Änderung des von einer Suchmaschine betriebenen Algorithmus handelt.

1. Kontrolle der Log-Files

Bei jeder Anfrage eines Clients an einen Webserver wird ein Eintrag in den Log-Files generiert. Aus diesen kann abgelesen werden, ob es sich um einen menschlichen Besucher oder den Crawler einer Suchmaschine handelt, der diese Website indiziert. Der Crawler von Google erscheint z.B. in den Log-Files unter der Bezeichnung Googlebot, der von Yahoo unter Yahoo Slurp. Ein deutlicher Abfall der Besuche eines Crawlers oder gar dessen Ausbleiben deuten darauf hin, dass die Website entweder nicht mehr indiziert werden soll (Ausschluss wegen Manipulation) oder nicht mehr kann. Letztere Möglichkeit sollte man in Betracht ziehen, wenn gerade eine grundlegende Umgestaltung der Website erfolgt ist. Suchmaschinen können z.B. Seiten nicht indizieren, die hinter Passwortabfragen verborgen sind. Auch halten sie sich in der Regel an den Roboter Exclusion Standard (die Datei robots.txt könnte die Anweisung enthalten, Seiten nicht zu indizieren).