Bin ich noch drin im Index einer Suchmaschine?

I

Im "Kleinen Leitfaden zur Manipulation von Suchergebnissen" finden Sie Hinweise, welche Tricks zur Erlangung einer vorderen Suchposition von Suchmaschinen als Spam eingestuft werden. Wird ein solcher Manipulationsversuch bemerkt, kann der Ausschluss aus dem Index die Folge sein. Eine Webseite, die von Suchmaschinen nicht mehr gefunden wird, ist aber so gut wie nicht mehr existent. Wie aber sicher feststellen, dass eine Webseite nicht mehr erfasst ist? Einige Indizien, die in den nächsten Tagen dargestellt werden, lassen zuverlässig darauf schließen, dass es sich nicht nur um eine Verschlechterung der Suchposition z.B. aufgrund einer Änderung des von einer Suchmaschine betriebenen Algorithmus handelt.

1. Kontrolle der Log-Files

Bei jeder Anfrage eines Clients an einen Webserver wird ein Eintrag in den Log-Files generiert. Aus diesen kann abgelesen werden, ob es sich um einen menschlichen Besucher oder den Crawler einer Suchmaschine handelt, der diese Website indiziert. Der Crawler von Google erscheint z.B. in den Log-Files unter der Bezeichnung Googlebot, der von Yahoo unter Yahoo Slurp. Ein deutlicher Abfall der Besuche eines Crawlers oder gar dessen Ausbleiben deuten darauf hin, dass die Website entweder nicht mehr indiziert werden soll (Ausschluss wegen Manipulation) oder nicht mehr kann. Letztere Möglichkeit sollte man in Betracht ziehen, wenn gerade eine grundlegende Umgestaltung der Website erfolgt ist. Suchmaschinen können z.B. Seiten nicht indizieren, die hinter Passwortabfragen verborgen sind. Auch halten sie sich in der Regel an den Roboter Exclusion Standard (die Datei robots.txt könnte die Anweisung enthalten, Seiten nicht zu indizieren).

2. Wieviele meiner Webseiten sind im Index erfasst?

Die Zahl der Webseiten, die z.B. im Index von Google erfasst sind, lässt sich sehr leicht mit folgender Eingabe in die Suchmaske feststellen: "Site:domain.com domain.com".

Die Eingabe von "Site:linksandlaw.de linksandlaw.de" führt z.B. zu 245 Ergebnissen.

Ein Resultat von 0 ist ein sehr starkes Indiz für einen Ausschluss. Andere mögliche Gründe müssen aber wiederum bedacht werden (eigene Seite ist neu, wurde noch nicht angemeldet oder bereits die Startseite kann wegen technischer Schwierigkeiten von Suchmaschinen nicht indiziert werden).

3. Wieviele Seiten verlinken mich?

Bei Google lässt sich sehr rasch ermitteln, wie viele andere Webseiten Links zur eigenen Seite gesetzt haben. Dies geschieht mittels der Eingabe "link:www.domain.com". Sofern hier Links angezeigt werden, wird eine Seite weiterhin indiziert. Fehlende Resultate können in diesem Fall ihren Grund aber auch darin haben, dass Google nicht sämtliche verlinkenden Seiten anzeigt, sondern in der Regel nur solche von einiger Bedeutung, wobei diese sich wohl am Page Rank Wert einer Webseite orientiert. In der Regel werden Seiten mit einem Wert von 3 oder höher angezeigt.

Fazit:

Wird nach einem Redesign einer Website ein Verschwinden aus den Suchergebnissen bemerkt, sollte zunächst der Möglichkeit nachgegangen werden, ob dies der Grund für die Nichtindizierung ist (z.B. Passwörter, robots.txt verbietet Erfassung usw.). Nach deren Behebung sollte die Seite erneut angemeldet werden, auch wenn die Erfassung zumindest dann in Zukunft bereits gewährleistet ist, wenn Links zur Seite führen.

Lassen sich technische Fehler ausschließen, besuchen Crawler trotzdem die Website nicht mehr und ergibt eine Abfrage bei der Suchmaschine, dass diese weder Seiten im Index hat noch Links zu ihr, wurde die Website aus dem Index ausgeschlossen. Hat man dann noch ein schlechtes Gewissen wegen der Verwendung von Tricks zur Suchmaschinenmanipulation, bleibt wohl nur noch die Möglichkeit, diese zu beenden, Google direkt anzuschreiben und darauf zu hoffen, dass die Seite wieder aufgenommen wird.