Ein kleiner Leitfaden zur Manipulation von Suchergebnissen

5. Cloaking

b. Wie kann ein menschlicher Besucher von einem Roboter unterschieden werden?

Die einfachste Möglichkeit einen Roboter zu erkennen, ist es, die CGI-Variable http_USER_AGENT abzufragen. Darin ist der Name des Clients abgespeichert, der eine Webseite anfordert. Handelt es sich um einen Browser (z.B. Netscape Navigator oder Internet Explorer), liegt es nahe, auf einen menschlichen Besucher zu schließen und wird die „normale“ Webseite übermittelt, stammt die Anfrage hingegen von einem Spider (z.B. Googlebot, KIT-Fireball), bekommt dieser nur die optimierte Webseite zu Gesicht. Man spricht von einer Browserweiche. Theoretisch kann sogar unterschiedlichen Spidern eine jeweils auf die betreffende Suchmaschine und ihren Algorithmus hin optimierte Webseite präsentiert werden.

Suchmaschinen haben sich gegen diese Art der Täuschung allerdings gewappnet. Ihre Roboter können auch Browser-typische Kennungen liefern und damit einfache Browserweichen überlisten. Erscheint eine Webseite verdächtig, wird ein entsprechend konfigurierter weiterer Roboter zu der Webseite geschickt, der dessen wahres Gesicht ermitteln soll. Effektiver ist daher ein System, bei dem zusätzlich die IP-Adresse des Besuchers abgefragt wird (sog. IP-Cloaking). Dabei erfolgt ein Abgleich der IP-Adresse des Besuchers mit allen in einer Datenbank gespeicherten IP-Adressen von Suchmaschinen. Entsprechende Listen lassen sich entweder kostenlos im Internet finden oder können in professioneller Qualität auch gekauft werden. Diese Möglichkeit ist damit i.d.R. zeit- und kostenintensiv, da sie eine vollständige und aufwendig zu pflegende IP-Adressendatenbank voraussetzt.

Spider IP-Adressen von Google sind z.B.:

Eine Auflistung von Spidern findet sich z.B. unter:

• http://www.searchengineworld.com/spiders/spider_ips.htm

• http://www.psychedelix.com/agents.html

 Weiter zu "Was ist Cloaking?", "Wie reagieren Suchmaschinen auf Cloaking" oder zu "Sollte man auf Cloaking verzichten?".