Google Crawler jetzt auch in Teilen des Deep Web aktiv

Viele Information warten im sog. Deep Web darauf, von Suchmaschinen erst noch entdeckt zu werden. Bislang hatten Crawler z.B. keinen Zugang zu Seiten, die erst nach dem Ausfüllen von Formularen zugänglich sind. Wissen in Datenbanken bleibt so oft nicht über Suchmaschinen auffindbar. Google versucht, dies jetzt zu ändern. Findet ein Crawler ein Formular, dann wird er eine geringe Anzahl von Anfragen an das Formular senden und dabei automatisch Worte aus dem Inhalt der jeweiligen Site verwenden. Diese erweiterte Technik zielt ausschließlich auf Formulare, welche die GET-Methode verwenden. Formulare, die Angaben eines Benutzers verlangen, z.B. Passwörter, werden außen vor gelassen.

Mehr dazu im Google Blog