Ein
Spider (auch
Crawler
oder Robot) ist ein Computerprogramm,
das automatisch das World Wide Web
durchsucht und Webseiten analysiert.
Die Spider der Suchmaschine Yahoo
tragen die Bezeichnung Yahoo Slurp
(die von Google heißen Googlebot).
Yahoo Slurp beachtet die
Robots.txt Datei.
Inhalt
Erklärungen zu
den wichtigsten Begriffen aus
der Welt der Suchmaschinen