Heute wird es historisch und es geht um den erster Crawler für das World Wide Web. Dieser wurde 1993 am Massachusetts Institute of Technology von Matthew Gray entwickelt, der heute für Google arbeitet. Dieser sollte die Größe des Netzes herausfinden und diente zur Erstellung des Index mit Namen Wandex. Zwischen 1993 und 1996 durchsuchte der Wanderer angeblich zwei Mal pro Jahr das Datennetz und hangelte sich dabei wie die heutigen Roboter auch über Links von Seite zu Seite. Nur die Crawlhäufigkeit hat natürlich inzwischen stark zugenommen. Bereits 2005 nahm Microsoft für sich in Anspruch, den ganzen Index innerhalb von 20 Tagen zu aktualisieren.