An sich sollte
Google (und natürlich auch alle anderen gängigen
Suchmaschinen) in der Lage sein, mittels seiner Crawler alle
Seiten einer Website zu finden und zu erfassen. Um diesen
Prozess etwas zu vereinfachen, bietet Google Webmastern die
Erstellung einer Sitemap an. Diese soll ein intelligenteres
Crawling ermöglichen, da Webmaster auch spezifische
Informationen zu all Ihren Webseiten bereitstellen können,
z. B. das Datum der letzten Aktualisierung oder wie häufig
eine Seite geändert wird. Eine Garantie für die Aufnahme
einer Seite in den Index ist damit aber nicht verbunden