Aufnahme aller Unterseiten in den Index einer Suchmaschine

Die besten Methoden zur Optimierung von Webseiten nützen nichts, wenn die eigene Website nicht oder nur teilweise Eingang in den Index einer Suchmaschine gefunden hat. In der Rubrik "Suchmaschinen und Suchmaschinenoptimierung" finden sich bereits einige Hinweise zu einer Anmeldung einer Seite bei Suchmaschinen und Katalogen. Nach einiger Zeit sollte kontrolliert werden, ob eine Suchmaschine auch alle Unterseiten erfasst hat. Dies geschieht sowohl bei Google, Yahoo als auch MSN mit dem Befehl "site:www.mydomain".

Die Suche nach "site:linksandlaw.info" ergibt z.B.

bei Google 79 Treffer (auf linksandlaw.de 458)
bei Yahoo 67 Treffer (auf linksandlaw.de 201)
bei MSN 37 Treffer (auf linksandlaw.de 75)

Damit sind bei Google nahezu alle Unterseiten von Links & Law erfasst, bei MSN nur ein Bruchteil? Woran kann es nun liegen, dass Webseiten nicht in den Index gelangen. Gründe hierfür können sein:

Eine Seite wurde gerade erst Online gestellt und ist bislang von den Crawlern nicht besucht worden.
Eine Seite kann von Crawlern nicht gefunden werden, weil sie weder intern noch extern verlinkt ist.
Crawler wurden (versehentlich) mittels robots.txt von Seiten ausgeschlossen oder Seiten verstecken sich hinter einem Log-In oder einer Formularmaske.
Crawler können eine Seite wegen nicht indizierbaren Inhalts nicht erfassen (z.B. Flash) oder die Navigation auf einer Webseite beruht auf Java.
Crawler finden Links in Imagemaps nicht.
Dynamischer Content aus Datenbanken.
Inhalte sind in Pop-Up Fenstern verborgen und diese werden von einer Suchmaschine ignoriert.

(Einige dieser Punkte werden in den nächsten Beiträgen noch näher beleuchtet)

Lassen sich diese Fehlerquellen ausschließen, liegt es wohl nicht an der eigenen Webseite, sondern schlicht an der Erfassungsgeschwindigkeit der Crawler der Suchmaschinen. Während Google hier sehr schnell ist, kann es bei Yahoo leicht einmal 2 bis 3 Monate dauern, bis eine neue Unterseite Eingang in den Index findet.

Auch die Indexgröße der Suchmaschinen ist sehr unterschiedlich. Google hat ca. 8 Mio Webseiten im Index, MSN nur 5 Mio.