Eine Artikelserie bei All Things Digital beschäftigt sich mit dem Zustandekommen der Suchresultate bei Google bzw. konkret damit, dass die Treffer früher nach den Aussagen von Google alleine aufgrund eines Algorithmus zustande gekommen sein sollen („a site’s ranking in Google’s search results is automatically determined by computer algorithms using thousands of factors to calculate a page’s relevance to a given query„), seit Mai 2007 sich aber in der Formulierung des Textes eine gravierende Änderung ergeben hat, die eine gelegentliche Korrektur der Ergebnisse durch eine gezielte menschliche Einflussnahme bestätigt. („A site’s ranking in Google’s search results relies heavily on computer algorithms using thousands of factors to calculate a page’s relevance to a given query„). Google setzt also nicht alleine auf die Technik, wenn es darum geht, die Qualität der Suchresultate zu beurteilen. Ich habe hier z.B. auch schon einmal auf ein Handbuch von Google "Guidelines for Quality Raters" hingewiesen.
Nicht bestätigen wollte Google in den Beiträgen die Zahl der „Evaluators“, deutete aber an, dass sie eher groß ist, um ein umfassendes Gesamtbild zu bekommen. Eine Zahl von rund 10.000 Leuten wird gemutmaßt, die die Qualität der Treffer bei bestimmten Suchanfragen untersuchen. Google bevorzugt dann aufgrund von deren Bewertungen seinen Algorithmus weiter zu verbessern, greift aber wohl gelegentlich direkt in die durch den Algorithmus generierte Trefferfolge ein.
