Grundsätzliche Probleme des Relevance Ranking in Suchmaschinen

Abgesehen von den im letzten Abschnitt beschriebenen grundsätzlich mit dem Begriff der Relevanz verbundenen Problemen gibt es weitere Probleme des Relevance Ranking, die das Ranking speziell für Suchmaschinen schwierig gestalten.
Als erstes sind unklare Anfragen zu nennen. In Kapitel 2.6 wurde das divergierende Nutzerverhalten dargestellt, welches es verbietet, eine allgemeine Suchmaschine auf eine bestimmte Zielgruppe auszurichten. Vielmehr stehen Suchmaschinen zwischen den Polen der Profi-Nutzer und den völlig ungeschulten Anfängern. Da keine Unterscheidung des Schwierigkeitsgrads der erfassten Dokumente stattfindet, tauchen Dokumente unterschiedlicher Verständlichkeit in den Trefferlisten auf. Während die Suche nach einer Krankheit in einer medizinischen Fachdatenbank nur Fachartikel hervorbringt und in einer Magazin-Datenbank nur für den Laien geschriebene Artikel, kann eine Internet-Recherche neben weiteren Formen beide genannten Arten von Artikeln hervorbringen. Zwar mögen alle diese Dokumente formal relevant sein, jedoch entstehen in solchen Fällen Pertinenzprobleme je nachdem, wer die Qualität der Treffer bewertet.
Speziell von unerfahrenen Nutzern werden unklare Anfragen gestellt. Bei der Mehrzahl der gestellten Suchanfragen dürfte es sich um solche unklaren Anfragen handeln, wenn man davon ausgeht, dass eine Anfrage mit einem oder zwei Wörtern nicht präzise ist. Die Treffer solcher Anfragen werden in einer einzigen Menge gerankt, allerdings stehen damit thematisch nicht zusammengehörige Dokumente in ein und derselben Liste. Diese Problematik betrifft einerseits unklare Anfragen aufgrund nicht vorliegender bzw. unzureichender Einschränkungen, andererseits Anfragen mit Begriffen, die homonym zu anderen Begriffen verwendet werden.
Weiterhin findet beim Ranking der Suchergebnisse keine Unterscheidung nach der Art der Anfrage sowie der Art des Informationsbedürfnisses statt (siehe Kapitel 2.5). Die einzige bisher in einer Suchmaschine verwendete Trennung der Ergebnisliste nach dem Informationsbedürfnis ist die von Jon Kleinberg entwickelte Trennung in Hubs und Authorities (siehe Kapitel 8.3).