Evaluierung der linktopologischen Verfahren

Bei der Evaluierung von linktopologischen Verfahren stellen sich zwei Fragen: Einerseits soll die Nützlichkeit der Verfahren gegenüber anderen Rankingmethoden geprüft werden, andererseits sollen die unterschiedlichen linktopologischen Verfahren untereinander verglichen werden. Da linktopologische Verfahren nicht isoliert vorkommen, gestalten sich diese Vergleiche schwierig. Verfahren wie PageRank bilden nur einen Faktor, der in ein umfassenderes Rankingverfahren eingebunden wird; Verfahren wie HITS und Hilltop benötigen für die Ermittlung der Ausgangsmenge bereits ein anderes Rankingverfahren. Die Qualität des Rankings hängt also auch immer von der Qualität der Ausgangsmenge bzw. der weiteren eingesetzten Faktoren ab. Ein Vergleich der bei unterschiedlichen Suchmaschinen eingesetzten linktopologischen Verfahren kann also auch niemals isoliert betrachtet werden; vielmehr können nur die Gesamtsysteme – in der Regel durch Precision-Tests – verglichen werden (s. Kap. 9).
Amento et al. (2000) untersuchen verschiedene linktopologische Algorithmen hinsichtlich ihrer Fähigkeit, aus einem Pool relevanter Sites die qualitativ hochwertigen zu identifizieren. Dafür wählen sie fünf breit angelegte Suchanfragen aus den Bereichen Fernsehen und Popmusik. Die Vorgabe der qualitativ hochwertigen Sites zu den einzelnen Themen basiert auf einer Auswahl durch Nutzer und einer daran angeschlossenen Bewertung durch „Experten" (in diesem Fall: Menschen, die sich aufgrund ihrer Interessen selbst als solche sehen). Amento et al. prüfen nun, ob die Expertenurteile, die sie auf einer Skala von eins bis sieben gemessen haben, mit den Ergebnissen der linktopologischen Algorithmen übereinstimmen. Außerdem werden ein einfacher keyword-Vergleich sowie inhaltsbezogene Werte mit in der Auswertung berücksichtigt. Dabei zeigt sich, dass die linktopologischen Algorithmen zwar dem einfachen keyword-Vergleich überlegen sind, nicht jedoch einfachen inhaltsbezogenen Werten wie der Größe einer Website gemessen in der Anzahl der Seiten. Zumindest für solch allgemeine Themen wie die für diese Untersuchung verwendeten scheint die Größe einer Site etwas über den Umfang (und damit wohl über die Mühe, die sich der Site-Betreiber mit dem Thema gegeben hat) des behandelten Themas auszusagen.
Zwischen den verschiedenen linktopologischen Ansätzen (PageRank, Hubs & Authorities) besteht nach der Untersuchung von Amento et al. kein signifikanter Unterschied. Die Wertung der Sites aufgrund der Anzahl der eingehenden Links führt zu besseren Ergebnissen als die linktopologischen Algorithmen.
Eine Kritik des Versuchs von Amento et al. findet sich in Mandl (2003, 9-11). Er führt das gute Abschneiden der Anzahl der eingehenden Links auf die kleine Testkollektion zurück und betont, dass Algorithmen wie PageRank und HITS gerade für große Kollektionen wie eben den Datenbestand einer Universalsuchmaschine entwickelt wurden. Weiterhin ist anzumerken, dass in der Untersuchung von Amento et al. die gegebene Relevanz der einzelnen Sites zum Ausgangspunkt genommen wurde; gerade in der Identifizierung dieser und der Aussonderung nicht-relevanter Dokumente liegt aber die Stärke der linktopologischen Algorithmen. Als letztes sei noch auf das Problem Site vs. Seite (bzw. einzelnes Dokument) hingewiesen. Die linktopologischen Algorithmen bewerten die Authority von Seiten, während sich die Untersuchung auf Sites beschränkt.
Eine weitere Evaluierung linktopologischer Rankingverfahren wird in der Untersuchung von Singhal u. Kaszkiel (2001) vorgenommen. Hier werden Gesamtsysteme verglichen, so dass die Unterschiede zwischen den Systemen auch auf andere Faktoren zurückzuführen sein können. Allerdings kann klar gezeigt werden, dass die von den Systemen, welche linktopologische Verfahren einsetzen, ausgegebenen Trefferlisten denen der „Standard-Systeme“ überlegen sind.