Messbarkeit von Relevanz

Der Begriff der Relevanz wird als eines der grundlegenden Konzepte der Informationswissenschaft angesehen. Allerdings besteht bei weitem keine Einigkeit darüber, wie Relevanz zu definieren ist und wie sie sich definitiv messen lässt. Mizzaro (1997) gibt einen Überblick über die Diskussion des Relevanzbegriffs, wobei er etwa 160 Veröffentlichungen auswertet. Shamber (1994, 11) stellt eine Übersicht der in der Literatur angeführten Faktoren, die die Relevanzbewertung durch Juroren beeinflussen, auf. Diese enthält etwa 80 Faktoren.
Anhand dieser Zahlen wird das Ausmaß des Problems deutlich. Allgemein wird Relevanz jedoch als ein Zusammenspiel zwischen Faktoren aus zwei Gruppen angesehen (Mizzaro 1997, 811). Die erste Gruppe besteht aus folgenden drei Elementen:
• Dokument (document)
• Dokumentationseinheit / Repräsentant (surrogate)
• Information (information), wobei damit das gemeint ist, was beim Nutzer „ankommt"
Die zweite Gruppe besteht aus vier Elementen:
• Problem (problem): ein Problem, zu dessen Lösung Informationen benötigt werden
• Informationsbedürfnis (information need): die Repräsentation des Problems im Bewusstsein des Nutzers. Diese Repräsentation kann sich vom Problem unterscheiden, vor allem dann, wenn der Nutzer sein Informationsproblem nicht richtig oder nicht vollständig wahrnimmt.
• Anliegen (request): die Repräsentation des Informationsbedürfnisses in natürlicher Sprache.
• Suchanfrage (query): die Repräsentation des Informationsbedürfnisses in der Sprache des Information-Retrieval-Systems.
Eine ähnliche Aufstellung findet sich auch bei Lancaster u. Gale (2003, 2308).
Als Relevanz können nun alle Beziehungen von zwei Elementen aus den unterschiedlichen Gruppen angesehen werden (siehe Abbildung 6.1). Schon hier wird deutlich, dass auf unterschiedliche Arten von Relevanz gesprochen werden kann und auch wird. So macht es einen großen Unterschied aus, ob mit Relevanz das Matching von Dokument und Suchanfrage gemeint ist oder ob man Relevanz anhand der Übereinstimmung von Information und Informationsbedürfnis messen möchte.

Abb. 6.1. Elemente der Relevanzbewertung (nach Mizzaro 1997, 812; vereinfacht)

Um dem Problem der subjektiven Komponente der Relevanz zu entgehen, wurde die Trennung des Begriffs der Relevanz von dem der Pertinenz vorgeschlagen, wobei Relevanz diejenigen Beziehungen beschreibt, die zwischen Anfrage und System objektiv messbar sind und Pertinenz sich allein auf die vom Nutzer empfundene Nützlichkeit bzw. Verwendbarkeit eines Ergebnisses bezieht (Lancaster u. Gale, 2311).
Das grundsätzliche Problem, welches sich bei der Bewertung der Relevanz bei Suchmaschinen-Ergebnissen ergibt, ist, dass zwar die Relevanz im Sinne des Abgleichs zwischen formulierter Suchanfrage und den ausgegebenen Ergebnissen gegeben sein mag. Im gleichen Fall dürfte jedoch oft die Pertinenz der Ergebnisse nicht gegeben sein, da der Nutzer nicht in der Lage war, sein Informationsbedürfnis in eine entsprechende Suchanfrage umzusetzen. Beispiele hierfür sind vor allem zu allgemein formulierte Suchanfragen, die nur aus wenigen oder gar nur aus einem Wort bestehen. Im Sinne der Relevanz können Suchmaschinen hier gute Ergebnisse liefern, die Pertinenzbewertung kann jedoch genau gegenteilig ausfallen.
Für die Bewertung von Suchmaschinen durch den Nutzer dürfte letztlich die Pertinenz von entscheidender Bedeutung sein. Eine objektive Relevanz können diese nicht messen bzw. beurteilen; Vertrauen in eine Suchmaschine bildet sich nur über die Erfahrung mit der Pertinenz der Ergebnisse. Dies ist vor allem auch dadurch bedingt, dass Nutzer nur wenig über die Funktionsweise von Suchmaschinen wissen (Machill et al. 2003, 188-195; Marable 2003) und Suchmaschinen weitgehend als „Black Box" empfinden. Die Bedeutung der Vertrauensbildung in Informationssysteme beschreibt Kuhlen (1999).