Relevance Feedback

Das Relevance Feedback ist eine der klassischen Methoden, die es dem Nutzer ermöglichen, die Größe der Treffermenge und ihre Beschaffenheit zu verändern. Einen Überblick der für das Relevance Feedback verwendeten Verfahren und Formeln findet sich in Harman (1992b).
Die Verfahren des Relevance Feedback können nach zwei Arten unterschieden werden: Einerseits gibt es Verfahren, die im Feedback-Prozess lediglich die Term-Gewichtungen verändern, um zu einem besseren Ranking zu kommen. Auf der anderen Seite stehen Verfahren, die die in der Suchanfrage verwendeten Terme selbst verändern (Harman 1992, 242b).
Relevance Feedback ist insbesondere bei den bei der Web-Suche häufig vorkommenden kurzen Anfragen sinnvoll (Chakrabarti 2003, 57f.). Im Folgenden sollen die folgenden Verfahren des Relevance Feedback besprochen werden:
• Finden von ähnlichen Dokumenten auf der Basis eines oder mehrerer als relevant angesehenen Dokumenten durch einfache Auswahl dieses Dokuments bzw. dieser Dokumente.
• Finden von relevanten Dokumenten durch Fokussierung der Suchanfrage auf Themenblöcke.
• Veränderung der Gewichtungen im Ranking durch „Feinjustierung“ der wesentlichen Rankingfaktoren.
Eine einfache Relevance-Feedback-Anwendung, die von manchen Suchmaschinen (z.B. Google) angeboten wird, ist ein neben jedem Treffer dargestellter Link, der eine Suche nach „ähnlichen Seiten“ ermöglicht. Solche „More like this“-Funktionen erlauben das Finden passender Dokumente auf Basis eines als relevant bewerteten Dokuments. Die passenden Dokumente werden auf Basis von gemeinsam vorkommenden Begriffen und/oder aufgrund der Verlinkungsstruktur der Dokumente untereinander ermittelt (Dean u. Henzinger 1999). Ein solches Verfahren hat den Nachteil, dass es auf der Basis nur eines Dokuments arbeitet und es nicht möglich ist, unerwünschte Dokumente auszuwählen, deren Eigenschaften bei der verfeinerten Suchanfrage nicht mehr berücksichtigt werden. Der große Vorteil des Verfahrens liegt jedoch in der einfachen Bedienbarkeit; Studien haben gezeigt, dass sie bei etwa jeder zwanzigsten Suchanfrage verwendet werden (Spink 2003, 302).
Weitere noch als einfach geltende Verfahren lassen den Nutzer einen Teil der Treffermenge (bspw. die ersten zehn gerankten Dokumente) jeweils mit einem Klick als relevant beurteilen. Danach wird aufgrund dieser Auswahl eine neue Treffermenge berechnet. Allerdings erfordert dieses Verfahren, dass der Nutzer eine gewisse Menge von Dokumenten sichtet und auf ihre Relevanz hin beurteilt, damit das Ranking entschieden verbessert werden kann. Aus dem Nutzerverhalten (vgl. Kap. 2.6) lässt sich jedoch ableiten, dass selbst diese Funktion für die Nutzer zu komplex sein dürfte und sie nicht bereit sein werden, erst einige Dokumente zu sichten und zu bewerten, bevor sie die Anfrage verfeinern können.
Abb. 10.2 zeigt das zwischen 1997 und 1999 bei der Suchmaschine AltaVista eingesetzte Verfahren des Relevance Feedback. Es werden zu einer bestehenden Suchanfrage auf Basis der top gerankten Dokumente Themen bzw. Begriffe ermittelt, die für die Suchanfrage relevant sein könnten. Der Nutzer kann nun zu jedem Thema angeben, ob dieses in die Suchanfrage übernommen oder aber ausgeschlossen werden soll. Dabei muss nicht für jedes der 20 vorgegebenen Themen eine Auswahl getroffen werden; um das Ergebnis zu verfeinern, reicht schon die Auswahl bzw. der Ausschluss einiger Themen. Allerdings wurde dieses Feature bei AltaVista schon bald wieder abgeschaltet, da es von den Nutzern nur schlecht angenommen wurde. Dies dürfte darauf zurückzuführen sein, dass der durchschnittliche Suchmaschinen-Nutzer mit dem gezeigten Interface hoffnungslos überfordert sein dürfte.

Abb. 10.2. Relevance Feedback bei AltaVista, 1997 (http://www.ib.hu-berlin.de/dienste/refine.html)

Ein graphischer Ansatz für die Relevanzbeeinflussung durch den Nutzer wird von der MSN-Suchmaschine verwendet (Abb. 10.3). Das Feedback bezieht sich hier nicht auf den Ein- oder Ausschluss von Begriffen bzw. deren Gewichtung, sondern auf formale Kriterien. Mittels der dargestellten „Schieberegler“ können aktuelle oder besonders populäre Dokumente im Ranking bevorzugt oder benachteiligt werden; weiterhin kann der gewünschte Grad der Übereinstimmung zwischen Anfrage und Dokument festgelegt werden. In diesem Verfahren wird also nur die Anordnung der Treffermenge verändert, ohne dass die Menge an sich verändert wird. Gerade bei den in den Suchmaschinen in der Regel für die manuelle Durchsicht zu großen Treffermengen wird damit eine Möglichkeit geboten, (eingeschränkt) eine eigene Sortierung vorzunehmen.

Abb. 10.3. Relevanzbeeinflussung bei MSN

Die beschriebenen Verfahren des Relevance Feedback bieten grundsätzlich gute Möglichkeiten, Suchanfragen zu verfeinern. Allerdings dürften die meisten Ansätze an der mangelnden Akzeptanz seitens der Nutzer scheitern. Interessant erscheint vor allem der Ansatz von MSN: Dort ist es gelungen, die Möglichkeiten der Relevanzveränderung in ein klares graphisches Konzept zu fassen. Die „Schieberegler“ laden geradezu zum Ausprobieren ein. Im Praxistest zeigen sich allerdings keine besonders weitreichenden Veränderungen der Trefferlisten durch den Einsatz der Funktion.
Letztlich wäre die Möglichkeit wünschenswert, die Trefferlisten selbst sortieren zu können. Neben der Relevanzbewertung wäre eine Sortierung nach dem Datum (s. Kap. 11.6) und eine Sortierung nach den wichtigsten Quellen (s. Kap. 12) zu wünschen.