In der Reihe Forschungseinblicke möchten wir regelmäßig aktuelle Publikationen und Forschungsprojekte der deutschsprachigen Informationswissenschaft vorstellen. Weitere Beiträge der Reihe finden Sie auf der entsprechenden Kategorieseite. 

Result Assessment Tool (RAT) – Software zur automatisierten Analyse von Suchergebnissen

Beitrag von Sebastian Schultheiß

Das Result Assessment Tool (RAT) wird im Rahmen eines von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekts von der Forschungsgruppe Search Studies der Hochschule für Angewandte Wissenschaften Hamburg unter der Leitung von Prof. Dirk Lewandowski entwickelt. Die erste Projektförderung lief von August 2021 bis Oktober 2024 und wurde von der DFG ab April 2025 um drei weitere Jahre bis März 2028 verlängert.

Was ist das RAT?

Das RAT ist eine kostenlose Open-Source-Forschungssoftware, mit der Forschende automatisiert Ergebnisse aus kommerziellen Suchmaschinen, KI-Sprachmodellen und anderen Suchsystemen untersuchen und bewerten lassen können. Das RAT bietet eine integrierte Umgebung für die Konzeption von Studien, die Erfassung und Evaluierung von Ergebnissen sowie die Durchführung automatisierter Analysen. Das Tool wurde bereits bei zahlreichen unterschiedlichen Studien eingesetzt, darunter Studien zur Retrieval-Effektivität und zur Klassifizierung von Suchergebnissen.

Warum ist das RAT relevant?

Das Ziel der Entwicklung des RAT besteht darin, Forschenden den Zugriff auf und die Analyse von Ergebnissen aus verschiedenen Suchsystemen zu ermöglichen. Das Sammeln und Analysieren solcher Daten kann für Forschende aus unterschiedlichen Bereichen, u.a. Informationswissenschaft, Gesundheitsinformation, Informatik und computergestützte Sozialwissenschaften, von hoher Relevanz sein.

Für Forschende ist der Zugang zu Daten von Plattformen wie Google, Microsoft Bing oder ChatGPT von entscheidender Bedeutung, um das moderne Informationsökosystem zu verstehen. Während einige dieser Plattformen (kostenpflichtigen) Zugang zu zumindest einem Teil ihrer Daten gewähren, sind z.B. Suchmaschinendaten nicht in ausreichendem Maße verfügbar. Da Google mit 91 Prozent der weltweiten Suchanfragen den Suchmaschinenmarkt dominiert, sind Forschende daran interessiert zu sehen, welche Ergebnisse den Nutzenden hier angezeigt werden. Darüber hinaus bieten auch viele andere Suchsysteme keinen oder nur sehr eingeschränkten Zugriff auf ihre Daten.

Eine bedeutende methodische Herausforderung bei der Erforschung von Suchsystemen besteht darin, Verzerrungen in den Suchergebnissen zu erkennen und zu beheben. Herkömmliche manuelle Erhebungsmethoden führen häufig zu drei wesentlichen Problemen: (1) zeitliche Inkonsistenz, da sich die Ergebnisse im Laufe der Zeit ändern; (2) Einschränkungen bei der Stichprobenbildung, die die statistische Aussagekraft beeinträchtigen; und (3) potenzielle Verzerrungen durch die Forschenden bei der Erhebung und Klassifizierung. Das RAT geht diese methodischen Herausforderungen auf unterschiedliche Weise an.

So ermöglicht das RAT Forschenden, systematisch große Datensätze aus mehreren Suchsystemen gleichzeitig zu sammeln und Ergebnisse genauso zu erfassen, wie sie zu einem bestimmten Zeitpunkt erscheinen. Die standardisierte Bewertungsoberfläche stellt sicher, dass alle Juror:innen bei der Klassifizierung von Inhalten einheitliche Kriterien anwenden. Das RAT bietet auch manuelle und automatisierte Analysewerkzeuge, die Muster in umfangreichen Ergebnissätzen erkennen, die manuell nicht identifiziert werden könnten, z.B. den Readability Classifier zur Analyse der Lesbarkeit von Suchergebnissen sowie den SEO Score, der Auskunft über die Anwendung gängiger Maßnahmen zur Suchmaschinenoptimierung geben kann.

Wie funktioniert das RAT?

Forschende können eine beliebige Anzahl unterschiedlicher Suchanfragen und Suchsysteme definieren, was zu aussagekräftigeren und verallgemeinerbaren Ergebnissen führt. Zur Definierung der Suchanfragen können sie außerdem den ins RAT integrierten Query Sampler nutzen, mit dem sich auf Basis von Google-Daten automatisiert relevante Suchanfragen generieren lassen. Das RAT ruft dann automatisch die ausgewählten Suchsysteme auf, ruft die Ergebnisse ab und beseitigt so die Limitierungen der manuellen Erfassung von Suchergebnissen. Für die Bewertung der Ergebnisse entfernt das RAT Duplikate, stellt eine Benutzeroberfläche für die Teilnehmenden der Studie bereit, speichert die gesammelten Bewertungen und fasst diese zusammen. Die Teilnehmenden greifen über eine spezielle webbasierte Bewertungsoberfläche auf das RAT zu, wo sie die Suchergebnisse einsehen und die von den Forschenden definierte Fragen beantworten können.

Weitere Informationen

Projektwebsite: https://www.searchstudies.org/rat/
Link zur Software: https://www.rat-software.org