Verzerrungsrisiko bewerten:nach Verzerrung fragen, nicht nach Qualität

Eine verbreitete Falle ist die Intuition, eine Studie mit statistisch signifikanten, glatten Ergebnissen müsse wohl ein geringes Risiko haben. Eher das Gegenteil: Verzerrte Methoden können mühelos glatte Ergebnisse liefern.

Deshalb schaut die Risk-of-Bias-Bewertung auf die Methoden, bevor sie auf die Ergebnisse schaut. Grundlage des Urteils ist die Beschreibung der Methoden, nicht der Glanz der Befunde.

Eine Grundvoraussetzung: Was als Verzerrungsrisiko zählt, hängt vom Design ab. RCTs, Beobachtungsstudien und Diagnosegenauigkeitsstudien haben jeweils eigene Standardinstrumente für die Bewertung.

Für jedes dieser Designs existieren etablierte Instrumente. Welches Sie nutzen, hängt von Review-Typ, Team und Ziel-Journal ab – klären Sie das, bevor Sie anfangen. Im Folgenden illustrieren wir die gemeinsame Logik an einem RCT.

Bei RCTs beginnen die Standardprüfungen mit der Zuteilungsmethode (ist die Erzeugung der Randomisierungssequenz beschrieben?) und der verdeckten Zuteilung (gab es einen Mechanismus, der verhinderte, dass jemand kommende Zuteilungen vorhersehen konnte?).

Dann Verblindung (wussten Teilnehmende, Behandelnde und vor allem die Outcome-Erhebenden nichts von der Gruppenzugehörigkeit?), fehlende Daten (wie viele fielen aus, und wie wurde damit umgegangen?) und selektives Berichten – decken sich die präregistrierten Endpunkte mit dem, was das Paper berichtet?

Diese Information ist verstreut – hauptsächlich über den Methodenteil, aber auch über Studienregister (über die Registrierungsnummer auffindbar), Protokollpublikationen und Supplements.

„Nicht berichtet“ ist selbst ein Befund. Wird die verdeckte Zuteilung nirgends erwähnt, fließt genau dieses Fehlen in die Bewertung ein. Die Grundregel lautet: Schweigen nie als „war schon in Ordnung“ lesen.

Inzwischen liegt der Grund auf der Hand. Eine Zusammenfassung ist die Kompression des Geschriebenen – und die beiden Schlüssel dieser Bewertung, das Nicht-Geschriebene und die Abweichungen vom Registereintrag, können eine Zusammenfassung schon im Prinzip nicht überleben.

Nutzlos ist KI hier trotzdem nicht. Sie zu bitten, „alle Passagen zu Zuteilung, Verblindung und fehlenden Daten aus diesem Paper zu ziehen“, ist eine echte Hilfe bei der Vorbereitung. Das endgültige Urteil aber – einschließlich der Frage, ob diese Extraktion vollständig war – gehört jemandem, der das Original gelesen hat.

Halten Sie für jede Domäne nicht nur das Urteil fest, sondern auch die Begründung dahinter: „Verblindung: einige Bedenken – keine Erwähnung der Verblindung der Outcome-Erhebenden (Methods S. 5).“

Aufzeichnungen mit angehängtem Beleg fließen direkt in Konsensdiskussionen im Team und in Antworten an Gutachter. Ein Satz Begründung überdauert das Urteil selbst.

In Paperfy teilen sich das zu bewertende PDF und seine KI-Zusammenfassung samt Abbildungen eine Seite – das verkürzt die Schleife „Passage finden → beurteilen → festhalten“.

Ergänzen Sie Urteil und Begründung jeder Domäne in der Zusammenfassung, und die gesamte Risk-of-Bias-Bewertung bleibt mit dem Paper in Ihrer Bibliothek dokumentiert – leicht wieder aufzurufen, wenn es weitergeht zur Gesamtsicherheit der Evidenz, etwa mit GRADE.

Die Risk-of-Bias-Bewertung ist eine Aufgabe, bei der selbst geschulte Bewertende auseinanderliegen. Behandeln Sie das Urteil einer einzelnen Person nicht als endgültig; planen Sie ein, unsichere Punkte im Team zu diskutieren.

Das Ziel dieses Prozesses ist nicht, mit Gewissheit zu verkünden – sondern mit Belegen argumentieren zu können.