Kritische Bewertung: keine Fehlersuche,sondern kalibriertes Vertrauen

Zuerst ein verbreitetes Missverständnis aus dem Weg räumen.

Bei der kritischen Bewertung geht es nicht darum, einem Paper ein Bestanden oder Durchgefallen zu verpassen. Keine Studie ist perfekt – wer nur Mängel zählt, verurteilt jedes Paper und würgt die Diskussion ab.

Die eigentlichen Fragen lauten: Welchen Teilen der Ergebnisse kann man trauen, und welche verdienen Zurückhaltung? Und wie weit lassen sie sich auf die eigenen Patientinnen und Patienten, die eigene Praxis oder Forschung übertragen?

Eine Schwäche zu benennen ist ein Ausgangspunkt, kein Schluss. Behalten Sie das im Kopf, und die Qualität Ihrer Bewertung verändert sich.

Sieben Stellen gilt es zu betrachten, um diese Distanz zu kalibrieren.

Erstens die PICO- oder Forschungsfrage: Was fragt die Studie eigentlich? Zweitens das Design: Passt es zur Frage? Drittens die Auswahl der Teilnehmenden: Gibt es Selektionsbias? Sind die Ausgangswerte zwischen den Gruppen ausgewogen?

Viertens der primäre Endpunkt: Ist der Maßstab für „wirksam“ angemessen? Fünftens Größe und Präzision des Effekts: Wie groß, und wie sicher? Sechstens Confounding, Bias und fehlende Daten: Wurden die Verzerrungsquellen adressiert?

Siebtens und letztens die Übertragbarkeit: Passt das Ganze zu den Patientinnen und Patienten, dem Setting und den Fragen, mit denen Sie tatsächlich arbeiten? Gehen wir die Punkte in der Reihenfolge durch, in der sie im Journal Club typischerweise auftauchen.

PICO. P steht für Patient/Population – wer untersucht wurde: Alter, Geschlecht, Diagnose, Schweregrad, Komorbiditäten. I steht für Intervention/Exposition – die bewertete Behandlung, Untersuchung oder Pflegemaßnahme: ein neues Medikament, ein Reha-Protokoll, ein Eingriff.

C steht für Comparison – womit die Intervention verglichen wird: Standardtherapie, Placebo oder Beobachtung ohne Intervention. O steht für Outcome – was sich dadurch verändert hat: Überleben, Symptombesserung, Komplikationsraten, Lebensqualität.

Kurz gesagt: für wen, mit welcher Maßnahme, verglichen womit, gemessen woran? Arbeiten Sie an diesen vier Punkten, bis Sie sie in einem einzigen Satz formulieren können. Wer das überspringt, dem verschwimmt jede spätere Beurteilung.

Studiendesign. RCT, Kohorte oder Fall-Kontroll-Studie? Entscheidend ist nicht „RCTs sind grundsätzlich überlegen“, sondern ob das Design zur gestellten Frage passt. RCTs sind schwach im Aufspüren seltener Nebenwirkungen, und manche Fragen lassen sich aus ethischen Gründen gar nicht randomisieren.

Auswahl der Teilnehmenden. Schauen Sie auf die Ein- und Ausschlusskriterien und auf Tabelle 1. Zu strenge Ausschlüsse engen ein, für wen die Ergebnisse gelten. Und unterscheiden sich die Ausgangswerte zwischen den Gruppen, lässt sich nicht sagen, ob spätere Unterschiede von der Intervention stammen oder von der Startlinie.

Der primäre Endpunkt. Zwei Prüfungen: Zeigte der vorab festgelegte primäre Endpunkt einen signifikanten Unterschied – oder führt das Paper einen „Erfolg“ ins Feld, der nur auf sekundären Endpunkten beruht? Und ist dieser Endpunkt ein Maß, das für Patientinnen, Patienten und die Fachwelt tatsächlich zählt?

Effektstärke und Präzision. Eine Einladung, über den p-Wert hinauszugehen: Schauen Sie auf das Effektmaß – Risikodifferenz, Risk Ratio, NNT – und auf die Breite des Konfidenzintervalls.

„Statistisch signifikant“ und „klinisch relevant“ sind zwei verschiedene Dinge. Bei ausreichend großer Stichprobe erzeugt selbst ein winziger Unterschied einen kleinen p-Wert. Diskutieren Sie im Vortrag nicht nur, ob ein Unterschied besteht, sondern auch, wie er zu lesen ist.

Confounding, Bias, fehlende Daten. Bei Beobachtungsstudien: Wie wurde für Störfaktoren adjustiert? Wie hoch war die Abbruchquote, und wie wurde damit umgegangen? Gab es eine Verblindung? Auch Finanzierungsquellen und Interessenkonflikte gehören hierher.

Übertragbarkeit. Der letzte Punkt – und der, der die meiste Diskussion auslösen sollte. Wo ähneln Teilnehmende und Setting der Studie Ihren eigenen Verhältnissen, und wo unterscheiden sie sich?

Ein Journal Club, der über „es gibt Evidenz“ hinauskommt zu „wie – oder ob überhaupt – wir das bei uns einsetzen würden“, tut genau das, wofür ein Journal Club da ist.

Wie weit kann KI bei diesen sieben Prüfungen helfen?

KI ist gut in der Vorarbeit. Sie kann das PICO aus dem Paper extrahieren, Design und primären Endpunkt strukturieren und die von den Autoren eingestandenen Limitationen auflisten. Bis dahin ist das eine Verlängerung des Zusammenfassens – und wirklich nützlich.

Darüber hinaus ist es nicht mehr die Aufgabe der KI. Die Distanz kalibrieren kann nur jemand, der die tatsächlichen Zahlen und Abbildungen selbst gesehen hat. Ist die Baseline-Imbalance groß genug, um das Ergebnis zu kippen? Wie ist dieses Konfidenzintervall klinisch zu lesen? Gilt es für Ihre Patientinnen und Patienten?

Die KI-Zusammenfassung ist der Einstieg, das Original die Evidenz. Nirgendwo zählt dieses Prinzip mehr als bei der kritischen Bewertung.

Kritische Bewertung heißt: Notizen machen, während man zwischen sieben Perspektiven wechselt. Verstreuen Sie diese Notizen über Chatverläufe und lose Zettel, sind sie vor dem Vortrag schwer zu finden – und Monate später erst recht, wenn Sie sich fragen: „Wie hatte ich dieses Paper eingeschätzt?“

Paperfy hält PDF, KI-Zusammenfassung und Abbildungen des Papers auf einer Seite zusammen, und Sie können die KI-Zusammenfassung im Zuge Ihrer Bewertung mit den eigenen Erkenntnissen überschreiben.

Korrekturen wie „die KI hat es so zusammengefasst, aber das Original definiert den primären Endpunkt anders“ werden zur bleibenden Dokumentation Ihrer Lesart. Radio-Skripte lassen sich genauso bearbeiten – generieren Sie das Audio neu und hören Sie Ihre Schlussfolgerungen vor der Sitzung noch einmal durch.

Kritische Bewertung heißt nicht, über ein Paper zu richten – sondern seine Befunde in eine Sprache zu übersetzen, die für die eigene Arbeit zählt.

Kalibrieren Sie die Distanz mit den sieben Prüfpunkten, überlassen Sie der KI die Vorarbeit, und fällen Sie die endgültigen Urteile anhand der Zahlen im Original. Wer das beherrscht, verwandelt den Journal Club von einem Raum, in dem Leute gegrillt werden, in einen Raum, in dem wirklich diskutiert wird.

Beginnen Sie mit nur einem der sieben Punkte: Formulieren Sie das PICO in einem einzigen Satz – und spüren Sie den Unterschied.