Critical appraisal नुक़्स निकालना नहीं हैयह तय करना है कि paper के results पर कितना भरोसा करें

पहले एक आम ग़लतफ़हमी दूर कर लें।

Critical appraisal का मतलब paper को pass या fail की grade देना नहीं है। कोई study perfect नहीं होती, इसलिए कमियाँ गिनने बैठे तो हर paper मुजरिम ठहरेगा — और चर्चा वहीं दम तोड़ देगी।

असल सवाल ये हैं: results के कौन-से हिस्सों पर भरोसा किया जा सकता है, और कौन-से एहतियात माँगते हैं? और वे आपके अपने मरीज़ों, practice या research पर कहाँ तक लागू होते हैं?

कमी की ओर इशारा करना शुरुआत है, निष्कर्ष नहीं। यह बात ध्यान में रहे तो आपके appraisal का स्तर ही बदल जाता है।

यह दूरी नापने के लिए देखने की जगहें सात हैं।

पहली, PICO या research question: study असल में पूछ क्या रही है? दूसरी, design: क्या वह इस सवाल के अनुरूप है? तीसरी, participants कैसे चुने गए: कोई selection bias तो नहीं? क्या groups के baselines संतुलित हैं?

चौथी, primary outcome: "असरदार" का पैमाना ठीक है? पाँचवीं, effect का आकार और precision: कितना बड़ा, और कितना पक्का? छठी, confounding, bias और missing data: results को बिगाड़ने वाली चीज़ों से निपटा गया?

सातवीं और आख़िरी, applicability: क्या यह उन मरीज़ों, setting और सवालों पर उतरता है जिनसे आपका रोज़ का वास्ता है? आइए इन्हें उसी क्रम में देखें जिस क्रम में ये journal club में उठा करते हैं।

PICO। P यानी Patient/Population — study किन पर हुई: उम्र, sex, diagnosis, severity, comorbidities। I यानी Intervention/Exposure — जिस treatment, test या देखभाल का मूल्यांकन हो रहा है: नई दवा, rehabilitation protocol, surgery।

C यानी Comparison — intervention को तौला किससे गया: standard care, placebo, या बिना intervention सिर्फ़ observation। O यानी Outcome — नतीजे में बदला क्या: survival, लक्षणों में सुधार, complication rates, quality of life।

संक्षेप में: किन पर, क्या करके, तुलना किससे, मापा कैसे। इन चारों को तब तक माँजिए जब तक एक वाक्य में न कह सकें। यह छोड़ा, तो आगे का हर फ़ैसला धुंधला जाएगा।

Study design। RCT, cohort या case-control? अहम यह नहीं कि "RCT हमेशा बेहतर है", बल्कि यह कि design पूछे गए सवाल पर बैठता है या नहीं। दुर्लभ adverse events पकड़ने में RCT कमज़ोर होते हैं, और कुछ सवालों पर randomize करना नैतिक रूप से मुमकिन ही नहीं।

Participants का चयन। Inclusion और exclusion criteria देखिए, और Table 1 भी। ज़रूरत से ज़्यादा सख़्त exclusions results का दायरा सिकोड़ देते हैं। और अगर groups के baselines में ही फ़र्क़ है, तो बाद का अंतर intervention से आया या शुरुआती फ़र्क़ से — कहना मुश्किल है।

Primary outcome। दो जाँचें: क्या पहले से तय primary outcome पर significant अंतर मिला, या paper सिर्फ़ secondary outcomes की "जीत" आगे रखकर चल रहा है? और क्या वह outcome ऐसा संकेतक है जो मरीज़ों और field के लोगों के लिए सचमुच मायने रखता है?

Effect size और precision। यहाँ p-value से आगे बढ़ने का न्योता है: effect का पैमाना देखिए — risk difference, risk ratio, NNT — और confidence interval की चौड़ाई भी।

"Statistically significant" और "clinically meaningful" दो अलग चीज़ें हैं। Sample काफ़ी बड़ा हो तो मामूली-सा अंतर भी छोटा p-value दे देता है। अपनी presentation में सिर्फ़ यह नहीं कि अंतर है या नहीं — यह भी discuss कीजिए कि उस अंतर को पढ़ा कैसे जाए।

Confounding, bias, missing data। Observational studies के लिए: confounders adjust कैसे हुए? कितने प्रतिशत dropout हुआ, और उन्हें संभाला कैसे गया? Blinding थी? Funding sources और conflicts of interest भी यहीं जाँचे जाते हैं।

Applicability। आख़िरी बिंदु — और वही जिस पर सबसे ज़्यादा चर्चा होनी चाहिए। Study के participants और setting आपके अपने माहौल से कहाँ मिलते हैं, और कहाँ अलग पड़ते हैं?

जो journal club "evidence मौजूद है" से आगे बढ़कर "अपने workplace में इसे कैसे — या कि इस्तेमाल करें भी या नहीं" तक पहुँच जाए, वह ठीक वही कर रहा है जिसके लिए journal club बना है।

इन सात जाँचों में AI कहाँ तक साथ दे सकता है?

तैयारी के काम में AI माहिर है। वह PICO निकाल सकता है, design और primary outcome सजा सकता है, authors की मानी हुई limitations की सूची बना सकता है। यहाँ तक यह summarize करने का ही विस्तार है, और सचमुच काम का है।

इससे आगे AI का काम नहीं। दूरी नापने का काम वही कर सकता है जिसने असली numbers और figures अपनी आँखों से देखे हों। Baseline का असंतुलन result पलटने जितना बड़ा है? इस confidence interval को clinically कैसे पढ़ें? आपके मरीज़ों पर यह लागू होना चाहिए?

AI summary प्रवेश-द्वार है; original प्रमाण। यह सिद्धांत critical appraisal से ज़्यादा और कहीं मायने नहीं रखता।

Critical appraisal का मतलब है सात नज़रियों में घूमते हुए notes लेते जाना। ये notes chat logs और खुले काग़ज़ों में बिखर गए, तो presentation से पहले ढूँढना मुश्किल — और महीनों बाद "उस paper को मैंने आँका कैसे था?" पूछने पर तो और भी मुश्किल।

Paperfy paper की PDF, AI summary और figures को एक ही page पर रखता है, और आप चलते-चलते AI summary पर अपना appraisal overwrite कर सकते हैं।

"AI ने ऐसा summarize किया, पर original में primary outcome की परिभाषा अलग है" जैसे सुधार paper पर आपकी पढ़त का स्थायी record बन जाते हैं। Radio scripts भी इसी तरह edit होती हैं — audio दोबारा generate कीजिए और बैठक से पहले अपने निष्कर्ष कान से दोहरा लीजिए।

Critical appraisal paper पर फ़ैसला सुनाना नहीं — उसके findings को उस भाषा में अनुवाद करना है जो आपके अपने काम के लिए मायने रखती है।

सात checkpoints से दूरी नापिए, तैयारी AI को सौंपिए, और आख़िरी फ़ैसले original के numbers देखकर कीजिए। यह सध गया, तो journal club जिरह का कमरा नहीं रहता — वहाँ सचमुच चर्चा होने लगती है।

सात में से बस एक से शुरुआत कीजिए: PICO को एक वाक्य में कहिए, और फ़र्क़ खुद महसूस कीजिए।