비판적 평가는 '흠집 찾기'가 아닙니다논문의 결과를 어디까지 믿을지 정하는 법

먼저 흔한 오해부터 풀어 두겠습니다.

비판적 평가의 목표는 논문에 합격·불합격을 매기는 것이 아닙니다. 완벽한 연구는 존재하지 않으니, 단점을 세기 시작하면 어떤 논문이든 '나쁜 논문'이 되어 버립니다. 그러면 토론이 되지 않죠.

그보다 물어야 할 것은 이것입니다. 결과의 어느 부분은 신뢰할 수 있고, 어느 부분은 보류해야 하는가. 그리고 내 환자·현장·연구에 어디까지 적용할 수 있는가.

단점 지적은 출발점이지 결론이 아닙니다. 이 지점을 잡으면 평가의 질이 달라집니다.

거리감을 정하기 위해 보는 곳은 일곱 군데입니다.

첫째는 PICO 또는 연구 질문 — 애초에 무엇을 묻는 연구인가. 둘째는 연구 디자인 — 그 질문에 맞는 디자인인가. 셋째는 대상자 선정 방식 — 선택 비뚤림은 없는지, 군 간 기저 특성은 비슷한지.

넷째는 일차 평가변수 — '효과가 있었다'의 기준이 적절한가. 다섯째는 효과의 크기와 정밀도 — 얼마나 효과가 있고, 얼마나 확실한가. 여섯째는 교란·비뚤림·결측 — 결과를 왜곡할 요인이 처리되었는가.

마지막은 내 현장에의 적용 가능성입니다. 눈앞의 환자, 시설, 연구 주제에 들어맞는가. 이 일곱 가지를 저널클럽에서 쓰기 좋은 순서로 살펴보겠습니다.

PICO. P는 Patient/Population(환자·대상)으로 연령, 성별, 질환명, 중증도, 동반질환 등 어떤 환자·집단인지를 가리킵니다. I는 Intervention/Exposure(중재·노출)로 신약 투여, 특정 재활 기법, 수술 등 평가하려는 치료·검사·케어입니다.

C는 Comparison(비교 대조)으로 기존 표준 치료, 위약, 경과 관찰 등 중재와 비교할 상대입니다. O는 Outcome(결과)으로 생존율 향상, 증상 개선, 합병증 발생률, 삶의 질 개선 등 중재로 무엇이 달라졌는지, 무엇을 얻고자 했는지를 가리킵니다.

즉 누구에게, 무엇을 하고, 무엇과 비교해, 무엇으로 측정했는가. 이 네 가지를 한 문장으로 말할 수 있을 때까지 정리합니다. 여기가 모호한 채로 나아가면 이후의 평가가 전부 흐려집니다.

연구 디자인. RCT인가, 코호트인가, 환자-대조군 연구인가. 중요한 것은 'RCT니까 훌륭하다'가 아니라 '그 질문에 그 디자인이 타당한가'라는 관점입니다. 드문 부작용을 검출하는 데 RCT는 적합하지 않을 수 있고, 윤리적으로 RCT를 설계할 수 없는 질문도 있습니다.

대상자 선정 방식. 선정·제외 기준과 Table 1을 봅니다. 제외 기준이 지나치게 엄격하면 결과의 적용 범위가 좁아지고, 군 간 기저 특성이 치우쳐 있으면 이후의 차이가 중재 덕분인지 원래의 차이인지 가려내기 어려워집니다.

일차 평가변수. 확인할 것은 두 가지입니다. 사전에 설정된 일차 평가변수에서 유의한 차이가 나왔는가, 이차 평가변수만의 '승리'를 주요 결과처럼 말하고 있지는 않은가. 그리고 그 지표가 환자와 현장에 의미 있는 지표인가.

효과의 크기와 정밀도. 'p값만 보는 단계는 이제 졸업하자'는 것이 여기서의 제안입니다. 봐야 할 것은 효과의 크기 — 위험차, 위험비, NNT 등 — 와 신뢰구간의 폭입니다.

'통계적으로 유의하다'와 '임상적으로 의미 있다'는 다른 이야기입니다. 대상자 수가 많으면 아주 작은 차이라도 p값은 작아질 수 있습니다. 발표에서 '차이가 있었는가'뿐 아니라 '그 차이를 어떻게 받아들일 것인가'까지 말할 수 있으면 강합니다.

교란·비뚤림·결측. 관찰연구라면 교란 요인이 어떻게 보정되었는가. 탈락률은 몇 %이고 어떻게 처리되었는가. 눈가림은 이루어졌는가. 연구비 출처와 이해상충 기재도 여기서 확인합니다.

적용 가능성. 마지막으로, 저널클럽에서 가장 뜨거워져야 할 논점입니다. 연구의 대상자와 내 눈앞의 환자·현장은 어디가 같고 어디가 다른가.

'근거가 있다'로 끝내지 않고 '우리 현장에서는 어떻게 쓸 것인가, 혹은 쓰지 않을 것인가'까지 논의할 수 있다면, 그 저널클럽은 꽤 좋은 모임이 됩니다.

이 일곱 가지 체크를 AI는 어디까지 도와줄 수 있을까요?

AI가 잘하는 것은 밑작업입니다. 논문에서 PICO를 추출하고, 연구 디자인과 일차 평가변수를 정리하고, 저자가 인정한 한계를 나열한다. 여기까지는 요약의 연장선으로 꽤 도움이 됩니다.

하지만 그다음은 AI의 일이 아닙니다. 거리감의 판단은 원문의 숫자와 도표를 제 눈으로 본 사람만이 할 수 있습니다. 기저 특성의 치우침이 결과를 뒤집을 정도인가, 신뢰구간의 폭을 임상적으로 어떻게 받아들일 것인가, 내 환자에게 적용할 수 있는가.

AI 요약은 입구, 원문은 근거. 비판적 평가야말로 이 원칙이 가장 크게 작동하는 장면입니다.

비판적 평가는 일곱 가지 관점을 오가며 메모를 남기는 작업입니다. 이 메모가 채팅 기록과 흩어진 종이에 분산되면, 발표 전 재확인과 나중의 '그 논문 어떻게 평가했더라'에서 고생하게 됩니다.

Paperfy에서는 논문 PDF, AI 요약, 도표가 같은 페이지에 정리되어 있고, AI 요약을 내 평가 결과로 덮어써 편집할 수 있습니다.

'AI는 이렇게 요약했지만, 일차 평가변수의 정의를 원문에서 보니 다르다'라고 고친 내용이 그대로 그 논문의 평가 기록으로 남습니다. 라디오 대본도 같은 방식으로 편집해 오디오를 다시 만들 수 있으니, 평가의 결론을 귀로 복습한 뒤 모임에 들어갈 수 있습니다.

비판적 평가는 논문을 심판하는 작업이 아닙니다. 논문의 결과를 내 현장의 언어로 번역하는 작업입니다.

일곱 가지 체크포인트로 거리감을 재고, AI에게는 밑작업만 맡기고, 판단은 원문의 숫자를 보고 스스로 내린다. 이 방식이 몸에 배면 저널클럽은 '당하는 자리'에서 '토론하는 자리'로 바뀌어 갑니다.

우선 다음 논문 한 편, PICO를 한 문장으로 정리하는 것부터 시작해 보세요.