비뚤림 위험 평가 방법.'좋은 논문인가'가 아니라 '왜곡될 여지'를 본다

흔한 오해가 '결과가 유의하고 깔끔한 연구 = 비뚤림이 낮다'는 직감입니다. 오히려 반대로, 왜곡된 방법이야말로 깔끔한 결과를 만들어 낼 수 있습니다.

그래서 비뚤림 위험 평가에서는 결과보다 먼저 방법을 봅니다. 평가의 재료는 결과의 화려함이 아니라 Methods의 기술입니다.

큰 전제 하나. 비뚤림 위험의 관점은 설계마다 다릅니다. RCT, 관찰연구, 진단정확도 연구는 각각 표준 평가 도구가 따로 있습니다.

설계별로 확립된 도구가 각각 존재합니다. 어떤 도구를 쓸지는 고찰 유형·팀·투고 저널의 방침에 따라 정해지므로 반드시 먼저 확인하세요. 아래에서는 공통되는 사고방식을 RCT의 예로 살펴봅니다.

RCT라면 확인의 정석은 이렇습니다. 배정 방법(무작위배정 순서 생성 방법이 기술돼 있는가). 배정 은폐(다음 참가자가 어느 군에 들어갈지 미리 예측할 수 없는 구조였는가).

눈가림(참가자·중재 제공자·평가자가 배정군을 몰랐는가, 특히 결과 평가자). 결측(탈락이 어느 정도였고 어떻게 처리됐는가). 그리고 선택적 보고 — 사전에 등록된 결과와 논문에 보고된 결과가 일치하는가.

이 정보들은 Methods를 중심으로 시험 등록 정보(등록번호로 추적), 프로토콜 논문, 보충 자료에 흩어져 있습니다.

'적혀 있지 않다'도 중요한 소견입니다. 배정 은폐에 대한 기재가 없다면 그 부재 자체가 평가에 반영됩니다. 기재가 없는 것을 '아마 괜찮았겠지'로 바꿔 읽지 않는 것이 평가의 기본자세입니다.

여기까지 읽으면 AI 요약으로 이 평가를 할 수 없는 이유도 보입니다. 요약은 '적혀 있는 것의 압축'인데, 평가의 열쇠인 '적혀 있지 않은 것'과 '등록 정보와의 어긋남'은 원리상 요약에 담길 수 없기 때문입니다.

그렇다고 AI가 쓸모없는 것은 아닙니다. "이 논문에서 배정 방법·눈가림·탈락에 관한 기술을 모두 뽑아 줘" 같은 준비 작업에는 유효합니다. 다만 추출에 빠짐이 없었는지까지 포함해, 판정은 원문을 읽은 사람이 내립니다.

각 영역의 평가는 판정만이 아니라 근거와 한 세트로 기록합니다. "눈가림: 우려 있음 — 결과 평가자 눈가림 기재 없음(Methods p.5)" 같은 형태입니다.

근거가 붙은 기록은 팀 내 판정 조율에도, 심사 대응에도 그대로 쓸 수 있습니다. 판정이라는 결론보다 근거 한 문장이 더 오래가는 자산입니다.

Paperfy에서는 평가 대상 PDF와 AI 요약·도표가 한 페이지에 모여 있어 '기술을 찾는다 → 판정한다 → 기록한다'의 왕복이 짧아집니다.

영역별 판정과 근거를 요약에 적어 두면 비뚤림 위험 평가의 작업 기록이 논문과 한 세트로 라이브러리에 남습니다. GRADE처럼 근거 전체의 확실성 평가로 나아가는 단계에서도 여기로 돌아와 확인할 수 있습니다.

비뚤림 위험 평가는 훈련받은 평가자 사이에서도 판정이 갈릴 수 있는 작업입니다. 한 사람의 판정을 절대시하지 말고, 애매한 항목은 팀에서 논의한다는 전제로 진행하세요.

'자신 있게 단정하는 것'보다 '근거를 제시하며 논의할 수 있는 것'이 이 과정의 목표라고 생각합니다.