메타분석 하는 법.'모아서 평균'이 아니라 통합까지의 길

먼저 위치 관계부터. 메타분석은 단독으로 수행하는 작업이 아니라, 보통은 체계적 문헌고찰 — 질문·검색·선정·평가를 사전에 설계하는 고찰 — 의 틀 안에서 마지막 단계에 수행하는 통계적 통합을 가리킵니다.

즉 메타분석의 질은 통합 이전에 거의 결정됩니다. 어떤 연구가 어떤 기준으로 모였는지가 무너지면, 아무리 정밀하게 계산해도 결과는 신뢰할 수 없습니다. (둘의 관계는 체계적 문헌고찰과 메타분석의 차이를 다룬 글에 정리해 두었습니다.)

메타분석의 질문은 PICO(대상·중재·비교·결과) 형태의 한 문장으로 좁힙니다. "이 치료는 이 환자군에서 이 결과를 개선하는가?"

질문이 넓으면 성격이 다른 연구가 섞여, 나중에 어떤 단계에서도 통합을 정당화할 수 없게 됩니다. 통합이 가능할지는 사실 이 첫 한 문장에서 상당 부분 결정됩니다.

검색식을 설계하고, 여러 데이터베이스를 기록을 남기며 검색하고, 미리 정한 기준으로 스크리닝합니다. 여기는 체계적 문헌고찰의 표준 과정 그대로이므로, 자세한 내용은 고찰 전체 설계와 스크리닝을 다룬 글에 맡깁니다.

이 단계에서 AI 요약은 초벌 읽기의 보조로 쓸 수 있지만, 선정·제외 판단과 제외 사유의 기록은 사람이 원문을 확인하고 남깁니다.

선정된 연구에서 통합에 필요한 수치 — 대상자 수, 군별 결과, 효과크기의 재료 — 를 같은 형식으로 추출합니다.

메타분석에서는 결과의 정의·측정 시점·분석 집단이 연구 간에 대응하는지 확인하는 것이 추출의 중심 작업입니다. 여기가 느슨하면 '서로 다른 것을 평균 내는' 사고가 일어납니다. 실무는 메타분석의 데이터 추출을 다룬 글에서 자세히 씁니다.

수치가 갖춰졌다고 바로 통합하지 말고, '이 연구들을 합쳐도 되는가'부터 생각합니다. 대상·중재·결과가 충분히 가까운가? 설계가 뒤섞여 있지는 않은가?

'계산할 수 있다'와 '통합해도 된다'는 별개의 문제입니다. 사과와 귤을 평균 내도 의미 있는 과일이 되지 않습니다. 통합 여부와 방법(고정효과·임의효과 모형의 선택 등)에는 통계적 판단이 들어가므로 통계 전문가·지도교수와의 상의가 전제입니다.

통합 결과에는 연구 간 편차 — 이질성 — 의 평가가 따라붙습니다. 편차가 크다면 '왜 다른가'를 생각하는 일이 통합값 하나보다 더 중요한 발견이 되기도 합니다.

이질성 지표의 해석과 하위군 분석·민감도 분석의 설계 역시 독단이 아니라 팀과 함께. 메타분석의 결론은 '숫자 하나'가 아니라 '숫자 + 연구들이 얼마나 비슷했는가 + 왜 달랐는가'의 세트입니다.

마지막으로 통합값을 질문의 언어로 되돌립니다. 효과의 크기는 임상적으로 의미가 있는가? 포함된 연구들의 비뚤림 위험은 결론을 얼마나 흔드는가?

여기는 AI에 맡길 수 없는 영역입니다. 원문을 읽고 한계를 아는 사람만이 정직한 해석을 쓸 수 있습니다.

이 긴 여정에서 Paperfy는 '읽고, 확인하고, 되돌아가는' 발판으로 쓸 수 있습니다. 선정 논문마다 한 페이지에 AI 요약·도표·원문 PDF가 나란히 놓이고, 요약은 직접 편집할 수 있어 추출 확인 메모나 통합 가능성에 대한 우려를 적어 남길 수 있습니다. 통계 소프트웨어(R, RevMan 등)나 서지 관리 도구의 대체가 아니라, 그 이전의 읽기 과정을 받치는 자리입니다.