논문 스크리닝에 AI를 쓰는 법.맡기는 것은 '순서', 정하는 것은 나

AI에게 논문별 관련도를 평가하게 하고 가능성이 높은 순서로 정렬한다. 이것이 1차 스크리닝에서 가장 안전하고 효과적인 AI 사용법입니다.

정렬만 한다면 판정의 주체는 바뀌지 않습니다. 바뀌는 것은 작업 순서뿐이고, 모든 논문에 사람의 눈이 닿는다는 보장은 그대로 유지됩니다.

관련도 높은 논문이 앞쪽에 모이면 초반에 '선정' 판정이 이어지면서 기준에 대한 감각이 빨리 안정됩니다.

후반부는 '제외'가 이어지는 소화전이 되지만, 판정 리듬이 잡힌 뒤라 속도가 납니다. 무작위 순서로 뒤섞인 더미를 판정할 때와는 정신적 소모가 확연히 다릅니다.

그렇다면 AI 관련도가 낮은 하위 30%는 안 보고 버려도 될까요? 원칙적으로 안 됩니다.

AI의 점수는 초록이 어떻게 쓰였는지에 좌우되며, 기준에 맞는데도 관련도가 낮게 나오는 논문은 반드시 일정 수 존재합니다. 보지 않고 제외하는 것은 체계적인 누락을 고찰에 심는 행위입니다. 포괄성을 내세우는 고찰이라면 전 건에 사람의 눈을 거치는 것이 원칙입니다.

AI를 작업 과정에 넣었다면 기록도 거기에 맞춥니다. AI의 관련도 점수 칸과 사람의 최종 판정·사유 칸을 나눠서 남기세요.

이렇게 해 두면 나중에 AI와 사람의 판정이 얼마나 엇갈렸는지도 확인할 수 있고, 방법 기술에도 'AI는 우선순위 매기기에 사용했으며 판정은 모두 사람이 수행했다'라고 정직하게 쓸 수 있습니다.

2인 독립 스크리닝과 판정 일치율 확인이 요구되는 고찰이라면 AI 사용 방식도 팀의 약속 안에서 정해야 합니다.

AI를 넣어도 되는 단계와 기술 방식은 연구팀·지도교수·투고 저널에 확인하세요. 이 분야의 합의는 아직 만들어지는 중이어서, 독단으로 진행하면 위험이 따릅니다.

스크리닝을 통과한 논문은 전문 검토로 넘어갑니다. 여기부터는 한 편씩 본문과 마주하는 단계이고, 도구도 달라집니다.

이 단계에서 힘을 내는 것이 Paperfy입니다. 대상 논문의 PDF를 넣으면 논문 한 편이 한 페이지가 되어 AI 요약·도표·원문이 나란히 놓이고, 적격성 확인 결과와 사유를 요약에 적어 남길 수 있습니다. 1차 스크리닝의 속도와 2차 확인의 꼼꼼함은 서로 다른 도구로 받치는 것이 현실적입니다.

마지막으로 정직한 이야기 하나. AI로 정렬해도 1,800건은 1,800건입니다. 극적인 마법은 없습니다.

그래도 순서 최적화와 기록 구조화만으로 소모는 확실히 줄어듭니다. 시간 싸움의 진짜 전장은 '한 건마다 머뭇거리는 몇 초'입니다. 기준을 굳히고, 망설여지면 보류로 돌리고, 리듬으로 밀고 나가세요.