인공지능(AI)으로 26년간 발표된 암 연구 논문 260만 편을 분석했더니, 25만 편 이상에서 이른바 ‘논문 공장(paper mill)’이 만든 것으로 의심되는 연구와 비슷한 문장 패턴이 발견됐다.
호주 퀸즐랜드공과대(QUT) 공중보건·사회복지대학과 호주보건서비스혁신센터(AusHSI) 소속 에이드리언 바넷 교수는 국제 공동 연구진과 함께 26년간 암 연구 260만 편을 분석해 이같이 나타났다고 국제 학술지 《영국의학저널(The BMJ)》에 최근 발표했다.
논문 공장은 저자 자리를 판매하거나 완성된 논문을 제공하는 업체를 뜻한다. 이들이 제작한 논문에는 재사용한 문장과 어색한 표현, 조작된 데이터나 이미지가 포함될 수 있다.
연구진은 이미 조작 의혹으로 철회된 논문에서 반복적으로 나타나는 미세한 문체와 구조를 찾아내기 위해 언어모델 ‘BERT’를 훈련했다. 정형화된 문서 양식에서 드러나는 텍스트의 ‘지문’을 탐지하는 방식이다.
연구진은 이 모델을 이용해 1999년부터 2024년까지 발표된 암 연구 논문 260만 편을 분석했다. 검증된 사례로 모델의 성능을 평가한 결과, 의심스러운 논문을 91%의 정확도로 탐지했다. 바넷 교수는 이 시스템을 이메일의 스팸 필터와 비슷한 ‘과학 논문용 스팸 필터’라고 설명했다.
분석 결과, 25만 편이 넘는 논문에서 논문 공장이 만든 것으로 의심되는 연구와 유사한 문체가 확인됐다. 의심 논문으로 분류된 비율은 2000년대 초 약 1%에서 빠르게 늘어 2022년에는 16%를 넘어섰다. 이런 논문은 평판과 영향력이 높은 학술지를 포함해 주요 출판사가 발행하는 수천 개 학술지에서 발견됐다.
분야별로는 분자 암 생물학과 초기 단계의 실험실 연구에서 의심 논문이 많이 나타났다. 암종별로는 위암과 간암, 골암, 폐암 연구에서 의심 논문 비율이 높았다.
과학 학술지 3곳은 현재 이 시스템을 편집 검토 과정에 시험적으로 도입하고 있다. 외부 전문가의 동료평가에 앞서 조작 가능성이 있는 원고를 선별하기 위해서다. 연구진은 논문 공장 활동이 확인된 사례가 더 쌓이면 모델의 정확도도 높아질 것으로 전망했다. 다른 과학 분야로 적용 범위를 넓힐 계획도 세웠다.
그럼에도 연구진은 AI가 표시한 논문을 곧바로 가짜나 연구 부정 논문으로 단정해서는 안 된다고 강조했다. 모델의 판단은 부정행위가 확인됐다는 의미가 아니라 추가 검토가 필요하다는 경고 신호로, 최종 판단을 내리려면 전문가가 각 논문을 직접 살펴야 한다는 것이다.
바넷 교수는 “암 연구는 임상시험과 신약 개발, 환자 치료에 영향을 준다”며 “조작된 연구가 과학적 근거에 들어가면 실제 연구자들에게 잘못된 방향을 제시하고 환자를 위한 연구의 진전을 늦출 수 있다”고 말했다.
