
인공지능(AI) 기반 질병 진단기기의 정확도가 사람들이 기대하는 수준에 미치지 못할 수 있다는 조사 결과가 나왔다.
삼성서울병원 연구팀은 AI 기반 질병 진단기기에 대한 정확도 기대 수준을 조사한 결과 이같이 나타났다고 18일 밝혔다. 조사에는 전국 성인 1222명과 삼성서울병원의 장기 폐암 생존자 106명 등 총 1328명이 참여했다.
연구팀은 참여자들에게 ‘질병이 있는 100명 중 몇 명까지 놓치는 것을 허용할 수 있는지’와 ‘질병이 없는 100명 중 몇 명까지 양성으로 잘못 판정하는 것을 허용할 수 있는지’를 물었다. 이를 통해 질병을 정확히 찾아내는 비율인 ‘민감도’와 질병이 없는 사람을 올바르게 판별하는 비율인 ‘특이도’에 대한 기대 수준을 조사했다.
민감도가 높을수록 실제 질병이 있는데도 놓치는 환자가 줄어든다. 반면 특이도가 높으면 질병이 없는 사람을 환자로 잘못 판정하는 경우가 줄어든다.
조사 결과를 보면 전체 응답자 1328명이 요구한 최소 민감도와 특이도는 평균 90%였다. 두 지표에서 각각 100%의 정확도를 요구한 응답자는 34%, 33%였다.
특히 폐암 장기 생존자 106명의 기대 수준은 더 높았다. 이들이 요구한 최소 민감도는 평균 96%, 특이도는 97%로 진단 오류에 더욱 엄격한 기준을 적용하는 것으로 나타났다.
연구팀에 따르면 이는 미국 식품의약국(FDA)이 2018년 승인한 당뇨망막병증 진단 AI 기기 ‘IDx-DR’의 성능보다 높은 수준이다. 허가 당시 이 기기의 민감도는 87.4%, 특이도는 89.5%로 두 지표 모두 90% 미만이었지만, 당시 질병 진단용 AI 기기 중에서는 비교적 높은 성능을 보였다.
AI 기술이 발전하면서 최근 임상시험에서는 민감도와 특이도가 모두 100%에 도달한 의료기기도 등장하고 있다. 그러나 미국 스탠퍼드대 연구팀이 지난해 11월 발표한 추정치에 따르면 FDA 승인 의료기기의 35~45%는 두 지표 중 하나가 90%에 미치지 못했다.
실제 진료 현장에서는 환자군이나 촬영 장비의 차이 등으로 진단 정확도가 허가 당시보다 15~30%가량 낮아지는 사례도 보고됐다. 이를 고려하면 일부 AI 진단기기의 실제 성능은 환자들이 기대하는 수준과 차이가 있을 수 있다.
강단비 삼성서울병원 임상역학연구센터 교수는 “환자들은 AI가 실제 의사보다 실수를 덜 해야 한다고 생각하는 경향이 있다”며 “기기가 허가 기준은 충족했더라도 사용자가 실제 기대하는 수준과는 차이가 날 수 있어, 환자들에게 진단 오류 가능성과 그 의미를 미리 명확히 전달해야 한다”고 말했다.
김홍관 삼성서울병원 폐식도외과 교수는 “AI가 임상 현장에 성공적으로 안착하기 위해선 단순히 수치를 제시하는 것을 넘어, 실제 오진 확률과 결과의 의미를 사전에 투명하고 정확하게 소통하는 과정을 반드시 병행해야 한다”고 강조했다.
과학기술정보통신부와 한국연구재단의 바이오·의료기술개발사업 지원을 받은 이번 연구 결과는 국제학술지 《npj 디지털 의학(npj Digital Medicine)》 최근호에 게재됐다.





