인공지능(AI)이 전문의 시험용 학습자료를 만들고, AI가 다시 오류를 검사한다. 여기까지 통과한 자료라면 전문의 시험을 준비하는 전공의가 그대로 믿고 공부해도 될까.
영상의학 전문의 시험용 자료를 대상으로 확인한 결과, 대답은 ‘아직은 아니다’에 가까웠다. AI의 자동 검사를 통과한 자료에서도 의사의 임상 판단을 흐릴 수 있는 중대한 오류가 약 1% 발견됐기 때문이다.
서울아산병원은 생성형 AI로 영상의학 교육자료를 대량 제작하고 오류를 자동으로 걸러내는 체계를 개발한 뒤, 실제 의사들에게 다시 검증하도록 한 연구 결과를 24일 밝혔다.
연구는 서울아산병원 융합의학과 김남국 교수·남유진 연구원과 삼성창원병원 영상의학과 홍파 교수가 진행했다. 이 논문은 국제학술지 《npj 디지털 의학(npj Digital Medicine)》 최근호에 실렸다.
전문의 시험범위로 플래시카드 6000개 만들어
연구진은 대한영상의학회의 전문의 교육과정을 바탕으로 AI가 시험에 필요한 핵심 내용을 추려 학습자료를 만들도록 했다.
먼저 질문과 답변으로 구성된 플래시카드를 제작했다. 플래시카드는 한쪽에 질문, 다른 쪽에 답을 담아 핵심 내용을 반복해서 익히는 학습자료다.
이어 내용을 다듬고 인포그래픽을 만들었다. AI가 다시 내용과 이미지의 품질을 검사해 기준을 충족하지 못하면 앞 단계로 돌려보내 새로 만들도록 했다.
이 과정을 거쳐 영상의학 11개 세부 분야에서 플래시카드 6000개와 인포그래픽 833개가 만들어졌다.
연구진이 확인하려 한 것은 AI가 얼마나 많은 자료를 만들어낼 수 있느냐에 그치지 않았다. AI가 스스로 검사해 ‘문제없다’고 판정한 자료를 실제 의학교육에 어디까지 믿고 쓸 수 있느냐가 더 중요한 질문이었다.
AI가 ‘합격’ 줬는데…의사가 보니 중대 오류 1%
전체 플래시카드 가운데 1284개는 사람의 검증을 받았다. 영상의학 전공의 9명과 전문의 11명 등 의사 20명이 사실관계가 맞는지, 전문의 교육자료로 적절한지, 반드시 고쳐야 할 오류가 있는지를 직접 살폈다.
연구에서 말하는 ‘중대 오류(blocking error)’는 단순한 오탈자나 어색한 디자인을 뜻하지 않는다. 그대로 배웠을 경우 의사의 임상 판단을 잘못된 방향으로 이끌 수 있어 교육에 쓰기 전에 반드시 고쳐야 하는 사실 오류다. 해부학적 위치를 틀리게 표시하거나, 영상에서 보이는 특징을 엉뚱한 질환과 연결하고, 감별해야 할 질환을 잘못 제시하는 경우 등이 여기에 해당한다. 실제로 AI가 문제가 없다고 판정한 자료 가운데 신장에 생긴 덩어리와 함께 나타난 정맥 혈전을 제대로 짚지 못한 사례도 있었다.
AI 자동 검사를 통과한 플래시카드 980개에 대해 전문가가 내린 평가 1100건을 분석하자 11건에서 이런 중대 오류가 발견됐다. 평가 건수를 기준으로 하면 100건당 1건꼴이다.
AI가 “큰 문제가 없다”고 판단했지만, 의사가 다시 들여다보니 그대로 교육에 쓰기 어려운 오류가 남아 있었던 셈이다.
연구진은 연구를 시작하기 전에 AI가 놓치는 중대 오류를 0.3% 미만으로 억제하겠다는 기준을 정했다. 1000건을 평가했을 때 AI가 문제없다고 통과시킨 자료에서 사람이 중대 오류를 찾아내는 경우가 3건 미만이어야 한다는 뜻이다.
통계에서는 실제 문제가 있는데 검사에서는 문제가 없다고 판단해 놓치는 것을 ‘위음성(false negative)’이라고 한다. 이번 연구에서는 AI가 통과시킨 자료에서 전문가가 뒤늦게 중대 오류를 찾아낸 경우가 이에 해당한다.
다만 0.3%는 정부나 학회가 정한 의료교육 AI의 공식 안전기준이 아니다. 아직 이 분야에는 공인된 오류 허용기준이 없어 연구진이 약 조제 오류나 질환이 있는데도 검사에서 놓치는 사례 등 환자 안전과 관련된 다른 의료분야 자료를 참고해 연구용 기준으로 정했다.
따라서 이번에 나온 1%를 ‘생성형 AI가 만든 의료자료는 100개 중 1개가 틀린다’고 확대해석할 수 없다. 특정 AI 체계로 만든 영상의학 전문의 교육자료를 이번 연구 방식으로 평가한 결과다.
AI ‘환각’만의 문제 아냐…그럴듯한 오답 왜 못 걸렀나
그렇다면 AI는 왜 자신이 만든 자료를 다시 검사하고도 오류를 놓쳤을까.
흔히 생성형 AI가 사실과 다른 내용을 그럴듯하게 만들어내는 현상을 ‘환각(hallucination)’이라고 부른다. 하지만 이번 연구에서 남은 오류를 모두 AI 환각 탓으로 돌리기는 어렵다.
연구진은 자동 검사의 정확도를 높이려고 AI에 주는 지시문을 여러 차례 다듬었다. 검증 단계에서는 외부의 선별된 근거자료를 찾아 참고하도록 했다. 그런데도 사람이 찾아낸 중대 오류 39건 가운데 AI가 잡아낸 것은 28건이었다. 나머지 11건은 그대로 통과했다.
주요 원인으로 AI끼리 검증하는 방식이 꼽힌다. 이번 체계에서는 한 AI가 만든 결과를 다음 단계의 AI가 받아 검사하는 식으로 작업이 차례대로 이어졌다. 여러 AI가 서로 반론을 제기하거나 앞선 판단을 다시 따져보는 구조는 아니었다. 앞 단계에서 그럴듯한 오답이 만들어지면 뒤 단계의 AI도 이를 의심하지 않은 채 받아들일 수 있는 셈이다.
더 눈에 띄는 것은 AI의 ‘확신’이었다. 전문가가 찾아낸 11건의 누락 오류에 대해 자동검사 AI는 정확성과 교육 품질 모두 최고점을 줬다. 합격선을 가까스로 넘긴 자료가 아니라 AI가 문제가 없다고 높게 평가한 자료에서 오류가 나온 것이다.
영상의학이라는 분야의 특성도 영향을 미친 것으로 보인다. AI가 놓친 11건 가운데 약 4분의 3은 이미지와 관련된 오류였다.
글의 설명이 맞더라도 화살표가 엉뚱한 해부학적 구조를 가리키거나 장기와 혈관의 위치 관계가 틀리면 영상의학 교육자료로는 문제가 된다. 현재 AI는 얼핏 그럴듯한 의료 이미지를 만들 수 있지만, 세밀한 해부학적 관계까지 늘 정확하게 구현하는 단계에는 이르지 못했다.
결국 이번 연구에서 확인된 오류는 한 가지 원인으로 설명하기 어렵다. 잘못된 내용을 만들어내는 AI 환각뿐 아니라 그럴듯한 오답을 다른 AI가 다시 믿는 문제, 앞선 판단을 되짚기 어려운 순차적 검증 방식, 의료영상의 세밀한 구조를 정확히 표현하는 데 따르는 한계가 함께 작용했을 가능성이 있다.
사람 눈에는 물론 AI 검사에도 그럴듯해 보이는 오답이 오히려 마지막까지 살아남기 쉬웠던 셈이다.
AI는 ‘두 번째 눈’…그래도 마지막 확인은 사람이
흥미로운 결과도 나타났다. 의료진은 먼저 AI의 의견을 보지 않고 자료를 평가했다. 이후 AI가 어떤 부분을 문제로 지적했는지 확인한 뒤 같은 자료를 다시 살폈다.
그러자 중대 오류를 지적한 평가 건수는 39건에서 54건으로 늘었다. 자료의 정확성과 교육적 품질에 매긴 점수도 두 번째 평가에서 더 엄격해지는 경향을 보였다.
AI가 전문가를 대신하기보다 사람이 놓쳤을지 모르는 부분을 다시 확인하게 만드는 ‘두 번째 눈’으로 쓰일 가능성을 보여주는 대목이다.
다만 AI의 의견 덕분에 오류 발견 능력이 실제로 좋아졌다고 단정할 수는 없다. 같은 자료를 두 번 살피면서 처음 놓친 부분을 발견했을 수도 있다. AI가 문제를 지적했다는 사실 자체가 평가자를 더 까다롭게 만들었을 가능성도 있다.
전문가의 최종 검수가 필요하다고 해서 모든 자료를 사람이 처음부터 끝까지 확인하는 일도 간단하지 않다.
이번 연구에서 의사가 플래시카드 한 건을 검토하는 데 걸린 시간은 중앙값 53초였다. 이 속도로 6000개를 모두 살피려면 약 88시간이 필요하다. 하루 8시간씩 검토해도 11일가량 걸린다.
AI의 자동 처리도 완벽하지 않았다. 생성된 플래시카드 가운데 일부는 처리 과정에 문제가 생겨 자동 품질검사 결과 자체가 남지 않았다.
AI는 짧은 시간에 방대한 교육자료를 만드는 데 강점이 있다. 하지만 모든 과정을 맡기면 오류가 남을 수 있다. 반대로 사람이 자료를 일일이 만들고 검사하면 AI를 쓰는 효율성이 떨어진다.
결국 관건은 AI에 맡길 부분과 사람이 반드시 확인할 부분을 어디에서 나누느냐다.
연구진이 제시한 방향은 ‘휴먼 인 더 루프(Human-in-the-loop)’다. AI가 일을 처리하는 과정에 전문가가 참여해 중요한 단계와 최종 결과를 확인하는 방식이다. AI가 자료 제작과 1차 검사를 맡고, 실제 교육에 사용하기 전에는 해당 분야 전문가가 마지막으로 오류를 걸러내는 식이다.
김남국 교수는 “생성형 AI를 실제 교육 현장에서 안전하게 활용하기 위해서는 전문가의 검증이 반드시 필요하다는 점을 대규모 연구를 통해 입증했다”며 “자동 검증이 놓치는 오류를 체계적으로 관리하고 안전 기준을 마련하는 연구를 지속할 필요가 있다”고 말했다.
남유진 연구원은 “생성형 AI가 의료영상 교육자료를 대량으로 제작할 수 있다는 가능성을 확인한 동시에, 만들어진 학습자료를 그대로 사용하기보다 어느 단계에서 어떤 오류가 생기는지 분석하고 걸러내는 과정이 중요하다는 것을 보여준다”고 말했다.
