하지만 장밋빛 미래만 있는 것은 아니다. 인공지능 기술의 빠른 적용이 의료 현장에서 위험을 초래할 수 있다는 우려도 적지 않다.
《미국의학협회저널 종양학(JAMA Oncology)》에 발표된 연구에 따르면 챗GPT가 암 치료를 위해 제시한 의학적 조언에서 심각한 결함이 나타났다.
보스턴 아동 병원 등이 공동으로 진행한 연구에서 연구진은 폐암, 전립선암, 유방암과 관련된 104가지 질문지를 만들어 챗GPT에게 치료법에 대한 추천을 요청했다. 챗GPT가 제시한 답은 종양 전문의 4명이 5가지 기준에 따라 검토해 점수를 매겼다. 챗GPT가 환자에게 한 조언의 질을 측정하기 위해 미국 종합 암 네트워크(NCCN)의 암 치료 가이드라인과 비교했다.
검토 결과 챗GPT가 NCCN과 일치하지 않는 치료 권장 사항을 하나 이상 제시한 비율은 무려 34.3%나 됐다. 또 챗GPT가 제시한 응답의 13% 정도가 ‘환각’을 나타냈다. 이는 사실처럼 들릴 수 있지만 완전히 부정확하거나 질문과 관련이 없다는 것을 의미한다. 응급의학 전문의이자 AI 전문가인 하비 카스트로 박사는 “잘못된 정보가 환자의 해로운 결정으로 이어질 수 있기 때문에 중요한 우려 사항”이라고 지적했다.
연구 공동 저자이자 하버드 의과대학 방사선 종양학 조교수인 다니엘 비터맨은 “챗GPT의 응답은 사람과 매우 흡사하게 들릴 수 있으며 꽤 설득력이 있다”며 “문제는 임상적 의사 결정에 있어서 환자마다 고유한 상황에 따라 미묘한 차이가 있다는 것”이라고 말했다. 비터맨은 “정답은 매우 미묘한 차이가 있을 수 있는 만큼 챗GPT나 다른 대규모 언어 모델이 아직은 제공할 수 있는 것은 아니다”라고 강조했다.