연구팀은 롱아일랜드 대학교 약학대학의 약물 정보 서비스에 올라온 실제 질문들을 입력했다. 이 결과 챗GPT는 무려 29개의 질문에 불완전하거나 부정확한 답변을 하거나, 아예 답변하지 않기도 했다. 이번 연구는 최근 미국 건강 시스템 약사학회 연례 회의( American Society for Health-Systems Pharmacists)에서 발표됐다.
롱아일랜드 연구팀은 일반 환자뿐만 아니라 학생, 약사가 건강과 약물 복용과 관련해 챗GPT를 사용할 경우 부정확한 결과를 얻을 수 있다는 우려에서 연구를 시작했다.
챗GPT는 실제로 위험한 답변을 내놓는 경우도 있었다. 예를 들어, 코로나19 항바이러스제인 팍스로비드와 혈압 강하제인 베라파밀을 함께 복용하는 것이 괜찮은 지에 대해 질문했을 때 챗GPT는 문제가 없다고 답했다. 그러나 실제로 두 약을 함께 복용할 경우 급격하게 혈압이 떨어져 어지러움증 등을 느낄 수 있다.
롱아일랜드 대학교의 약학 실무 부교수이자 연구 저자 중 한 명인 사라 그로스먼(Sara Grossman)은 “두 가지 약을 모두 먹는 환자의 경우 의사는 베라파밀의 복용량을 줄이거나 앉은 자세에서 천천히 일어나도록 주의를 주는 등 환자별 계획을 세우는 경우가 많다”면서 “챗GPT의 지침은 환자를 위험에 빠뜨릴 수도 있다”고 지적했다.
주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 이른바 할루시네이션 현상도 심각했다. 연구진이 챗GPT에 각 응답을 뒷받침할 수 있는 과학적 근거 자료를 요청했을 때, 챗GPT는 39개 중 8개에서만 자료를 제출했다. 게다가 제출한 자료도 조작된 경우가 많았다. 언뜻 보면 합법적 과학 저널에 등재된 것처럼 보였지만 실제 논문은 존재하지 않는 식이다.
그로스먼 박사는 “챗GPT의 답변에는 오류와 ‘문제’가 있어 환자 치료에 중대한 영향을 미칠 수 있다”면서 “답변이 매우 전문적이고 정교하게 표현되어 있어 사용자가 신뢰할 수도 있을 것 같다”고 말했다.
이어 얼마나 많은 이들이 약물 관련 질문을 해결하기 위해 챗GPT를 사용하는지를 알 수는 없지만, 검색 엔진과 비슷하게 즉각적 답변을 얻기 위해 챗봇을 이요할 수도 있을 것이라고 분석했다.
한편, 챗GPT를 개발한 OpenAI의 대변인은 CNN에 회사는 사용자가 챗GPT가 내놓는 전문적인 의학적 조언이나 치료 관련 응답에 의존하지 말 것을 권고하고 있다고 답변했다. 대변인은 챗GPT 사용 정책에 따르면 “심각한 의학적 상태에 대한 진단 또는 치료 서비스”를 위해서 해당 소프트웨어를 사용해서는 안 된다는 것이 명시돼 있다고 짚었다.