AI가 만드는 그럴싸한 환각, '할루시네이션'
생성형 AI와 관련해 자주 언급되는 문제 중 하나가 '할루시네이션(환각 현상)'이다. AI가 사실이 아닌 내용을 사실처럼 그럴듯하게 만들어 내는 것을 말한다. AI가 존재하지 않는 논문을 인용하고, 없는 법령 조항을 제시하며, 실재하지 않는 전문가의 발언을 만들어 내는 것이다. 자신감 있고 그럴듯한 내용에 주의 깊게 살피지 않으면 쉽게 속아 넘어갈 수 있다.
인공지능디지털연구소 최재향 대표는 "AI가 만든 허위 정보는 문법적으로 완벽하고 논리 구조가 매끄러워 비전문가가 읽었을 때 거짓이라고 의심하기 어렵다"며 "사실과 거짓을 교묘히 섞으며, 존재하지 않는 논문명, 저자, 학술지까지 조합해 만들어내는 정교한 위조 형태를 지닌다"고 설명했다.
AI 주요 활용 분야인 정보 검색…'디지털 리터러시' 중요성 커져
한국언론진흥재단이 2025년 발표한 생성형 AI 이용 조사에 따르면 응답자의 57.2%가 생성형 AI를 사용한 경험이 있었고, 주요 활용 분야는 정보 검색과 글쓰기였다. 생성형 AI가 정보 검색과 콘텐츠 작성 수단으로 빠르게 자리 잡고 있는 만큼, 생성된 정보의 출처와 정확성을 확인하는 '디지털 리터러시'의 중요성이 커지고 있는 것이다.
특히 생성형 AI로 찾은 건강정보는 답변이 얼마나 전문적으로 보이는지보다 정보의 출처가 실제로 존재하는지, 의학적 근거가 있는지, 다른 신뢰할 만한 자료에서도 같은 내용을 확인할 수 있는지를 살펴보는 것이 중요하다.
건강 분야에서는 존재하지 않는 연구 논문이나 잘못된 약물 복용법, 과장된 치료 효과 등을 제시할 수 있으므로 각별한 주의가 필요하다. 만약 AI가 국제학술지의 논문이나 연구 결과를 근거로 제시하더라도 이를 그대로 믿어서는 안 되며, 논문 제목과 저자, 학술지명, 발표 연도 등을 확인하고, 실제 논문이 검색되는지 확인해야 한다.
또 논문이 존재하더라도 AI가 연구 결과를 잘못 해석하거나 일부 내용만 발췌했을 가능성도 있다. 예를 들어 동물실험이나 세포실험 결과를 사람에게도 동일하게 적용할 수 있는 것처럼 설명하거나, 특정 성분의 효과를 입증한 소규모 연구를 바탕으로 이미 질병 치료 효과가 입증된 것처럼 소개하는 경우도 있다.
AI가 제시한 출처 꼼꼼하게 확인하고 단정적인 표현 의심해야
따라서 AI에게 건강·의료 관련 답변을 받았다면 질병관리청, 국가건강정보포털, 식품의약품안전처, 국민건강보험공단 등의 자료와 대조하며 사실 여부를 알아봐야 한다. AI가 제시한 출처 링크를 직접 열어보는 것도 필수다. 실제로 링크가 열리는지, 논문의 제목과 저자가 일치하는지, 해당 연구가 AI의 주장을 뒷받침하는지 확인해야 한다.
효과를 지나치게 단정하는 표현이 포함돼 있는지도 살펴봐야 한다. 특정 식품을 먹으면 암이 사라진다거나, 영양제만으로 혈당을 정상화할 수 있다거나, 한 가지 방법으로 몸속 염증을 완전히 제거할 수 있다는 등의 주장은 신중하게 검토해야 한다.
AI가 특정 식품이나 영양제의 장점만 강조하면서 부작용과 금기 사항, 다른 약물과의 상호작용, 효과가 충분히 입증되지 않은 부분을 설명하지 않는다면 불완전한 정보일 가능성이 크다.
AI 답변만 믿고 처방약 용량 바꾸거나 검증되지 않은 치료법 시도하면 위험
질문하는 방식도 건강정보 검증에 도움이 될 수 있다. 단순히 특정 영양제가 건강에 좋은지 묻기보다 사람을 대상으로 한 임상시험에서 효과가 확인됐는지, 부작용이 보고된 연구는 없는지 등 구체적으로 질문하는 것이 좋다.
특히 실제로 증상이나 약물 복용과 관련된 정보는 더욱 신중하게 받아들여야 한다. 생성형 AI는 사용자를 직접 진찰하거나 검사를 할 수 없으므로 AI의 답변만 믿고 처방약의 용량을 바꾸거나 검증되지 않은 치료법을 시도하면 위험해질 수 있다.
최 대표는 "AI는 어디까지나 진료 전 증상을 정리하고 질문할 거리를 준비하는 보조 수단일 뿐, 진단이나 투약 변경의 최종 근거가 될 수 없음을 명확히 인식해야 한다"고 강조했다.
※이 콘텐츠는 한국언론진흥재단의 협찬을 받아 제작했습니다.
