
한국 연구팀이 수술 장면의 맥락을 인식하는 인공지능(AI) 기술을 개발했다. 단순한 도구를 인식하는 데 그쳤던 기존 AI 카메라보다 발전한 형태로, 상용화되면 로봇에 시각을 탑재할 수 있다는 기대감이 나온다.
삼성서울병원은 지능형의료로봇연구센터·이식외과 연구팀이 AI 신규모델인 ‘커콘믹스플러스(CurConMix+)’를 개발했다고 17일 밝혔다. 이 모델의 특징은 공간적 정보와 시간적 맥락을 함께 활용해 세부 수술 동작부터 전체 수술 단계를 계층적으로 이해한다는 것이다.
카메라로 수술 장면을 인식하는 AI는 기존에도 있었다. 다만 이들 모델은 개별 장면에서 수술 도구나 의료진의 특정 동작을 인식하는 데 집중했다. 반면 커콘믹스플러스는 카메라로 촬영한 수술방 영상 속 공간적 특징과 시간에 따른 수술 흐름을 실시간 통합 분석한다. 마치 사람이 수술 상황을 인식하는 방식과 유사하다는 것이 연구팀의 설명이다.
실시간으로 수술방 내부 상황 인식하는 AI
로봇이 실시간으로 수술방 내부의 상황을 인지하는 것은 로봇 수술 보조 시스템을 구축하는 필수 전제로 꼽힌다. 로봇이 수술실 안으로 들어와 정해진 역할을 수행하려면 ‘지금 수술이 어떤 단계이고 무슨 상황이 벌어지고 있는지’를 알아야 하기 때문이다.
문제는 사람에게는 쉬운 ‘실시간 인지’가 AI에게는 매우 어렵다는 점이다. 맥락과 상식을 바탕으로 정보를 처리하는 사람과 달리 AI는 모든 데이터를 수치로 변환해 연산해야 하기 때문에 돌발 변수나 예외 상황에 대응하는 것이 까다롭기 때문이다.
연구팀은 커콘믹스플러스가 수술 동작은 물론 각 수술 단계와 세부 과업까지 전반적인 수술 과정을 이해하도록 설계해 이 문제를 해결했다. AI가 수술 과정의 전체 맥락을 파악한 후 현재 어떤 단계가 진행 중인지 능동적으로 판단하도록 한 것이다.
이런 설계 의도는 실제 평가 결과에 반영됐다. 전 세계 연구자가 같은 기준으로 겨루는 공개 수술영상 평가기준을 토대로 시험한 결과 커콘믹스플러스는 평균 정밀도 42.2%를 기록했다. 기존 최고 성능 모델의 기록(41.5%)을 앞지른 것이다.
평균 정밀도는 자율주행이나 CCTV 분석, 의료 영상 판독 분야에서 모델 성능을 평가하는 핵심 지표다. 평균 정밀도가 높다는 것은 AI 모델이 특정 사물을 정확하게 찾아낼 가능성은 높고 잘못 찾아낼 가능성은 적다는 뜻이다. 특히 간 절제술 영상만 놓고 봤을 때 커콘믹스플러스의 평균 정밀도는 58.4%로, 기존 기록보다 10%p 이상 높은 수치를 기록했다.
수술 전체 과정에서 드물게 등장하는 동작을 인식하는 정확도도 뛰어났다. 담낭을 떼어내기 전 담즙이 새는 것을 막는 내용을 인식한 평균 정밀도는 담낭 수술에서 29%, 간 수술 영상에서 56%로 집계됐다. 각각 기존 기록보다 6%p, 13%p 높은 수치다.
휴머노이드 수술 로봇에 탑재된다면?
정규환 삼성서울병원 지능형의료로봇연구센터장은 이번 개발을 통해 수술 로봇이 의료진과 협력하기 위한 핵심 기반 기술이 마련됐다고 평가했다.
이미 이 병원은 지난 9월, 세계 최초로 휴머노이드 수술보조로봇이 의료진과 협업해 담낭절술을 진행하는 장면을 선보인 바 있다. 당시에도 로봇은 집도의의 지시를 정확하게 이해하고 필요한 도구를 건네는 모습을 보였다. 해당 로봇이 정확한 시신경을 탑재하면 스스로 상황을 보고 판단하는 AI 로봇이 수술을 돕게 되는 것이다.

정 센터장은 “로봇과 의료진이 자연스럽게 협력하려면 단순히 수술 도구나 장기를 식별하는 것을 넘어, 현재 어떤 수술이 진행되고 있고 의료진이 무엇을 하고 있는지 이해할 수 있어야 한다”며 “이번 연구는 개별 수술 동작부터 전체 수술 흐름까지 통합 인식하는 AI 기술을 제시했다는 데 의미가 있다. 향후 의료진을 능동적으로 보조하는 지능형 수술로봇 개발로 이어질 것으로 기대한다”고 말했다.
연구팀은 2020년 2월~2022년 3월 삼성서울병원에서 이뤄진 복강경 간 절제술 48건의 영상을 토대로 새로운 학습 데이터세트도 구축했다. 영상 분량은 약 52시간에 이르며, 간담췌외과 전문의 2명과 경력 10년 이상의 전문 인력 3명이 각 장면을 검증해 5개 수술 단계·18개 세부 과업·195개 동작을 세분화했다.
이는 그간 담낭 절제술에 편중된 수술 AI 연구를 간 수술까지 확장한 작업이다. 데이터세트와 코드는 다른 연구자들도 함께 검증할 수 있도록 오픈소스 플랫폼에 공개했다.
이렇게 장면별 세분화된 내용을 학습한 커콘믹스플러스는 담낭 절제술 수술 단계 예측에서 93% 이상의 정확도를 기록했다. 오남기 삼성서울병원 이식외과 교수는 “수술 전체 흐름을 읽어낼 수 있는 AI가 의사 손끝 동작까지 배우게 된 셈”이라며 “수술 과정 자동 기록과 수술 복기·전공의 교육 등을 거치면 궁극적으로는 수술 중 상황을 실시간 인지하는 휴머노이드 수술 보조 로봇에도 활용하게 될 것”이라고 내다봤다.
이번 개발은 보건복지부 산하 한국보건산업진흥원이 지원하는 한국형 ARPA-H 프로젝트와 과학기술정보통신부 한국연구재단 지원 사업, 삼성서울병원 미래의학 2030 프로젝트 연구비 지원을 받아 수행됐다. 주요 연구 성과는 국제학술지 《IEEE 의료 영상 상호작용(IEEE Transactions on Medical Imaging)》에 최근 게재됐다.





