두 연구진이 개발한 장치는 환자의 신경신호를 읽어서 텍스트나 음성신호로 변환하는 뇌-컴퓨터 인터페이스(BCI)다. 자연스러운 대화는 분당 약 160단어로 이뤄진다. 스탠퍼드대 연구진의 BCI는 분당 62단어, UCSF의 BCI는 분당 78단어를 언어로 전환시킬 수 있다. 기존 BCI보다 2,3배 빨라진 것이다.
스탠퍼드대 연구진은 13년 전 근위축성측색경화증(ALS)으로도 알려진 운동신경질환(MND) 진단을 받은 여성 팻 베넷 씨(67)를 대상으로 자신들이 개발한 BCI를 적용했다. MND는 근육조절의 점진적 손실을 일으켜 말을 하는 것에도 어려움을 초래한다.
연구진은 먼저 음성과 관련된 베셋 씨의 뇌 영역에 알약 크기의 실리콘 전자 센서 4개를 삽입했다. 그리고 12만5,000개의 단어로 구성된 대규모 어휘 세트와 50개의 단어로 구성된 소규모 어휘 세트를 토대로 BCI의 딥러닝 알고리즘을 4개월간 훈련시켰다. 즉 베넷 씨의 입술, 혀, 턱에 소리를 내어 단어를 만들라고 지시하면 이들 전극이 뇌에서 나오는 고유한 신호를 인식해 언어화한 것.
그 결과 스탠퍼드대의 BCI는 50단어 어휘의 경우 이전의 최첨단 BCI보다 2.7배 더 빠르게 작동했으며 잘못된 단어로 인식한 단어오류율은 9.1%밖에 안됐다. 12만5000단어 어휘의 경우 단어오류율은 23.8%로 증가했다. 연구진의 한 명인 스탠퍼드대의 프랜시스 윌렛 연구원(신경과학)은 “네 단어 중 세 단어 정도를 정확하게 해독하는 것”이라고 말했다.
UCSF 연구진은 18년 전 뇌졸중으로 말을 할 수 없게 된 여성 앤(47)에게 자신들이 개발한 BCI를 시험했다. 이는 스탠퍼드대 방식과 달랐다. 앤의 뇌 피질 표면에 253개의 전극이 포함된 종이처럼 얇은 직사각형을 대는 뇌피질전도(ECoG) 기술을 적용했다. 덜 침습적이면서도 수천 개의 뉴런의 활동을 동시에 기록할 수 있다는 장점이 있다.
연구진은 이어 1024단어 어휘를 사용해 249개의 문장을 말하려고 시도하는 앤의 뇌 활동 패턴을 인식하도록 AI 알고리즘을 훈련시켰다. 이 장치는 분당 78개의 단어를 생성했으며 단어 오류율의 중간값은 25.5%였다. 단어오류율은 스탠포드 모델보다 높았지만 EcoG 기술을 적용해 낮은 단어오류율 달성이 가능함을 보여줬다는 점에서 인상적이리고 프랑스 그르노블 신경과학 연구소의 블레즈 이베르 연구원은 평가했다.
연구진은 또한 결혼식연설문 동영상을 토대로 앤의 원래 목소리와 표정을 흉내 내는 애니메이션 아바타를 만들어 역시 딥 러닝으로 훈련시켰다. 이를 통해 앤의 뇌신호를 판독하면 아바타가 앤의 목소리와 표정에 가깝게 이를 표현하도록 한 것. 이를 접한 앤은 “자신과 비슷한 목소리를 듣는다는 단순한 사실에 감정이 울컥했다”고 말했다. 연구를 주도한 UCSF 의대의 에드워드 창 교수(신경외과)는 “목소리는 우리 정체성의 정말 중요한 부분”이라며 “그것은 의사소통 뿐 아니라 우리가 누구인지에 대한 것이기도 하다”고 말했다.
두 논문을 검토한 네덜란드 마스트리흐트대의 컴퓨터 크리스찬 헤르프 교수(신경과학)는 “이러한 장치가 “아주 가까운 미래에 상용화될 수 있을 것”이라고 말했다. 두 연구진 역시 장치의 속도와 정확성을 계속 높여 뇌졸중, 뇌 질환, 마비 등으로 인해 더 이상 말을 할 수 없게 된 사람들이 실시간으로 자신의 생각을 전달할 수 있도록 하기를 원했다.
두 연구진은 그러나 아직은 한계가 있음을 분명히 했다. 현재의 기술은 말을 하려고 할 때 언어와 관련된 뇌 영역이 온전하면서 입술, 혀, 얼굴 근육에 움직임이 가능한 환자에게만 적용 가능하다. 또 그러한 환자들을 위한 제품으로 출시되기 전 더 많은 사람 대상의 임상시험을 거칠 필요가 있다.
앤은 “이상적인 시나리오는 무선으로 연결되는 것”이라고 말했다. 이베르 연구원도 일상적인 사용에 적합한 BCI는 눈에 보이는 커넥터나 케이블이 없는 완전한 이식형 시스템이어야 한다고 밝혔다. 아직은 요원해 보이지만 언젠가는 가능해질 궁극의 목표다.
2편의 해당 논문은 각각 다음 링크(https://www.nature.com/articles/s41586-023-06377-x)와 다음 링크(https://www.nature.com/articles/s41586-023-06443-4)에서 확인할 수 있다.