뇌졸중으로 언어 능력을 상실하고 사지가 마비된 46세 여성이 뇌-컴퓨터 임플란트를 한 뒤 말할 수 있게 됐다. 이 장치가 환자의 뇌에서 생각을 읽어내 곧바로 유창한 언어로 구현했다.
미국 UC 버클리대 연구팀은 이 환자의 뇌에 음성 감각 운동 피질(뇌파의 일종)을 읽을 수 있는 뇌-컴퓨터 임플란트를 이식했다.
연구팀은 환자가 조용히 문장을 말하는 상상을 하는 동안 전극을 사용해 뇌 활동을 기록했다. 또 환자가 뇌졸중을 겪기 전의 목소리를 사용해 소리로 재현하는 신디사이저를 만들었다. 딥 러닝 AI 모델은 뇌 신호를 소리로 변환하도록 훈련됐다.
그 결과 반음절 정도의 작은 소리 단위를 80ms마다 녹음기로 전송해 거의 실시간으로 환자의 의사를 유창한 음성으로 만들어낼 수 있었다.
놀라운 것은 ‘뇌-컴퓨터 임플란트’는 기존 시스템과 달리 문장이 끝날 때까지 기다리지 않고 즉석에서 생각을 말로 전달하는 것이 특징이다. 이 장치를 사용하면 언어 능력을 상실한 장애인이 비장애인과 대화에 자연스럽게 참여할 수 있다.
UC 버클리대 전기공학 및 컴퓨터과학 조교수인 고팔라 아누만치팔리는 ”뇌파를 빠르게 디코딩하면 대화에 참여할 수 있다“면서 ”지속적인 연구와 투자가 이뤄진다면 10년 이내에 환자들이 이 장치를 사용할 수 있을 것“이라고 말했다.
이 연구는 ‘네이처 신경과학(Nature Neuroscience)’ 저널에 ‘ A streaming brain-to-voice neuroprosthesis to restore naturalistic communication’이란 제목으로 게재됐다.
