최근 뇌의 각종 신호 데이터를 해독해 응용하는데 관심이 많이 생겨서 관련 논문을 3개 정도 찾아보았다. 특히 무의식 환자, 일상적 표현이 불가능한 중환자의 의사표현을 돕는데 관심이 생긴다. (무의식 환자 중 일부 환자는 깨어나지 못할 뿐, 뇌파 반응이 정상인과 유사하게 반응한다고 한다.)
사실 학부연구 주제도 이 분야로 하고싶다.. (내가 생각해둔 주제는 이 분야지만, 교수님께서 다른 분야를 추천해주실 수 있기 때문에 확정이 나지 않았다)
BCI 분야는 IT대기업들이 관심을 갖고 한창 연구가 진행중이며 그 성과가 점차 드러나고 있는 유망한 분야이다. 학부생 개인이 연구할 수 있는 주제는 여러 여건상 제한적이기 때문에 지금은 상대적으로 작은 프로젝트밖에 하지 못하겠지만, 추후 관련 분야를 연구하는 기업에 입사해 나도 연구에 참여할 수 있다면 좋을 것 같다.
(논문1) Real-time decoding of question-and-answer speech dialogue using human cortical activity
https://www.nature.com/articles/s41467-019-10994-4
Real-time decoding of question-and-answer speech dialogue using human cortical activity - Nature Communications
Speech neuroprosthetic devices should be capable of restoring a patient’s ability to participate in interactive dialogue. Here, the authors demonstrate that the context of a verbal exchange can be used to enhance neural decoder performance in real time.
www.nature.com
간략히 설명 : 사전 녹음된 질문 세트를 피실험자에게 들려주고 피실험자는 구두로 답변한다. 이 모든 과정은 EcoG를 사용해 뇌가 어떻게 활동하는 중인지 기록되고 있다. 이렇게 얻은 데이터셋은 음성 감지 및 디코딩 모델을 훈련하기 위한 입력으로 사용되며, 신경 신호를 사용해 참가자가 듣거나 말할때를 감지하고, 뇌파 속에서 어떤 대화가 진행되고 있는지 개연성을 파악한다. 학습된 모델 및 신경 신호를 통해, 환자가 듣는 내용을 61%까지, 환자가 답변하는 내용을 76%까지 정확히 문장으로 해독해냈다고 한다.
(논문2) Towards reconstructing intelligible speech from the human auditory cortex
https://www.nature.com/articles/s41598-018-37359-z
간략히 설명 : 간질을 앓고있는 환자들의 뇌에 전극을 삽입해, 피험자들이 귀로 듣고있는 내용에 대한 신경 신호를 인공지능 음성인식 소프트웨어가 학습한다. 피험자들은 0부터 9의 숫자까지 40차례 들었으며, 인공지능은 청각 피질에서 기록된 신경 반응을 인지해 어떤 숫자인지 알아내 음성으로 재구성한다. 이 모델은 75%의 정확도를 보인다.
(논문3) Speech synthesis from neural decoding of spoken sentences
https://www.nature.com/articles/s41586-019-1119-1
간략히 설명 : 신경 활동에서 음성을 해독하는 것은 어려우니, 가청 음성을 합성하기 위해 인간의 피질 활동에 인코딩된 운동학적 소리표현 신호를 명시적으로 활용하는 신경 디코더를 설계하는 내용이다. 피질 신호를 관절 운동의 표현으로 디코딩한다음, 이러한 표현을 종합하여 음성 음향으로 변환한다.
- 추후 세부 방법론 등 보충 설명을 추가하도록 하자 -