캡스톤디자인 수업이 시작된 후, 저희 팀의 주제는 2 가지로 추려졌는데요.

각 주제에 대해 자료조사 해온 것을 토대로 주제를 드디어 확정하였습니다.

저희 팀의 주제는 "뇌파 신호 데이터(EEG) 감성분석을 통한 감성 맞춤형 음악 작곡 시스템 개발" 입니다!

관련 주제가 재미있기도 하고, 데이터셋도 구할 수 있고, 다양한 시도를 해볼 수 있을 것 같아 선정하게 되었습니다. 

이에, 해당 주제에 대해 간략히 자료조사 해왔던 내용을 업로드 합니다.

팀원들이 소프트웨어융합학과이기도 하고, 다들 연구 경험이 있으며 열심히 하시는 분들같아 이번 연구 잘 마무리할 수 있을 것 같습니다. 가능하면 논문까지 작성해서, 학회에 등재해 상을 받을 수 있었으면 좋겠네요.

+ 팀명은 IDEA-M 로 정했습니다. ㅎㅎ (Insight of EEG data analysis-Music의 약자입니다) 

 

 

---- 아래는 참고자료 정리본 ---

 

본인작성

(논문1) 뇌파의 실용적 활용을 통한 감성분석 기반 음악추천 시스템

 

Dataset : 

음악코퍼스-2400여곡의 k-pop음원으로 구성된 KETIafa200, 

직접 뇌파 수집(우리도 예산으로 15~20만원대 뇌파 밴드 구입하여 평가할때 사용해도 괜찮을듯)

 

모델링과정:

EEG 신호의 특질 정보 추출. 1개의 신호를 5개 에너지 대역 간의 분포를 추출해 특질 정보로 활용->델타파,쎄타파,알파파,베타파,감마파로 분리.

 

EEG신호로 빠른 퓨리에 변환을 수행, 5개 밴드별 에너지 분포를 추출해 RBF(Radical Basis Function) 커널 함수를 적용한 SVM 이진분류기로 선호/비선호 학습(감정분석)

(이 부분은 본 프로젝트의 목적에 맞게 모델을 바꾸고 다중분류로 진행하여, 세부적인 감정을 파악하도록 바꾸면 될 것)

 

8초 단위의 subsample로 분리해, 학습기로 분류한뒤, ’선호/비선호’ 중 전체곡(1곡내)에서 많이 결정되는 분류로 해당 음악에 대한 사용자 선호도 결정.

높은성능신호:T7,T8,O1,AF3,F3 / 낮은성능신호:FC6,FC5,P8

 

의의:

뇌파분석을 통한 사용자의 감성을 자동적으로 분류하는 방식으로, 멀티태스킹 환경에 익숙한 사용자들의 음악청취를 위한 소모적인 상호작용을 없애는 새로운 방식의 인터페이스 환경 실험

 

(논문2) 딥러닝을 이용한 BGM 음원 작곡 서비스 설계 및 구현

Dataset : 

ABC notation 악보를 데이터로 사용. (악보를 A~G까지 문자 표기법을 사용하여 나타낸 것.)

아래의 링크에서 코드확인(3명) 및 데이터셋 다운 가능(추후 관련 데이터셋 및 코드를 더 찾아보겠음)

https://www.kaggle.com/raj5287/abc-notation-of-tunes/code

번호,제목,작곡가,음표,길이,음계등이포함되어있고각알파벳별로의미하는것이정해져있음.

 

모델링과정:

ABCnotation(곡)을 분위기 별로 분류,

TEXT 형태의 데이터로 저장이 되면, 전처리 과정에 들어감. (곡에 있는 모든 음은 사전 형태로 매핑됨)

이를 입력 데이터로 사용하기 위해 벡터화함 (원핫인코딩)

LSTM으로 학습 진행, 입력 데이터의 갯수 6개씩. (너무작으면오류,너무길면예측제대로안됨)

6개로 이루어진 하나의 데이터와, 이 데이터의 다음에 오는 하나의 데이터를 타겟으로하여 학습이 진행됨.

한 스텝씩 밀리면서 모든 데이터셋에 대한 학습과정 반복.

ModelSaving에서,생성된 모델을 사용자가 초기에 설정한 임의의 곡 분위기별로 저장.

 

의의:

본 논문은 ABC Notation을 분위기별로 분류하여 딥러닝으로 학습하고 여기서 만들어진 모델을 통해 기존에 없던 새로운 음악을 사용자가 이용할 수 있다. 이 사용자들은 음악적 지식 없이 작곡할 수 있 고 인공지능으로 작곡을 했기 때문에 기존의 작곡가 가 만드는 곡보다 시간·경제적인 소요를 줄일 수 있 다.

 

그외 :

pybrain을 이용해 작곡: https://github.com/robbiebarrat/Bach_AI

 

추가 데이터셋: http://www.eecs.qmul.ac.uk/mmv/datasets/amigos/ (해당 링크에서 다운로드가능)

Amigos(a dataset for affect, personality and mood research on individuals and group)

-->Deap, Amigos, kaggle 데이터셋 등 사용하면 될 듯.

 

감정에 따른 음악 매칭에 대해:

‘본 논문에서는 어떤 감정일때 어떤 장르/분위기의 음악을 들으면 스트레스가 완화된다고 가정한다’

등의 문구 삽입이 필요함. 해당 가정은 추후 팀원끼리 추가적인 논의를 거쳐 확정함.



팀원1

  1. Data 사이트에서 추가 데이터셋 서칭 및 가용한 자료인지 확인

 

  • 추가로 발견한 뇌파 관련 데이터셋
  1. 관련 논문 서칭, 방법론 확인

 

 

 

  • 총 4단계 구성으로 연구를 진행하면 좋을 것 같다는 생각을 함.

 

  • 챌린지한 부분이 될 수 있다고 생각하는 부분은 2와 3번. 1번의 경우, 위처럼 EEG 데이터를 통한 감정 분류를 위한 다양한 논문이 이미 나와 있기 때문에 논문을 재현하는 방식으로 공부와 연구를 진행하면 크게 어렵진 않을 것 같음. 다만, 2와 3번의 경우, 의학과 화성학에 대한 전문적인 지식이 없기 때문에 공부와 연구를 진행하면 다소 시간이 많이 걸릴 것으로 예상됨.

 

팀원2

뇌파 관련 데이터셋 조사
(주요 데이터셋만 적어놓았습니다.)

  • Psychophysics (700 Mb)단일 에포크 가져오기전체 주제 가져오기
    : 64 채널을 사용하여 기록된 122명의 피험자(비주얼 매칭 작업을 수행하는 알코올 및 컨트롤). 이 데이터의 한계는 데이터 에포크(자극 제시 후 0~1초)만 사용할 수 있다는 것입니다. Matlab 스크립트를 사용

  • DEAP 데이터 세트
     : 인간의 감정 상태 분석을 위한 다중 모드 데이터 세트. 32명의 참가자의 뇌파(EEG)와 말초 생리학적 신호는 각각 1분 길이의 뮤직 비디오 발췌문 40개를 시청할 때 기록. 참가자들은 각성, 관심도, 좋아함/싫어함, 지배력 및 친숙도의 측면에서 각 비디오를 평가.

  • 간질 데이터
    : 난치성 국소 간질 21명의 환자에 대한 EEG 기록을 포함. 수술 전 간질을 모니터링하는 동안 기록.
    "ictal" :  간질 발작이 있는 파일과 발작 전 최소 50분 데이터가 포함
     "interictal" :  발작 활동이 없는 약 24시간의 EEG 기록을 포함



DEAP Dataset을 활용한 뇌파 데이터 분석 방법에 관한 연구논문 분석 

DEAP

이 논문에서는 오픈 감정뇌파데이터인 DEAP Dataset을 활용. DEAP Dataset는 총 23개의 데이터, 32 채널로 구성. 남, 여 각각 16명. 총 32명의 사용자에게서 40편의 비디오를 시청한 뒤 감정상태를 기록. 레코딩 된 신호는 총 32개의 채널과 512Hz로 샘플링

전처리 과정 :

  • 디지털 필터인 IIR(Infinite Impulse Response) Filter를 사용하여 잡음 제거
  • Artifact인 안구잡파(EOG : Electrooculograms, 눈 깜빡임) 제거 : LMS(the Least Mean Sqaures) 알고리즘을 사용

(LMS → 비정상적인 생체신호를 제거하는 데에 유용)

감정 분류 : Valence-Arousal 평면을 사용하여 4개의 감정으로 구분. 분류 알고리즘으로는 Support Vector Machine을 사용.

LAHV(두려움), HAHV(행복), LALV(슬픔), HALV(고요)

 

뇌파의 분류

복잡하게 진동하는 형태. 저마다의 전위값이 다르다.

뇌파 관찰 시 → 주파수의 범위와 전압 값에 따라 인위적으로

  • Delta파 : 0.1 - 3Hz; 20-200uV
  • Theta파 : 4-7Hz; 20-100uV
  • Alpha파 : 8-12Hz; 20-60uV
  • Beta파 : 13-30Hz; 2-20uV
  • Gamma파 : 30-50Hz

 

전처리가 끝나 잡음이 제거된 신호는 FFT 분석을 시행하여 주파수대 별로 Power Spectrum 분석을 하여 특징 추출을 하였다. 



퓨리에 변환

위의 논문에서는 FFT(Fast Fourier Transform), 빠른 퓨리에 변환 사용.
빠른 Fourier 변환(FFT)은 오디오 및 음향 측정 과학 분야에서 중요한 측정 방법 . 신호를 개별 스펙트럼 구성 요소로 변환하여 신호에 대한 주파수 정보를 제공. FFT는 기계 또는 시스템의 결함 분석, 품질 관리 및 상태 모니터링에 사용.
(출처 : https://www.nti-audio.com/ko/지-원/know-how/빠른-fourier-변환-fft)

변환한 주파수 범위에 따라 Theta(4-7Hz), Alpha(8-12Hz), Beta(13-30Hz), Gamma(30-40Hz)로 분석. FFT분석은 Matlba을 사용. FFT를 통한 각각의 주파수 대역별 값은 배열로 저장 분석 (Fourier 변환이 중요한 개념으로 사용되는 듯)



MNE-Python (http://martinos.org)

기능적 신경 영상 데이터(functional neuroimaging data) → EEG, MEG, sEEG, ECoG, and fNIRS 데이터들을 처리, 분석 및 시각화를 위한 오픈소스 Python 모듈. 

해당 모듈을 이용하여 EEG 데이터와 MEG데이터를 분석할 수 있다.
(MEG 데이터의 경우, EEG는 전기적 신호인 반면, MEG는 자기적 신호로 수집한 뇌파 데이터를 의미한다. 해당 데이터셋이 EEG데이터보다 Noise가 더 적으므로, 만약 두 데이터를 통해서 분석할 수 있는 대상이 비슷하다면, MEG 데이터를 이용하는 것도 좋은 방법일 듯 싶다.)




저작자표시

'프로젝트·연구 > 프로젝트·연구' 카테고리의 다른 글

빅데이터를 이용한 댓글 분석 및 시각화, 댓글대시 서비스(3. 최종보고 및 시연영상)  (0) 2021.10.15
[데캡디-수정전] 뇌파 감정분석 기반 인공지능 음악 치료(1. 수행계획)  (0) 2021.09.29
빅데이터를 이용한 주식가격 예측 시스템 만들기 (4. 모델구상추가)  (0) 2021.09.13
빅데이터를 이용한 주식가격 예측 시스템 만들기 (3. 수행계획+1차보고서)  (0) 2021.08.30
빅데이터를 이용한 댓글 분석 및 시각화, 댓글대시 서비스(2. 수행계획+1차보고서)  (0) 2021.08.30

+ Recent posts

티스토리툴바