[데캡디-수정후] 뇌파 기반 사용자 친화 음악 작곡 알고리즘 구현(1. 수행계획)

과 제 명	뇌파 기반 사용자 친화 음악 작곡 알고리즘 구현 (User-friendly music composition based on EEG)
1. 과제 개요 가. 과제 선정 배경 및 필요성 인간의 내면을 음악으로 듣기 위한 시도는 오래전부터 이루어져 왔다. 1930년대 초기에는 뇌파 알파파의 진폭이나 뇌파 신호의 단순하고 직접적인 특징을 통해 ‘소리’를 만들어 왔고, 1990년대에 이 르러서는 디지털 필터링 및 뇌파 데이터의 분석을 통해 다양하고 새로운 ‘음악’ 생성 규칙을 만들어 왔다. 본 연구에서는 기존의 ‘뇌파를 통해 음악을 생성한다’는 목적에서 더 나아가, 뇌파를 통해 사용자 친화적인 음악을 생성하는 것, 즉 ‘사용자의 감정을 잘 표현해주는 음악’을 만드는 것을 목표로 한다. 사용자는 이로써 나를 잘 표현해주는, 진정한 ‘나만의 음악’을 갖게 될 수 있다. 또, 긍정적인 감정을 보여주는 뇌파를 알고리즘에 넣어 만들어진 음악과, 부정적인 감정을 보여주는 뇌파를 이용해 만들어 진 음악의 비교를 통해 우리는 인간의 내면을 한층 더 알아볼 수 있을 것이다. 나. 과제 주요 내용 1) EEG Dataset( DEAP, AMIGOS, SEED 등 )을 수집한다. 2) EEG Data의 각 신호의 특징을 분석 및 추출한다. 3) 파악한 특징에 맞춰, 각 신호와 음의 높낮이, 단조, 템포 등을 매핑하여 음악을 작곡한다. 4) 작곡된 음악을 여러 장르로 변환하여 사용자에게 제공한다. (팝, 재즈, 클래식 등)
2. 과제의 목표 가. 최종결과물의 목표 1) EEG 데이터를 통해 감정에 맞는 음악을 작곡하는 알고리즘 모델 개발 2) 1)을 통해 작곡한 음악과, 실험자들의 감정이 가지는 상관관계 평가 　　 3) 1)의 음악을 사용자가 원하는 장르(클래식, 재즈, 팝 등)로 변환하는 모델 나. 최종결과물의 세부 내용 및 구성 1) 뇌파 데이터를 통해 사용자의 감정이 잘 드러나는 음악을 작곡하는 알고리즘 2) 실험자(기존 EEG 데이터 사용)의 뇌파를 통해 작곡된 음악 3) 작곡된 음악과 실제 감정과의 상관관계 분석 4) 긍정적인 감정의 뇌파 데이터를 이용해 만든 음악과, 부정적인 감정에서 만든 음악의 비교 5) 원하는 장르로 변경한 2)의 음악
3. 기대효과 및 활용방안 뇌파 데이터를 통해 ‘나만의 음악’을 만드는 접근 방식은 마음의 세계를 음악으로 표현하려는 시도이다. 본 연구는 특히 사용자의 ‘감정 상태와 유사한’ 음악을 만드는 것이 목적이기에 기존의 연구보다도 내면을 음악으로 표현하는데 더 큰 의의를 가질 것으로 보인다. 사용자는 자신의 내면과 감정이 담긴 음악을 통해 자신의 상태를 피드백 할 수 있게 되며, 나아가 본인이 선호하는 음악의 장르를 선택하여 내면의 감정을 해당 장르의 음악으로 표현함으로써 사용자 내면의 익숙하지 않은 감정에 더 쉽게 다가갈 수 있다.

4. 수행 방법 가. 과제수행을 위한 도구적 방법  1) EEG Data Processing TEAP 등을 이용해 EEG Data를 전처리하고, 감정별 신호의 특징을 파악한다. 2) 인공지능 기반 음악 작곡 1) 의 결과를 바탕으로, 각 신호에 대해 음악의 구성 요소들을 매핑하는 알고리즘 모델을 구현한 다.(속도, 멜로디, 음량 등) EEG 데이터가 입력됨에 따라 각 신호 및 채널을 구분하고, 구현된 음악 매핑 알고리즘에 넣어 음악의 멜로디, 음량, 템포 등을 시시각각 결정하며 하나의 악보를 완성한 다. 이후, 악보를 음악으로 구현해주는 툴을 사용하여 음악으로 변환한다. 3) 작곡된 음악의 장르 변환 JukeBox나 CycleGAN-Music-Style-Transfer 등의 음악 장르 변환 알고리즘을 활용하여 작곡된 음악 을 클래식, 재즈, 팝 등의 장르로 변환한다. 나. 과제수행 계획 1) EEG Data Analysis 가) EEG Data Set(DEAP, AMIGOSM, SEED 등)을 수집 나) EEG Data 전처리를 통해서 감정에 따라 변화하는 유의미한 특징을 추출한다. 2) 뇌파를 통한 작곡 가) EEG 데이터의 각 채널이 음악의 어떤 요소를 결정지을 수 있을지 매핑하는 알고리즘을 구현 한다. 나) 해당 알고리즘에 EEG 데이터를 입력해 악보를 완성하고, 곡을 음악으로 변환시킨다. 3) 2)에서 작곡한 음악을 음악 장르 변환 알고리즘을 사용하여 다양한 장르의 음악을 작곡한다.

5. 추진일정

순번	추진내용	9월	10월	11월	12월	비고
1	Data Set 수집	O
2	EEG, 인공지능 작곡 알고리즘 관련 논문 리뷰	O
3	EEG Data 특징 추출		O	O
4	EEG Data의 채널과 음악의 구성 요소 분석	O	O	O
5	분석 결과를 이용해 작곡 알고리즘 구현			O	O
6	장르 변환 툴을 이용해 다양한 장르의 음악 작곡			O	O
7	작곡된 음악과 감정의 상관관계 평가 및 긍/부정 감정의 음악 양상 비교			O	O
8	보고서 작성				O

 

2021. 10월 초부터 시작하여, 현재 진행중인 프로젝트입니다!

2021. 12월 말까지 끝낼 예정입니다 :>