2022.02.05, 17:33 최종 수정

많은 시행착오, 오류수정 끝에 알파폴드2 실행에 성공했다!

https://github.com/deepmind/alphafold

실행하기 위한 코드 및 설명은 여기에서 확인할 수 있다.

설치에 대한 얘기를 하기 전에, 미리 알아두면 좋을 AlphaFold2 에 대한 내용을 소개하려 한다.

ppt 열심히 만들었다.

결론적으로, ranked_0.pdb 를 확인하면 된다.

이제 설치에 대한 얘기를 해보자.

내 서버 환경은 다음과 같다.

1. Ubuntu 18.04.01
2. Conda 3.9.2
3. Nvidia-driver-465
4. CUDA 11.3
5. cuDNN 8.2.1
6. Pytorch 1.9.0

내가 겪은 오류는.. 

unable to create StreamExecutor for CUDA:0: failed initializing StreamExecutor for CUDA device ordinal 0: INTERNAL: faild call to ceDevicePrimaryCtxRetainL CUDA_ERROR_OUT_OF_MEMORY: out of memory; total memory reported: 2544170048

Attemping to fetch value instead of handling error INVALID_ARGUMENT: device CUDA:0 not supported by XLA service
Fatal Python error: Aborted

RuntimeError: jaxlib/cusolver_kernels.cc:44: operation cusolverDnCreate(&handle) failed: cuSolver internal error

PermissionError: [Errno 13] Permission denied: '/mnt/output/T1050/msas/uniref90_hits.sto'

이건 내가 기록해둔것만 나열한거고, 이것 말고도 오류가 정말 많았는데.. (+ jaxlib 버전 문제 등)

구글 서칭을 통해 누군가 해결했다는 방법을 내 dockerfile에 적용해도, 계속 오류가 수정되질 않았었다. 

dockerfile을 다른 버전으로 바꿔도 보고 수정도 해보고 했는데 계속 오류오류오류...ㅜㅜ

내가 CUDA 11.3 version을 쓰는 문제도 있던것같고, Alphafold2 소스코드 자체에서 발생한 문제도 있던 것 같다. 

그러다 1주? 쯤 전에 AlphaFold가 새롭게 release 되어서(v2.1.2 ), 다시 git clone 하여 약간의 오류를 수정해주니 정상 작동했다! 아마 앞으로 알파폴드를 실행해보려는 분들은 오류 걱정 없이 편하게 실행할 수 있을거라 생각된다. 난 2주를 고생했다! 니가이기나 내가이기나 해보자는 집념으로 2주동안 계속 오류 수정했다..

참고) 기본적으로 docker에 대한 지식, 리눅스 명령어에 대한 지식이 있는 사람만 시도하라.

약간의 팁을 주자면..

1. 만약 build시 오류가 났거나, dockerfile을 바꿔서 build 를 다시 해야할때 등등의 상황에서는, 미리 세팅된 image 및 container 를 지워주고 다시 build 하도록 하자. 

docker image ls

docker rmi -f <image name>

docker image prune

docker container prune

2. 데이터셋 다운로드 받는데는 약 2~3일정도 걸린다. 걱정하지말고 냅두면 잘 다운로드 될 것이다.

3. 전체 프로세스를 간략히 하면, 다음의 명령어가 필요하다. (참고만 하라)

git clone http://github.com/deepmind/alphafold.git

cd alphafold

docker build -f docker/Dockerfile -t alphafold .

pip3 install -r docker/requirements.txt

python3 docker/run_docker.py --fasta_paths=/data/AlphaFold2/input/T1050.fasta --max_template_date=2020-05-14 --data_dir=/data/AlphaFold2 --output_dir=/data/AlphaFold2/output

path, dir 같은 경로는 본인의 input파일, output파일, data를 저장한 파일의 경로를 설정하면 된다.

상세한 설명은 Alphafold github에 가면 확인할 수 있으니 생략하겠다.

내가 사용한 dockerfile을 첨부해두겠다.

예시로 사용한 T1050.fasta 파일을 포함한 .fasta 파일은 아래의 링크에서 얻을 수 있다. 

https://www.predictioncenter.org/casp14/targetlist.cgi

fasta 파일은 특정 분자(아미노산)의 서열을 나타내는데 사용되는 파일형식이다. 형태는 아래와 같다.

>T1050 A7LXT1, Bacteroides Ovatus, 779 residues|
MASQSYLFKHLEVSDGLSNNSVNTIYKDRDGFMWFGTTTGLNRYDGYTFKIYQHAENEPGSLPDNYITDIVEMPDGRFWINTARGYVLFDKERDYFITDVTGFMKNLESWGVPEQVFVDREGNTWLSVAGEGCYRYKEGGKRLFFSYTEHSLPEYGVTQMAECSDGILLIYNTGLLVCLDRATLAIKWQSDEIKKYIPGGKTIELSLFVDRDNCIWAYSLMGIWAYDCGTKSWRTDLTGIWSSRPDVIIHAVAQDIEGRIWVGKDYDGIDVLEKETGKVTSLVAHDDNGRSLPHNTIYDLYADRDGVMWVGTYKKGVSYYSESIFKFNMYEWGDITCIEQADEDRLWLGTNDHGILLWNRSTGKAEPFWRDAEGQLPNPVVSMLKSKDGKLWVGTFNGGLYCMNGSQVRSYKEGTGNALASNNVWALVEDDKGRIWIASLGGGLQCLEPLSGTFETYTSNNSALLENNVTSLCWVDDNTLFFGTASQGVGTMDMRTREIKKIQGQSDSMKLSNDAVNHVYKDSRGLVWIATREGLNVYDTRRHMFLDLFPVVEAKGNFIAAITEDQERNMWVSTSRKVIRVTVASDGKGSYLFDSRAYNSEDGLQNCDFNQRSIKTLHNGIIAIGGLYGVNIFAPDHIRYNKMLPNVMFTGLSLFDEAVKVGQSYGGRVLIEKELNDVENVEFDYKQNIFSVSFASDNYNLPEKTQYMYKLEGFNNDWLTLPVGVHNVTFTNLAPGKYVLRVKAINSDGYVGIKEATLGIVVNPPFKLAAALQHHHHHH

이걸 input 디렉토리에 넣어놓으면 된다. (나는 리눅스 cat 명령어를 이용해서 저장했다.)

예측이 종료되면 다음과 같은 output 파일이 생성된다. (구조)

<target_name>/

features.pkl

ranked_{0,1,2,3,4}.pdb

ranking_debug.json

relaxed_model_{1,2,3,4,5}.pdb

result_model_{1,2,3,4,5}.pkl

timings.json

unrelaxed_model_{1,2,3,4,5}.pdb

msas/

bfd_uniclust_hits.a3m

mgnify_hits.sto

uniref90_hits.sto

결론만 말하자면, 최종 모델 중 신뢰도가 가장 높은 구조는 ranked_0.pdb 파일로, 3D 구조를 확인하고자 할때 이것을 확인하면 된다. 

출력된 pdb 파일은 아래의 링크를 이용해 3D 시각화하였다.

https://www.ncbi.nlm.nih.gov/Structure/icn3d/full.html

시간을 많이 들였는데 결국엔 정상 작동해서 다행이다.

매번 논문을 읽기만 하지, 실제로 논문에서 제시된 내용, 소스코드를 들여다보면서 실행해본적은 없었는데 좋은 경험이 되었던 것 같다. 앞으로 다른 논문을 보더라도 실제로 연구결과를 재현해 볼 수 있겠다는 자신감도 생겼다.

 그러나 알파폴드는 아직 들여다볼게 많다는 것,,, 이제 시작점이라는 것,,, 그게 조금 두려우면서 기쁘다.

2022.02.05. 17:22분 최종 수정됨

오늘 소개할 논문은 Nature의 Highly accurate protein structure prediction with AlphaFold 입니다.

논문은 아래의 링크에서 확인할 수 있습니다.

https://www.nature.com/articles/s41586-021-03819-2

AlphaFold2는 단백질 접힘 구조를 예측하는 모델로, CASP14 대회에서 압도적으로 높은 정확도를 보이며 단백질 3차원 접힘 문제 해결의 종지부를 찍었다고도 평가받고 있는, 핫한 모델입니다.

논문을 읽었지만.. 학부 3학년인 제 수준에서는 이해하기 어려운 내용들이 있어 전반적인 흐름만 살펴보았습니다.

먼저 전반적인 AlphaFold2의 간략한 파이프라인은 다음과 같습니다. 

논문에서는 17만개의 Dataset(즉, 현재 구조가 명확히 밝혀진 단백질의 수만큼이죠)에 대해 훈련 및 예측을 진행하였습니다.

논문에서 정확도를 높이기 위해 사용한 방법은 크게 3가지가 있습니다. (ppt에서 확인)

다시말해 생물정보학에 물리적, 기하학적 접근방식을 기반으로 PDB data에서 학습하는 구성요소를 구축하였으며

다양한 접근을 통해 제한된 데이터에서 더 효율적으로 학습가능하며 데이터의 복잡성과 다양성에 대처할 수 있는 네트워크를 형성했습니다.

Framework

.fasta 입력파일이 들어오면, 모델은 각각 두 가지 경로로 나눠 서칭을 진행합니다. 

1-1 경로로는 데이터베이스에서 유사한 '단백질 서열'을 조회하고, 식별합니다. (이 정보를 MSA라고 부르겠습니다.)

1-2 경로로는 데이터베이스에서 유사한 '단백질 구조(템플릿)'을 조회하고 식별합니다.

다음으로, 각 정보에서 MSA와 템플릿을 추출해 변환기를 통해 전달합니다. 이 Transformer를 통해 MSA와 템플릿은 서로 정보를 주고받으며 표현을 계선합니다. 이는 지정된 주기수까지 반복되는 48개의 블록으로 구성되어있습니다.

이후 Evoformer를 통해 개선된 정보가 출력되면, Structure module에 넣어 3차원 구조를 예측하고, 모델을 생성합니다.

논문에서 중요하게 봐야할 부분중에 하나가 이 Transformer 부분인데요. 연구원이 제안한 Evoformer는 MSA와 템플릿에서 모든 정보를 짜내서, 현재의 구조적 가설을 활용해 다중 서열 정렬의 평가를 개선하고(새로운 인사이트 창출) 이후 새로운 구조적 가설 등으로 이루어지게합니다. 

예를 들어서, 만약 ABCD 라는 서열을 갖고, 일자 구조인 단백질이 있다고 해봅시다. 아미노산은 +, - 성질에 따라 접히기도 하고 펼쳐지기도 하는데요. 예를들어 A가 +, B와 C가 각각 +, -, D가 + 를 갖고있다면 B와 C는 서로 끌어당겨 접히게 됩니다. 이렇게 되면 서열만으로 예상하였을때는 서로 + 라 접힐 일이 없는 A와 D가, 접혀야하는 상황이 오게됩니다. 이렇게되면 둘 중 하나가 -로 바뀌며 돌연변이가 될 수 있습니다. 알파폴드는 이렇게 아미노산의 서열과 구조간의 정보를 서로 교환하며, 매 iteration마다 발전적인 예측을 하게 됩니다. (아미노산은 돌연변이가 종종 발생하며, 이 돌연변이를 예측하는게 단백질 접힘예측의 중요한 부분이라고 볼 수 있습니다. 해당 내용은 원리를 간략하게만 작성한것입니다.)

본 글에서 제가 설명한 부분 외에도 정확도를 높이기 위한 다양한 접근이 시도되었고, 이를 간략히 정리하면 위와 같습니다. 

알파폴드는 오픈소스로, 누구나 다운로드받아 실행해볼 수 있습니다.

저도 알파폴드를 설치해 실행해보려하는데.. 왜인지 설치 및 실행 과정에 오류를 많이 겪고 있습니다. -_-

도커가 환경 다 구축해주는데 왜 환경때문에 문제가 발생하는건지?! 는 도커파일에 문제가 있었고...

아무튼 정말 다양하게 오류가 발생하고 있습니다. 이거때문에 글 쓸 의욕이안나는듯

계속 수정하는중이라 곧 성공적으로 돌려볼 수 있을것같은데, 그렇게되면 또 간략하게 글 쓰겠습니다.

--> 설치 및 정상 작동 완료!! 아래의 포스팅으로 가주세요!

https://checherry.tistory.com/117

오늘 읽어본 논문은

An Uncertainty-Aware Transfer Learning-Based Framework for COVID-19 Diagnosis 입니다.

논문은 아래의 링크에서 읽을 수 있습니다.

https://ieeexplore.ieee.org/document/9353390 

이 논문에서는 Covid-19 감염 조기 진단을 위한 의료 이미지의 Transfer learning 프레임워크를 제시합니다. 

Transfer learning?

Transfer learning은 자신이 풀고자 하는 task의 데이터가 충분히 많지 않을때 사용할 수 있는 방법으로, 현재의 task와 비슷하면서 다른, 방대한 데이터로 미리 학습되어있는 모델을 이용하는 방법입니다. 간단히 말해 사전 학습 모델의 일부를 이용하면서, 끝부분만 우리가 해결하고자 하는 task의 문제로 바꾸어 원하는 결과를 얻는 방법이라 할 수 있습니다.

사전 학습 모델을 이용함으로써 새로운 모델을 만들때 학습 속도도 더 빨라지게 되고, 가지고있는 데이터 양에 비해 예측의 정확도도 향상될것을 기대할 수 있습니다. 특히 의료 데이터는 다른 도메인의 데이터보다 얻기 힘들기 때문에(비용 등의 문제) 전이학습은 유용하고 중요한 학습 방법이라 할 수 있습니다.

논문 요약

X-ray 및 CT 이미지 dataset에 대하여, 사전학습 모델로 널리 사용되는 VGG16, ResNet50, DenseNet121, InceptionResNetV2 및 CNN 을 적용해 이미지에서 feature를 추출하고, 이를 기계 학습 및 통계 모델링 기술을 통해 Classification하여 Covid-19의 음성/양성을 판별하는 연구입니다. 또한 모델을 통한 분류 결과의 불확실성을 함께 계산하여 보고합니다. 결론적으로는 두 데이터셋 모두 linearSVM 모델과 neural network model에서 accuracy, sensitivity, specificity, ROC curve, AUC 값이 높은 성능을 보였다고 하며, X-ray에 비해 CT 이미지의 예측 불확실성 추정치가 높았다고 합니다.

논문에서 사용된 사전학습모델 (VGG16, ResNet50, DenseNet121, InceptionResNetV2) 의 데이터는 1.4 백만개의 이미지, 1000개의 label 로 구성된 방대한 데이터셋인 ImageNet 입니다.

연구진은 ImageNet data를 학습한 모델의 Image detection task와 Covid-19 classification 사이에 Fundamental similarities 가 있다고 생각하여 연구를 진행했습니다.

Dataset

연구에서 이용한 데이터셋은 흉부 X-ray 이미지(2D)와, CT 이미지(2D)입니다.

사전 학습 모델이 2D data를 input으로 받는 모델이다보니, 3D 이미지인 여러장의 CT data에서, 한 장의 CTdata만 이용해 2D로 학습시킨것으로 보입니다.

Chest X-Ray Data set
✓ 코로나 양성 이미지 25장
✓ 코로나 음성 이미지 75장
✓ non-Covid : consist of other unhealthy conditions
→ non-Covid does not necessarily infer a healthy lower respiratory system

CT Data set
✓ 코로나 양성 이미지 349장
✓ 코로나 음성 이미지 397장
✓ carry more information compared to chest X-rays

위에도 적어놓았다시피, 흉부 X-ray dataset의 '음성' label 이미지는 단순히 건강한 사람(무질병자)의 이미지가 아니라, Covid가 아닌 다른 질병에 걸린 환자의 dataset도 포함합니다. 즉, 질병자와 무질병자를 나누는 모델이 아니라 코로나 환자와 비코로나 환자를 나누는 모델을 만들고자 하였다는 것입니다. 

Framework

연구에서는 CNN을 이용한 사전학습모델로 상기 4가지 모델을 사용했고, Classifier로는 다음의 8가지 모델을 사용했습니다. 최종 모델의 앞부분은 사전학습모델의 Convolution layer를 그대로 가져와서 가중치를 사용하였고, 뒷부분은 Covid classification을 위한 classifier를 사용하였습니다. 

Visualization

Performance Metrics (Percentage)

VGGnet 을 이용해 각 data에서 25088개의 feature를 추출하고, 이를 PCA를 통해 2개의 feature로 줄인 그림입니다. (설명력은 논문에 기재되지 않은것으로 보임.) 각 포인트는 환자 한 명의 데이터입니다. 즉, 환자 한 명의 데이터를 2차원 평면에 시각화한 그림입니다. 흉부 X-ray data는 음성과 양성 데이터의 구분이 꽤 뚜렷한 반면에 CT data는 그러한 경계가 없다는 것을 확인할 수 있습니다.

Visualize the effectiveness of extracted features

gradient-weighted class activation mapping 그림입니다. Backpropagating 한 결과를 HeatMap 으로 그려 X-ray 사진에 HeatMap을 덧씌운 그림입니다. 모델이 데이터를 분류할때 어느 부분이 중요하게 영향을 끼쳤는지 확인이 가능합니다.

Evaluation

연구진은 100 회에 걸쳐 Train 및 Evaluation 을 진행하였고, Accuracy, Sensitivity, Specificity, AUC value 값을 평가 지표로서 활용하였습니다. 아래의 표는 모든 예측(100회) 의 평가지표의 평균을 낸 값입니다. 

pre-trained 모델로 ResNet50 + 분류기 모델로 Linear SVM을 사용한 조합이 각 데이터셋에서 높은 성과를 보인것을 확인할 수 있습니다.

ROC-AUC score

각 모델별 ROC curve 입니다. linear SVM 과 neural Net 이 가장 높은 AUC 값을 가지는것을 확인할 수 있습니다. 

또한 classifier의 성능은 pre-trained CNN 모델에 따라 다양하게 나타나고 있습니다.

연구진은 추가적으로, 각 모델별로 추출되는 feature 및 파라미터의 갯수 또한 비교하였는데요. 그래프의 원은 pre-trained CNN 모델이며, 원의 크기는 Accuracy를 의미합니다. VGG16 모델은 적은 파라미터 및 feature 갯수에 비해 높은 정확도, AUC 값을 가지고 있고(Most informative& Discriminative), InceptionResNetV2는 높은 파라미터 및 feature 갯수에 비해 낮은 정확도, AUC 값을 가지고 있습니다. (Least informative & Discriminative features)

이러한 자료를 통해, 큰 네트워크를 가진 모델이더라도 반드시 more informative and discriminative features 를 추출하는것은 아님을 알 수 있습니다.

predictive Uncertainty Estimation

Uncertainty 는 2가지가 있습니다.

Aleatoric Uncertainty는, 어쩔 수 없이 발생하는 오류로 학습을 통해 줄일 수 없고,

Epistemic Uncertainty는 모델이 모르기때문에 발생하는 오류로 학습을 통해 줄일 수 있습니다.

연구진은 추가적으로, 모델의 Epistemic Uncertainty를 줄이기 위해 이를 추정해 나타내고자 하였습니다.

그리고 이를 위해 Ensemble model을 만들었습니다.

Ensemble 모델은 1개의 Hidden layer 를 가진 20개의 독립적인 neural network로 구성되어있고, hidden layer의 neuron 는 랜덤하게 50~400 개 중 선택되었습니다.

불확실성은 다음과 같이 계산되었습니다. (p 는 softmax 함수와 비슷해 보이네요..)

이를 다시 PCA를 통해 dimension을 줄여 2차원으로 만들었고, 시각화하여 나타내었습니다.

밝은색(녹색)일수록 높은 확실성, 어두운색(남색)일수록 높은 불확실성을 나타내고,

불확실성이 높다는 것은 앙상블 모델 내부의 classifier들의 분류가 서로 완전히 일치하지 않다는 것을 의미합니다.

X-ray의 Epistemic Uncertainty 는 상대적으로 낮고, CT 이미지는 꽤 높은것을 확인할 수 있습니다.

앞서 말씀드렸듯 CT 이미지는 원래 흉부를 관통하여 찍는 3D 이미지인데요, 이를 모두 사용하지않고 임의로 한 장을 선택해 분류를 진행하였으니 x-ray에 비해 불확실성이 높게 나타난 것이 아닌가 싶습니다. (가령 Covid를 분류하기 위한 설명력 높은 feature를 추출할 수 있는 위치에서 찍은 이미지가 아니었다던가..) 

Further Exploration

마지막으로, 연구진은 이 모델을 개선하기 위해 fine-tuning, hybrid models(feature 간의 통합 등), ensembles, more comprehensive Uncertainty measure 도출 등 다양한 방법을 제시하였습니다.

끝!

오늘 소개할 논문은 ELSEVIER_Expert Systems with Applications 의 

Classification of Individual’s discrete emotions reflected in facial micro-expressions using electroencephalogram and facial electromyogram 이다. 

논문은 아래의 링크에서 확인할 수 있다. 

https://www.sciencedirect.com/science/article/pii/S0957417421014330

논문 요약

이 연구는 뇌전도(EEG)와 안면전자기록(fEMG)을 이용한, 얼굴 미세표현에서의 감정 분류를 목표로 하는 연구이다. 이때, 얼굴 미세표현이란 사람이 자신의 감정을 숨기고 억제하려할때 나타나는 표정이다. 즉, 사람이 감추려하는 감정을 얼굴에 드러나는 미세표현으로부터 알아내고자 하는 연구라고 할 수 있다.

사용한 데이터셋

16명의 피험자에 대해 EEG(10개의 채널)와 fEMG(4개의 전극) dataset을 사용했다. EEG는 뇌의 전기적 활동을 나타내는 신호이고, fEMG는 얼굴 근육 섬유의 수축과 이완을 감지할 수 있는 신호이다. Target값은 피험자의 감정으로, 정답 label은 얼굴의 표정 영상 데이터를 이용한 감정분류값이다. 또한, 정답 label의 보조적 수단으로서 피험자에게 Arousal과 Valence 수치를 설문조사하여, 얼굴 표정영상데이터의 감정분류값과 Arousal/Valence값을 비교해 검증 및 조정하였다. (특정 범위 이하이면 제거하는 방식으로)

연구에서 정답값으로 사용된 '얼굴 표정영상데이터의 감정분류값'은 다음과 같이 결정된다. (기존에 있던 프로그램 이용)

먼저 사용자의 얼굴에 랜드마크를 찍으면, 랜드마크 사이의 거리, 모양 등에 따라 사용자의 감정이 다각도로 분류된다. 

한 예로 분석된 피험자의 감정상태를 보면, 피험자 1은 Happy한 감정임을 알 수 있다. 

Framework

연구는 16명의 피험자에 대해 진행되었고, 특정 감정을 느끼게 하는 영상을 보여주며 EEG 및 fEMG signal 을 수집하였다. 최종적으로는 피험자의 감정을 Sad, Happy, Anger, Disgust, Surprise, Fear 총 6가지로 분류한다.

그림과 같이 EEG 및 fEMG signal 에서 Filtering -> Segmentation -> Feature extraction 의 순서로 전처리 및 feature를 추출한다.

Band stop 필터는 신호의 주파수를 통과시키지만, 특정 범위의 주파수를 매우 낮은 수준으로 낮추는 필터이고,

Band pass 필터는 특정 주파수만을 통과시키는 필터이다.

연구에선 58-62 Hz의 주파수를 낮추고, EEG에서 1-50Hz만 통과, fEMG에서 20-450 Hz만 통과 시켰다. 이는 감정분석에 주로 많이 사용되는 주파수 대역대이다.

이후 window마다 높은 비율로 overlap하여 signal을 segmentation한다. (중복되게 자르는 비율이 높다)

마지막으로 EEG에서 Average spectral power, fEMG에서 Root mean square을 추출한다. 이 두 개의 feature를 통해 감정 분류를 하는 것이다.

결국 총 feature는 EEG에서 10 x EEGfeature 개 (10개 채널xEEG의ASP), fEMG에서 4xfEMGfeature(4개 채널xfEMG )개가 된다.

이 과정을 더 자세히 나타내면 다음과 같다.

연구에서는 전체 signal을 이용해 감정분석을 하지 않고,

Frame별로 얼굴 표정(정답값)을 분류해, 감정이 감지되는 Frame의 signal만을 이용해 해당 프레임의 감정을 분류한다. 

모델은 SVM 을 사용했다.

연구 결과

결과는 F1 score를 통해 검증하였다. 

* F1 score는 다음과 같이 Precision 과 recall의 조화평균으로 계산된다. 

적은 수의 feature를 사용하였음에도 average f1 score = 0.928 로 성능이 매우 좋은것을 확인할 수 있다. 

개인적인 의견

전체 signal을 이용해 감정을 분류하지않고, 특정 감정이 드러나는 Frame 에 대한 signal 만 이용해 분석한것이 정확도를 높인 설계라고 생각한다.

개인적으로는 프로그램이 분류한 감정 상태를 정답값으로 두어도 괜찮은가? 하는 의문이 들었다. 이것은 사실 온전한 정답이라기 보다 예측값에 가깝기 때문이다. 연구진도 이 부분을 우려하여, 이를 보완하기 위한 방법으로 설문조사를 통해 수집한 Arousal 과 Valence 수치를 이용한것으로 생각된다. 

오늘 읽어본 논문은 Computer science, Human-computer interaction 의

Investigating EEG-Based Functional Connectivity Patterns  for Multimodal Emotion Recognition 이다.

논문은 아래의 링크에서 확인할 수 있다. 

[2004.01973] Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition (arxiv.org)

논문의 특징 요소

• Affective Brain-Computer Interface
• EEG
• Eye movement
• Brain Functional Connectivity Network
• Multimodal Emotion Recognition

Connectivity?

말그대로 각 요소간의 연관성/연결성을 나타내는 지표이다.

논문에서는 functional connectivity 가 사용되었으나, functional connectivity 뿐 아니라 관련한 다양한 Connectivity 기법이 있다. 

• Structural Connectivity
• Biophysical connections between neurons or neural elements
• Functional Connectivity <- 논문에서 사용한 것
• Statistical relations between anatomically unconnected cerebral regions
• Effective Connectivity
• Directional causal effects from one neural element to another

논문 요약

EEG의 각 채널간의 Functional connectivity metrics를 계산하여 feature를 도출하고, 

Eyetracking data에 대한 feature를 도출해 두 feature를 fusion 하여,

이에 대해 SVM 모델을 통해 다중 분류(5가지)하여 감정을 분석하고자 하는 연구이다.

사용한 데이터셋

피험자에게 특정 감정을 느끼게 하는 동영상을 보여주면서,

64개 채널에서 EEG 신호를 수집하고, 동시에 Eyetracking data를 수집한 것이다. (SEED, DEAP 등)

Framework

1. 먼저 EEG signal data를 주파수 대역대(알파, 델타, 베타, 세타, 감마)로 나누어 4초 간격으로 잘라서, 64x64 의 Dynamic Brain connectivity Metrics 를 형성한다. (connectivity Metrics 란 네트워크 Metrics로, 각 채널을 vertex로 두고 신호와 신호의 상관(연결)관계를 나타내는 Metrics이다.) 이렇게 하면 결과적으로 5 종류의 64x64 Metrics 여러 장을 얻게 된다.

아래의 그림을 참고하자.

2. 1번에서 구한 Metrics 에 대해 Critical subnetwork selection 의 과정을 거친다. 이 과정은 총 3가지를 거치게 되는데, Averaging, Thresholding, Merging 이다.

Averaging 에서는 각 emotion state 별, 그리고 주파수 별로 connectivity metrics의 평균을 낸다. 이렇게 하면 5가지 emotion 에 대해, 그리고 한 emotion당 5가지 주파수에 대해 Metrics 가 할당되게 된다.

이후 Thresholding 을 통해 신호 중에서도 강력하게 나타나는 신호만을 selection 하게되고, 

Merging 과정을 통해 주파수대역대로 나눠진 분류를 기준으로, merging 하게 된다. 

최종적으로는 각 주파수 대역대로 나뉘어진 64x64의 Metrics 총 5개가 추출되게 된다.

3. 이렇게 추출된 metrics를 Critical connectivity matrices 라고 부른다.

논문에서는 해당 matrics에서 feature를 추출한다. 아래의 그림과 같이 EEG(matrics)에서 3종류, Eyetracking data에서 5종류를 추출한다. 연구진은 이렇게 추출한 EEG, Eyetracking feature를 fusion 하여 최종 feature를 재구성하는데, 이 과정에서 사용한 model을 DCCA라고 부른다.

EEG (64x64 – 주파수별로 5개) feature FROM metrics

• Strength
• Clustering coefficient
• Eigenvector centrality

Eyetracking feature
• Pupil diameter
• Fixation duration
• Blink duration
• Saccade
• Event Statistics

DCCA model(fusion 하는 과정)을 상세하게 나타내면 다음과 같다.

모든 EEG feature와, 모든 Eyetracking feature를 fully-connected 모델에 input으로 넣고, non-linear 형태로 각각 연산한다. (relu 같은 non-linear activation function 을 썼다는 의미라고 생각된다.) 최종적으로 나온 output에 대해, EEG와 Eyetracking data간의 피어슨 상관관계를 계산하고, CCA 를 통해 둘의 상관관계를 최대한 높일 수 있는 방향으로 파라미터를 업데이트 한다. 그리고 최종 결과를 Classifier(SVM)에 넣어 Emotion을 5가지로 classification 한다. 

이때 여러가지 feature, 여러 데이터의 상관관계를 한꺼번에 어떻게 구하는것인지 의문이 들 수 있는데 

 multi-배리얼-statistic- ?? 이라고 하는 기법이 있다고 한다. CCA 뿐 아니라 PLA 등의 기법 또한 있다고 한다.

또, 상관관계를 최대화 하는 방향으로의 파라미터 업데이트를 위한 cost function은 correlation 의 negative 값을 이용해 SVD 계산을 하여 구했다고 한다.

최종 분류 결과

연구진은 다양한 접근으로 정확도를 비교하였다.

EEG 만 이용해 감정분석, Eyetracking data만 이용해 감정분석, 둘 모두를 합쳐 감정분석(DCCA 모델 제외), 연구에서 제안한 DCCA 모델을 이용해 감정 분석.

이 네 가지의 정확도를 비교한 결과는 다음과 같다.

64채널을 모두 이용하고, 연구진인 제안한 DCCA 모델을 이용한 결과가 가장 높은 정확도를 보이는 것을 확인할 수 있다. 

이번에 읽은 논문은 ELSEVIER _ Medical Image Analysis 에 기고된

Accurate brain age prediction with lightweight deep neural networks 논문입니다.

https://www.sciencedirect.com/science/article/pii/S1361841520302358

 연구의 목표는 크게 2가지 입니다. 

1. T1-weighted-MRI 3D 이미지를 이용한 뇌연령 예측

2. Brain-age delta 의 확인

Brrain-age delta는 예측된 뇌의 나이와 실제 나이의 차이를 의미하는데요,

Brain-age delta 는 알츠하이머 등의 병의 진단에 있어 효과적인 바이오마커입니다.

연구에서 사용한 데이터셋은 UK-Biobank, PAC2019 의 2가지 이며,

두 데이터셋 모두 T1-weighted-structural MRI 3D brain image 를 제공합니다.

아래의 이미지 T1-weighted MRI 의 예시입니다.

MRI는 수집 및 처리하는 방식에 따라 다양한 종류로 나뉘는데, 그중에서도 T1-weighted MRI image는, T1 강조기법을 사용한 MRI 종류힙니다.

T1 강조영상은 짧은 TR과 짧은 TE를 이용한 스핀에코 기법으로, 조직의 T1 이완시간의 차이를 신호차이로 반영하는 기법입니다. 짧은 TR 을 사용함으로써 조직 간 종축 자기화의 회복정도가 크게 차이나게 되는데, 이를 신호 차이로 반영하는 기법입니다.

모델로는 Simple Fully Convolutional Network, SFCN 을 사용합니다. 

즉, VGGnet을 base로 하여 3D CNN 을 이용해 모델링을 합니다. (기존의 2D VGGnet을 3D VGGnet 으로 변경함)

논문에서는 항상 3x3 필터를 이용해 convolution 을 하여, 보다 파라미터를 적게생성하고 층을 늘리는 lightweight 전략을 세웠습니다. 

또한, 뇌연령 예측임에도 회귀 분석을 한 것이 아니라, 각 데이터셋별 1년, 2년 단위로 target값을 끊어서 총 40개의 구간(Class)으로 연령대를 만들어서, 다중분류를 하였습니다. (softmax 이용)

연구진은 단일 모델뿐 아니라, 다양한 접근 방식을 비교해가며 다양한 모델을 만들었는데요.

한가지 예로, 3D image 인 MRI를 여러 기법으로 전처리하여, 한 MRI 이미지에서 a linear image, non linear image, GM image, WM image 의 네가지 타입의 이미지를 추출하고, 각 이미지들을 복합적으로 이용해 뇌연령을 예측합니다.

아래의 매트랩에서 각 4가지 타입의 이미지데이터에 대해, 모델을 5개씩 만들어 예측값과 실젯값의 correlation 결과를 분석하였음을 확인할 수 있습니다. 

이때 5개의 모델은 모두 같은 아키텍처를 이용해 하이퍼파라미터만 다르게하여 학습한 모델로, (파라미터만 다르게)

각각의 모델에서 예측한 결과값의 mean으로 앙상블 모델을 만든것을 확인할 수 있습니다.

맨 아래 ensb 이라고 표시된 그림이 앙상블 했을때의 correlation 결과값인데요. 모든 데이터셋에서 0.9 이상의 결과를 얻은 것을 확인할 수 있었습니다.

이 결과값은 모델의 예측값과 실제값의 Stability 가 보장이 된다는 것을 확인할 수 있는 결과이며,

동시에 다양한 데이터를 이용해 정확도를 높이기 위함으로, 논문에서는 이 모델을 Semi-multimodal model 이라고 부릅니다.

뇌연령 예측 연구에서, 대개 나이가 상대적으로 어린 피험자는 나이가 더 높게 나오고, 나이가 상대적으로 많은 피험자는 나이가 더 낮게 예측되는 경향이 있는데,

연구진들은 이러한 Bias를 Correction 해주었습니다. 그림1 -> 그림2 -> 그림3 으로 갈수록 correction이 된 것을 확인할 수 있습니다.

결과적으로 선행 모델보다 높은 성능을 보이며, 적은 데이터셋을 학습시킬때도 성능이 좋게 나올 수 있도록 모델을 비교하며 시도하였습니다. 또한, 최종 모델은 뇌연령뿐아니라 성별예측에서도 높은 정확도를 보였습니다.

이상!! 

2021년도 동계 저널클럽 활동을 하며, 발표한 자료입니다.

제가 오늘 함께 공유하고자 하는 논문은 NAACL 저널에 기고된

Multilingual Language Models Predict Human Reading Behavior 입니다.

https://aclanthology.org/2021.naacl-main.10/

즉, 인간의 읽기 행동을 예측하는 다국어 언어 모델의 개발이 논문의 주제인 것인데요.

여기서 예측하고자하는 ‘인간의 읽기 행동’ 이란, 자연 상태에서 피험자가 문장을 읽을 때, 문장의 어떤 단어, 어느 위치에 피험자의 시선이 오래 머무는지를 의미합니다.

정리하면, 이 연구는 문장 data와, 해당 문장을 읽을때의 Eyetracking data를 이용하여 문장이 주어졌을 때 피험자의 시선이 어느곳에 주요하게 머물지를 연구하는 것이라고 볼 수 있겠습니다.

제가 이 논문을 선정한 이유는, “자연 읽기 상태 뇌파의 자연어로의 해독”이라는 지금의 제 연구 주제에 접목시킨다면 더 좋은 성과를 얻을 수 있을 것이라 판단하였기 때문이고, 동시에 여러분께 이 논문에서 사용된 들어는 봤으나 다소 생소한 Transformer-based 모델에 대해 소개해드릴 수 있기 때문입니다.

오늘의 발표는 다음과 같은 순으로 진행되겠습니다.

언어를 처리할 때 인간은 선택적으로 문장의 가장 관련성이 높은 요소에 더 오래 주의를 기울이게 되죠. 이렇듯 문장에서 단어의 상대적 중요성을 평가하는 능력은, 인간 언어 이해에 있어 핵심적인 요소라고 할 수 있습니다. 그러나 여태껏 인공지능 모델에서 이러한 상대적 중요성이 어떤 방식으로 인코딩-디코딩 되는지는 알려진 바가 없습니다. 그래서 연구진은, 인공지능 모델에서 어떻게 인간 언어의 상대적 중요성을 파악하는가를 알고자 하였고,

그 방법으로, 피험자가 글을 읽을 당시의 시선의 움직임을 추적하고, 해당 위치에 고정되어있는 기간과 같은 Feature를 측정 및 예측함으로써 파악할 수 있다고 생각했습니다.

다음의 그림은 해당 문장이 주어졌을 때, 피험자의 시선 추적 데이터를 시각화하여 나타낸 것입니다.

원은 눈이 고정되어 있던 위치, 그리고 원 아래 숫자는 시선이 고정되어 있던 시간을 의미합니다.

이 문장은 Laurance를 소개하는 글에서 가져온 문장인데요. 이전에 나왔던 이름인 Laurance 보다, 새롭게 등장한 단어인 Mary가 피험자에게 상대적으로 더 중요했기 때문에, 두 번, 그리고 더 오래 고정된 것을 확인할 수 있습니다.

연구진은 이러한 시선 추적 데이터를 통해 우리는 눈의 움직임 패턴을 예측할 수 있게되고, 이것은 동시에 모델의 인지적 타당성을 이해하는데 한걸음 더 다가갈 수 있게 해준다고 주장합니다.

본 연구에서는 다양한 종류의 데이터세트를 사용합니다.

영어 (Zuco), 독일어, 네덜란드어, 러시아어 등 다양한 언어로 작성된 문장과 시선처리 데이터에 대하여, 인간의 행동 패턴을 예측하는 큰 모델과 작은 모델이 있습니다.

작은 모델은 단일 언어를 학습하고 표현하는 모델이며, 큰 모델은 다국어 transformer 모델로, 모든 언어를 학습하고 표현하여, 작은 모델 보다 보편적인 언어 이해를 목표로 하는 모델입니다.

연구진들은 사람이 문장을 읽을 때, 특정 현상에 대한 시선 추적 패턴은 언어에 상관없이 일관되기 때문에, 단일 모델보다도 다국어 모델이 피험자의 행동 패턴을 예측하는데 있어 더 좋은 성능을 보일 것이라 가정하였습니다. 그리고 연구진은, 이 가설을 영어, 독일어, 네덜란드어, 러시아어 의 총 4가지 언어의 6개 데이터세트에 대해 테스트 하였습니다

표1은 모델 훈련시 사용된 각 데이터셋에 대한 기술통계 입니다. 던디, 지코, 주고, 지코, 포텍, RSC 의 총 6가지 데이터가 사용되었고, 각 데이터셋의 평균 문장 길이, 평균 단어 길이, 총 토큰 개수 등을 확인할 수 있습니다. 플래쉬 점수는 각 언어가 얼마나 읽기 쉬운가를 나타낸 지표인데요, 0 에서 100사이의 점수로 나타내어지며 점수가 높을수록 읽기가 쉬움을 나타냅니다.

데이터셋 각각에 대해 간략히 설명하자면,

1)    던디 데이터셋은 20개의 신문기사가 포함된 데이터셋으로, 한 번에 다섯 줄의 화면이 영어 원어민 독자에게 제시되었습니다.

2)    지코 데이터셋은 영어 소설이 포함된 데이터셋으로, 단락 별로 화면에 표시되었습니다.

3)    주코 데이터셋은 영화리뷰 및 위키피디아 기사의 전체 문장에 대한 시선 추적 데이터가 포함됩니다.

4)    지코 데이터셋에는 네덜란드 독자의 시선추적데이터가 포함되어있고

5)    포텍 데이터셋에는 대학 수준의 생물학 및 물리학 교과서의 짧은 구절이 포함되어 있습니다. 전체 구절이 여러줄로 표시되었고, 독일어 원어민이 읽습니다.

6)    RSC 데이터셋은 러시아어로, 국립 코퍼스에서 추출한 문장이 포함되어 있습니다. 성인에게 한번에 하나씩 전체 문장이 화면에 표시되었습니다.

시선 고정이란 피험자의 시선이 한 위치에 유지되는 시간입니다. 고정은 각 단어에 속하는 화면의 영역 주변 경계를 구분하여 단어에 맵핑됩니다. 단어는 한번이상 고정될 수 있으며, 각 토큰(문장)에 대해 초기 구문부터 후속되는 구분까지의 전체 읽기 프로세스를 인코딩하는 다음 8가지 시선추적기능을 예측합니다. (다음의 각 단어별 특성 추출)

(1)   고정 수—해당 단어에 고정된 횟수, (모든 피험자에 대한 평균값)

(2)   평균 고정 지속시간 – 모든 고정의 평균 고정 지속시간

(3)   고정 비율 – 해당 단어에 고정된 피험자의 수/전체 피험자 수

(4)   첫번째 고정 기간 – 해당 단어에 첫번째로 고정된 기간 . 모든 피험자에 대한 평균

(5)   첫번째 통과 기간 – 주제가 고정될때부터 통과 이후 모든 고정의 합. (????)

(6)   총 읽기 시간 – 모든 고정기간의 합, ?(?)

(7)   재고정 횟수 – 첫번째 고정 후에 고정 된 횟수

(8)   다시 읽은 비울 – 1회이상 고정된 피험자 수 / 전체 피험자 수

이렇게 추출된 데이터는 각각 값의 범위가 다르므로, 0에서 100 사이로 균일하게 맞추어 손실을 계산합니다.

BERT와, XLM의 두 모델에서 시선 추적을 예측하는 기능을 비교합니다.

왼쪽 그림은 ZUCO 영어 데이터셋에 대해 추출한 단어수준 feature 중, (3) 고정 비율 에 대해 예측한 값입니다. (이후 0~100 으로 scaling) 즉, He is of three quarters Irish andone quarterFrenchdescent. 문장에서, 각 단어에 고정된 피험자수/ 전체 피험자수를 나타낸 값인것이죠.

분홍색 선이 정답값이고, 주황색선은 XLM을 이용한 예측값, 파란색선은 BERT-모델을 이용한 예측값입니다.

오른쪽 그림은 RSC 러시아어 데이터셋에 대한 고정 수, 즉 해당 단어에 고정된 횟수에 대해 나타낸 값입니다. 마찬가지로 붉은 선이 실제값, 주황선이 XLM 모델을 이용한 예측값, 푸른색이 BERT 문장의 예측값입니다.

두 모델 모두 상당히 높은 정확도를 보이는 것을 확인할 수 있습니다.

각 언어 및 모델별 정확도를 비교한 최종 결과는 다음과 같습니다. 괄호 안에있는 것은 표준편차입니다.

pre-trained transformer 모델이 4가지 언어의 읽기 행동 패턴을 예측하는데 전반적으로 90% 이상의 높은 정확도를 보이는 것을 확인할 수 있었습니다. 또한 XLM 모델의 결과는 평균적으로 약간 더 낮지만, 훨씬 더 높은 표준편차를 나타냅니다. 

상대적으로 작은 데이터세트인 RSC 같은경우, 다국어 XLM 모델이 단일언어 모델보다 성능이 뛰어난 것을 확인할 수 있습니다.

또한 XLM 모델의 성능은 아주 작은 비율의 시선추적데이터로도 안정적으로 유지되지만, BERT 모델의 성능은 데이터의 20% 미만을 미세 조정할 때 급격히 떨어지는 한계가 있었습니다. 음영 처리된 영역은 표준편차를 나타내며, 점선은 파인튜닝없이 사전훈련된 BERT-MULTI 모델의 결과입니다.

지금까지 다국어 모델보다 특정 언어에만 훈련된 단일 언어 모델이 더 성능이 좋은 경우가 많지만, 다국어 모델은 적은 양의 데이터로 미세 조정될 때 언어별 모델보다 이점을 보여주었으며, 사용된 transformer 모델이 인간의 처리 메커니즘과 유사한 방식으로 언어의 상대적 중요성을 인코딩 한다는 것을 확인할 수 있었습니다.

저는 이번 저널리뷰를 통해 연구원이 연구를 어떻게 진행하는지, 최근에는 어떠한 연구주제가 있는지 등을 아는 것도 중요하지만, 사용된 모델이 무엇이고 어떻게 동작하는 것인지 간략하게나마 이해하는 것도 매우 중요한 요소라고 생각합니다. 그래서 따로 여기서 사용된 Transformer 모델이 대체 무엇인지, BERT 와 XLM 이 무엇인지, 살펴보는 시간을 갖도록 하겠습니다.

관련 내용은 다음의 문서로 가주세요!

https://checherry.tistory.com/111

최근 뇌의 각종 신호 데이터를 해독해 응용하는데 관심이 많이 생겨서 관련 논문을 3개 정도 찾아보았다. 특히 무의식 환자, 일상적 표현이 불가능한 중환자의 의사표현을 돕는데 관심이 생긴다. (무의식 환자 중 일부 환자는 깨어나지 못할 뿐, 뇌파 반응이 정상인과 유사하게 반응한다고 한다.)

사실 학부연구 주제도 이 분야로 하고싶다.. (내가 생각해둔 주제는 이 분야지만, 교수님께서 다른 분야를 추천해주실 수 있기 때문에 확정이 나지 않았다)

BCI 분야는 IT대기업들이 관심을 갖고 한창 연구가 진행중이며 그 성과가 점차 드러나고 있는 유망한 분야이다. 학부생 개인이 연구할 수 있는 주제는 여러 여건상 제한적이기 때문에 지금은 상대적으로 작은 프로젝트밖에 하지 못하겠지만, 추후 관련 분야를 연구하는 기업에 입사해 나도 연구에 참여할 수 있다면 좋을 것 같다. 

(논문1) Real-time decoding of question-and-answer speech dialogue using human cortical activity

https://www.nature.com/articles/s41467-019-10994-4

간략히 설명 : 사전 녹음된 질문 세트를 피실험자에게 들려주고 피실험자는 구두로 답변한다. 이 모든 과정은 EcoG를 사용해 뇌가 어떻게 활동하는 중인지 기록되고 있다. 이렇게 얻은 데이터셋은 음성 감지 및 디코딩 모델을 훈련하기 위한 입력으로 사용되며, 신경 신호를 사용해 참가자가 듣거나 말할때를 감지하고, 뇌파 속에서 어떤 대화가 진행되고 있는지 개연성을 파악한다. 학습된 모델 및 신경 신호를 통해, 환자가 듣는 내용을 61%까지, 환자가 답변하는 내용을 76%까지 정확히 문장으로 해독해냈다고 한다.

(논문2) Towards reconstructing intelligible speech from the human auditory cortex

https://www.nature.com/articles/s41598-018-37359-z

간략히 설명 : 간질을 앓고있는 환자들의 뇌에 전극을 삽입해, 피험자들이 귀로 듣고있는 내용에 대한 신경 신호를 인공지능 음성인식 소프트웨어가 학습한다. 피험자들은 0부터 9의 숫자까지 40차례 들었으며, 인공지능은 청각 피질에서 기록된 신경 반응을 인지해 어떤 숫자인지 알아내 음성으로 재구성한다. 이 모델은 75%의 정확도를 보인다.

(논문3) Speech synthesis from neural decoding of spoken sentences

https://www.nature.com/articles/s41586-019-1119-1

간략히 설명 : 신경 활동에서 음성을 해독하는 것은 어려우니, 가청 음성을 합성하기 위해 인간의 피질 활동에 인코딩된 운동학적 소리표현 신호를 명시적으로 활용하는 신경 디코더를 설계하는 내용이다. 피질 신호를 관절 운동의 표현으로 디코딩한다음, 이러한 표현을 종합하여 음성 음향으로 변환한다.

- 추후 세부 방법론 등 보충 설명을 추가하도록 하자 -

9.6일,

일전에 면접을 본 이후로는 처음으로 교수님과 미팅을 했다.

방학동안 연구 주제를 세부적으로 구상해가려고 했었는데, 교수님께서도 따로 생각해두신 연구 주제가 있으시다고 하셔서 간략하게만 조사해갔다. 대강 말하자면, 이번에 하고싶던 분야가

"종양미세환경에서의 면역항암 치료예측 인공지능 바이오마커(조직 분석 시스템) 연구 : 데이터 기반의 이미징 바이오마커를 통해 의사의 진단 및 치료과정의 정확성과 효율성 향상"

이었다. 교수님께서는 데이터 수집이 다소 어려워보일뿐 충분히 할수있는 분야라고 하시며 교수님께서 생각해두신 주제와 고민해보라고 하셨다. 교수님께서 생각해두신 주제는,

"뉴로 사이언스 분야 논문들을 분석해 향후 영향력이 클 논문을 판별/예측 하는것"

이었다. 그래프역학/네트워크 분석 등을 사용하는 연구인데, 이미 '생명공학'분야의 논문을 대상으로 같은 주제를 분석한 연구가 있어, 그 연구를 벤치마킹하자는 것이었다. 주제를 내가 원하는 주제인 '뉴로 사이언스'분야로 변경하고, 모델 알고리즘을 뜯어보며 이해한 후 모델을 개선시키고, 기존 모델과 내 모델의 기존 데이터를 넣었을때의 정확도와, 뉴로 사이언스 분야의 논문들을 넣었을때의 정확도를 비교하려하였다. 해당 연구에서는 데이터셋 수집 및 저장 툴, 코드가 저장되어 있는 깃허브 등을 모두 제공하기에 가능한 것이었다.

그런데, 막상 깃허브의 폴더 및 파일들을 확인하니.... 중요한 코드들이 다 빠져있었다. 해당 연구를 진행하며 만든 사이트의 프론트엔드에 쓰이는 파일들만 개방되어있고, 모델의 코드를 포함해 중요한 내용이 없었다. 또, 시범을 돌려볼 수 있도록 제공한다는 예시 데이터셋과 예시 모델, 파라미터들도 전송 기간이 만료되었다며 받을 수 없었다. 무슨 일인지 만들어둔 사이트는 정상적인 작동이 되고 있지 않았다. 아마 연구 논문을 게재한 후 일정 기간이 지나 내린것 같았다.

9.10일,

기존 논문 벤치마킹의 문제점을 포함한 기존 연구에서 쓰인 분석 기법, 데이터 수집 및 저장 툴 등등을 더 세부적으로 조사해서 교수님께 보여드리니 교수님께선 핵심 코드가 없다면 굳이 우리가 이걸 할 필요가 없을것 같다며, 좀 더 생각해보신다고 하셨다. 아마 이 주제는 폐기하고 다른 주제를 생각해봐야할 것 같다. 캡스톤 디자인 주제도 마침 생각해둬야하니, 내일 오래간만에 도서관에 가려한다. 도서관에서 책도 읽고, 인터넷으로 관련 저널 및 논문 서칭도 하고, 마침 알고있는 인공지능 관련 연구 업무를 하시는 멘토님께 조언도 구해봐야겠다. 다음주 월요일까지 캡스톤 디자인 주제 후보 2개, 다음주 목요일까지 개인 연구 주제 후보 2개정도 생각해 둘 생각이다.

연구 주제 선정과 함께 교수님께서 내게 주문하신 당분관의 활동은 다음과 같다.

1. 도메인 지식 습득

2. 최근버전 리뷰 페이퍼 작성 

3. 맡은 주제 연구 진행--->  주제 고민으로 변경

4. 각종 뇌영상 데이터 이해 후 전처리 과정을 위한 각종 SW 학습

최신 버전 리뷰 페이퍼를 작성하다보면 자연히 도메인 지식은 습득될 수 밖에 없고, 주로 분석에 사용되는 각종 SW의 명칭 정도는 익힐 수 있을테니 리뷰 페이퍼 작성먼저 할 생각이다. 주제 고민과 함께 기존에 발행된 리뷰 페이퍼부터 예시로 읽고, 주제 선정 및 리뷰페이퍼 작성 완료 후 뇌영상 데이터 이해 및 각종 SW 학습을 하며 연구를 진행해야겠다.

이번주의 나와 저번주의 나는 달라야한다. 파이팅.

---> 논문이 출판되기전까지 학부연구 카테고리는 당분간 게시를 중단합니다!! <---

I. Data 수집 관련

* collected In Neo4j 3.5 database

그래프 데이터베이스 관리 시스템. 그래프 저장 및 처리기능을 갖춤. 활용을 위해서는 HTTP 엔드포인트를 사용하거나 바이너리 볼트 프로토콜을 사용. Cypher Query Language사용. Cypher언어 공부필요. 

* The data analyzed in study :  https://www.lens.org/, https://docs.api.lens.org

여기서 API를 통해 데이터 수집 가능. 검색된 메타 데이터를 사용해 구성함. Lens API의 PubMed, Crossref, Microsoft Academic, Core, Pubmed Central 에서 제공.

42개의 biomedicine 저널의 약3백만개의dataè 1980~2020 년 범위 -> 약 160만개의 data 사용.

* The data generated during study : scalingscience.ai 

저널 작성자가 실제로 원하는 토픽에 대한 결과를 볼 수 있게끔 만들어둔 웹페이지.

현재 어떤 토픽을 입력해도 Database Timeout 이라며 분석이 되지 않음.

II. Code확인 관련

conducted using node2vec, custom code

*Link : https://github.com/jameswweis/delphi    

approach on a sample set of data via an Jupyter Notebook provided in a Docker container

전반적이면서 간단한 분석 예시 notebook 폴더에서 확인가능. 그 외 폴더는 scalingscience.ai 웹페이지를 만들기위한 프론트엔트 파일들이며, 실제 모델에 사용된 분석 코드가 없음. 시범용으로 올려뒀다는 Dataset, 모델과 파라미터값들은 전송 기한이 만료되어 받을 수 없음.

시각화 application : Node.js 용 npm 를 사용해 Google Firebase에 배포되도록 구성되어 제공. 필요한 종속성은 해당 버전의 번호와 함께 package.json에 나열되며, 분석할 메트릭과 설명은 config.json에서 찾을 수 있음

----->연구를 진행한다면 분석 모델의 실제 코드에 대한 참고를 할 수 없어 모델 코드를 완전히 새롭게 만들어야함. 기존의 논문에 적용된 모델과 데이터를 받을 수 없기때문에 성능 비교또한 불가능.. (한다면 논문에 기재된 정확도를 기준으로 해야하겠지만 같은 데이터셋으로 비교할 수 없기때문에 큰 의미가 없어보임)  그러나 사용할 데이터 수집 및 저장 툴 및 전반적인 연구의 '흐름'에 대해서는 도움을 받을 수 있음.

III. Analyze 관련

Dataset)

Data는 Lens API에서 가져오기 때문에 이미 명확하다고 할 수 있으나, 추가적으로 명확하게끔 하는 기법 도입. 가령 node가 저자라면, Microsoft Academic ID와 ORCID id 등으로 hash함. 이러한 해시맵을 사용해 중복 ID가 없는지 모든 저자의 노드를 식별하고 병합함. 또, 모든 edge에 대해 인용된 논문이 인용한 논문 전에 발행된게 맞는지 재확인함. 모든 저널의 노드에 대해 중복이나 복제가 존재하지 않는지 확인함.

Graph)

Heterogeneous knowledge graph network. 이 그래프에서 논문은 노드로, 인용은 노드 사이의 directed edges로 표현됨. 저널과 연도는 노드로 표시되며, 각 발행 장소와 발행 연도는 edges로 표현. 저자도 노드로 표현. 추가적인 entity-level의 메타데이터들은 corresponding node에 저장됨.

Metric)

Biotechnology knowledge graph를 사용해 기계학습 파이프라인의 기능으로 사용하는 출판, 저자 매트릭의 시계열을 계산함. 메트릭은 1)논문 수준 메트릭, 2)저자 수준 메트릭, , 3)저널 수준 메트릭, 4)네트워크 수준 메트릭의 4가지 기본 범주로 나뉨. 각 메트릭에 대해 그래프의 구조를 사용하여 원하는 값을 계산하는 알고리즘 구현. (일반적으로 사용되는 메트릭과, 강조 표시된 작업에서 사용된 기능에서 수집된 메트릭을 통해 구현함)

1)    논문 수준. : 각 논문에 대해 1980~2020 사이 출판된 데이터세트의 논문에서 인용한 논문 수를 계산. 이 계산을 이용해 각 논문의 다른 인용 기반 속성을 계산함. (총 논문 수, 총 인용 수, 연간 인용 수 등)

2)    저자 수준 : 각 저자에 대해 이전예 계산한 논문 수준 메트릭을 집계해 관심 있는 추가 저자 수준 메트릭 도출. 저자의 h-index, 첫번째 논문의 출판 이후 연도, 총 논문 수, 인용 횟수 등이 포함됨.

3)    저널 수준 : 그 후 논문수준, 저자 수준 측정항목을 모두 사용해 각 저널에 대한 집계된 측정 항목 계산. 저널의 논문 수, 최대 인용 횟수와 같은 측정항목 포함. 각 저자에 대해 각 저널 수준 매트릭에 대해 해당 저자가 출판한 모든 저널의 최대값, 평균값, 최소값이 저자에게 다시 집계됨.

4)    네트워크 수준 : 위의 인용 및 문헌 기반 메트릭은 그래프의 구조와 관계의 다양성을 포착하기에 충분하지 않을 수 있음. 따라서 비지도 방식을 이용해, 해당 논문이 존재하는 각 연도에 대해 방향성 설정 및 80단계 랜덤 워크, node2vec알고리즘을 사용하는 로컬 인용 네트워크 구조를 기반으로 하는 각 논문에 대한 연속적인 특징 표현을 학습시킴.

위의 세부적인 내용은 아래의 테이블에서 확인 가능함.

Machine Learning)

위에서 나열된 metric을 입력data로 하는 기계학습 파이프라인 개발.

1-    네트워크 데이터베이스에서 데이터를 추출해 논문 수준으로 집계

2-    각 논문에 대해 출판 연도부터 출판 연도 5년후까지 최소 1번 이상 인용된 모든 논문에 대해 위에서 설명한 모든 메트릭을 계산함.

3-    저자 정보가 누락된 모든 논문을 제거해 약 150만개(원래 160만개였음)의 출판물을 남김

4-    ‘영향력 있는’ 논문 정의 : 출판 후 5년 후에 해당 연도의 전체 점수 중 상위 5%에 시간 환산된 pageRank 점수가 있는 경우

5-    추적할 특정 연도를 입력하면, 특정 연도로부터 5년 이후 까지의 모든 데이터를 불러와 훈련(75%) 및 테스트 데이터(25%)셋으로 분리. 이 때, 합성 소수 오버 샘플링을 적용해 균형 잡힌 훈련셋을 생성함.

6-    측정된 값을 직접적으로 비교할 수 있도록 계산된 메트릭에 대한 사전 처리를 수행함.

7-    Train data가 주어지면 가능한 모델 매개변수의 그리드에서, 훈련 데이터에 대한 교차검증을 수행해 최적화할 때 기계 학습 모델을 훈련함. 본 연구에서는 랜덤 포레스트 분류기를 사용함.(감소된 과적합 위험, 예측 분산의 잠재석 감소 및 비선형 관계를 캡쳐하는 능력 때문.)

8-    네트워크 수준 기능이 모델에 상당한 차원을 추가하기 때문에, 이러한 기능을 포함해 모델의 성능이 향상되거나 저하되는지의 여부를 검사하고 가장 성능이 좋은 모델을 선택

9-    보류 테스트 데이터에 대해 이전에 계산된 실제 영향 레이블과 영향 예측을 비교해 모델의 성능을 평가함.

->최종 모델 : 780만개 이상의 노드, 2억 100만개 관계 미 38억개 계산된 매트릭

-> 과학 논문의 자금 조달 포트폴리오 구축을 지원하는 도구 개발. DELPHI(Dynamic Early-warning by Learning to Predict High Impact)

p.s. 분석방법요약

데이터수집/병합 -> 동적/이질적 그래프로 구조화 -> 다양한 정량적 매트릭 세트 그래프에서 계신 및 저장 -> 반복해 기계학습 파이프라인 매트릭 간 구조에서 차등패턴 학습 -> 결과확인(생명공학 연구의 가장 유망한 5%를 분류기반 접근방식을 통해 채택(회귀기반 방법과 함께사용가능), 영향력 있는 연구에 대한 조기 경고 생성 모델), + 시간에 따른 각 논문 별 그래프의 저차원 표현을 결정하기위해 비지도학습 사용.