[ Article ]

Journal of Digital Contents Society - Vol. 20, No. 1, pp.7-13

ISSN: 1598-2009 (Print) 2287-738X (Online)

Print publication date 31 Jan 2019

Received 19 Nov 2018 Revised 13 Dec 2018 Accepted 20 Jan 2019

DOI: https://doi.org/10.9728/dcs.2019.20.1.7

공간 기반의 VR 콘텐츠 분석을 위한 EEG 데이터 신뢰성 그래프 생성 기법

황태훈¹ ; 김진헌²^{, *}

서경대학교 전자·컴퓨터공학과

EEG Data Reliability Graph Generation Technique for Space-based VR Content Analysis

Tae-Hun Hwang¹ ; Jin Heon Kim²^{, *}

Department of Electronic & Computer Engineering, Seokyeong University, Seoul 02713, Korea

Correspondence to: ^*Jin Heon Kim Tel: +82-2-640-7747 E-mail: jinheon@skuniv.ac.kr

Copyright ⓒ 2019 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

가상현실 콘텐츠는 그 용도와 목적을 달성하기 위해 콘텐츠에 몰입해야만 한다. 하지만 잘못 제작된 콘텐츠는 멀미를 유발하기 때문에 시청자의 몰입을 방해하고 의도하지 않은 결과를 초래할 수 있다. 이는 시청자의 뇌파를 측정하고 메스꺼움을 유발하는 장면을 분석하고 개선함으로써 몰입감을 증대시킬 수 있다. 그러나 이 방법의 가장 큰 문제는 뇌파 센서가 가상현실을 경험할 때 발생하는 움직임에 너무 민감하다는 데 있다. 이러한 데이터를 기반으로 도출된 결과는 신뢰할 수 없으므로 본 논문에서는 뇌파 신호를 분석할 때 사용되는 신뢰성 그래프의 개념을 소개한다. 신뢰성 그래프는 움직임 데이터를 기반으로 생성된다. 이 값은 그룹 평균을 계산할 때 가중치로 사용할 수 있다. 결과적으로 그룹 평균 그래프는 신뢰할 수 있는 영역의 고품질 데이터만 포함되어 있어서 신뢰성 있는 분석이 가능하다. 이러한 접근 방식을 통해 기존의 가상현실 콘텐츠를 정확하게 분석함으로써 콘텐츠를 개선할 수 있다.

Abstract

Virtual reality content must be immersed in the content to achieve its purpose. However, improperly produced content can cause motion sickness, which can interfere with viewer engagement and cause unintended consequences. This can increase the sense of immersion by measuring and analyzing the brain waves of the viewer and improving the scenes that cause nausea. The biggest problem with this method is that the EEG sensor is too sensitive to the motion that occurs when experiencing virtual reality. Results based on this data are not reliable. Therefore, this paper introduces the concept of reliability graph used for analysis of EEG signals. The reliability graph is generated based on the motion data. This value can be used as a weight when calculating group averages. As a result, the group average graph contains only the high-quality data of the reliable area, so reliable analysis is possible. This approach makes it possible to improve the content by enabling accurate analysis of existing virtual reality contents.

Keywords:

VR Media Content, EEG Data, Data Analysis, Data Reliability, Contents Evaluation

키워드:

가상현실 미디어 콘텐츠, 뇌파 신호, 데이터 분석, 데이터 신뢰도, 콘텐츠 평가

Ⅰ. 서 론

정보 통신 분야에서 주목받고 있는 가상현실 분야는 이미 게임[1], 교육[2] 및 시뮬레이션과 같은 다양한 분야에서 사용되고 있다. 이러한 가상현실 콘텐츠의 목적을 달성하기 위해서는 사용자가 충분히 몰입할 수 있도록 콘텐츠를 제작해야 한다. 하지만 현재 가상현실 콘텐츠 제작에 관한 충분한 논의가 이루어지고 있지 않으며, 잘못 제작된 콘텐츠는 메스꺼움을 유발하기 때문에 콘텐츠의 본래 목적과 맞지 않는 결과를 초래할 수 있다. 이러한 문제점을 해결하기 위해 가상현실 콘텐츠의 품질 평가가 논의되고 있으며[3], 이는 감정과 관련된 계산 과정을 다루는 Affective Computing[4]이라는 분야로 이어진다. 이는 콘텐츠를 보며 측정한 생체 신호를 기반으로 시청자의 상태를 분석하여[5], [6] 콘텐츠를 개선하는 연구이다. 이 방법의 가장 큰 문제점은 가상현실 콘텐츠는 공간 기반이므로 머리와 몸을 움직이며 시청해야 하는 데서 발생한다. 미세한 전류를 증폭시켜 사용하는 EEG(Electroencephalography) 센서의 경우 센서의 특성상 작은 움직임에도 쉽게 신호가 왜곡될 수 있는데, 머리의 움직임뿐만 아니라 안구 운동 등의 다양한 이유로 뇌파 신호의 왜곡이 발생한다. 이러한 신호 왜곡을 최소화하기 위해 눈 깜빡임 등의 안구 운동 아티팩트(Artifact) 제거[7]-[9], 자이로 센서를 바탕으로 머리 움직임에서 발생하는 뇌파 감지[10], HMD(Head Mounted Display)가 EEG에 미치는 영향[11] 등의 다양한 연구가 진행되고 있다. 하지만 여전히 남아있는 문제점은 움직임으로 인한 아티팩트 제거가 완벽하지 못하는 데 있다. 또한, 생체 신호의 경우 실험자에 따른 변동성 차이가 심하기 때문에[12] 실제 해당 부분의 뇌파가 신체의 움직임으로 발생한 신호 왜곡인지, 실제 감정을 느껴 발생한 신호 상승인지 정확하게 모델링 하기는 쉽지 않다. 이러한 문제는 신호의 신뢰성을 떨어뜨리게 되며 도출된 결과의 해석을 어렵게 한다.

본 논문에서는 가상현실 콘텐츠를 시청하며 수집할 수 있는 다양한 생체 신호 중 EEG 데이터의 신뢰도 그래프를 생성하는 기법을 제안하고자 한다. 신뢰도 그래프는 HMD에서 얻을 수 있는 IMU(Inertial Measurement Unit), 눈의 개폐 여부, 시선 정보를 활용하여 구한다. 이는 측정자의 운동량을 정량화하여 높은 운동량을 가지는 구간일 경우 신뢰도를 낮추는 방식이다.

본 논문의 구성은 다음과 같다. 2장에서는 관련 연구로서 VR(Virtual Reality) 공간상의 좌표 변환과 EEG 데이터 처리를 소개한 후, 3장에서 제안하는 방법에 대하여 설명한다. 4장에서는 실험을 통해 제안하는 방법의 실효성을 검증하고, 5장에서 결론을 맺는다.

Ⅱ. 관련 연구

2-1 VR 공간상의 좌표 변환

본 논문에서는 EEG 데이터의 왜곡을 유발하는 영역을 찾는 방안으로 HMD에서 취득할 수 있는 IMU 데이터와 시선 추적 기능을 사용한다. 이 두 가지 정보를 사용하면 VR 영상 포맷 중 하나인 ERP(Equi-rectangular projection) 포맷 영상 위의 한 점으로 변환할 수 있다. 여기서 ERP 영상 포맷을 사용하는 이유는 ERP 포맷은 다른 포맷들과는 달리 하나의 면에서 전체 방위각을 표현하기 때문에 연속적으로 움직이는 데이터를 표현하는 데 적합하다. 변환된 점의 변화를 확인하면 VR 공간상에서의 시선 혹은 머리의 움직임을 한눈에 판단할 수 있다. 먼저 HMD에서 시선 벡터 $v →$ 를 얻는다. 시선 벡터는 HMD에서 측정한 방향이며 1로 정규화되어있는 벡터이다. 절대적인 시선 벡터를 HMD의 방향까지 고려한 실제 3D 공간상의 시선 벡터 $u →$ 로 변환하기 위해선 HMD의 회전 정보가 필요하다. 본 논문에서 사용한 FOVE0 HMD의 경우 HMD의 회전에 대한 정보를 사원수(Quaternion)의 형태로 제공한다. 시선 벡터 $v →$ 에 사원수를 이용한 회전변환을 하기 위해서는 먼저 스칼라 부분이 0이고 벡터 부분이 시선 벡터인 사원수를 만든다. 이를 회전변환에 적용하기 위한 수식은 아래와 같다.

v = x + y j + z k

(1)

q = a + b i + c j + d k

(2)

q - 1 = a - b i - c j - d k

(3)

u = q v q - 1

(4)

스칼라 부분이 0이라는 것을 이용해 수식 (4)를 다음 회전행렬로 나타낼 수 있다.

u → = x' y' z' = R x y z

(5)

R = a 2 + b 2 - c 2 - d 2 2 b c + 2 a d 2 b d - 2 a c 2 b c - 2 a d a 2 - b 2 + c 2 - d 2 2 c d + 2 a b 2 b d + 2 a c 2 c d - 2 a b a 2 - b 2 - c 2 + d 2

(6)

다음은 이렇게 얻은 3D 공간상의 시선 벡터를 ERP 포맷 영상의 좌표로 변환하는 과정이다. 시선 벡터를 통해 각도를 구할 수 있으며(7), (8), 영상의 가로 길이를 W, 세로 길이를 H라고 할 때 ERP 포맷 영상 위의 좌표 (i, j)는 아래의 식 (9), (10)과 같다.

Φ = tan - 1 ⁡ - x' / z'

(7)

Θ = sin - 1 ⁡ y'

(8)

i = - Θ / 180 + 0.5 * H

(9)

j = Φ / 360 + 0.5 * W

(10)

결과적으로 수식 (10)을 통해 계산된 ERP 포맷 상의 좌표는 VR 공간상에서 실험자가 움직인 운동량으로 판단 가능하며 신뢰도 그래프 생성 시 이 정보를 활용하고자 한다.

2-2 EEG 데이터를 활용한 감정 인식

본 논문과 관련된 뇌파를 이용한 감정 인식 연구로는 뇌파를 AR(Autoregressive) 모델로 모델링 한 후 선형예측계수(Linear Prediction Coefficients)를 특징으로 이용할 때의 성능을 비교한 연구[13], FFT(Fast Fourier Transform)를 이용하여 추출한 특징 데이터를 K-Means, SVM 분류기에 적용하여 성능을 비교한 연구[14], AR 모델로 특징을 추출한 후 SVM, K-Means 분류기에서 성능을 비교한 연구[15] 등이 있다. 본 논문에서는 FFT 스펙트럼을 사용하여 Beta / Alpha의 비율을 특징으로 추출하고자 한다.[16] Alpha의 비율이 커지면 뇌 사용량이 증가함을 의미하고, Beta의 비율이 커지면 집중적인 정신활동을 관찰할 수 있다.[17] 결국 Beta / Alpha 비율이 커지면 뇌의 집중 반응에 대한 값으로 이해할 수 있다. 이 비율은 실제 뇌파 집중력 분석을 이용한 제어 신호 발생[18]과 같이 뇌파를 이용해 집중력을 판단하는데 적용되고 있다.

Ⅲ. 제안하는 방법

본 논문에서는 VR 공간에서 수집된 생체 신호의 신뢰성을 판단할 수 있는 척도로서 신뢰도 그래프라는 개념을 도입하고자 한다. 신뢰도를 구하기 위해서 HMD에서 취득할 수 있는 다양한 정보를 활용한다. 제안되는 방법 이외에도, 머리 움직임이나 안구 운동 데이터에 기반을 둔 EEG 신호의 왜곡을 계산하기 위한 많은 연구가 수행되었다. 하지만 이 연구의 문제점은 실제 뇌 사용량의 증가로 인해 뇌파가 상승하는지, 머리의 움직임으로 인해 뇌파가 상승하는지를 판단하기 어렵다는 것이다. 실제 뇌파를 측정하는 사람만이 그것을 알고, 대부분은 자신의 감정을 정확하게 알지 못하기 때문에 문제의 어려움이 커진다. 이 문제를 해결하기 위해 신뢰도 그래프를 가중치 개념으로 사용하여 원래 신호를 훼손하지 않고, 신뢰도 높은 뇌파 신호를 높은 가중치로 반영하여 평균 그래프를 산출한다. 계산된 평균 그래프는 움직임이 낮은 영역에서 높은 가중치로 계산되므로 신뢰할 수 있는 그룹 평균 그래프를 얻을 수 있다. 신뢰도 그래프를 얻기 위한 전반적인 흐름도가 아래의 그림 1과 같다.

Fig. 1.

Overall flow of reliability calculation

신뢰성 그래프를 계산하기 위해서는 시선 정보, HMD의 움직임 (IMU) 및 눈이 개폐 여부 총 세 가지 정보가 필요하다. 첫 번째로 시선 정보와 HMD의 움직임 정도를 사용하여 동작 (머리, 눈)에 대한 신뢰도 지표를 얻을 수 있다. 또한, 눈을 감고 닫는 정보를 확인하여 눈의 깜빡임 정도, 눈을 강하게 감은 구간 등을 확인할 수 있다. 이 세 가지 측정 항목은 단일 신뢰 그래프를 만드는 데 사용된다. 계산된 신뢰도 그래프는 추후 그룹 통계 분석 등에서 사용되는 평균 그래프를 도출하기 위한 가중치 정보로 활용된다.

3-1 신체 운동 기반의 신뢰도 그래프

IMU와 시선 정보를 이용하여 각각 머리의 움직임과 안구 운동 정도를 계산할 수 있다. 이를 하나의 신뢰도 그래프로 표현하기 위해 두 신호를 연관 분석하여 2.1에서 설명한 바 있는 VR 공간상의 좌표로 변환한다. 이 좌표의 변화를 관찰함으로써 안구 운동과 시선 움직임을 한데 묶어 신체 운동 데이터로서 관찰할 수 있다. VR 공간상의 좌표는 이 변화가 크면 클수록 운동 데이터가 증가함을 의미한다. 운동량이 큰 순간의 데이터는 아티팩트를 제거하는 알고리즘을 사용했다 하더라도 변화가 커질수록 신뢰성이 떨어질 수밖에 없기 때문이다. 먼저 VR 공간상의 좌표를 운동 데이터로 관찰하기 위해서 좌표의 변화량을 유클리디안 거리(Euclidean Distance)로 변환한다. 변환하기 위한 수식은 아래와 같다.

H M D m o v e = x i - x i + 1 2 + y i - y i + 1 2

(11)

수식 (11)에서 나온 결과는 작은 값이 나오면 움직임이 거의 없다고 할 수 있으며, 이는 신뢰도 높은 구간이라 할 수 있다. 그와 반대로 값이 아주 크면 아주 급격한 움직임이라고 판단할 수 있으며, 이 값이 커질수록 데이터를 신뢰할 수 없다고 판단할 수 있다. 이는 감마변환을 통해 움직임과 신뢰도를 비선형으로 대입하여 움직임이 클수록 신뢰도를 크게 낮출 수 있다. 감마변환은 아래의 수식과 같다.

T = H M D m o v e, 0 ≤ Input ≤ 1

(12)

수식 (12)에서 얻은 그래프를 통해 특정 순간에 발생한 움직임으로 인한 데이터 신뢰도를 판단할 수 있다. 하지만 이러한 변화로 발생한 신호 왜곡은 해당 시점에서만 발생하는 것이 아닌 발생 후에도 영향을 미친다. 이 때문에 발생한 시점을 기준으로 일정 범위를 생성해 줄 필요가 있다. 먼저 모폴로지(Morphology) 연산을 통해 범위를 확대한다. 그 후 가우시안(Gaussian) 필터링 연산을 통해 해당 영역을 스무딩(Smoothing) 하여 운동이 영향을 끼치는 범위를 생성할 수 있다. 운동 데이터를 모폴로지(Morphology) 연산 후 가우시안(Gaussian) 하는 수식은 아래와 같다.

T m o r p = m ax x' : e l e m e n t x' ≠ 0 s r c x + x'

(13)

T m o v e = 1 - G a u s s i a n T m o r p

(14)

위의 수식 (14)의 결과는 운동량이 증가할 경우 발생한 시점을 기준으로 일정 영역이 생성됨을 확인할 수 있다.

3-2 신체 운동 기반의 신뢰도 그래프

본 논문에서 사용한 HMD에서는 눈의 개폐 여부에 관한 정보를 취득할 수 있다. 눈을 자주 깜빡거리거나 눈을 질끈 감는 행위는 EEG 데이터의 신호 왜곡을 유발하는 주된 원인으로 손꼽히고 있다. 이와 같은 이유로 신뢰도 그래프 계산 시 이러한 구간에서의 신뢰도를 하락시키고자 한다. 눈의 깜빡임 구간을 활용하여 깜빡인 빈도를 측정하고 빈도가 잦은 구간은 신뢰도를 크게 낮추는 그래프를 생성한다. 이는 아래의 수식을 통해 판단할 수 있다.

E y e b l i n k i = E y e s t a e i - E y e s t a t e i - 1

(15)

T b l i n k = 1 - ∑ i = x x' E y e b l i n k i

(16)

위의 수식 (15)를 통해 일정 영역의 눈 깜빡인 빈도를 구할 수 있으며 이는 위의 수식 (12)와 같은 방법으로 빈도가 높을수록 가중하여 신뢰도 그래프를 생성한다. 눈 깜빡임뿐만 아니라 눈을 감은 기간을 통해서도 신호의 신뢰도를 판단할 수 있다. 이는 콘텐츠를 시청하며 이유 없이 눈을 감고 있을 리 없다는 가정이 있으며, 눈을 감은 경우는 공포 등의 감정을 느껴 눈을 질끈 감았을 경우를 뜻한다. 이는 아래의 수식과 같이 표현할 수 있다.

T t i g h t = 1 - ∑ i = x x' E y e s t a t e i

(17)

수식 (16)와 (17)은 운동량 기반의 신뢰도 그래프와 같은 방법으로 (12),(13)과정을 거친다.

앞서 구한 (14), (16), (17)을 기반으로 생체 신호 신뢰도 그래프를 생성하고자 한다. 세 가지 그래프를 통한 운동량 신뢰도 그래프는 아래와 같이 표현한다.

T g r a p h = a 1 T m o v e + a 2 T b l i n k + a 3 T t i g h t, a 1 + a 2 + a 3 = 1

(17)

위의 수식 (17)에서 a₁, a₂, a₃는 경험 상수를 의미하며 측정 환경에 따라 달리 반영되는 값이다. 본 논문에서는 각각의 파라미터를 0.5, 0.3, 0.2의 값으로 사용하였다.

3-3 신뢰도 그래프를 이용한 그룹 평가 방법

위에서 설명한 신뢰 그래프는 실제 그래프 통계 분석에 적용하여 평균 그래프를 계산하는 데 사용할 수 있다. 이 접근법은 그룹 통계에서 개별 데이터에 대한 신뢰할 수 있는 데이터를 얻고 고품질 평균 그래프를 계산하는 데 사용된다. 개별 데이터에 적용할 신뢰 기반 가중치는 다음과 같다.

W t r u s t j = T j / ∑ i n T i

(18)

위의 공식에서 n은 그룹에 속해있는 실험자의 총 수를 의미한다. 식 (18)로부터 얻은 가중치 맵은 실제 그룹 평균 그래프를 계산하는 데 사용됩니다. 그룹 평균 그래프를 파악하는 공식은 다음과 같습니다.

E A v g = ∑ i n W t r u s t i * E j

(19)

식 (19)에서 사용 된 E는 실제 뇌파 데이터에 기초한 개인의 감정 그래프를 의미한다. 본 논문에서는 2-2에서 소개된 바 있는 Beta / Alpha 의 비율을 뜻한다.

Ⅳ. 실험 결과

4-1 신뢰도 그래프 생성

본 논문에서는 제안하는 신뢰도 그래프의 실효성 검증을 위한 방법으로 일정 시간 동안 뇌파를 측정하고 이 EEG 데이터 그래프의 신뢰도 그래프를 관찰한다. 뇌파 측정은 총 2분 동안 진행하였으며 처음 30초는 눈 깜빡임과 머리 움직임 등을 발생시켰으며, 30초 후에는 움직임이 거의 없는 정적인 상태의 뇌파를 측정하였다. 이 과정을 2회 반복하였다. 측정된 뇌파 데이터는 아래의 그림 2와 같다.

Fig. 2.

EEG data collected by viewing VR contents

측정된 뇌파와 함께 수집된 HMD 정보를 활용하여 그림 2 신호의 신뢰도 그래프를 생성하고자 한다. 본 실험에서의 가장 이상적인 신뢰도 그래프는 2분의 신호 중 0~30초, 60~90초 구간에서 낮은 결과가 나와야 한다. 논문에서 제안하는 방법대로 IMU 데이터와 시선 데이터를 사용한 신체 운동 기반의 신뢰도 그래프는 아래의 그림 3과 같다.

Fig. 3.

Reliability graph based on the movement of the measurer (head, eyes)

그림 2를 보면 알 수 있듯이 실제로 고의로 아티팩트를 추가한 0~30초 구간과 60~90구간의 신뢰도 값이 매우 낮게 나왔음을 확인할 수 있다. 위와 같은 방법으로 T_blink, T_tight 그래프를 관찰하면 그림 2와 같은 양상을 확인할 수 있으며, 이를 최종적으로 하나의 신뢰도 그래프로 종합하면 아래의 그림 4과 같은 형태를 보인다.

Fig. 4.

Reliability graph combining three indicators

위의 그림 4의 결과로 보아 실제 실험 시 고의로 신호 왜곡을 발생시켰던 구간에서는 낮은 신뢰도 값이 나왔음을 확인하였고, 그와 반대로 평온한 상태에서 측정한 구간에서는 높은 신뢰도 값이 나옴을 확인할 수 있었다. 이는 실험 목표였던 이상적인 신뢰도 그래프와 유사한 형태를 띠고 있어서 실제 상황에서도 충분히 효력을 보일 것이라 판단된다.

4-2 신뢰도 그래프를 이용한 그룹 통계

앞서 구한 신뢰도 그래프를 가중치의 형식으로 이용하여 다수(12명)의 실험자의 평균 뇌파 그래프를 생성하고자 한다. 평균 뇌파 그래프는 Beta / Alpha의 비율을 적용하여 집중 상태를 그래프로 관찰한다. 집중 콘텐츠를 통한 집중도 실험은 개개인의 차이가 있으므로 검증이 쉽지 않다. 이 때문에 본 논문의 실험에서는 실험자들에게는 집중을 유발하지 않도록 최대한 평온한 상태를 유지하도록 하여 Alpha 파를 유도하였다. 결과적으로 Beta / Alpha의 비율은 0의 가까운 값이 대부분을 차지할 것으로 판단된다. 또한, 기존의 산술 평균 연산을 통한 결과 그래프와의 차이를 보이기 위해 뇌파 신호 측정 중간에 신호 왜곡을 발생시키는 움직임을 추가하였다. 아래의 그림 5는 기존의 방법인 산술 평균 연산을 통한 실험자 평균 그래프이다.

Fig. 5.

Average graph through conventional arithmetic mean operation

위의 그림 5의 결과는 실험자들의 집중 그래프의 평균을 계산한 결과이다. 예상과는 달리 전반적인 구간에서 집중 상태가 감지됨을 확인할 수 있었다. 이는 실제 실험자들이 집중하였다고 판단할 수 있으나 이 데이터는 움직이는 상태에서 측정된 데이터기 때문에 신뢰성이 떨어진다. 다음은 제안하는 방법을 통해 신뢰성이 떨어지는 구간을 제외한 평균 그래프를 관찰한다. 이는 아래의 그림 6과 같다.

Fig. 6.

Average graph through proposed method

그림 5와 비교하여 그림 6은 집중 감정이 많이 줄어들었음을 확인할 수 있다. 하지만 구간별로 집중이 비교적 높게 관측된 구간이 있는데 이는 실제 실험자들이 집중한 구간이라 보아도 무방하다. 그 이유는 신호 왜곡이 없는 영역에서의 온전한 데이터만을 이용하여 산출된 결과 그래프로 신뢰할만한 데이터를 기반으로 제작되었기 때문이다.

Ⅴ. 결 론

본 논문에서는 공간 기반의 VR 콘텐츠를 시청하며 생체 신호 측정 시 필연적으로 발생하는 신체 움직임으로 인한 EEG 신호 왜곡을 신뢰도 그래프를 통해 보였다. 신뢰도 그래프는 VR 콘텐츠 시청 시 착용하는 HMD의 IMU, 시선 추적, 눈의 개폐 여부 정보를 기반으로 도출되며, 이 그래프는 측정자의 운동성이 강할수록 낮은 값을 보인다. 이는 왜곡 알고리즘을 통한 신호 복원의 여부와 관계없이 분석된 신호가 얼마나 신뢰성이 있는지 판별하는 지표 일부로서 활용된다. 이를 활용하여 신뢰도가 낮게 나온 구간에 한하여 신호를 복원할 수 있다. 현재 뇌파의 변화는 측정자의 움직임으로 인하여 나온 결과일 수 있고, 실제 측정자가 느낀 감정으로 인한 결과일 수 있다. 이 경우 전 구간에 대해 신호 복원 알고리즘을 사용하면 측정자가 실제 느낀 감정이 사라질 수 있다. 하지만 신뢰도에 기반을 둔 복원 알고리즘은 그러한 위험성이 크게 줄어든다. 추후 신뢰성 그래프를 기반으로 한 응용 알고리즘 기법이 유용하게 활용될 수 있을 것으로 보인다.

References

Y.K. Kim, Y.S. Yoon, T.G. Oh, Y.H. HwangBo, and J.H. Hwang, "Real-time VR Strategy Chess Game using Motion Recognition", Journal of Digital Contents Society, 18(1), p1-7, (2017). [https://doi.org/10.9728/dcs.2017.18.1.1]
I.S. Ahn, "Production of educational video contents in online market using VR", Proceedings of the Korean Society of Computer Information Conference, 25(2), p375-376, (2017).
P. R. Pierre, "Virtually Perfect: Factors Affecting the Quality of a VR Experience and the need for a VR Content Quality Standard", in Proceeding of SMPTE 2016 Annual Technical Conference and Exhibition, Los Angeles, CA, p1-20, January), (2017.
R. Picard, Affective Computing, MIT press, (1997).
T.H. Hwang, and J.H. Kim, "Development of Emotion Analysis Platform for Quantitative Evaluation of VR Media Content", Journal of Digital Content Society, 19(10), p1187-1198, (2018). [https://doi.org/10.9728/dcs.2018.19.10.1887]
Youtube, [50th TDF] 09 Eyes - VR interface technology based on brain [Internet], Available: waves https://www.youtube.com/watch?v=dzJj2yzV6E8&t=1369s.
J. A. Uriguen, and B. G. Zapirain, "EEG artifact removal—state-of-the-art and guidelines", Journal of Neural Engineering, 12(3), p1-43, (2015).
J. F. Gao, Y. Yang, P. Lin, P. Wang, and C. X. Zheng, "Automatic Removal of Eye-Movement and Blink Artifacts from EEG Signals", Journal of Cerebral Function and Dynamics, 23(1), p105-114, (2010). [https://doi.org/10.1007/s10548-009-0131-4]
C. A. Joyce, I. F. Gorodnitsky, and M. Kutas, "Automatic removal of eye movement and blink artifacts from EEG data using blind component separation", Society for Psychophysiological Research, 41(2), p313-325, (2003). [https://doi.org/10.1111/j.1469-8986.2003.00141.x]
S. O. Regan, S. Faul, and W. Marnane, "Automatic detection of EEG artefacts arising from head movements using EEG and gyroscope signals", Journal of Medical Engineering and Physics, 35(7), p867-874, (2013).
G. Cattan, A. Andreev, C. Mendoza, and M. Congedo, "The Impact of Passive Head-Mounted Virtual Reality Devices on the Quality of EEG Signals", Workshop on Virtual Reality Interaction and Physical Simulation, Delft, Netherlands, April), (2018.
N. Jatupaiboon, S. P. Ngum, and P. Israsena, "Real-Time EEG-Based Happiness Detection System", Journal of The Scientific World Journal, 2013, p1-12, (2013). [https://doi.org/10.1155/2013/618649]
Y. S. Shin, "The effect of facial expression recognition based on the dimensions of emotion using PCA representation and neural networks", Lecture Notes in Computer Science, 3656, p1133-1140, (2005).
R. W. Picard, E. Vyzas, and J. Healey, "Toward Machine Emotional Intelligence: Analysis of Affective Physiological State", Journal of IEEE Trans on pattern analysis and machine intelligence, 23(10), p1175-1191, (2001). [https://doi.org/10.1109/34.954607]
J. T. Joo, I. H. Jang, H. C. Yang, and K. B. Sim, "Emotion Recognition and Expression Method using bi-Modal Sensor Fusion Algorithm", Journal of Institute of Control, Robotios and System, 13(8), p754-759, (2007).
R. F. Navea, and E. Dadios, Beta/Alpha power ratio and alpha asymmetry characterization of EEG signals due to musical tone stimulation, in Project Einstein 2015, (2015).
E. R. Kandel, J. H. Schwartz, T. M. Jessel, Principles of Neural Science, 4th Edition, Mc Graw Hill, New York, (2000).
B. K. Kang, and G. W. Yoon, “Generation of Control Signal based on Concentration Detection using EEG Signal”, Journal of The Institute of Electronics Engineers of Korea, 50(12), p3192-3198, (2013). [https://doi.org/10.5573/ieek.2013.50.12.254]