Journal Archive

본 논문에서는 EEG 데이터의 왜곡을 유발하는 영역을 찾는 방안으로 HMD에서 취득할 수 있는 IMU 데이터와 시선 추적 기능을 사용한다. 이 두 가지 정보를 사용하면 VR 영상 포맷 중 하나인 ERP(Equi-rectangular projection) 포맷 영상 위의 한 점으로 변환할 수 있다. 여기서 ERP 영상 포맷을 사용하는 이유는 ERP 포맷은 다른 포맷들과는 달리 하나의 면에서 전체 방위각을 표현하기 때문에 연속적으로 움직이는 데이터를 표현하는 데 적합하다. 변환된 점의 변화를 확인하면 VR 공간상에서의 시선 혹은 머리의 움직임을 한눈에 판단할 수 있다. 먼저 HMD에서 시선 벡터 v→ 를 얻는다. 시선 벡터는 HMD에서 측정한 방향이며 1로 정규화되어있는 벡터이다. 절대적인 시선 벡터를 HMD의 방향까지 고려한 실제 3D 공간상의 시선 벡터 u→로 변환하기 위해선 HMD의 회전 정보가 필요하다. 본 논문에서 사용한 FOVE0 HMD의 경우 HMD의 회전에 대한 정보를 사원수(Quaternion)의 형태로 제공한다. 시선 벡터 v→에 사원수를 이용한 회전변환을 하기 위해서는 먼저 스칼라 부분이 0이고 벡터 부분이 시선 벡터인 사원수를 만든다. 이를 회전변환에 적용하기 위한 수식은 아래와 같다.

스칼라 부분이 0이라는 것을 이용해 수식 (4)를 다음 회전행렬로 나타낼 수 있다.

다음은 이렇게 얻은 3D 공간상의 시선 벡터를 ERP 포맷 영상의 좌표로 변환하는 과정이다. 시선 벡터를 통해 각도를 구할 수 있으며(7), (8), 영상의 가로 길이를 W, 세로 길이를 H라고 할 때 ERP 포맷 영상 위의 좌표 (i, j)는 아래의 식 (9), (10)과 같다.

결과적으로 수식 (10)을 통해 계산된 ERP 포맷 상의 좌표는 VR 공간상에서 실험자가 움직인 운동량으로 판단 가능하며 신뢰도 그래프 생성 시 이 정보를 활용하고자 한다.

본 논문과 관련된 뇌파를 이용한 감정 인식 연구로는 뇌파를 AR(Autoregressive) 모델로 모델링 한 후 선형예측계수(Linear Prediction Coefficients)를 특징으로 이용할 때의 성능을 비교한 연구[13], FFT(Fast Fourier Transform)를 이용하여 추출한 특징 데이터를 K-Means, SVM 분류기에 적용하여 성능을 비교한 연구[14], AR 모델로 특징을 추출한 후 SVM, K-Means 분류기에서 성능을 비교한 연구[15] 등이 있다. 본 논문에서는 FFT 스펙트럼을 사용하여 Beta / Alpha의 비율을 특징으로 추출하고자 한다.[16] Alpha의 비율이 커지면 뇌 사용량이 증가함을 의미하고, Beta의 비율이 커지면 집중적인 정신활동을 관찰할 수 있다.[17] 결국 Beta / Alpha 비율이 커지면 뇌의 집중 반응에 대한 값으로 이해할 수 있다. 이 비율은 실제 뇌파 집중력 분석을 이용한 제어 신호 발생[18]과 같이 뇌파를 이용해 집중력을 판단하는데 적용되고 있다.

IMU와 시선 정보를 이용하여 각각 머리의 움직임과 안구 운동 정도를 계산할 수 있다. 이를 하나의 신뢰도 그래프로 표현하기 위해 두 신호를 연관 분석하여 2.1에서 설명한 바 있는 VR 공간상의 좌표로 변환한다. 이 좌표의 변화를 관찰함으로써 안구 운동과 시선 움직임을 한데 묶어 신체 운동 데이터로서 관찰할 수 있다. VR 공간상의 좌표는 이 변화가 크면 클수록 운동 데이터가 증가함을 의미한다. 운동량이 큰 순간의 데이터는 아티팩트를 제거하는 알고리즘을 사용했다 하더라도 변화가 커질수록 신뢰성이 떨어질 수밖에 없기 때문이다. 먼저 VR 공간상의 좌표를 운동 데이터로 관찰하기 위해서 좌표의 변화량을 유클리디안 거리(Euclidean Distance)로 변환한다. 변환하기 위한 수식은 아래와 같다.

수식 (11)에서 나온 결과는 작은 값이 나오면 움직임이 거의 없다고 할 수 있으며, 이는 신뢰도 높은 구간이라 할 수 있다. 그와 반대로 값이 아주 크면 아주 급격한 움직임이라고 판단할 수 있으며, 이 값이 커질수록 데이터를 신뢰할 수 없다고 판단할 수 있다. 이는 감마변환을 통해 움직임과 신뢰도를 비선형으로 대입하여 움직임이 클수록 신뢰도를 크게 낮출 수 있다. 감마변환은 아래의 수식과 같다.

수식 (12)에서 얻은 그래프를 통해 특정 순간에 발생한 움직임으로 인한 데이터 신뢰도를 판단할 수 있다. 하지만 이러한 변화로 발생한 신호 왜곡은 해당 시점에서만 발생하는 것이 아닌 발생 후에도 영향을 미친다. 이 때문에 발생한 시점을 기준으로 일정 범위를 생성해 줄 필요가 있다. 먼저 모폴로지(Morphology) 연산을 통해 범위를 확대한다. 그 후 가우시안(Gaussian) 필터링 연산을 통해 해당 영역을 스무딩(Smoothing) 하여 운동이 영향을 끼치는 범위를 생성할 수 있다. 운동 데이터를 모폴로지(Morphology) 연산 후 가우시안(Gaussian) 하는 수식은 아래와 같다.

위의 수식 (14)의 결과는 운동량이 증가할 경우 발생한 시점을 기준으로 일정 영역이 생성됨을 확인할 수 있다.

본 논문에서 사용한 HMD에서는 눈의 개폐 여부에 관한 정보를 취득할 수 있다. 눈을 자주 깜빡거리거나 눈을 질끈 감는 행위는 EEG 데이터의 신호 왜곡을 유발하는 주된 원인으로 손꼽히고 있다. 이와 같은 이유로 신뢰도 그래프 계산 시 이러한 구간에서의 신뢰도를 하락시키고자 한다. 눈의 깜빡임 구간을 활용하여 깜빡인 빈도를 측정하고 빈도가 잦은 구간은 신뢰도를 크게 낮추는 그래프를 생성한다. 이는 아래의 수식을 통해 판단할 수 있다.

위의 수식 (15)를 통해 일정 영역의 눈 깜빡인 빈도를 구할 수 있으며 이는 위의 수식 (12)와 같은 방법으로 빈도가 높을수록 가중하여 신뢰도 그래프를 생성한다. 눈 깜빡임뿐만 아니라 눈을 감은 기간을 통해서도 신호의 신뢰도를 판단할 수 있다. 이는 콘텐츠를 시청하며 이유 없이 눈을 감고 있을 리 없다는 가정이 있으며, 눈을 감은 경우는 공포 등의 감정을 느껴 눈을 질끈 감았을 경우를 뜻한다. 이는 아래의 수식과 같이 표현할 수 있다.

수식 (16)와 (17)은 운동량 기반의 신뢰도 그래프와 같은 방법으로 (12),(13)과정을 거친다.

앞서 구한 (14), (16), (17)을 기반으로 생체 신호 신뢰도 그래프를 생성하고자 한다. 세 가지 그래프를 통한 운동량 신뢰도 그래프는 아래와 같이 표현한다.

위의 수식 (17)에서 a₁, a₂, a₃는 경험 상수를 의미하며 측정 환경에 따라 달리 반영되는 값이다. 본 논문에서는 각각의 파라미터를 0.5, 0.3, 0.2의 값으로 사용하였다.

위에서 설명한 신뢰 그래프는 실제 그래프 통계 분석에 적용하여 평균 그래프를 계산하는 데 사용할 수 있다. 이 접근법은 그룹 통계에서 개별 데이터에 대한 신뢰할 수 있는 데이터를 얻고 고품질 평균 그래프를 계산하는 데 사용된다. 개별 데이터에 적용할 신뢰 기반 가중치는 다음과 같다.

위의 공식에서 n은 그룹에 속해있는 실험자의 총 수를 의미한다. 식 (18)로부터 얻은 가중치 맵은 실제 그룹 평균 그래프를 계산하는 데 사용됩니다. 그룹 평균 그래프를 파악하는 공식은 다음과 같습니다.

식 (19)에서 사용 된 E는 실제 뇌파 데이터에 기초한 개인의 감정 그래프를 의미한다. 본 논문에서는 2-2에서 소개된 바 있는 Beta / Alpha 의 비율을 뜻한다.

본 논문에서는 제안하는 신뢰도 그래프의 실효성 검증을 위한 방법으로 일정 시간 동안 뇌파를 측정하고 이 EEG 데이터 그래프의 신뢰도 그래프를 관찰한다. 뇌파 측정은 총 2분 동안 진행하였으며 처음 30초는 눈 깜빡임과 머리 움직임 등을 발생시켰으며, 30초 후에는 움직임이 거의 없는 정적인 상태의 뇌파를 측정하였다. 이 과정을 2회 반복하였다. 측정된 뇌파 데이터는 아래의 그림 2와 같다.

Fig. 2. 
EEG data collected by viewing VR contents

측정된 뇌파와 함께 수집된 HMD 정보를 활용하여 그림 2 신호의 신뢰도 그래프를 생성하고자 한다. 본 실험에서의 가장 이상적인 신뢰도 그래프는 2분의 신호 중 0~30초, 60~90초 구간에서 낮은 결과가 나와야 한다. 논문에서 제안하는 방법대로 IMU 데이터와 시선 데이터를 사용한 신체 운동 기반의 신뢰도 그래프는 아래의 그림 3과 같다.

Fig. 3. 
Reliability graph based on the movement of the measurer (head, eyes)

그림 2를 보면 알 수 있듯이 실제로 고의로 아티팩트를 추가한 0~30초 구간과 60~90구간의 신뢰도 값이 매우 낮게 나왔음을 확인할 수 있다. 위와 같은 방법으로 T_blink, T_tight 그래프를 관찰하면 그림 2와 같은 양상을 확인할 수 있으며, 이를 최종적으로 하나의 신뢰도 그래프로 종합하면 아래의 그림 4과 같은 형태를 보인다.

Fig. 4. 
Reliability graph combining three indicators

위의 그림 4의 결과로 보아 실제 실험 시 고의로 신호 왜곡을 발생시켰던 구간에서는 낮은 신뢰도 값이 나왔음을 확인하였고, 그와 반대로 평온한 상태에서 측정한 구간에서는 높은 신뢰도 값이 나옴을 확인할 수 있었다. 이는 실험 목표였던 이상적인 신뢰도 그래프와 유사한 형태를 띠고 있어서 실제 상황에서도 충분히 효력을 보일 것이라 판단된다.

앞서 구한 신뢰도 그래프를 가중치의 형식으로 이용하여 다수(12명)의 실험자의 평균 뇌파 그래프를 생성하고자 한다. 평균 뇌파 그래프는 Beta / Alpha의 비율을 적용하여 집중 상태를 그래프로 관찰한다. 집중 콘텐츠를 통한 집중도 실험은 개개인의 차이가 있으므로 검증이 쉽지 않다. 이 때문에 본 논문의 실험에서는 실험자들에게는 집중을 유발하지 않도록 최대한 평온한 상태를 유지하도록 하여 Alpha 파를 유도하였다. 결과적으로 Beta / Alpha의 비율은 0의 가까운 값이 대부분을 차지할 것으로 판단된다. 또한, 기존의 산술 평균 연산을 통한 결과 그래프와의 차이를 보이기 위해 뇌파 신호 측정 중간에 신호 왜곡을 발생시키는 움직임을 추가하였다. 아래의 그림 5는 기존의 방법인 산술 평균 연산을 통한 실험자 평균 그래프이다.

Fig. 5. 
Average graph through conventional arithmetic mean operation

위의 그림 5의 결과는 실험자들의 집중 그래프의 평균을 계산한 결과이다. 예상과는 달리 전반적인 구간에서 집중 상태가 감지됨을 확인할 수 있었다. 이는 실제 실험자들이 집중하였다고 판단할 수 있으나 이 데이터는 움직이는 상태에서 측정된 데이터기 때문에 신뢰성이 떨어진다. 다음은 제안하는 방법을 통해 신뢰성이 떨어지는 구간을 제외한 평균 그래프를 관찰한다. 이는 아래의 그림 6과 같다.

Fig. 6. 
Average graph through proposed method

그림 5와 비교하여 그림 6은 집중 감정이 많이 줄어들었음을 확인할 수 있다. 하지만 구간별로 집중이 비교적 높게 관측된 구간이 있는데 이는 실제 실험자들이 집중한 구간이라 보아도 무방하다. 그 이유는 신호 왜곡이 없는 영역에서의 온전한 데이터만을 이용하여 산출된 결과 그래프로 신뢰할만한 데이터를 기반으로 제작되었기 때문이다.