사물인터넷 기반의 집중도 및 명상도 검출을 통한 ASMR 콘텐츠 제어 기법

Ⅰ. 서론

정신건강에 문제를 일으키는 주요 원인으로 우울증, 정신 분열증, 양극성 장애, 알코올 중독 및 강박 장애, 스트레스 등이 있다[1].

특히 스트레스는 학생들의 학업 성취도를 감소시키고 직장인의 업무 효율성을 떨어뜨리는 등 우리 사회의 주요 이슈가 되고 있다[2], [3]. 선행 연구에 따르면 입시 위주의 교육현실로 인해 청소년들이 경험하는 학업 스트레스는 정신건강을 위협하는 중요한 변인으로 분석되고 있으며[4] 학교에서 직업 세계로 이행하는 시기에 경험하는 청년 실업은 또 다른 스트레스로 작용하여 이들의 정신건강상태를 상당히 헤치고 있다[5]. 직장인의 경우에도 조직의 요구에 부응하기 위해 업무의 변화와 강도에 적응해야 하는 어려움과 새로운 산업과 기술의 발전에 도태되지 않기 위해 끊임없이 노력해야 하는 상황으로 인해 극심한 스트레스에 노출되고 있다[6].

스트레스 해소와 관련된 기존 연구들을 살펴보면, 자율 감각 쾌락 반응(ASMR; autonomous sensory meridian response) 콘텐츠(20-20,000Hz의 범위에 걸쳐 연속적으로 균일하게 분포된 주파수를 갖는 일련의 소음)가 기분에 영향을 끼칠 수 있으며, ASMR 콘텐츠가 청취자의 기억력과 집중력을 향상시키고 스트레스를 감소시킬 수 있으며, 심리적 안정을 준다고 분석하였다[7], [8], [9]. 또한 스트레스를 완화시키고 주의력을 향상시키기 위해 뇌파(EEG; electroencephalography) 신호를 이용한 스트레스 검출방법이 제안되었으며[10], 정신건강 모니터링 시스템을 위한 EEG-connectome 프로세서도 제안되었다[11]. 그러나 이러한 연구들은 주로 스트레스 검출 기법에 초점을 맞추었고 스트레스 완화를 위해 ASMR 콘텐츠와 연계하는 기법에 대해서는 제시하지 못하였다.

따라서 본 논문에서는 상용화된 뇌파(EEG) 측정 디바이스로부터 측정된 EEG, 집중도, 명상도, 눈 깜빡임 데이터를 oneM2M 표준을 준용한 IoT(internet-of-things) 서버 플랫폼에 수집한 후, EEG, 집중도, 명상도 데이터로 설계한 SVM(support vector machine) 모델로부터 분류된 정신건강상태와 눈 깜빡임 데이터를 활용하여 ASMR 컨텐츠를 제어하는 기법을 제안한다.

Ⅱ. 제안된 ASMR 콘텐츠 제어 기법

그림 1은 제안된 ASMR 콘텐츠 제어 기법의 블록 다이어그램을 나타낸 것이다. 뇌파 측정 디바이스, 안드로이드 IoT 앱, IoT 서버 플랫폼, SVM 기계학습 모델로 구성된다. 제안된 ASMR 콘텐츠 제어 기법은 뇌파 측정 디바이스로부터 EEG, 집중도 및 명상도, 눈 깜빡임 데이터를 측정한다. EEG 데이터는 뇌의 활동 상황을 측정하는 가장 중요한 지표로써, 종류로는 알파파, 베타파, 세타파, 감마파, 델타파가 있다. 측정된 EEG, 집중도 및 명상도 데이터는 블루투스 통신을 통해 nCube라는 oneM2M 표준을 준용한 오픈 소스 IoT 장치 응용 프로그램 엔터티인 안드로이드 IoT 앱으로 전송된다.

Fig. 1.

Proposed control method of ASMR content system block diagram.

전송된 데이터들은 HTTP(hypertext transfer protocol) 프로토콜을 통해 Mobius라고 불리는 IoT 서버 플랫폼으로 전송한다. Mobius는 oneM2M 국제 표준을 기반으로 IoT 서비스 제공을 위해 다양한 IoT Device 정보를 관리하고, 이들 IoT Device의 접근 제어, 인증, 사용자 관리, 복수의 IoT 서비스 조합을 제공하여 어플리케이션을 통해 서비스하기 위한 플랫폼이다[12]. IoT 서버 플랫폼은 전송된 데이터들을 MySQL 데이터베이스에 저장한다. MySQL에서 수집된 데이터를 사용하여 사용자의 정신건강상태를 0 또는 1로 분류하기 위한 기계학습 모델을 생성한다. 뇌파 측정 디바이스를 통해 측정한 집중도 및 명상도 데이터에 대해 임계값을 설정하고 임계값 미만의 데이터는 분류하여 사용자의 정신건강상태가 나쁘다고 판단한다. SVM 모델을 사용하여 사용자의 정신건강상태를 분류하여 ASMR 콘텐츠를 재생한다.

2-1 표준 IoT 기반의 뇌파 데이터 수집 시스템

EEG 데이터와 집중도, 명상도 그리고 눈 깜박임 데이터를 수집하기 위해 상용화된 뇌파 측정 디바이스를 사용했다. EEG 데이터는 표 1과 같이 Alpha, Beta, Delta, Gamma, Theta가 있으며, Alpha파는 심신 안정 상태에서 발생하며 8Hz에서 12.99Hz까지의 범위를 갖고, Beta파는 불안, 긴장 등의 상황에서 발생하며 13Hz에서 30Hz까지의 범위를 갖고, Delta파는 수면 상태에서 발생하며 0.2Hz에서 3.99Hz까지의 범위를 갖고, Gamma파는 흥분 상태일 때 발생하며 30Hz 이상의 범위를 갖고, Theta파는 졸음 상황에서 발생하며 4Hz에서 7.99Hz까지의 범위를 갖는다.

Table 1.

Types of EEG data.

집중도는 사용자가 얼마나 주의 또는 집중을 하고 있는지를 나타내며 0 ~ 100 범위의 값이며 산만함, 집중력 부족 또는 불안한 경우 집중도가 낮아진다. 명상도는 사용자의 정신이 얼마나 평온하고 긴장이 풀린 상태인지를 보여주며 0 ~ 100 범위의 값이며 산만함, 불안 등의 요인으로 인해 명상도가 낮아진다.

뇌파 측정 디바이스에서 측정된 데이터들은 블루통신을 통해 안드로이드 IoT 앱(ADN-AE)으로 전송한다. 측정된 데이터를 표준 형식으로 변환하고, 실제 사물을 디바이스에 연결하기 위한 S/W로써 사물과 안드로이드 IoT 앱 간의 인터페이스 역할을 하는 TAS(thing adaptation software)를 통해 변환된 데이터는 oneM2M AE 기반으로 개발된 안드로이드 IoT 앱으로 전송된다 [13].

oneM2M 호환 IoT 서버 플랫폼은 ADN-AE를 등록하고 컨테이너 및 contentinstance 리소스를 생성하기 위한 IN-CSE(infrastructure node common service entity)로 모델링된다. IoT 서버 플랫폼(IN-CSE)은 등록, 리소스 생성 및 데이터 업로드 절차와 같은 컨테이너 및 컨텐트 인스턴스 리소스를 생성합니다. 또한 IoT 서버 플랫폼(IN-CSE)는 콘텐츠 인스턴스 리소스를 파싱하여 업로드 된 사용자의 EEG, 집중도와 명상도 데이터를 가져와 MySQL 데이터베이스에 저장합니다.

2-2 ASMR 콘텐츠 제어 알고리즘

서포트 벡터 머신(SVM; support vector machine)은 통계적인 방법에 기반한 방법으로 주어진 데이터로부터 학습을 통해 클래스를 분류하는 방법이다. SVM의 기본 원리는 선형 분리가 가능한 패턴을 위한 최적의 초평면을 만들고, 선형 분리가 불가능한 패턴은 커널 함수를 사용해 원본 데이터의 위치를 바꿀 수 있다는 것이다 [14], [15].

Mental Health는 SVM모델로부터 출력된 데이터로 사용자의 정신건강상태를 좋으면 0으로 좋지 않다면 1로 나타내고, Eyeblink는 IoT 서버 플랫폼에서 전송된 사용자의 눈 깜빡임을 나타내는 데이터로 깜빡이면 1, 깜빡이지 않으면 0으로 나타낸다. ASRM_control은 ASMR controller의 상태 (play / pause / stop)를 나타내고, ASMR Flag는 사용자의 정신건강상태에 따라 ASMR controller를 1이면 play상태, 0이면 stop상태로 나타낸다. E_cnt와 E_th는 각각 눈 깜빡임 데이터의 카운팅 수와 눈 깜빡임 데이터의 임계값을 나타낸다. 알고리즘에 대한 입력은 Mental Health와 Eyeblink, ASMR_control이다.

그림 2의 알고리즘을 통과하여 나온 출력된 데이터는 ASMR_ control이다. ASMR controller의 전원이 켜져 있을 때, 제안된 ASMR 콘텐츠 제어기법은 그림 2의 알고리즘에서 설명된다. 입력값이 들어오면 Flag 상태를 확인하고 0이면 ASMR controller의 상태를 확인한다. ASMR controller가 play상태라면 사용자가 정지를 하거나 일시정지를 누르기 전까지 계속 play가 된다. ASMR controller가 play상태가 아니라면 입력값인 Mental Health를 보고 정신건강상태가 나쁘다고 판단되면 ASMR controller를 켜준다. 사용자의 정신건강상태가 좋지 않아 ASMR controller가 플레이하고 있는 도중에 사용자가 stop버튼을 눌러 play를 끄지 않는다면 눈 깜빡임 데이터를 확인하고, 눈 깜빡임 데이터가 들어오면 카운팅을 해서 5번의 눈 깜빡임이 감지되면 pause 상태를 제어한다. 음악이 play 상태면 pause, pause 상태라면 play가 된다. 사용자가 그만 듣고 싶어서 stop을 누를 경우 stop상태가 되며 눈 깜빡임 카운팅을 0으로 초기화 시키고 처음상태로 돌아간다.

Fig. 2.

Proposed ASMR content control algorithm.

Ⅲ. 실험 결과 및 분석

본 절에서는 제안된 사물인터넷 기반의 집중도 및 명상도 검출을 통한 ASMR 콘텐츠 제어 기법의 실험 결과에 대해 설명한다.

그림 3은 EEG 데이터와 집중도, 명상도 데이터 그리고 정신건강상태를 시각화한 것이다. 수집된 데이터를 EEG 데이터만을 사용한 경우, 집중도와 명상도 데이터를 사용한 경우, EEG와 집중도 그리고 명상도 데이터를 사용한 경우와 같이 세 가지 경우로 조합하여 SVM 기계학습 모델의 성능을 비교하였다.

Fig. 3.

Graph of collected EEG, Attention, Meditation and Label data.

그림 4는 SVM 기계학습 모델 훈련 성능을 나타낸 그래프이며 EEG만 사용한 경우 56.8%, 집중도와 명상도 데이터를 사용한 경우 85.4%, EEG와 집중도 그리고 명상도 데이터를 사용한 경우 85.8%의 성능을 나타내었고, 집중도와 명상도 데이터를 사용한 경우와 EEG와 집중도 그리고 명상도 데이터를 사용한 경우 유사한 성능을 확인할 수 있었다.

Fig. 4.

SVM train set accuracy graph.

그림 5는 SVM 기계학습 모델 테스트 성능을 그래프이다. EEG 데이터만 사용한 경우 57.2%, 집중도와 명상도 데이터를 사용한 경우 85.7%, EEG와 집중도 그리고 명상도 데이터를 사용한 경우 85.8%의 성능을 확인하였으며, 집중도와 명상도 데이터를 사용한 경우와 EEG, 집중도 그리고 명상도 데이터를 사용한 경우 유사한 성능이 나타났다. 유사한 성능일 경우 최소한의 데이터를 통해 데이터의 저장 공간을 62.5% 줄일 수 있고, 데이터 처리속도가 빨라짐으로 컴퓨팅 파워를 높일 수 있다. 따라서 유사한 성능일 경우 최소한의 데이터를 사용하는 것이 더 효율적인 것을 확인하였다.

Fig. 5.

SVM test set accuracy graph.

그림 6은 ASMR controller 결과 그래프를 시각화한 것이다. ASMR controller가 초기상태인 멈춤 상태에서 사용자의 Mental Health가 나쁘다고 판단되면 ASMR controller를 재생한다. ASMR 콘텐츠가 재생되고 있을 때 사용자의 눈 깜빡임이 다섯 번 연속으로 들어온다면 ASMR controller를 일시정지 한다. 다시 눈 깜빡임을 다섯번 연속으로 입력되면 ASMR controoller는 재생된다.

Fig. 6.

Result of ASMR controller.

분류된 정신건강상태와 수집된 눈 깜빡임 데이터를 사용한 ASMR controller 제어를 위해 ASMR 콘텐츠 제어 알고리즘을 제안하였다. 알고리즘을 사용하여 ASMR controller를 제어한 결과, 초기 상태인 멈춤 상태에서 사용자의 정신건강상태가 0이라는 값이 들어오면 ASMR controller가 재생 상태가 되고 눈 깜빡임 데이터가 다섯 번 연속 들어오면 일시정지 상태가 된다.마지막으로 일시정지 상태에서 눈 깜빡임 데이터가 다섯 번 연속으로 들어오면 재생 상태가 되는 것을 확인하였다.

Ⅳ. 결론

본 논문에서는 사용자의 정신건강상태에 따라 ASMR controller를 제어하는 기법을 제안하였다. 제안된 ASMR 콘텐츠 제어 기법은 블록 다이어그램과 같이 뇌파 측정 디바이스와 안드로이드 IoT 앱 그리고 IoT 서버 플랫폼으로 구성되어 있다. 뇌파 측정 디바이스를 통해 EEG, 집중도, 명상도 그리고 눈 깜빡임 데이터를 측정하였으며 안드로이드 IoT 앱을 통해 측정된 데이터를 전송하여 IoT 서버 플랫폼에 수집한다. SVM 기계학습 모델은 수집된 데이터를 사용해 사용자의 정신건강상태를 분류하였다. 설계된 SVM 기계학습 모델의 성능을 비교한 결과, EEG와 집중도 그리고 명상도 데이터를 사용했을 때 85.8%의 성능이 나타났고, 집중도와 명상도 데이터만을 사용했을 때 85.7%의 성능이 나타났다. 비교한 두 성능이 유사한 경우 데이터를 최소한으로 사용하여 데이터 양이 62.5% 줄어들어 데이터 처리 시간이 빨라지고 저장 공간의 확장 등 효율적인 결과가 나타남을 확인하였다.

분류된 정신건강상태와 수집된 눈 깜빡임 데이터를 사용한 ASMR controller 제어를 위해 ASMR 콘텐츠 제어 알고리즘을 제안하였다. 알고리즘을 사용하여 ASMR controller를 제어한 결과, 초기 상태인 멈춤 상태에서 사용자의 정신건강상태가 0이라는 값이 들어오면 ASMR controller가 재생 상태가 되고 눈 깜빡임 데이터가 다섯 번 연속 들어오면 일시정지 상태가 된다. 마지막으로 일시정지 상태에서 눈 깜빡임 데이터가 다섯 번 연속으로 들어오면 재생 상태가 되는 것을 확인하였다.

Acknowledgments

이 논문은 2018년도 남서울대학교 학술연구비 지원에 의해 연구되었습니다.

References

• G. Harnois, and P. Gabriel, “Mental Health and Work: Impact, Issues and Good Practices”, World Health Organization, Jan.), (2000.
• C. E. R. Booc, C. M. D. S. Diego, M. L. Tee, J. D. L. Caro, “A mobile application for campus-based psychosocial wellness program”, in Proceeding of 2016 IEEE 7th International Conference on Information, Intelligences, Systems & Applications (IISA), Chalkidiki, Dec.), (2016.
• M. F. Lee, and W. M. H. W. Adam, “A comparison study of methods to solve the mental health problem between the engineering and non-engineering students”, in Proceeding of 2016 IEEE International Conference on Industrial Engineering and Engineering Management (IEEM), Bali, Dec.), (2016. [https://doi.org/10.1109/IEEM.2016.7797860]
• K. S. Moon, “Academic Stress and Mental Health of Adolescents: The Role of Self-control and Emotion Regulation,”, The Journal of Korean Child Studies, 29(5), p285-299, Oct.), (2008.
• H. K. Shin, and J. Y. Chang, “The relationship among personality characteristics, gender, job-seeking stress and mental health in college seniors,”, The Journal of Korean Clinical Psychology, 22(4), p815-827, (2003).
• A. Alberdi, A. Aztiria, and A. Basarab, “Towards an automatic early stress recognition system for office environments based on multimodal measurements: A review”, The Journal of Biomed Informatics, 59, p49-75, Feb.), (2016. [https://doi.org/10.1016/j.jbi.2015.11.007]
• G. M. Kim, E. J. Kim, “The Effects of White Noise on Sleep Quality, Depression and Stress in University Students”, J Korean Acad Soc Home Care Nurs, 24(3), p316-324, Dec.), (2017.
• L. Emma Barratt, N. J. Davis, “Autonomous Sensory Meridian Response (ASMR): a flow-like mental state,”, PeerJ, (2015).
• B. S. Hyeon, B. H. Yang, and S. Z. Oah, “The Effects of noise - masking and Task complexity on Performance and Psychological responses”, The Korean Journal Of Industrial And OrganizationalL Psychology, 15(1), p147-167, (2002).
• M. S. Kalas, and B. F. Momin, “Stress detection and reduction using EEG signals”, in Proceeding of International Conference on Electrical, Electronics, and Optimization Techniques (ICEEOT), Chennai, p471-475, Mar.), (2016.
• H. K. Kim, K. S. Song, T. H. Roh, and H. J. Yoo, “A 95% accurate EEG-gonnectome processor for a mental health monitoring system”, in Proceeding of 2015 IEEE Asian Solid-State Circuits Conference (A-SSCC), Xiamen, p1-4, Nov.), (2015.
• OCEAN, Mobius Realese 2 Installation Guide, v2.0.0, (2017).
• OCEAN, nCube:Thyme (Node.js) Developer Guide, V1.0, (2017).
• S. H. Woo, and S. H. Lee, “One-class Least Square Support Vector Machines,”, in Proceedings of the Korean Insitute of Information Scientists and Engineers, 29, p559-561, Oct.), (2002.
• U. Y. Park, and G. H. Kim, “A study on predicting construction cost of apartment housing projects based on support vector regression at the early project stages”, The Journal of the Architectural Institute of Korea Structure & Construction, 23(4), p165-172, (2007).