Journal Archive

VR 공간의 단기 기억을 평가하는 검증 시스템의 구성을 그림 1에 나타낸다. Unity를 사용하여 VR 단기 기억력 테스트를 위한 시스템을 구축하고 HTC Vive를 사용하여 사용자에게 3D 입체시를 제시하여 VR 공간을 구축 하였다. 본 시스템은 Intel i7-6700 CPU, 8GB RAM사양의 PC 및 NVIDIA GeForce GTX1070 GPU에서 처리되었다. 3D CG의 제시는 HTC Vive HMD(해상도: 2,160 × 1,200, 프레임 레이트: 90 Hz, 시야: 110°)에서 구현 되었다. VR 기억력 테스트의 공간을 HMD을 통해 제시하고 사용자는 컨트롤러를 사용하여 카드를 선택하면 결과를 피드백 하는 프로세스로 진행된다. 청각을 자극 하는 소리는 스피커를 통해 제시하였다. 본 평가 실험에서는 환경요인으로 시각 및 청각 정보를 이용하여 몰입감을 변화시켰을 경우에 단기 기억력에 어떤 영향을 미치는지를 검증한다.

Fig. 1. 
The proposed system for the test of short-term memory in VR space. A: The environment of VR short-term memory system presented to users, B: The process of the system implemented in the proposed system

카드 테스트는 그동안 많은 연구에서 기억력을 측정하는 효과적인 실험 방법으로 여겨져왔다. 일례로 정신분열병 환자의 작업기억을 카드 테스트를 통해 분석한 연구도 있고 [22], 스트레스 요인에 노출된 어린이는 메모리 카드 게임에서 더 낮은 수행도를 보였다는 연구결과도 있다 [23]. 또 다른 연구에서는 UNO ME 카드 게임이 학생들의 기억력을 향상시키고 학습 동기를 부여함으로써 긍정적인 학습효과가 있음을 시사하기도 했다 [24]. 이처럼 카드 게임은 작업 기억력, 스트레스 정도 측정, 교육 등에 다양하게 이용되고 있기 때문에 본 연구에서도 단기 기억력을 측정하는 도구로 카드 테스트를 활용하였다. 사용자에게 카드의 종류를 기억하게 하고, 뒤집은 후에 지정된 카드를 맞추는 방식으로 단기 기억력을 측정 하였다.

본 연구에서 VR 공간에 제시하는 카드의 종류는 하트, 다이아몬드, 스페이드, 클로버, 스타의 5종류의 도안 및 0~9의 숫자 10종류, 또한 A~Z의 알파벳 26종류로 제한하였다. 모든 41 종류의 카드에서 랜덤하게 선택된 20장의 카드가 나열되어진다. 그림 2에서는 사용되는 카드의 종류를 제시하고 있으며 20장의 카드는 그림 3과 같이 4 × 5의 행렬의 행태로 VR 공간에 표시되도록 하였다. 피험자는 선택한 카드 위에 카드를 선택하는 포인터를 컨트롤러를 이용하여 이동시키고 컨트롤러의 트리거를 당겨 응답하게 된다. 카드 선택의 판정 실수 방지를 위해 포인터가 가리키는 카드의 색이 변화하도록 하였다 (그림 4).

Fig. 2. 
Types of cards presented for short-term memory test

Fig. 3. 
20 cards presented randomly during a 30-second memorizing period

Fig. 4. 
Card selected according to question for short-term memory test

그림 5에서는 VR 공간상에서 공간색과 소리에 인한 환경요인이 단기 기억력에 미치는 영향에 대한 평가 실험 결과를 제시한다. 그래프를 보면 모든 조건에서 5 - 6개의 정답률을 보여 큰 차이는 보이지 않는 것을 알 수 있다. 본 실험에서 정상 피험자들은 평균 5.5±2.1의 정답률을 갖는 것을 확인하였다. 단기 기억력의 테스트 조건을 5색의 공간색 (파랑, 녹색, 오렌지, 흑, 회색)과 3개의 소리(무음, 록, 클래식)로 설정하고, 공간색과 소리의 요인이 VR공간상에서 단기 기억력에 미치는 영향을 이원 반복 측정 분산 분석를 이용하여 분석하였다 (표 1). 그 결과, 먼저 공간색의 주 효과 (F (4,76) = 0.547, p = 0.702, partial η² = 0.028)에 유의한 차이는 관찰되지 않았다. 그런 다음 소리의 주 효과 (F (2,38) = 1.947, p = 0.157, partial η² = 0.093)에도 유의한 차이는 관찰되지 않았다. 마지막으로 공간색과 소리의 상호작용 (F (8,152) = 2.760, p = 0.945, partial η² = 0.481)에서도 유의한 차이는 제시되지 않았다. 각 요소의 상호작용이 없으므로 쌍대 비교를 이용해 사후 검증 분석을 실시하였고 쌍대 비교에서도 각 실험 조건에서의 유의한 차이는 발견 되지 않았다.

Fig. 5. 
Effects of spatial color and sound on short-term memory in VR space

결과적으로 정상 피험자의 VR 공간의 단기 기억력은 평균 5.5±2.1의 정답률을 가지며 공간색이나 소리에 의한 환경요인에 영향을 받지 않는다는 것을 확인하였다.

그림 6은 평가실험 후의 조작성, 난이도, 질문수, 몰입감, 신체적 피로, 정신적 피로에 대한 앙케이트 결과를 제시한다. 앙케이트 결과를 보면 조작성, 난이도, 문제수, 몰입감에 관해서는 평균 7.5점 이상으로 단기 기억력 테스트의 실험 방법이 타당한 것이라고 분석할 수 있다. 신체적 피로, 정신적 피로는 5.2점 이하로 평가 실험을 진행하는 동안 피험자들에게 있어 평가 시스템 및 방식으로 인한 스트레스는 큰 문제가 되지 않았다. VR 단기 기억 평가 시스템에서 15개의 실험조건에서 10문제를 1문제당 10초씩 답을 하는 실험 방식이 정상 피험자의 단기 기억력을 테스트하는데 크게 스트레스를 주지 않았음을 알 수 있었다.

Fig. 6. 
Survey results on operability, difficulty, The number of questions, immersion, physical fatigue, and mental fatigue

본 연구에서는 시각 및 청각적 환경요인이 단기 기억력에 미치는 영향을 정량적으로 분석하기 위해 VR 공간상에서 30초 이내에 암기할 카드를 랜덤하게 20장의 카드로 제시하고, 10초씩 10장의 카드를 랜덤하게 질문하여 피험자가 응답 하는 방법으로 단기 기억력을 테스트하였다. 실험결과는 통계적으로 피험자의 VR 공간의 단기 기억력은 평균 5.5±2.1의 정답률을 가지며 공간색이나 소리의 환경요인이 단기 기억력에 영향을 미치지 않는다는 것을 확인하였다. 그리고 HMD를 착용하고 진행하는 단기 기억력 테스트에서 피험자의 신체적 정신적 피로도가 적었다는 것은 질문수, 난이도, 시스템의 조작성, 몰입감의 피험자 평가가 높음에 기인한다고 판단할 수 있다.

인간의 단기 기억 용량의 한계에 대해서는, 몇 개에서 수십 개의 숫자나 알파벳 문자가 제시되어 제시 순서와 같은 순서로 복창을 요구하면 올바르게 복창할 수 있는 최대 개수는 성인이 30초 이내에서는 7개 전후이고[7], 숫자나 문자를 4 × 3의 행렬의 행태로 50ms정도의 단시간에 제시될 경우는 2초 이내의 감각기억에서는 4-5개 정도를 기억한다는 결과가 보고되어 있다[8].

본 평가 실험의 결과와 비교하면 대략 기존 연구의 결과에 준하고 있다고 말할 수 있다. 숫자나 알파벳 문자가 연속 제시되는 경우 기존의 테스트 결과와 차이가 발생하는 이유로는 낱말 맞추기나 닮은 것을 정리하는 부호화에 의해 한 번에 기억할 수 있는 용량이 다르기 때문이 아닐까 생각하고 있다. 부호화에 의한 단어와 같은 몇개의 음절의 경우 한 번에 기억할 수 있는 한계량은 7±2개의 범위 내이며 얻어진 정보를 연상하여 1개의 단위로서 기억한다고 할 수 있다. 본 실험의 경우는 41장으로 구성된 카드의 숫자, 마크, 알파벳이 랜덤하게 피험자에게 20장 제시되고, 10초에 1장씩 랜덤하게 질문 하기 때문에 낱말 맞추기나 닮은 것을 정리하는 부호화를 하기에는 제한이 있고 그 결과 정답률이 낮아졌다고 판단 할 수 있다. 하지만 기존 연구에서 숫자나 문자를 4 × 3의 행렬의 행태로 50ms 정도의 단시간에 제시하는 감각기억 경우는 4-5개 정도의 정답률을 보고하고 있고, VR 공간상에서 숫자, 마크, 알파벳을 4 × 5의 행렬의 행태로 암기 시간이 30 초 정도인 본 평가 실험의 경우 평균 5.5±2.1개의 정답률을 갖는 것은 타당한 실험결과라고 할 수 있다.

본 실험의 결과를 통해 VR 공간상의 공간색이나 소리의 환경요인이 단기 기억력에 영향을 미치지 않는다는 것을 확인하였다. 사람이 외부 세계로부터 받는 오감의 정보 중 약 70%가 시각 정보이고, 청각이 20%, , 후각이 5%, 촉각 4%, 미각이 1%로 보고 되어 있다[16]. 본 실험에서는 실제 공간상에서 제시되는 멀티 모달 정보량 보다 낮은 약 90% 정도의 멀티 모달 정보량이 시각과 청각을 중심으로 피험자에게 제시되었다. VR 공간의 사용자 인터페이스로써 촉각을 제시하면 멀티모달이 개선되는 보고가 있고[25], VR 공간에서도 실제 카드를 만지면서 암기 하는 것과 같은 촉각 정보를 제시 하면 멀티 모달의 정보량이 증가하여 단기 기억력이 증가할 수도 있다. 후속 연구에서는 촉각을 제시할 수 있는 장치를 사용자가 장착하고 카드 등의 암기 대상을 실제 터치하는 것 같은 감각을 VR 공간에 제시하여 단기 기억력을 평가하는 방법이 기대된다.

본 평가 실험은 VR 공간상에서 단기 기억에 중점을 두고 검증을 수행했지만 장기 기억의 경우 다른 결과를 나타낼 가능성도 있다. 또한 20대 건강한 피험자들에게는 테스트 결과 상 큰 개인차가 보이지 않았지만 뇌에 장애를 가진 사람에게 테스트를 행하면 또 다른 결과가 나올 수도 있겠다.