HMD 아이트래커를 활용한 Unity 기반 XR 콘텐츠 사용성 평가 지원 프레임워크 개발
Copyright ⓒ 2026 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 연구는 HMD에 내장된 아이트래커의 시선 데이터를 활용하여 XR 콘텐츠의 사용성 평가를 지원하는 Unity 기반 프레임워크를 제안한다. 아이트래킹은 사용자의 시각적 탐색 행동을 객관적으로 관찰할 수 있으나 시각화 과정에 전문 지식이 요구되어 콘텐츠 제작자가 직접 활용하기에는 어려움이 있다. 제안 프레임워크는 아이트래커에서 수집된 시선 방향을 Unity 월드 좌표계로 변환하고, Line Renderer 컴포넌트를 이용하여 실시간 gaze ray로 시각화한다. 또한 참여자에게 영향을 미치지 않도록 사용자 카메라와 동기화된 별도의 녹화 카메라를 통해 영상을 녹화하는 기능을 수행한다. 제안 프레임워크를 8종의 XR 콘텐츠에 적용하고, 20대 사용자 10명의 gaze ray 중첩 영상을 검토하여 콘텐츠 사용성 문제 발견 사례를 제시하였다. 이후 해당 적용 결과와 평가 영상을 전문가 14명에게 제시하고 프레임워크의 활용 가능성에 대한 인식 평가를 수행한 결과, 네 문항별 평균의 단순 산술평균은 5점 만점에 4.91점으로 나타났다. 이러한 결과는 제안 프레임워크가 XR 콘텐츠 개발 과정에서 설문 기반 사용성 평가를 보완하는 도구로 활용될 수 있음을 시사한다.
Abstract
This study proposed a Unity-based framework for extended reality (XR) content usability evaluation using gaze data from an eye tracker embedded in a head-mounted display. Eye tracking objectively captures users’ visual explorations; however, interpreting the resulting data requires expertise, limiting its direct use by content developers. Our proposed framework converts gaze directions into Unity world coordinates and renders them as real-time gaze rays via a line renderer. To avoid influencing the participants, the evaluation videos were recorded using a separate camera synchronized with the user camera. The framework was first applied to eight XR applications and gaze-overlaid videos from ten users were reviewed to identify examples of content-usability problems. Subsequently, fourteen experts reviewed the application results and assessed the perceived applicability of the framework. The simple arithmetic mean of the four items—usefulness, method appropriateness, scope expansion, and quality-improvement potential—averaged 4.91 out of 5. The findings suggested that the framework could complement questionnaire-based usability evaluation during XR content development.
Keywords:
Extended Reality, Eye Tracking, Usability Evaluation, Gaze-Ray Visualization, Unity-Based Framework키워드:
확장현실, 아이트래킹, 사용성 평가, 시선 시각화, Unity 기반 프레임워크Ⅰ. 서 론
최근 HMD(head-mounted display), 실시간 3차원 렌더링 및 공간 추적 기술의 발전에 따라 XR(Extended Reality) 콘텐츠의 개발과 활용 범위가 확대되고 있다. 과거 XR 콘텐츠가 게임과 엔터테인먼트 분야를 중심으로 개발되었다면, 최근에는 교육, 훈련, 의료, 재활, 문화유산, 전시 및 산업 시뮬레이션 등 다양한 분야에서 활용되고 있다. 이러한 XR 콘텐츠의 보급이 확대됨에 따라 콘텐츠의 기능이 정상적으로 작동하는지를 확인하는 기능적 검증뿐만 아니라, 사용자가 콘텐츠를 효과적으로, 효율적으로 이용할 수 있는지를 평가하는 사용성이 중요해지고 있다. XR 콘텐츠에서는 사용자가 3차원 공간 안에서 정보를 탐색하고 객체와 상호작용을 하므로, 사용성은 콘텐츠의 기능적 완성도뿐만 아니라 이용 경험과 품질을 결정하는 핵심 요인이 될 수 있다.
기존 XR 콘텐츠의 사용성 평가에서는 만족도 설문과 인터뷰 등의 자기 보고식 평가가 널리 활용되고 있다. 이러한 방법은 사용자의 전반적인 만족도와 불편을 파악하는 데 유용하지만, 콘텐츠 이용 중 문제가 발생한 시점과 사용자가 실제로 탐색한 공간 및 객체를 직접 확인하는 데에는 한계가 있다. 따라서 주관적 평가와 함께 HMD의 머리 및 손 추적, 과업 수행시간, 영상 기록 및 사용자 행동 로그와 같은 객관적 자료를 함께 활용할 필요성이 제기되고 있다[1].
최근에는 이러한 한계를 보완하기 위해 HMD에 내장된 아이트래커(eye tracker)를 XR 콘텐츠의 사용성 평가에 활용하려는 연구가 수행되고 있다. 시선추적(eye tracking)을 통해 사용자의 시선 방향과 시간 정보를 연속적으로 획득하면, 사용자가 가상공간에서 어떠한 정보와 객체를 탐색했는지를 확인할 수 있다[2]. 360도 VR 영상 콘텐츠를 대상으로 사용자의 시선 방향과 체류시간을 분석한 연구에서도 시선 데이터가 콘텐츠의 정보 전달과 내용 이해 과정을 설명하는 자료로 활용될 수 있음이 제시되었다[3]. 그러나 아이트래커에서 획득되는 원시 데이터를 사용성 평가 자료로 활용하기 위해서는 장치 보정, 데이터 유효성 판정, 3차원 좌표 변환, 객체와의 교차 판정 및 시각화 등에 관한 전문적인 지식과 처리 절차가 필요하다[4]. 이러한 요구사항은 아이트래킹 분석 경험이 부족한 콘텐츠 제작자와 평가자에게 진입장벽으로 작용할 수 있다. 따라서 원시 시선 데이터를 별도로 전처리하거나 전문적인 시선 지표를 산출하지 않고도 사용자의 시각적 탐색 행동을 콘텐츠 실행 화면에서 직관적으로 확인할 수 있는 평가 지원 도구가 필요하다.
이에 본 연구에서는 HMD에 장착된 아이트래커를 활용하여 사용자의 시선 행동을 직관적으로 확인할 수 있는 Unity 게임 엔진 기반 XR 콘텐츠 사용성 평가 지원 프레임워크를 개발하였다. 본 프레임워크는 아이트래커에서 획득한 시선 방향 데이터를 Unity 게임 엔진의 월드 좌표계로 변환하고, XR 카메라 위치와 변환된 시선 방향을 이용하여 gaze ray를 구성한 후 Line Renderer 컴포넌트를 통해 콘텐츠 실행 화면에 실시간으로 시각화한다. 이러한 시각화는 사용자에게는 보이지 않으며 사용자 평가 영상으로 기록할 때만 시선 시각화가 중첩된 콘텐츠 실행 화면으로 출력된다. 또한 아이트래커 연동, 시선 방향의 좌표 변환 및 gaze ray 시각화 기능을 기존 Unity 프로젝트에 반복적으로 적용할 수 있도록, 재사용할 수 있는 게임 오브젝트 템플릿인 프리팹(Prefab) 형태로 구성하였다. 본 연구의 실제 구현과 검증 범위는 아이트래커가 내장된 HMD 기반 몰입형 VR(virtual reality) 환경을 대상으로 한다.
제안하는 프레임워크는 아이트래킹 전문 분석 도구를 완전히 대체하거나 사용자의 인지 상태를 자동으로 판정하는 것을 목적으로 하지 않는다. 본 연구의 목적은 원시 시선 데이터와 콘텐츠 화면 사이의 해석 과정을 단순화하여, 제작자와 평가자가 사용자의 정보 탐색과 객체 발견을 포함한 시각적 탐색 과정을 쉽게 확인할 수 있도록 지원하는 데 있다. 이를 통해 설문을 통해 수집된 주관적 의견을 실제 시선 행동과 비교하고, 사용성 문제의 발생 위치와 요인을 더욱 구체적으로 검토할 기회를 제공하는 것이다. 본 연구에서 XR은 HMD 기반 몰입형 콘텐츠를 포괄하는 용어로 사용하였으며, 프레임워크의 실제 구현과 검증은 아이트래커가 내장된 몰입형 VR HMD 환경을 대상으로 수행하였다. 향후 장치별 아이트래킹 SDK(software development kit)의 데이터를 공통 형식으로 변환하는 인터페이스를 추가하면 다른 HMD 환경으로 확장할 수 있다.
이러한 목적을 달성하기 위해 본 연구에서는 첫째, 문헌연구를 통해 XR 콘텐츠의 사용성 영향요인과 아이트래킹 기반 평가 방법을 검토하고, 이 가운데 시선 데이터를 통해 관찰할 수 있는 시각적 탐색 관련 평가 범위를 도출한다. 둘째, HMD 아이트래커에서 획득한 시선 데이터를 Unity 환경에서 실시간으로 시각화하는 기능을 프리팹 형태로 구현한다. 셋째, 개발된 프레임워크를 8종의 XR 콘텐츠에 적용하고, 20대 사용자 10명의 gaze ray 중첩 영상을 검토하여 콘텐츠 사용성 문제 발견 사례를 제시한다. 넷째, 해당 적용 결과와 평가 영상을 전문가 14명에게 제시하고 프레임워크의 실무적 유용성과 활용 가능성에 대한 인식을 평가한다. 이를 통해 사용자의 시각적 탐색 행동을 직관적으로 확인할 수 있는 XR 콘텐츠 사용성 평가 지원 프레임워크를 구현하고, 실제 콘텐츠 적용 사례와 전문가 인식 평가를 통해 그 활용 가능성을 검토하고자 한다.
Ⅱ. 선행 연구
2-1 XR 콘텐츠 사용성 평가
국제 표준에 의하면 사용성은 특정 사용자가 특정한 사용 맥락에서 목표를 효과적이고 효율적으로 달성하고 그 결과에 만족하는 정도로 정의하고 있다. 효과성은 사용자가 과업을 정확하게 완료하는 정도, 효율성은 과업 수행에 필요한 시간과 노력, 만족도는 시스템 이용에 대한 사용자의 주관적 반응을 의미한다[5]. VR·AR 디바이스 제작·이용 가이드라인에서는 공간 탐색, 객체 및 정보의 발견, 상호작용, 멀미와 피로, 지연 및 프레임레이트 등을 XR 콘텐츠 이용에 영향을 줄 수 있는 요인으로 제시하고 있다[6]. AR, VR 콘텐츠의 사용성을 평가하는 체계를 제안한 연구에 의하면 다양한 사용성 요인들은 크게 안전성과 편의성으로 구분될 수 있으며 세부 항목별 평가 결과를 통합하여 분석하는 방법이 제안되었다. 또한 사용성 평가의 역할이 완성된 콘텐츠의 품질을 검증하는 기능뿐만 아니라 콘텐츠 제작 과정에서 개선 방향을 제시하는 지침으로도 활용될 가능성이 제시되었다[7]. 이러한 사용성 요인 선정 및 체계 연구를 종합해 보면 XR 콘텐츠의 사용성은 특정 인터페이스 요소만의 문제가 아니라 하드웨어 성능, 콘텐츠 구성 및 사용자 행동이 복합적으로 작용한 결과라고 볼 수 있으며 결과가 제작에 반영되어야 한다고 정리될 수 있다.
XR 콘텐츠의 사용성 평가에는 만족도 설문, 인터뷰, 휴리스틱 평가 및 전문가 관찰과 같은 주관적·정성적 방법이 널리 활용되고 있다. 이러한 방법은 사용자가 느끼는 전반적인 만족도와 불편, 선호 및 이용 의도를 확인하는 데 유용하게 활용될 수 있다. 그러나 콘텐츠 이용이 종료된 이후 사용자의 기억과 판단에 의존하므로, 문제가 발생한 정확한 시점이나 사용자가 실제로 탐색한 공간과 객체를 구체적으로 확인하기 어렵다는 한계를 가지고 있다. 이러한 한계를 극복하기 위해 기존의 방법과 함께 HMD 및 입력장치의 추적 정보, 과업 수행자료, 영상 기록과 같은 객관적 데이터를 활용하는 복합 평가 방법이 제안되었다. 이를 통해 사용자의 주관적 경험과 실제 행동을 비교함으로써 사용성 문제의 발생 구간과 관련 요인을 더욱 구체적으로 파악할 수 있다[1].
다만 객관적 행동자료를 평가에 활용하려면 장치 SDK 연동, 데이터 저장, 콘텐츠 객체와의 매핑 및 분석 절차가 추가로 요구되며, 이러한 과정은 콘텐츠 제작자가 개발 중 반복적으로 적용하는 데 부담으로 작용할 수 있다. 따라서 XR 콘텐츠의 사용성 평가는 주관적 평가와 행동 데이터를 결합하는 것뿐만 아니라, 평가기능을 콘텐츠 제작환경에 통합하여 제작자가 개발 과정에서 문제를 확인하고 수정할 수 있도록 지원할 필요가 있다.
2-2 XR 환경에서의 아이트래킹 기반 사용성 평가
아이트래킹은 사용자가 어느 방향과 위치를 바라보는지를 시간의 흐름에 따라 측정하는 기술이다. 최근에는 상호작용을 위해 아이트래커가 HMD에 내장되면서 사용자가 가상공간을 탐색하는 동안 시선 원점, 시선 방향, 응시 위치 및 시간 정보를 연속적으로 수집할 수 있게 되었다. HMD 기반 아이트래킹은 사용자의 실제 콘텐츠 이용을 방해하지 않으면서 시각적 탐색 행동을 측정할 수 있다는 점에서 XR 콘텐츠의 사용성 평가에 활용되고 있다[2]. 그러나 XR 환경의 아이트래킹 데이터를 활용하는 것은 2차원 화면에서의 시선 분석보다 처리과정이 복잡하다. 사용자의 눈뿐만 아니라 머리와 몸이 함께 이동하고, 응시대상도 서로 다른 거리와 깊이에 위치하기 때문이다. 따라서 상호작용형 가상환경에서 아이트래킹 데이터를 성공적으로 활용하기 위해서는 실험 설계, 장치 설정, 시선 자료수집, AOI(Area of Interest) 설정과 의미 설정, 후처리로 이어지는 복합적인 절차가 요구된다[4].
아이트래킹 데이터는 시선 좌표나 벡터 형태의 수치 데이터로 수집되기 때문에, 이를 평가자가 해석하기 위해서는 적절한 시각화 과정이 필요하다. 아이트래킹 데이터의 분석 및 시각화 방법은 순간적인 시선 위치와 방향을 표현하는 방법, 시선고정과 이동을 사건 단위로 분석하는 방법, 시선 이동순서를 경로로 구성하는 방법, 일정 영역이나 객체를 기준으로 데이터를 집계하는 방법으로 구분할 수 있다. 주요 방법과 XR 콘텐츠 사용성 평가에서의 역할을 표 1에 정리하였다[4],[8].
Major eye-tracking analysis units and visualization methods used in XR environments
Fixation, scanpath, heatmap 및 AOI 기반 분석은 사용자의 시선 행동을 정량적으로 해석할 수 있다는 장점이 있으나, 원시 데이터의 전처리, 분석단위 설정, 좌표 및 객체 매핑, 지표 산출과 결과 해석에 관한 전문적인 절차를 요구한다[4],[8]. 반면 gaze ray는 특정 시점의 시선 원점과 방향을 가상의 선으로 표현하는 방식으로, 정량적 분석기능은 제한적이지만 사용자의 현재 시선 방향을 콘텐츠 장면에서 즉시 확인할 수 있어 제작 과정의 정성적 사용성 평가를 지원하는 데 활용될 수 있다.
최근에는 실제 환경에서 수행되는 아이트래킹 기반 사용자 평가를 VR 환경으로 대체하려는 시도가 있다. Unity 컴포넌트와 HTC VIVE Pro Eye를 활용하여 가상현실 기반 사용자 평가 환경을 구축함으로써, 실제 환경 구축에 필요한 시간과 비용을 줄일 수 있다[9]. 이에 비해 본 연구는 객체나 표면별 시선 집중도를 정량적으로 산출하는 데 목적을 두지 않고, 콘텐츠 제작자가 사용자의 시선 방향을 개발 중인 콘텐츠 화면에서 즉시 확인할 수 있도록 실시간 gaze ray를 제공하는 데 초점을 둔다. 따라서 본 연구의 차별성은 새로운 fixation 또는 AOI 분석 알고리즘보다는, 시선 결과의 해석과 콘텐츠 제작 과정 적용을 단순화한 프리팹 기반 사용성 평가 지원 방식에 있다.
이상의 선행연구를 종합하면, HMD 아이트래킹은 XR 콘텐츠에서 사용자의 정보 발견과 시각적 탐색과정을 확인하기 위한 유용한 방법이다. 그러나 fixation, scanpath 및 AOI 기반 분석에는 원시 시선 데이터의 전처리, 분석단위 설정 및 3차원 시각화에 관한 전문적인 절차가 요구된다. 따라서 콘텐츠 제작자가 전문적인 시선지표를 직접 산출하지 않고도 사용자의 시선 방향과 탐색과정을 확인할 수 있는 gaze ray 기반 제작환경 통합형 평가 지원도구가 필요하다. 본 연구에서는 이러한 필요성을 바탕으로 기능적 요구사항을 설정하였다.
Ⅲ. 아이트래킹 기반 XR 사용성 평가 프레임워크 설계 및 구현
3-1 프레임워크 설계
제2장의 선행연구 분석 결과, HMD 기반 아이트래킹은 XR 콘텐츠에서 사용자의 정보 발견과 시각적 탐색과정을 확인하는 데 유용하지만, 원시 시선 데이터의 처리와 fixation, scanpath 및 AOI 기반 정량 분석에는 전문 지식과 별도의 처리 절차가 필요함을 확인하였다. 이에 본 연구는 전문적인 정량 지표 산출을 전제로 하지 않고도 콘텐츠 제작자와 평가자가 사용자의 시선 방향을 직관적으로 확인할 수 있도록, 실시간 gaze ray 시각화와 평가 영상 기록 기능을 제공하는 Unity 기반 프리팹 프레임워크를 설계하였다. 정량 분석 기능을 기본 범위에서 제외한 것은 기능상의 부족이 아니라, 콘텐츠 제작 단계에서 신속하고 직관적인 정성적 평가를 지원하기 위한 설계 선택이다.
프레임워크의 기능적 요구사항은 ISO/IEC 25010의 소프트웨어 품질 특성을 참고하되, 본 연구의 목적에 맞게 안정성, 실시간성, 비간섭성, 재사용성 및 확장성으로 구체화하였다[10]. 안정성은 아이트래커 연결 해제, 순간적인 추적 실패, 눈 깜박임 또는 무효 표본과 같이 시선 데이터 품질이 저하되는 상황에서도 콘텐츠 실행이 중단되지 않고 잘못된 gaze ray가 표시되지 않도록 하는 기준이다. 아이트래커 데이터 품질은 정확도, 정밀도 및 유효 표본 비율 등의 지표로 평가되므로, 무효 데이터 판정과 예외 처리가 필요하다[11]. 실시간성은 사용자의 시선 이동과 XR 콘텐츠 장면 사이의 시간적 대응관계를 유지하기 위해 매 프레임 최신 시선 방향을 처리하고 gaze ray를 갱신하는 기준이다. 비간섭성은 시선 시각화가 평가 참여자의 자연스러운 시선 행동에 영향을 주지 않도록 사용자 화면과 평가용 녹화 화면을 분리하는 기준이다. 시각적 피드백의 형태는 시선 커서의 안정성에 영향을 줄 수 있으므로[12], gaze ray는 참여자의 HMD 화면에서 제외하고 평가 영상에만 표시되도록 설계하였다. 재사용성과 확장성은 아이트래커 연동, 좌표 변환, 시선 시각화 및 영상 녹화 기능을 모듈화하고 프리팹 형태로 구성하여 기존 Unity 프로젝트에 반복적으로 적용할 수 있도록 하는 기준이다.
표 2는 이러한 설계 원칙을 바탕으로 아이트래커 초기화부터 평가 영상 생성까지 프레임워크가 수행해야 할 기능을 요구사항 형태로 정리한 것이다. 프레임워크는 결합 시선 데이터를 우선적으로 획득하고, 해당 데이터가 유효하지 않은 경우 좌안 또는 우안 데이터를 대체값으로 사용한다. 획득한 시선 방향은 Unity 월드 좌표계로 변환한 뒤 Line Renderer를 통해 실시간 gaze ray로 시각화한다. 또한 시선 시각화가 참여자의 행동에 영향을 주지 않도록 사용자 카메라와 녹화 카메라를 분리하고, Unity Recorder 패키지를 이용하여 녹화 카메라의 출력만 평가 영상으로 저장하도록 구성하였다.
Requirements of the proposed framework
3-2 프레임워크 구현
프레임워크 구현에는 아이트래커가 내장된 VIVE Pro Eye를 사용하였으며, 아이트래커 데이터 획득에는 SRanipal 런타임 v1.3.6.12를 사용하였다. Unity 게임 엔진은 2022.3.62 버전을 사용하였다.
프레임워크 구조는 Unity XR 아키텍처의 네 가지 기술 계층에 대응하도록 구성함으로써 향후 다른 HMD 환경으로의 확장 가능성을 고려하였다. Unity는 서로 다른 XR 장치와 플랫폼을 공통된 방식으로 지원하기 위해 하위 계층에서 상위 계층의 순서로 공급자 플러그인(Provider Plug-ins), XR 서브시스템(XR Subsystems), 개발자 도구(Developer Tools) 및 XR 애플리케이션(XR Applications)로 아키텍처를 구성하고 있다. 공급자 플러그인은 XR 장치나 플랫폼의 네이티브 라이브러리를 Unity가 정의한 공통 서브시스템 인터페이스와 연결하고, 상위 개발도구와 애플리케이션은 공급자별 구현방식에 직접 의존하지 않고 해당 인터페이스를 통해 XR 기능을 이용한다[13].
그림 1은 구현된 프레임워크의 구성요소와 시선 데이터의 처리 흐름을 나타낸다. 그림은 외부 시스템, Unity에서 제공하는 기능 및 출력, 본 연구에서 제안한 기능 모듈을 서로 다른 색상으로 구분한다. 연한 청색은 HMD, 런타임 및 장치 SDK와 같은 외부 시스템을 나타내며, 연한 녹색은 XR 사용자 카메라, Unity Recorder 및 최종 콘텐츠·영상 출력과 같은 Unity 기능 또는 결과물을 의미한다. 연한 황색은 시선 데이터 변환, 시각화 및 녹화 카메라 동기화를 위해 본 연구에서 설계한 모듈을 나타낸다.
Proposed eye-tracking-based XR usability evaluation support framework mapped to the unity XR plug-in architecture
Runtime and Device Layer는 Unity XR 구조의 장치·네이티브 런타임 및 공급자 플러그인 측에 대응하고, XR User Camera / Tracking-space Pose는 XR 플러그인과 연결된 서브시스템을 통해 Unity 애플리케이션에 제공되는 HMD 자세정보에 대응된다. 본 프레임워크의 핵심인 Gaze Data Adapter, Coordinate Transformation, GazeRay Visualizer, Gaze Recording Camera Synchronizer는 아이트래킹 데이터를 사용성 평가에 활용하기 위해 추가한 개발자 도구 계층에 해당한다. 최상단의 XR Content Scene과 Gaze-overlaid Evaluation Video는 XR 애플리케이션 계층에서 작동되는 결과이다.
Gaze Data Adapter는 HMD 아이트래커와 프레임워크의 상위 기능을 연결하는 역할을 한다. 프레임워크가 실행되면 먼저 HMD 아이트래커와 SRanipal Eye Framework의 활성화 여부를 확인한다. 장치의 일시적 추적 실패 또는 유효하지 않은 표본으로 인해 잘못된 gaze ray가 출력되는 것을 방지하기 위해, 장치가 연결되지 않았거나 Eye Framework가 정상적으로 동작하지 않을 때는 시선 데이터 처리와 시각화를 수행하지 않는다. 프레임워크 작동이 확인되는 경우 제조사 종속 데이터를 프레임워크 내부의 공통 시선 정보로 변환한다. 시선 데이터는 양안 정보가 결합된 데이터를 우선적으로 사용하며, 결합 시선 데이터를 사용할 수 없을 때에는 좌안 또는 우안 데이터를 대체값으로 사용하도록 구현하였다.
Coordinate Transformation은 Unity에서 제공되는 사용자 카메라와 HMD 공간 추적 정보의 위치, 회전 정보를 이용하여 로컬 시선 방향을 월드 좌표계의 방향으로 변환한다. 이를 통해 사용자가 HMD를 움직이거나 회전하는 동안에도 gaze ray가 XR 콘텐츠 공간의 올바른 방향을 나타내도록 한다. 본 프레임워크의 목적은 사용자가 바라보는 방향을 콘텐츠 장면에서 직관적으로 실시간 표현하는 것이므로, gaze ray의 시각적 시작점은 사용자 카메라의 위치를 기준으로 설정하였다. 양안의 위치를 정밀하게 반영한 시선 원점은 객체의 세부 표면이나 미세한 충돌 위치를 분석할 때 유용하지만, 본 연구의 실시간 방향 시각화와 평가 영상 생성을 고려했을 때 사용자 카메라 기준의 시작점이 적합하다[8].
GazeRay Visualizer는 콘텐츠 제작자가 시선 방향을 직관적으로 확인할 수 있도록 Unity의 Line Renderer를 이용하여 gaze ray를 실시간으로 시각화한다. Line Renderer의 시작점은 사용자 카메라 위치에서 시선 방향으로 0.05 m 전방에 설정하고, 끝점은 월드 좌표계로 변환된 시선 방향과 설정된 gaze ray 길이를 이용하여 결정하였다. 해당 위치는 콘텐츠 실행 중 매 프레임 최신 시선 데이터에 따라 갱신되므로, 사용자가 시선을 이동하면 gaze ray도 동일한 방향으로 연속적으로 갱신된다. 또한 추적 실패나 눈 깜박임으로 발생한 무효 데이터가 실제 시선으로 오인되지 않도록 시선 데이터가 일시적으로 유효하지 않았을 때 이전 시선 방향을 현재 데이터처럼 계속 표시하지 않도록 구현하였다. 마지막으로 생성된 gaze ray는 Unity의 GazeVisualization 레이어에 배치하고, 사용자 카메라의 Culling Mask에서 해당 레이어를 제외하여 참여자의 HMD 화면에 표시되지 않도록 구현하였다. 이를 통해 참여자는 기존 XR 콘텐츠만을 체험하며, 프레임워크의 시선 시각화 기능은 콘텐츠 이용 과정에서 볼 수 없다.
Gaze Recording Camera Synchronizer는 사용자 카메라의 위치와 회전을 지속적으로 참조하여 동일한 시점을 유지하도록 구성하고, GazeVisualization 레이어가 녹화 카메라에서 렌더링되도록 설정하여 사용자가 체험한 콘텐츠 장면과 해당 시점의 gaze ray가 함께 기록되도록 구현하였다.
마지막으로 출력된 gaze ray가 중첩된 영상은 Unity Recorder 패키지를 이용하여 영상으로 저장하도록 구현하였다.
Unity Recorder 패키지는 지정된 카메라의 렌더링 결과를 직접 기록할 수 있으므로, 사용자 카메라와 분리된 평가용 카메라의 출력을 저장하는 데 적합하다[14]. 최종적으로 출력된 결과물은 그림 2와 같다. (a)는 사용자가 HMD로 보는 체험 영상이며 (b)는 gaze ray가 중첩된 사용성 평가용 영상이다. 마지막으로 모든 모듈은 XR 콘텐츠 개발자가 쉽게 Unity 씬에 적용할 수 있도록 프리팹 형태로 통합하였다.
Implementation results of the proposed framework
3-3 프레임워크 평가
본 연구에서는 평가 목적과 대상을 기준으로 평가 절차를 두 단계로 구성하였다. 첫 번째 단계에서는 제안 프레임워크를 8종의 XR 콘텐츠에 적용하고, 사용자 10명의 콘텐츠 이용 장면과 gaze ray가 중첩된 평가 영상을 검토하여 콘텐츠의 사용성 문제 발견 사례를 도출하였다. 이 단계에서 평가 대상은 XR 콘텐츠이며, 제안 프레임워크는 사용자의 시각적 탐색 행동을 관찰하기 위한 평가 지원도구로 활용되었다. 두 번째 단계에서는 첫 번째 단계에서 생성된 평가 영상과 사용성 문제 발견 결과를 전문가에게 제시한 후, 제안 프레임워크 자체의 실무적 유용성과 활용 가능성에 대한 인식을 설문으로 조사하였다. 이 단계에서 평가 대상은 제안 프레임워크이며, 총 14명의 전문가가 참여하였다.
첫 번째 단계의 목적은 제안 프레임워크를 실제 XR 콘텐츠에 적용하고, 사용자의 gaze ray가 중첩된 평가 영상을 활용하여 콘텐츠의 사용성 문제를 발견할 수 있는지를 사례 중심으로 확인하는 것이다. 본 단계에는 한국콘텐츠진흥원의 『2025 게임이용자 실태조사』[15]에서 제시한 연령별 게임 이용자 특성을 참고하여 20대 남성 6명과 여성 4명, 총 10명이 참여하였다. 적용 대상은 모니터링 실습, 제품 공정 확인 및 설비 조립 실습의 세 가지 영역으로 구성된 총 8종의 XR 콘텐츠이며, 각 콘텐츠의 프로젝트에 제안 프레임워크를 적용하였다.
평가에서는 콘텐츠 실행 장면과 사용자의 gaze ray가 중첩된 영상을 활용하여 첫째, 콘텐츠 제작자가 의도한 정보 및 객체의 위치와 실제 사용자의 시선 방향이 일치하는지, 둘째, 사용자가 핵심 공정이나 안내 정보를 적절한 시점에 확인하는지, 셋째, 시각적 탐색과정에서 불필요한 신체 움직임이나 충돌 가능성이 발생하는지를 검토하였다. 평가 영상은 관련 분야 평가자 2명이 세 가지 검토기준에 따라 독립적으로 분석하였으며, 판정이 일치하지 않은 사례는 평가자 간 협의를 통해 확정하였다.
그 결과 그림 3과 같이 잘못된 인터페이스 배치, 부적절한 색채 구성, 지시문과 상호작용 대상 간 불일치로 인한 정보 처리 오류 등의 사용성 문제를 확인하였다. 본 단계는 사용자 10명을 대상으로 프레임워크의 성능이나 활용 가능성을 통계적으로 검증하기 위한 절차가 아니라, gaze ray 중첩 영상이 XR 콘텐츠의 사용성 문제를 발견하는 데 어떻게 활용될 수 있는지를 적용 사례로 제시하기 위한 절차이다.
Examples of usability problems identified through the application of the proposed framework
두 번째 단계에서는 앞선 XR 콘텐츠 적용 평가에서 생성된 gaze ray 중첩 영상과 사용성 문제 발견 사례를 전문가에게 제시한 후, 제안 프레임워크의 활용 가능성에 대한 인식 평가를 수행하였다. 본 단계의 평가 대상은 8종의 XR 콘텐츠가 아니라, 해당 콘텐츠에 적용된 제안 프레임워크와 그 평가 지원 방식이다.
설문지는 성별, 전문분야 및 경력을 확인하기 위한 일반 사항과 4개의 평가 문항으로 구성하였다. 평가 문항은 1점에서 5점까지의 5점 척도로 측정하였으며, 점수가 높을수록 문항에 대한 긍정적인 평가를 의미한다. 평가 문항은 사용성의 개념[5]과 지각된 유용성[16]의 개념을 바탕으로 프레임워크의 실무적 유용성, 평가 방법의 적절성, 평가 범위 확장의 필요성 및 콘텐츠 품질 개선 기여 가능성을 평가하도록 구성하였다.
설문에는 총 14명의 전문가가 참여하였으며, 전문가의 특성은 표 3과 같다.
Characteristics of expert respondents
설문 결과는 문항별 평균과 표본 표준편차를 이용하여 기술통계로 분석하였다. 네 문항은 서로 다른 평가 영역을 독립적으로 측정하도록 구성하였으므로 단일 척도로 간주하지 않았으며, 내적 일관성 계수는 산출하지 않았다. 또한 본 설문은 프레임워크의 평가 정확도나 콘텐츠 개선 효과를 직접 측정하는 실험이 아니라, 적용 결과를 검토한 전문가가 프레임워크의 실무적 활용 가능성을 어떻게 인식하는지를 확인하기 위한 평가이다.
표 4는 전문가 설문 결과를 정리한 것이다. 문항별 평균은 4.86점에서 4.93점으로 나타났으며, 네 문항별 평균의 단순 산술평균은 5점 만점에 4.91점이었다. 모든 응답자는 전체 문항에 4점 이상으로 응답하였다. 실무적 유용성, 평가 범위 확장의 필요성 및 품질 개선 기여 가능성은 각각 평균 4.93점으로 나타났으며, 평가 방법의 적절성은 평균 4.86점으로 나타났다. 이러한 결과는 적용 사례를 검토한 전문가들이 시선 기반 평가 영상과 사용자 행동자료가 XR 콘텐츠의 사용성 문제를 확인하고 품질 개선 방향을 검토하는 데 활용될 가능성을 긍정적으로 인식하였음을 보여준다.
Results of the expert survey
Ⅳ. 결 론
본 연구는 기존 XR 콘텐츠 사용성 평가가 설문과 인터뷰 등의 사후 자기보고식 방법에 의존하여 사용자가 실제로 탐색한 공간과 객체 및 사용성 문제의 발생 시점을 확인하기 어렵다는 한계를 보완하고자 수행하였다. 또한 HMD 아이트래킹 데이터를 사용성 평가에 활용하는 과정에서 요구되는 데이터 유효성 판정, 3차원 좌표 변환, 객체 매핑, 시각화 및 결과 해석의 복잡성을 줄이고자 하였다. 이를 위해 HMD 아이트래커의 시선 데이터를 Unity 콘텐츠 환경에서 실시간으로 시각화하고 영상으로 기록하는 XR 콘텐츠 사용성 평가 지원 프레임워크를 개발하였다.
프레임워크는 VIVE Pro Eye를 이용하여 개발되었으며 XR 콘텐츠 개발 도구인 Unity에서 바로 활용할 수 있도록 프리팹 형태로 구현되었다. 콘텐츠 개발자는 씬 개발 과정에서 프리팹을 드래그 앤드 드롭으로 추가하면 사용성 평가를 위한 gaze ray 영상을 얻을 수 있다. 이를 위해 결합 시선 데이터를 획득하고, 획득한 시선 데이터를 사용자 카메라와 HMD의 위치, 회전 정보를 기준으로 Unity 월드 좌표계의 방향으로 변환하며, 변환된 시선 방향은 Line Renderer를 통해 시각화하는 기능을 구현하였다. 또한 시선 시각화가 참여자의 행동에 영향을 미치지 않도록 별도의 카메라와 레이어를 구성하고 Unity Recorder 패키지와 연동되어 시선 중첩 영상을 생성하는 기능을 함께 구현하였다. Unity XR 아키텍처에 대응하는 모듈 구조를 적용하여 재사용성과 장치 확장을 고려하였다. 제안 프레임워크를 8종의 XR 콘텐츠에 적용하고 20대 사용자 10명의 gaze ray 중첩 영상을 검토한 결과, 인터페이스 배치, 색채 구성, 지시문과 상호작용 대상 간 불일치와 관련된 사용성 문제 사례를 확인하였다. 이 단계는 프레임워크의 성능을 통계적으로 검증하기보다, gaze ray 중첩 영상이 콘텐츠의 사용성 문제를 발견하는 데 어떻게 활용될 수 있는지를 사례로 제시하기 위해 수행하였다. 이후 해당 적용 결과와 평가 영상을 14명의 전문가에게 제시하고, 프레임워크의 실무적 유용성, 평가 방법의 적절성, 평가 범위 확장의 필요성 및 품질 개선 기여 가능성에 대한 인식 평가를 수행하였다. 문항별 평균은 4.86점에서 4.93점으로 나타났으며, 네 문항별 평균의 단순 산술평균은 5점 만점에 4.91점이었다. 모든 전문가는 전체 문항에 4점 이상으로 응답하였다.
본 연구의 의의는 전문적인 아이트래킹 분석도구를 대체하거나 사용자의 인지상태를 자동으로 판정하는 데 있지 않다. 본 연구는 fixation, scanpath, heatmap 및 AOI와 같은 정량 지표의 산출을 기본 전제로 하지 않고도, 원시 시선 데이터와 XR 콘텐츠 화면 사이의 해석과정을 단순화하여 사용자의 시선 방향과 시각적 탐색과정을 콘텐츠 장면에서 즉시 확인하고 녹화 영상으로 반복 검토할 수 있는 제작자 중심의 평가환경을 제시하였다. 이를 통해 콘텐츠 제작자는 전문적인 시선 데이터 전처리와 정량 지표 산출과정을 수행하지 않고도 사용성 문제가 발생할 가능성이 있는 장면을 확인하고 개선 방향을 검토할 수 있다. 이러한 접근은 전문 분석 도구를 이용한 정량적 시선 분석을 대체하기보다는, 콘텐츠 제작 과정에서 신속하고 직관적인 사용성 검토를 지원한다는 점에서 차별성을 가진다.
다만 본 연구에는 다음과 같은 한계가 있다. 첫째, 프레임워크의 구현과 적용은 VIVE Pro Eye와 SRanipal 환경을 중심으로 수행되었으므로, 다른 HMD와 아이트래킹 SDK 환경에서의 호환성과 재사용성을 직접 검증하지 못하였다. 둘째, 본 연구는 gaze ray 중첩 영상을 활용하여 사용성 문제를 확인한 적용 사례를 제시하였으나, 일반 화면 녹화, 설문 또는 기존 평가 방법과 비교하여 문제 발견 수, 평가 소요 시간 및 평가자 간 일치도 등이 향상되는지를 실험적으로 검증하지 못하였다. 셋째, 활용 가능성 평가는 14명의 전문가를 대상으로 수행되었고, 응답이 4점과 5점에 집중되어 있어 결과를 일반화하거나 문항 간 세부 차이를 해석하는 데 한계가 있다. 따라서 본 연구의 설문 결과는 프레임워크의 평가 정확도나 콘텐츠 개선 효과를 직접 입증한 결과가 아니라, 전문가가 인식한 활용 가능성을 보여주는 자료로 해석해야 한다. 또한 네 문항은 서로 다른 평가 영역을 측정하도록 구성되어 단일 구성 개념에 대한 척도로 보지 않았으므로, 본 연구에서 제시한 4.91점은 단일 구성 개념에 대한 척도 점수가 아니라 네 문항별 평균을 산술평균한 값으로 해석해야 한다.
향후 연구에서는 장치별 아이트래킹 데이터를 공통 형식으로 변환하는 어댑터를 개발하고, 다양한 HMD와 Unity 버전에서 프레임워크의 호환성과 재사용성을 검증할 예정이다. 또한 gaze ray를 활용한 직관적 평가라는 핵심 설계 방향을 유지하면서, 필요한 경우 시선과 객체의 교차 정보, 타임스탬프, 과업 로그 및 AOI 분석 등을 선택적으로 결합할 수 있는 확장 모듈을 개발하고자 한다. 아울러 일반 화면 녹화 또는 설문 기반 평가와의 비교 실험을 수행하여 사용성 문제 발견 수, 평가 소요 시간, 평가자 간 일치도 및 콘텐츠 개선 효과를 검증할 예정이다. 이를 통해 제작 과정의 신속한 정성적 검토와 필요에 따른 정량적 분석을 함께 지원하는 확장형 사용성 평가 프레임워크로 발전시키고자 한다.
Acknowledgments
이 논문은 한신대학교 학술연구비 지원에 의하여 연구되었음.
References
-
D. Kamińska, G. Zwoliński, and A. Laska-Leśniewicz, “Usability Testing of Virtual Reality Applications—The Pilot Study,” Sensors, Vol. 22, No. 4, 1342, February 2022.
[https://doi.org/10.3390/s22041342]
-
R. Shadiev and D. Li, “A Review Study on Eye-Tracking Technology Usage in Immersive Virtual Reality Learning Environments,” Computers & Education, Vol. 196, 104681, April 2023.
[https://doi.org/10.1016/j.compedu.2022.104681]
-
S.-H. Chang and M.-S. Park, “Analysis of User’s Gaze According to the Expression of Contents Components: Focusing on VR 360° Videos,” Journal of Digital Contents Society, Vol. 23, No. 2, pp. 237-245, February 2022.
[https://doi.org/10.9728/dcs.2022.23.2.237]
-
P. Ugwitz, O. Kvarda, Z. Juříková, Č. Šašinka, and S. Tamm, “Eye-Tracking in Interactive Virtual Environments: Implementation and Evaluation,” Applied Sciences, Vol. 12, No. 3, 1027, January 2022.
[https://doi.org/10.3390/app12031027]
- International Organization for Standardization, Ergonomics of Human-System Interaction—Part 11: Usability: Definitions and Concepts, ISO, Geneva, Switzerland, ISO 9241-11:2018, 2018.
- Ministry of Science and ICT and National IT Industry Promotion Agency. VR·AR Device Production and Use Guidelines [Internet]. Available: https://www.nipa.kr/home/2-7-1-1/8150, .
-
S. Han, H. Jeong, H. Lee, and J. Lee, “Development of Evaluation Scheme for Usability of AR/VR Contents,” Journal of Convergence for Information Technology, Vol. 11, No. 3, pp. 236-249, March 2021.
[https://doi.org/10.22156/CS4SMB.2021.11.03.236]
-
V. Sundstedt and V. Garro, “A Systematic Review of Visualization Techniques and Analysis Tools for Eye-Tracking in 3D Environments,” Frontiers in Neuroergonomics, Vol. 3, 910019, July 2022.
[https://doi.org/10.3389/fnrgo.2022.910019]
-
S. H. Nam and J. Choi, “Development of a User Evaluation System in Virtual Reality Based on Eye-Tracking Technology,” Multimedia Tools and Applications, Vol. 82, No. 14, pp. 21117-21130, 2023.
[https://doi.org/10.1007/s11042-023-14583-y]
- International Organization for Standardization, Systems and Software Engineering—Systems and Software Quality Requirements and Evaluation (SQuaRE)—Product Quality Model, ISO, Geneva, Switzerland, ISO/IEC 25010:2023, 2023.
-
K. Holmqvist, M. Nyström, and F. Mulvey, “Eye Tracker Data Quality: What It Is and How to Measure It,” in Proceedings of the Symposium on Eye Tracking Research and Applications, Santa Barbara: CA, pp. 45-52, March 2012.
[https://doi.org/10.1145/2168556.2168563]
-
X. Zhang, W. Feng, and H. Zha, “Effects of Different Visual Feedback Forms on Eye Cursor’s Stabilities,” in Proceedings of the 4th International Conference on Internationalization, Design and Global Development, Orlando: FL, pp. 273-282, July 2011.
[https://doi.org/10.1007/978-3-642-21660-2_31]
- Unity Technologies. XR Architecture [Internet]. Available: https://docs.unity3d.com/2022.3/Documentation/Manual/XRPluginArchitecture.html, .
- Unity Technologies. Configuring Movie Recorders [Internet]. Available: https://docs.unity3d.com/Packages/com.unity.recorder@2.2/manual/RecorderMovie.html, .
- Korea Creative Content Agency, 2025 Game User Survey, Korea Creative Content Agency, Naju, KOCCA Research Report 25-40, 2025.
-
F. D. Davis, “Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology,” MIS Quarterly, Vol. 13, No. 3, pp. 319-340, September 1989.
[https://doi.org/10.2307/249008]
저자소개
2007년：KAIST 문화기술대학원 (공학석사)
2018년：KAIST 문화기술대학원 (공학박사-게임콘텐츠)
2019년～2020년: 성균관대학교 예술대학 영상학과 초빙교수
2020년～2022년: 홍익대학교 MR아트텍센터 연구교수
2023년～현 재: 한신대학교 AI·SW대학 조교수
※관심분야：XR콘텐츠(XR Content), 디지털트윈(Digital Twin), 미디어아트(Media Art)