모바일 RPG 게임 사용성 평가를 위한 하위 장르 기반 휴리스틱 평가 프레임워크 개발

2-1 해외 선행 연구

Federoff[10]는 게임 디자인 문헌을 검토하고 한 PC 게임 개발사의 개발자들을 인터뷰하여 휴리스틱을 도출하였다. 휴리스틱은 게임 인터페이스, 게임 메커닉, 게임플레이의 세 영역으로 분류하였고, 이는 ‘게임에는 일반 소프트웨어와는 다른 별도의 휴리스틱이 필요하다’는 문제 의식을 처음으로 체계화한 작업이었다. Desurvire 등[11]은 Federoff의 작업을 보완하여 HEP(Heuristics for Evaluating Playability)를 제안하였다. 이들은 게임 디자인 문헌과 기존 휴리스틱을 종합하여 게임 플레이, 게임 스토리, 게임 메커닉, 게임 사용성의 4가지 범주로 재구성하였다. 또한, HEP를 활용한 평가 결과를 동일 게임에 대한 사용자 테스트 결과와 비교하여, HEP가 초기 디자인 단계에서는 유용하지만 후기 사용성 문제 발견에는 한계가 있음을 확인하였다. Desurvire와 Wiberg[12]는 HEP를 산업 현장의 피드백을 반영해 PLAY 휴리스틱으로 개정하였고, 신규 플레이어의 접근성과 학습 곡선을 강조하였다.

이후 2010년대 중반부터는 도메인 특화 휴리스틱의 체계적 개발 방법론과 검증 절차에 대한 논의가 활발해졌다. Hermawati와 Lawson[16]은 70편의 도메인 특화 휴리스틱 연구를 체계적으로 검토하여, 기존 연구의 대부분이 휴리스틱 제안 이후의 검증 노력이 부족하고 검증 방법의 엄밀성이 결여되어 있다는 문제를 지적하였다. 이러한 문제의식을 바탕으로 Jiménez 등[17]은 PROMETHEUS라는 도메인 특화 휴리스틱 개발 방법론을 제안하여, 문헌 검토, 실험적 연구, 전문가 검증을 거치는 체계적인 8단계 절차를 정립하였다. 최근에는 Aker 등[18]이 스마트폰 게임에 특화된 144개의 휴리스틱(SmGH)을 6개 범주로 개발하고, 기존 모바일 게임 휴리스틱 4종과의 비교를 진행하였다. 이를 통해 각 연구에서 제안된 휴리스틱 간 공통 항목이 적어 표준화된 평가 기준이 부재함을 확인하였다.

이러한 연구들은 게임 휴리스틱의 이론적 토대를 확립하였다는 점에서 의의가 크지만, 본 연구의 관점에서 다음과 같은 한계가 확인된다. 첫째, Federoff[10], HEP[11], PLAY[12] 등 초기 연구들은 대부분 PC, 콘솔 환경을 전제하여 모바일 환경의 터치 인터랙션, 짧은 세션, 자동화 기능과 같은 특성이 반영되지 않는다. 둘째, 기존 휴리스틱은 ‘게임’을 단일 범주로 다루어 게임 장르별 시스템적 특성을 평가하기에는 다소 추상적이다. SmGH[18]는 스마트폰 플랫폼을 다루며 모바일 게임에 특화된 휴리스틱의 필요성을 실증하였으나, 여전히 범장르적 접근에 머물렀다. 셋째, 항목 도출 과정에서 전문가 합의 검증이나 내용타당도지수(CVI; Content Validity Index)와 같은 정량적 검증 절차가 충분히 적용되지 않아, 평가 항목을 정량적으로 입증한 사례가 부족하다. 넷째, PROMETHEUS[17]와 같은 범용 프레임워크는 체계적인 절차를 제공하지만, 게임 장르별 고유한 특성을 반영한 시스템을 분석하고 이를 평가 문항으로 구현하기 위한 구체적 방법은 제시하지 않는다. 따라서 게임과 같은 복합 인터랙션 도메인에 적용하기 위해서는 장르별 특성을 반영한 설계가 필요하다.

2-2 국내 선행 연구

국내에서는 김도경[3]이 모바일 RPG UI(User Interface)를 분석하여 화면 레이아웃의 특성을 정리하였으며, 박일권[4], 김시정과 조도은[5], 부영과 구자준[6] 등은 모바일 앱 및 게임 인터페이스의 사용자 경험 차원을 다양한 관점에서 분석하였다. 김정현[19]은 스마트폰 기반의 모바일 게임의 특성을 반영하여 모바일 게임 인터페이스를 위한 3가지 원칙을 제안하였다.

이러한 연구들은 모바일 게임 사용성 연구의 토대를 제공하였다는 점에서 의의가 있으나, 대부분 특정 인터페이스 요소(레이아웃, 색상, 아이콘 등)에 대한 사례 분석에 집중되어 있으며, 평가자가 즉시 사용할 수 있는 항목 단위의 체크리스트나 휴리스틱으로는 발전하지 못하였다. 또한, 모바일 RPG와 같이 특정 장르의 시스템적 특성을 반영한 평가 프레임워크는 매우 제한적이다. RPG는 자동 전투, 캐릭터 뽑기, 스탯 강화와 같은 RPG 특화 시스템을 갖고 있으며, 여러 시스템이 연결된 구조이므로, 이를 평가하려면 시스템 단위의 휴리스틱이 요구된다.

2-3 본 연구의 위치

위에서 정리한 선행 연구의 한계점에 대해, 본 연구는 다음과 같은 보완을 시도한다.

첫째, 모바일 RPG 30개 타이틀의 직접 플레이 분석을 통해 모바일 환경 특유의 상호작용을 반영한다.

둘째, 게임을 단일 범주가 아닌 5개 RPG 하위 장르(CCG, SRPG, IDLE, ARPG, MMORPG)로 세분화하고, 장르별 핵심 시스템 단위로 평가 항목을 모듈화한다.

셋째, 18인 패널의 3차 델파이 조사와 CVI·수렴도·합의도 지표를 통해 항목의 내용 타당성을 정량적으로 검증한다.

넷째, 분석 표본에 포함되지 않은 게임을 대상으로 한 비교 검증을 통해 프레임워크의 1차 효용성을 탐색적으로 확인한다.

3-1 연구 대상

게임 장르 전반에 걸친 폭넓은 사용성 특성을 발견하기 위해, 단순히 매출이나 다운로드 순위에만 의존하지 않고 다양한 하위 장르의 대표적인 모바일 RPG 타이틀을 선정하였다. 표본 추출 기준은 다음과 같다.

첫째, 최근 5년간의 평균 DAU를 1차 선정 기준으로 채택하여, 지속적인 인기와 이용자 참여를 보인 게임을 대상으로 하였다. 장기 DAU를 선정 기준으로 삼으면 출시 직후 일시적인 마케팅 효과와 같은 단기 편향을 피할 수 있으며, 오랜 기간 동안 이용자의 재방문과 잔존율을 유지한 게임을 구분할 수 있다는 장점이 있다. 다만 DAU는 브랜드 인지도, 콘텐츠 업데이트 주기, IP(Intellectual Property) 영향력 등 사용성 외 요인이 복합적으로 영향을 미치므로, 사용성의 우수성을 직접적으로 입증하는 지표는 아니다. 따라서 본 연구는 DAU를 사용자가 지속적으로 상호작용하는 인터페이스를 관찰할 수 있는 표본 선정 기준으로 사용하였으며, DAU가 높은 게임이 사용성이 우수한 게임이라는 인과적 가정을 두지 않았다.

둘째, 분석 시점에서 한국에서 운영 중이며, 출시 후 1년 이상 서비스 중인 타이틀로 한정하였다. 이는 연구진이 직접 플레이하면서 게임별 시스템과 인터페이스를 관찰하기 위한 필수 조건이며, 출시 직후의 미완성 콘텐츠나 초기 버그가 안정화된 상태에서 평가가 가능하도록 하였다.

셋째, 장르 편향을 방지하기 위해 5개 하위 장르에서 각각 6개씩 선정하였다. 데이터 추출은 글로벌 모바일 앱 데이터 분석 플랫폼 data.ai[20]를 활용하였으며, 최종적으로 30개 게임이 선정되었다. 장르별 목록은 표 1과 같다.

Table 1.

Games selected by genre

3-2 연구 방법

본 연구는 크게 4단계로 수행되었다.

1단계에서는 30개 게임의 직접 플레이 분석을 통해 코어(core) 시스템과 메타(meta) 시스템을 추출하고 분류 체계 초안을 도출하였다. RPG 특화 시스템 요소에 대한 선행 연구가 부족하기 때문에, 본 연구에서는 선정된 30개 RPG 타이틀을 직접 플레이하며 다음의 분석 기준을 적용하여 시스템 요소를 추출하였다.

첫째, 게임의 ‘시스템’을 분석 단위로 정의하였다. 선행 연구에 따르면 게임 장르는 게임이 제공하는 규칙 구조와 상호작용 방식에 의해 구분되며[21], 게임 안에서 상호 간의 특정한 규칙이 게임의 시스템이 되고, 각각의 시스템들이 추구하는 방향성이 모여 장르를 결정짓게 된다[22]. 이에 따라 시스템은 단일 화면이나 메뉴가 아니라, ‘사용자가 특정 목표를 추구하며, 정해진 규칙에 따라 행동하고, 그 결과를 피드백으로 받는 하나의 상호작용 구조’로 식별하였다.

둘째, 각 게임에서 식별된 시스템은 코어와 메타로 분류하였다. 코어 시스템은 전투 메커니즘과 같이 해당 장르가 성립하기 위해 필수적인 게임 플레이 기능이 해당되며, 메타 시스템은 보상, 사회적 상호작용처럼 코어 플레이를 풍부하게 만드는 지원 기능이 해당된다.

셋째, 각 게임당 최소 3시간 이상의 플레이 분석을 수행하면서 시스템 명칭, 시스템 유형(코어/메타), 인터랙션 방식, 인터페이스 캡처 등을 기록하였다. 모든 진행은 1차로 연구진들이 독립적으로 수행한 후, 불일치 항목은 합의 회의를 통해 조정하였다. 해당 결과는 1차 델파이 조사의 기초 자료로 활용하였다.

2단계에서는 델파이 조사를 통해 각 RPG 하위 장르의 주요 시스템 요소에 대한 전문가 합의를 도출하였다. 델파이 조사는 익명성, 반복적 피드백, 통계적 집계를 통해 전문가들의 의견을 수렴하는 합의 도출 기법으로, 평가 도구 도출 연구에서 널리 활용되어 왔다[23]. 일반적으로 델파이 연구에서는 10~15명 정도의 전문가 패널로도 충분한 합의 도출이 가능하다고 알려져 있으나[24], 본 연구는 보다 높은 안정성과 다양한 관점 확보를 위해 18명의 전문가를 모집하였다. 패널은 게임 기획, 개발, 디자인, 프로젝트 매니저 경력 10년 이상의 시니어 전문가 12명과, 5년 이상의 경력을 가진 미드레벨 전문가 6명으로 구성되었으며, 모두 현재 모바일 게임 산업에 종사하며 최신 시장 환경과 RPG 타이틀에 익숙한 실무자였다. 단일 회사 및 단일 직무에 패널이 집중되지 않도록 모집 단계에서 회사, 경력, 직무를 분산시켰다.

델파이 조사는 총 3차에 걸쳐 진행되었으며, 패널 응답률은 100%였다. 델파이 과정에서 발생할 수 있는 편향을 통제하기 위해 패널 간 응답이 노출되지 않도록 모든 설문은 1:1 온라인 설문으로 진행되었으며, 각 차수의 집계 결과만 다음 차수에서 익명으로 공유되었다. 2차, 3차 조사에서는 1차 응답의 평균값과 자신의 응답값을 함께 제시함으로써, 자신의 의견을 재고하면서도 다수 의견에 동조하지 않도록 안내하였다. 또한, 모든 항목은 중립적 서술형으로 작성하였으며, 연구진의 사전 가설을 노출하지 않았다.

1차 조사에서는 사례 분석을 통해 도출한 모바일 RPG 시스템 요소 초안을 전문가들이 검토하였다. 각 범주와 항목에 대해 동의/비동의를 표시하고, 개방형 의견을 통해 추가·삭제·수정 제안을 할 수 있도록 하였다. 동의율은 유효 응답자 중 동의 응답자의 비율로, 델파이 조사의 일반적인 동의율 중앙값인 75%를 기준으로[25] 전문가 패널 18명 중 75%(14명) 이상이 동의한 항목을 채택하였다. 50~75% 범위의 항목은 개방형 의견을 반영하여 수정 후 유지 여부를 결정하였고, 50% 미만인 항목은 삭제를 검토하였다. 이후 동의율 산출 및 질적 코딩으로 분류 체계를 정교화하였다.

2차 조사에서는 수정된 목록을 기반으로, 전문가들에게 각 RPG 하위 장르(CCG, SRPG, IDLE, ARPG, MMORPG)에서 가장 핵심적인 시스템 요소를 1위부터 5위까지 순위화하도록 요청하고 그 이유를 서술하게 하였다. 또한 중요하다고 판단되는 추가 시스템도 자유롭게 제안할 수 있도록 하였다. 본 연구에서는 가중평균 점수 산출 후 순위를 계산하여 장르별 상위 핵심 시스템을 도출하였고, 필요시 광범위한 범주를 보다 구체적인 시스템 요소 수준으로 정교화하였다.

3차 조사에서는 각 장르별 핵심 시스템 항목의 검증과 합의 도출에 초점을 맞추었다. 전문가들은 각 항목이 해당 장르의 핵심 시스템으로 포함되는 것에 대한 동의 수준을 평가하였다. 내용 타당도는 CVI를 통해 정량화하였다. 각 항목의 CVI는 높은 관련성 평가를 부여한 전문가 비율로 계산하였으며, 4점 척도 중 1점 또는 2점은 0으로, 3점 또는 4점은 1로 환산한 뒤 총점을 응답자 수로 나누어 산출하였다[26]. 일반적인 기준에 따라 CVI가 0.5 미만인 항목은 제거를 검토하였고, 0.78 이상인 항목은 높은 타당성을 가진 것으로 판단하였다[27]. 또한 패널의 수렴도와 합의도도 측정하였으며, 수렴도 0.5 미만은 허용 가능한 응답 일치 수준, 합의도 0.75 초과는 강한 합의로 해석하였다[28]. 이러한 지표를 바탕으로 기준에 미달한 항목은 삭제 또는 수정하였다.

3단계에서는 검증된 핵심 시스템 요소를, 특정 게임이 그 요소를 좋은 사용성으로 구현하고 있는지를 판단할 수 있는 구체적인 평가 항목으로 전환하였다. 이를 위해 30개 게임을 다시 플레이하며 각 핵심 시스템과 관련된 화면을 캡처하고 분석하였다. 이 과정에서 3,700개 이상의 사용성 관찰 결과(스크린샷, 관찰 내용)를 기록하였고, 이를 정제하여 모바일 RPG에 적합한 602개의 사용성 평가 항목으로 정리하였다. 정제 과정에서는 연구진 3인이 각자 독립적으로 사용성 관찰 결과를 검토하여, 정제 기준에 따라 수정 필요 항목을 분류하였다. 이후 회의를 통해 전원이 ‘유지’로 분류한 항목은 그대로 채택하고, 1인 이상이 ‘통합, 삭제, 수정’으로 분류한 항목은 논의를 거쳐 3인 모두 동의한 방향으로 최종 합의하였다. 정제 기준으로는 (1) 중복 제거(동일한 점검 의도를 가진 항목을 가장 명확하고 일반화 가능한 항목 1개로 통합), (2) 점검 가능성 (‘예/아니오’로 명확히 응답할 수 있는 항목으로 재기술 또는 삭제), (3) 핵심 시스템과의 연결 (핵심 시스템과 연결될 수 있도록 재배치 또는 삭제), (4) 사용성 영역 한정 (매력성, 재미 등 사용성 외 차원의 평가 항목은 본 연구 범위에서 제외), (5) 장르 공통 적용성 (다수 장르에 공통 적용되는 항목은 1개로 통합)을 활용하였다.

정리된 항목들은 시스템별로 모듈화하여 구성하였고, 평가자는 자신이 평가하려는 게임에 해당하는 모듈만 선택적으로 활용할 수 있도록 하였다.

4단계에서는 평가 항목을 보다 효율적으로 활용할 수 있도록, Nielsen의 10가지 사용성 휴리스틱을 참조하여 군집화하였다. 군집화를 위해 우선 각 평가 항목을 Nielsen의 10개 원칙 중 가장 관련성 높은 원칙에 1차로 대응시켰다. 여기서 Nielsen 원칙을 그대로 적용하기 어려운 게임 특화 항목은 별도 휴리스틱 후보로 분리하였다. 그다음, affinity diagram 기법[29]을 적용하여 유사한 휴리스틱들을 4개의 상위 범주(정보 제공/피드백, 오류 예방, 학습 및 이해 용이성, 업계 표준 일관성)로 군집화하였다.

4-1 게임 플레이 및 시스템 분석 결과

선정된 30개 게임에 대한 전수 조사를 통해, 하위 장르 내 및 장르 간 공통적으로 나타나는 코어 시스템 요소와 메타 시스템 요소를 식별하였다. 초기 분석 결과 약 60개의 개별 시스템 요소가 도출되었으며, 이를 10개의 카테고리로 구성하였다. 이러한 카테고리와 세부 항목은 다음 단계인 전문가 평가를 위한 참고 자료로 활용되었다. 표 2는 사례 연구를 통해 도출한 주요 시스템 항목 초안을 보여준다. 이 초안 분류 체계는 전문가 패널이 검토 대상 시스템의 범위를 쉽게 이해하고 누락 또는 불필요한 요소에 대해 구체적인 피드백을 제공하는 데 도움을 주었다.

Table 2.

Draft of key system items for mobile RPG games

4-2 델파이 조사 결과

1차 델파이 조사에서는 전문가들이 표 2의 10개 카테고리와 60개 시스템 항목을 검토하였다. 각 카테고리와 항목에 대한 동의 여부를 확인하고, 개방형 의견을 통해 수정 또는 추가 제안을 할 수 있도록 하였다. 그 결과, 모바일 RPG 장르를 보다 정확히 반영할 수 있도록 분류 체계를 정교화하였다. 여러 카테고리가 조정되었고 1개의 신규 카테고리가 추가되어, 최종적으로 11개 카테고리, 92개 시스템 요소로 확장되었다. 전문가들은 다양한 PvP(Player versus Player) 콘텐츠 유형을 구분할 필요성을 제안했고, 일부 하위 장르에서는 ‘미션/퀘스트’와 같은 메타 시스템 요소가 누락되어 있다고 지적하였다.

2차 조사에서는 각 하위 장르에서 어떤 시스템 요소가 가장 핵심적인지를 식별하는 데 초점을 맞추었다. 전문가들은 각 하위 장르별 상위 5개 핵심 시스템을 중요도 순으로 제시하고 그 근거를 설명하였다. 이를 가중평균 점수로 계산한 결과, 장르별로 뚜렷한 패턴이 나타났다. CCG에서는 캐릭터 뽑기와 카드/스킬 조합 조작이 가장 높은 순위를 차지하였다. SRPG에서는 턴제 전투와 위치/진형/편성이 핵심 요소로 나타났다. IDLE에서는 캐릭터 레벨업, 자동 전투, 방치 시스템이 핵심으로 도출되었고, ARPG에서는 수동 전투, 실시간 전투, 캐릭터 클래스가 두드러졌다. MMORPG에서는 길드 전용 콘텐츠와 필드 사냥이 높은 순위를 차지하였다. 전문가들은 이 과정에서 추가 시스템을 제안하였고, 다수의 동의를 얻은 항목은 최종 목록에 포함하였다.

3차 델파이 조사에서는 2차 조사 결과를 바탕으로 정리된 장르별 핵심 시스템 목록을 전문가들에게 다시 제시하고, 각 항목이 해당 장르의 핵심 요소로 적절한지 4점 척도로 검증하도록 하였다. 연구 방법에서 설명한 CVI와 수렴도, 합의도 지표를 활용하여 각 항목의 수용성을 평가하였다. 평가 결과는 표 3과 같다.

Table 3.

Content validity verification of core system items by mobile RPG genre

평가 결과 대부분의 항목은 기준을 충족하였으나, ARPG 장르에서는 ‘스킬 트리’와 ‘캐릭터 뽑기’ 두 항목이 경계선 수준의 점수를 받았다. 이에 따라 ‘캐릭터 뽑기’는 ARPG 핵심 목록에서 제거하였고, ‘스킬 트리’는 ARPG의 스킬 성장 방식 전반을 보다 넓게 포괄할 수 있도록 ‘스킬 강화’로 수정하였다. 이러한 조정을 제외하면, 전문가 패널은 각 하위 장르를 정의하는 핵심 시스템에 대해 강한 합의(CVI 0.78 초과, 합의도 75% 초과)에 도달하였다.

표 4는 3차 조사 이후 확정된 장르별 핵심 시스템 요소이며, 시스템 요소들은 중요도 순서대로 기재하였다. 이러한 핵심 시스템 목록은 각 하위 장르의 공통점과 차별적 특성을 동시에 보여준다. 많은 요소가 여러 장르에서 공통적으로 나타나지만, 중요도나 구현 방식은 다를 수 있다.

Table 4.

Final list of core systems by genre after the 3rd Delphi round

4-3 평가 프레임워크 개발 결과

검증된 핵심 시스템을 바탕으로, 본 연구는 각 사용성 요소별로 실제 활용 가능한 체크리스트 형태의 모바일 RPG 사용성 평가 프레임워크를 개발하였다. 표 4에서 확정된 각 핵심 시스템 요소에 대해, 게임이 따라야 할 최적의 사용성 규칙을 도출하였다. 이를 위해 연구진은 30개 게임을 다시 플레이하며, 각 시스템이 인터페이스와 상호작용에서 어떻게 구현되는지에 대한 구체적인 스크린샷과 관찰 내용을 수집하였다. 이 과정에서 수백 개의 후보 가이드라인이 도출되었으며, 장르별로는 CCG 817개, SRPG 751개, IDLE 644개, ARPG 932개, MMORPG 644개의 초기 항목을 정리하였다. 이후 중복되거나 유사한 내용을 통합·정제하여, 최종적으로 602개의 사용성 평가 항목으로 정리하였다.

각 항목은 평가 시 ‘예/아니오’로 응답할 수 있는 질문 형태로 구성되며, 게임의 특정 사용성 측면을 점검하도록 설계되었다. 또한 항목들은 모듈화되어 있어, 평가자는 해당 게임의 장르 및 시스템에 맞는 부분만 선택적으로 활용할 수 있다. 순수 CCG라면 CCG 관련 모듈에 집중할 수 있고, ARPG/MMORPG 하이브리드 게임이라면 두 장르에 해당하는 모듈을 결합해 사용할 수 있다. 도출된 형가 항목은 표 5와 같다.

Table 5.

Usability evaluation by core system for mobile RPG

그림 1과 그림 2는 평가 항목과 활용 방식을 일부 보여준다. 그림 1은 CCG의 사용성 규칙 예시를 제시하며, 캐릭터 뽑기나 스킬 사용과 같은 핵심 시스템이 사용성 기준에 따라 어떻게 점검되는지를 보여준다. 그림 2는 CCG용 사용성 평가 체크리스트 일부를 보여주며, 각 항목이 시스템 요소와 연결되고 평가자가 예/아니오 방식으로 응답하는 구조를 나타낸다. 이 항목들은 프레임워크가 얼마나 구체적이고 세밀한 수준에서 사용성을 다루는지를 보여준다.

Fig. 1.

Example usability evaluation items for CCG, with screenshots illustrating key systems (character gacha, skill usage) and corresponding evaluation items*Korean text is retained in the figure because the primary intended audience of this study is Korean readers, and the figure presents screenshots of the Korean version of the game interface.

Fig. 2.

Detailed view of the usability evaluation framework for CCGs, showing each item linked to a system element and evaluated with a Yes/No response*Korean text is retained in the figure because the primary intended audience of this study is Korean readers, and the figure presents screenshots of the Korean version of the game interface.

4-4 휴리스틱 개발

모바일 RPG 게임 사용성 평가 항목의 단순성과 보편성을 높이기 위해, Nielsen의 10가지 사용성 휴리스틱을 참조 프레임으로 활용하여 총 4개 범주와 19개 휴리스틱을 도출하였다. 각 휴리스틱은 다수의 평가 항목을 포괄하며, 평가자는 휴리스틱 단위에서 게임의 사용성 수준을 빠르게 점검할 수 있다. 자세한 내용은 표 6과 같다.

Table 6.

Mobile RPG game usability heuristics

5-1 검증 설계

본 연구에서 제안한 휴리스틱이 게임 사용성 평가에 적용될 수 있는 가능성을 검증하기 위해, 관련 분야의 전문가를 대상으로 만족도 평가를 진행하였다. 이는 도구의 사용 편의성, 적합성, 유용성에 대한 평가자의 주관적 판단을 반영한다. 즉 실제로 더 정확한 사용성 문제를 발견하는 능력과는 개념적으로 구분된다. 본 검증은 평가자 만족도에 초점을 맞추며, 진단 유효성의 직접적 검증은 후속 연구의 과제로 남긴다.

비교 대상은 Nielsen의 사용성 휴리스틱[9]을 채택하였다. 게임 특화 휴리스틱의 경우 PC, 콘솔 환경을 전제로 하여 모바일 환경 자체가 또 다른 변수가 되어 본 프레임워크의 효용성과 모바일 적합성을 분리해 확인하기 어렵기 때문에, 도메인과 무관하게 점검 가능하면서 산업에서 가장 널리 사용되는 Nielsen의 휴리스틱을 비교 기준으로 채택하였다.

검증의 객관성을 확보하기 위해, 본 연구의 표본 30개 게임에 포함되지 않은 별도의 게임을 검증 대상으로 선정하고자 하였다. 그 결과 data.ai[20]를 통해 2026년 4월 25일 시점 최근 3개월 DAU 상위 5개 게임 중 1종인 ‘메이플 키우기’를 선정하였다. 메이플 키우기는 IDLE RPG 계열의 시스템과 수동 전투 및 캐릭터 수집 및 강화 시스템을 함께 갖추고 있어, 본 연구가 정의한 다수의 핵심 시스템이 평가 대상으로 포함될 수 있다는 점도 고려되었다.

검증에는 게임 및 서비스 UX 분야 경험을 보유한 평가자 10명이 참여하였다. 직무, 경력, 게임 이해도를 고려하여 두 개 그룹에 5명씩 균등하게 배분되도록 해 참여자의 특성이 휴리스틱 평가에 미치는 영향을 최소화하였다. 그룹A는 본 연구가 개발한 모바일 RPG 사용성 휴리스틱을 사용하고, 그룹B는 Nielsen의 일반 사용성 휴리스틱을 사용하여 동일 게임을 평가하였다. 그룹당 평가자 수는 휴리스틱 평가에 3~5명의 평가자를 권장하는 Nielsen과 Landauer의 근거를 참고하여 설정하였다[30].

5-2 검증 방법

검증 방법은 두 개 그룹을 대상으로 2단계로 구성하였다.

1단계에서는 평가자들을 대상으로 ‘메이플 키우기’를 직접 플레이하며, 게임 플레이 중 발견한 문제를 휴리스틱에 기반해 설명하고 해당하는 휴리스틱 번호를 기록하도록 하였다. 평가자들은 공통적으로 튜토리얼이 완료되어 핵심 시스템이 개방된 이후인 3 챕터를 기준으로 30분 이상 플레이하도록 하였다.

2단계에서는 휴리스틱에 대한 만족도 설문을 진행하였다. 휴리스틱 평가 완료 후 사용한 휴리스틱에 대한 10문항의 리커트 5점 척도 설문과 휴리스틱 사용 의견 주관식 1문항으로 구성하였다. 평가 문항은 표 7과 같다.

Table 7.

Heuristic evaluation items

검증은 비모수 통계기법을 적용해 10명 규모의 소수 인원을 대상으로 진행하였다. 두 독립 그룹의 만족도 평균 차이를 비교하기 위해 Mann-Whitney U 검정[31]을 적용하였다. 이 검정은 두 표본의 점수를 통합하여 순위로 변환한 뒤, 그룹별 순위 합의 차이로 두 분포의 동일성을 검정하는 방식으로, 표본의 크기가 작은 경우 검정 통계량이 분포간 차이를 충분히 반영하지 못할 수 있으므로, 유의확률 p와 함께 효과 크기를 산출하여 두 휴리스틱 간 차이의 실질적 크기를 함께 확인하였다. 효과 크기 산출에는 Hedges’ g[32]를 사용하였는데, Hedges’ g는 Cohen’s d에 보정 계수 J를 곱하여, 표본 크기가 20 미만일 때 d가 효과 크기를 과대 추정하는 편향을 교정하는 통계량이다. 효과 크기 해석은 g ≥ 0.8을 큰 효과, g ≥ 0.5를 중간 효과, g ≥ 0.2를 작은 효과로 보는 기준을 따랐다.

분석 단위는 만족도 설문 10개 문항의 평균 점수로 설정하였고, 문항별 평균값은 그룹 간 차이를 확인하기 위한 보조 기술 통계로 제시하였다. 또한 만족도 설문의 내적 일관성을 확인하기 위해 Cronbach's α를 산출하였다.

만족도 설문의 주관식 답변은 사전 분류 체계없이 응답 자료를 반복적으로 검토하여 의미 단위를 추출하고, 유사한 키워드를 묶어 주제를 도출하였다.

5-3 검증 결과

Cronbach's α 산출 결과, 전체 참여자 α = 0.924, A그룹 Cronbach's α = 0.843, B 그룹 Cronbach's α = 0.947로 양호한 수준의 내적 일관성을 보여 10개 설문 문항이 평가 도구 만족도를 일관되게 측정하고 있음을 확인했다.

설문에 대한 기술통계분석 결과, 전체 평균과 세부 문항의 평균 점수에서 A그룹이 B그룹보다 높은 평균을 보였다. Mann-Whitney U 양측 검정 결과 U=18.0, p= .295로 두 그룹 간 차이가 통계적으로 유의한 수준에 도달하지 않았으나, 이는 소규모 표본의 검정력 한계에 기인한 것으로 해석된다. 효과 크기 Hedges' g = 0.71은 중간 수준에 해당하였으며, 이는 두 휴리스틱 간에 실질적인 차이가 존재함을 시사한다. 다만, 그룹당 n=5의 소규모 표본에서 Hedges' g의 95% 신뢰구간은 (–0.57, 1.98)이며, 0을 포함하고 있어 효과 크기를 추정하는데 불확실성이 크다는 한계가 있다. 효과 크기는 분포 간 차이의 추정치일 뿐이며, 통계적 유의성이 확보되지 않은 상태에서 휴리스틱의 우월성은 단정할 수는 없다.

문항별로 살펴보면, 모든 문항에서 A 그룹이 B 그룹보다 높은 평균 점수를 보였으며, 특히 도구의 효용성과 적합성을 묻는 Q3과 Q9에서 큰 차이를 보였다.

Table 8.

Means by heuristic evaluation items

주관식 응답을 분석한 결과, Nielsen 휴리스틱을 사용한 B그룹 참여자들이 제공된 휴리스틱의 게임 적용 한계를 공통적으로 지적하였다. 구체적으로는 “기본적으로 일반 서비스/플랫폼 위주의 휴리스틱이라 게임에 적용하기 애매한 부분이 있으며, 오류·실수 방지에 치중되어 게임에 특화된 평가가 어려웠다.”, “게임에서만 사용되는 사용성 항목이 있을 것 같은데, 일반 서비스 앱을 평가하는 항목과 비슷해 보여 완벽하게 들어맞는 항목을 찾기 어려웠다.” 등의 응답이 제시되었다. 반면 A 그룹은 일부 휴리스틱 항목의 표현 모호성이나 의미 중첩에 대한 개선 의견을 제시하였으나, 적용 가능성 자체에 이의를 제기한 사례는 없었다.

5-4 검증 결론

본 검증의 정량 분석 결과 A그룹의 만족도 평균이 B그룹보다 0.68점 높게 나타났으며, 효과 크기 Hedges’ g=0.71로 중간 수준의 차이를 보였다. 본 결과는 소규모 탐색적 검증으로서 모바일 RPG 게임 사용성 휴리스틱이 기존 휴리스틱에 비해 게임 평가자에게 실질적 도움을 제공할 가능성을 탐색적으로 보여준다. 다만, 본 검증은 n=10의 소규모 탐색적 연구이며 신뢰구간이 넓어(-0.57, 1.98) 효과 크기 추정이 불확실하다. 또한, IDLE 장르 게임 1종을 대상으로 수행되어, 일반화를 위해서는 표본 규모와 장르 다양성을 확보한 후속 검증이 필요하다.

6-1 학술적·이론적 기여

본 연구의 학술적·이론적 기여는 다음 네 가지이다.

첫째, 기존 게임 휴리스틱 연구가 ‘게임’을 단일 범주로 다루어 추상적 수준에 머물러 있었던데 반해, 본 연구는 모바일 RPG를 구성하는 시스템 단위의 구체적인 평가 프레임워크를 제시함으로써 장르 특화 휴리스틱의 학술적 공백을 메웠다. 특히 2차 델파이 조사에서 나타난 장르별 핵심 시스템의 차이는 각 하위 장르의 고유한 설계 철학을 반영한다. CCG에서 캐릭터 뽑기와 카드/스킬 조합 조작이 최상위로 도출된 것은 해당 장르에서 뽑기 메커닉과 덱 전략이 중심적이라는 점을 보여주며, SRPG에서 턴제 전투와 위치/진형/편성이 핵심으로 나타난 것은 전술적 플레이 특성과 일치한다. IDLE에서 자동 전투와 방치 시스템이 핵심으로 도출된 것은 최소 조작으로 성장을 체험하는 장르적 본질을 반영하고, ARPG에서 수동 전투와 실시간 전투가 두드러진 것은 조작 숙련도가 핵심 재미 요소임을 나타낸다. MMORPG에서 길드 전용 콘텐츠와 필드 사냥이 높은 순위를 차지한 것은 사회적 요소와 오픈월드적 특성이 강조되는 장르 특성과 부합한다. 이러한 결과는 RPG를 단일 범주로 다루는 기존 접근이 아닌, 하위 장르별 시스템 분석이 필요함을 실증적으로 뒷받침한다.

둘째, Hassenzahl과 Tractinsky[13]는 사용자 경험을 실용적 품질과 쾌락적 품질의 두 독립적 차원으로 구분하였다. 본 연구가 사용성 영역만으로 602개 항목을 도출할 수 있었다는 결과는, 게임 맥락에서도 사용성이 그 자체로 충분한 분석 단위가 될 수 있음을 시사한다.

셋째, 본 연구의 19개 휴리스틱은 Nielsen의 9개 원칙과 매칭되어, 일반 사용성 원칙이 게임 도메인에서 어떻게 재맥락화될 수 있는지를 보여주는 구체적 사례를 제공한다. 특히 ‘심미적이고 미니멀한 디자인’ 원칙이 게임 시각 표현 관행과 충돌한다는 발견은 일반 사용성 이론을 게임 영역에 적용하는 것에 대한 이론적 시사점을 제공한다.

넷째, ‘대표 게임 플레이 분석 > 델파이 조사 > 정량적 검증 > 모듈형 구조화’의 절차는 다른 모바일 게임 장르에서도 동일하게 적용 가능한 방법론으로, 향후 장르별 사용성 휴리스틱 라이브러리 구축의 기반이 될 수 있다. 특히 PROMETHEUS[17]등과 달리 직접 플레이 분석이 필수적인 게임 도메인에 맞추어 핵심 시스템을 먼저 식별하고 각 시스템별로 사용성 항목을 모듈화함으로써 장르의 구조적 복잡성에 대응하는 평가 구조를 구현하였다. 이는 ‘모바일, RPG 하위 장르, 시스템 단위 모듈화, 정량적 검증’을 동시에 구현한 사례로서 차별성을 가진다.

6-3 실무적 함의

실무적 측면에서, 본 연구가 개발한 사용성 평가 프레임워크는 게임 개발자, 디자이너, QA(Quality Assurance) 팀이 즉시 활용할 수 있는 유용한 자원이다. 이 프레임워크는 전담 UX 연구자가 없는 팀이라도 게임의 인터페이스와 상호작용을 점검할 수 있도록 체크리스트 형태의 가이드라인을 제공한다. 이는 광범위한 사용자 테스트나 사용성 컨설팅을 수행하기 어려운 중소규모 개발사에 특히 유용하다. 또한 모듈형 구조 덕분에 프로젝트의 특성에 맞게 필요한 항목만 선택적으로 적용할 수 있어, 평가 과정의 효율성을 높이고 부담을 줄일 수 있다. 개발팀은 이 프레임워크를 활용해 사용성 문제를 초기 단계에서 발견할 수 있으며, 예를 들어 튜토리얼이 복잡한 시스템을 충분히 설명하지 못하거나 중요한 스탯 강화 피드백이 누락된 경우 등을 빠르게 파악할 수 있다. 더 나아가 본 프레임워크는 디자이너, 개발자, 프로젝트 매니저가 공통의 휴리스틱 기준을 바탕으로 사용성 개선 사항을 구체적으로 논의할 수 있도록 함으로써 조직 내 커뮤니케이션을 촉진하는 효과도 기대할 수 있다.

6-4 한계

본 연구는 여러 기여에도 불구하고 다음과 같은 한계를 가진다.

첫째, 본 연구는 사용성 영역에 초점을 맞추었다. 게임 경험을 구성하는 또 다른 핵심 축인 매력성, 재미, 정서적 경험은 본 프레임워크의 평가 범위에 포함되지 않는다. 따라서 본 프레임워크는 ‘이 게임이 사용하기 쉬운가’에 대한 답을 제공할 수 있으나, ‘이 게임이 매력적인가’에 대한 답은 제공하지 못하므로 종합적 게임 경험 평가를 위해서는 본 프레임워크와 매력성 평가 도구가 결합되어야 한다.

둘째, 분석 대상으로 선정된 30개의 게임은 DAU 기준으로 선정되었다. DAU는 지속적 인기와 이용자 참여의 객관적 지표이나, 이 게임들이 사용성 측면에서 모범 사례인지 여부는 별도의 인과 검증 없이는 단정할 수 없다. 본 연구는 이러한 한계를 인식하고, DAU를 ‘사용성 우수 지표’가 아닌 ‘풍부한 인터랙션 패턴 관찰을 위한 표본’으로만 사용하였다.

셋째, 분석 대상 게임과 전문가 패널 모두 한국 시장과 한국 실무자에 한정되었다. 따라서 도출된 사용성 휴리스틱과 우선순위는 한국 시장에서 일반적인 문화적 선호나 디자인 관행을 반영할 수 있으며, 글로벌 이용자층 전체에 완전히 일반화되기 어려울 수 있다. 다른 지역의 플레이어 집단을 타깃으로 하는 게임은 다른 사용성 요소를 중시할 가능성이 있다.

넷째, 본 연구는 인기 있는 RPG 하위 장르 5종(CCG, SRPG, IDLE, ARPG, MMORPG)에 집중하였으며, 퍼즐, FPS(First-Person Shooter) 등 다른 장르나 보다 세분화된 RPG 하위 장르는 다루지 않았다. 따라서 본 휴리스틱 프레임워크는 모바일 RPG에 특화된 성격을 갖고 있으며, 다른 장르에 적용하려면 추가적인 수정이 필요할 수 있다.

다섯째, ‘핵심 시스템’ 식별은 델파이 방법을 통한 전문가 합의에 의존하였기 때문에, 선정된 전문가 집단에 따른 편향 가능성을 내포한다. 다른 전문가 집단이나 더 큰 규모의 패널을 구성했다면 다른 요소가 강조되었을 수도 있으며, 향후 게임 디자인 트렌드 변화에 따라 ‘핵심’의 정의 역시 달라질 수 있다. 즉, 본 프레임워크는 연구 시점의 합의를 반영한 결과로서, 게임 산업이 변화함에 따라 주기적 업데이트가 필요하다.

여섯째, Ⅴ장의 사례 검증은 n = 10의 소규모 탐색적 연구이며, IDLE 장르 게임 1종(메이플 키우기)만을 대상으로 수행되었다. 효과 크기(Hedges' g = 0.71)를 통해 실질적 차이의 가능성은 확인하였으나, 그룹당 n=5에서의 Hedges’g 추정치는 95% 신뢰구간이 넓어(–0.57, 1.98) 효과 크기의 정밀도가 제한적이며, 본 검증이 측정한 종속변수는 평가자 만족도로서 프레임워크의 진단 유효성과는 구분된다. 이 또한 평가자가 모두 UX 관련 전문 평가자였기 때문에, 본 도구가 식별한 사용성 문제와 실제 일반 유저가 경험하는 문제 간의 일치도는 본 검증으로 확인되지 않는다. 따라서 본 프레임워크의 일반화를 위해서는 표본 규모와 장르 확대, 일반 유저를 대상으로 한 사용자 테스트 결과와의 일치도 비교가 후속 연구에서 수행되어야 한다.

6-5 향후 연구 방향

본 연구를 바탕으로 몇 가지 후속 연구 방향을 제안할 수 있다.

첫째, 6-3절에서 제기한 한계들을 각각 직접적인 후속 연구로 이어진다. 구체적으로, 본 프레임워크가 발견한 사용성 문제와 실제 플레이어가 경험하는 문제 간의 일치도를 사용자 테스트로 비교하여 프레임워크의 진단 유효성을 검증하고, 본 연구가 다루지 못한 매력성, 재미, 정서적 경험 차원의 평가 프레임워크를 별도로 개발하여 본 사용성 프레임워크와 결합한 종합적 게임 평가 체계로 확장하며, 본 프레임워크를 북미, 유럽, 일본 등 다른 지역과 FPS, 퍼즐, MOBA(Multiplayer Online Battle Arena)등 다른 장르로 본 방법론을 확대 적용하는 연구가 필요하다.

둘째, 모바일 게임의 빠른 발전을 고려할 때, 본 프레임워크 역시 지속적인 업데이트가 필요하다. AR(Augmented Reality) 기능, 새로운 과금 UX 등 새로운 상호작용 패턴이 등장함에 따라, 이를 평가 항목에 반영하는 후속 연구가 지속되어야 한다. 주기적으로 개정되는 ‘살아있는 휴리스틱 프레임워크’가 된다면 산업 변화 속에서도 유효성을 유지할 수 있을 것이다.

셋째, 실제 개발 현장에서 이 프레임워크의 효과를 검증하는 것이다. 개발팀이 본 사용성 평가 프레임워크를 실제 제작 과정이나 출시 후 점검에 활용하는 사례 연구 또는 현장 실험을 수행하고, 사용성 관련 불만 감소, 리텐션 개선, 디자인 개선 속도 향상 등의 결과를 측정한다면, 프레임워크의 효과성에 대한 실증적 근거를 한층 강화할 수 있다.