토픽 모델링을 활용한 모바일 증강현실 앱 사용자 리뷰 분석
Copyright ⓒ 2019 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
최근 모바일 증강현실 앱에 대한 산업계와 학계의 관심이 증가한 반면, 이에 관한 연구는 부족한 실정이다. 기존 증강현실 관련 연구들은 기술 자체에 관한 연구가 주를 이루고, 사용자에 관한 연구는 게임 분야에 치우쳐 있다. 본 연구는 게임뿐만 아니라 뷰티, 교육 분야까지 범위를 확장하여, 각 산업 분야별 모바일 증강현실 앱 사용자의 만족과 불만족 요소를 도출하고자 한다. 이를 위해 크롤링으로 수집한 총 57,738건의 모바일 증강현실 앱 사용자 리뷰 데이터를 긍정과 부정으로 나누어 분석하였다. 토픽 모델링 기법을 적용하여 분석한 결과, 긍정 리뷰에서는 게임 분야의 ‘증강현실 캐릭터’, 뷰티 분야의 ‘자연스러운 메이크업’, 교육 분야의 ‘신기한 수업 자료’ 등 각 분야에서 5개의 토픽이 도출되었다. 부정 리뷰에서는 게임 분야의 ‘위치 조작’, 뷰티 분야의 ‘얼굴인식 에러’, 교육 분야의 ‘잦은 광고’ 등 각 분야에서 5개의 토픽이 도출되었다.
Abstract
While the interest of industry and academia in mobile augmented reality has increased recently, research on it has been lacking. Previous research on mobile augmented reality mainly focused on technology itself, and most of user research was conducted in the game field. This study aims to elicit satisfaction and dissatisfaction factors of mobile augmented reality app users by expanding the scope not only to games but also to beauty and education fields. A total of 57,738 mobile augmented reality app user reviews collected through crawling were analyzed by dividing the data by positive and negative. As a result of the analysis by applying the topic modeling technique, in the positive review, five topics were derived from each field, such as 'augmented reality character' in the game field, 'natural makeup' in the beauty field and 'novel class material' in the education field. In the negative review, five topics were drawn from each field, including ‘location manipulation’ in the game field, ‘face recognition error’ in the beauty field and ‘frequent advertisements’ in the education field.
Keywords:
Augmented Reality App, Mobile App Review Analytics, Topic Modeling키워드:
증강현실 앱, 모바일 앱 리뷰 분석, 토픽 모델링Ⅰ. 서 론
최근 모바일 증강현실 시장은 스마트폰 이용자 증가와 더불어 빠르게 성장하고 있다. 모바일 증강현실의 세계 시장은 2016년 33.2억 달러에서 2020년에는 276.5억 달러로 연평균 69.9%의 성장률이 전망되며, 국내 시장은 2016년 3,895억 원에서 2020년 6,345억 원으로 연평균 9.3%로 성장할 전망이다[1]. 이처럼 모바일 증강현실 시장의 높은 기대 성장률에 대한 배경으로는 GPS(Global Positioning System), 카메라, 디스플레이가 스마트폰에 기본으로 장착되어 있어 별도의 장비 없이 증강현실을 구현할 수 있는 최적의 조건을 갖추고 있기 때문이다.
모바일 증강현실은 사용자에게 더 높은 몰입감과 현장감을 줄 수 있으므로 게임 또는 미디어 등의 콘텐츠를 소비하는 데 주로 사용되었다. 최근에는 소비자들의 쇼핑 경험을 향상시키기 위해 뷰티, 의류, 가구 등과 같은 다양한 분야에서 모바일 증강현실 기술이 적용되고 있다[2]. 특히 뷰티 분야에서는 기존 스마트폰의 카메라 앱을 통해 가상 메이크업 서비스와 증강현실 스티커를 제공하는 등 사용자의 구매의도와 만족도를 향상시키기 위하여 모바일 증강현실이 활발히 활용되고 있다[3].
모바일 플랫폼 시장의 주도권을 쥐고 있는 글로벌 IT 기업들은 증강현실 기술 역시 산업혁신의 플랫폼으로 기대하며 증강현실 시장 선점을 위해 적극적인 노력을 하고 있다. Apple의 ARkit, Google의 ARCore 등은 2017년에 이미 공개되어 스마트폰으로 제공 중이다[4]. 또한, 국내 기업들도 증강현실 기술의 중요성을 인식하고, 이를 활용한 다양한 서비스를 제공하고 있다. 현대 H몰의 ‘H코디’는 현대홈쇼핑, 현대백화점 등에서 제공하는 의류, 가구, 인테리어 상품을 매장에 가지 않고 가정에서 체험해 볼 수 있다[5]. 롯데 하이마트의 ‘모바일 쇼룸’은 가전제품을 실제 고객의 집에 가상으로 배치할 수 있는 모바일 앱이다[6].
이러한 모바일 증강현실에 대한 중요성에도 불구하고, 모바일 증강현실에 관한 사용자 연구는 매우 부족한 편이다. 기존 연구는 증강현실 기술 자체에 관한 연구가 주를 이루고 있다[7]-[8]. 사용자 관련 연구는 모바일 증강현실 기술이 게임에 대한 만족감이나 몰입에 주는 효과를 측정한 연구가 대부분이며[9]-[10], 구체적으로 어떠한 요소들이 사용자에게 만족 혹은 불만족을 주는지에 대한 연구는 거의 없는 편이다. 최근 모바일 증강현실 기술은 게임뿐만 아니라 뷰티, 교육 분야 등 다양한 분야에 적용되고 있으며 각 분야별로 어떤 요소가 사용자에게 만족감을 주는지에 대한 연구가 필요하다.
따라서 본 연구는 게임, 뷰티, 교육 분야 모바일 증강현실 앱의 만족, 불만족 요소를 알아보고자 한다. 이를 위해 텍스트 마이닝의 토픽 모델링 기법을 활용하여 모바일 증강현실 앱 사용자 한글 리뷰 분석을 시도하였다. 또한, 모바일 증강현실 앱 사용자 리뷰를 긍정, 부정으로 나누어 게임, 뷰티, 교육 분야별 만족, 불만족 요인을 알아보고자 한다.
본 논문의 구성은 다음과 같다. 1장은 연구배경 및 필요성에 대해 서술하였다. 제2장에서는 모바일 증강현실 앱 연구 동향 및 토픽 모델링에 관한 선행 연구를 살펴보았다. 제3장에서는 증강현실 앱 사용자 리뷰 데이터의 수집 범위 및 수집 방법에 대한 설명과 연구 절차에 대한 구체적인 과정을 기술하였다. 이를 토대로 제4장에서는 연구 결과를 정리하였다. 마지막으로 제5장에서는 결론 및 시사점, 한계점 및 추후 연구 방향을 제시하였다.
Ⅱ. 문헌연구
2-1. 모바일 증강현실 앱 연구 동향
모바일 증강현실 앱 관련 연구는 게임에 관한 연구가 다수를 차지한다. 특히 위치기반 증강현실 게임인 ‘Pokémon GO’가 전 세계적으로 선풍적인 인기를 얻으면서 게임 분야의 연구가 주를 이루고 있다. 예를 들어, 증강현실 기능이 사용자의 게임 몰입에 얼마나 영향을 주는지에 대한 연구들[9]-[10]과 여가의 측면에서 증강현실 기반의 게임이 가진 특성이 사용자들에게 얼마나 만족감을 주는지에 대한 연구가 있다[11]. 또한, 게임 분야의 기술 측면에서 증강현실 앱 개발에 필요한 기능과 디자인 요소를 분석한 연구도 있다[7]-[8].
최근에는 게임 외에도 뷰티와 교육 분야에서 모바일 증강현실 기술을 적용한 연구가 두각을 나타내고 있다. 뷰티 분야의 경우, 사용자 인터페이스 특성과 사용자 경험에 관한 연구가 진행되고 있다. 사용자 인터페이스 특성에 관한 연구에서는 증강현실 메이크업 앱들의 비교를 통해 사용자 인터페이스 버튼 조작의 문제점을 파악하여 개선 방향을 제시하였다[12]. 그리고 사용자 경험에 관한 연구에서는 증강현실 앱을 통해 메이크업 서비스 경험으로 얻은 즐거움이 구매에 긍정적인 영향을 미치는 것으로 나타났다[13].
교육 분야에서는 주로 모바일 증강현실 앱을 통한 학습효과에 관해 연구가 활발하게 진행되고 있다. 예를 들어, 1년 차 대학생에게 지리/지형을 교육하였을 때 모바일 증강현실 기술이 학업 성취와 인지능력 수준을 향상하는 데 도움이 되는 것으로 나타났다[14]. 또한, 다른 연구에서는 증강현실 콘텐츠를 활용한 수업이 학습자의 몰입을 향상시키고 상호작용을 유발하기 때문에 학습 성과를 높일 수 있는 것으로 나타났다[15]. 이처럼 증강현실 기술은 대상을 3차원적으로 시각화하기 때문에 사용자들은 집중력을 향상시킬 수 있다. 따라서 교육 분야의 모바일 증강현실 앱 사용자들은 더욱 효과적인 학습을 할 수 있다[16].
지금까지 살펴본 게임, 뷰티, 교육 분야의 연구들은 사용자 측면에서 증강현실 기술이 모바일 앱에 적용되었을 때의 효과에 관한 실험이었다. 사용자에게 효과적인 증강현실 기술은 산업 분야에 따라 만족, 불만족 요인이 다를 수 있다. 그러므로 산업 분야의 특성에 맞는 요소들을 밝힐 필요가 있다. 따라서 본 연구에서는 증강현실 기술이 적용된 게임, 뷰티, 교육 분야의 사용자 리뷰 분석을 통해 각 분야별 사용자 만족, 불만족 요인을 도출하고자 한다. 분야별로 도출된 만족, 불만족 요소들은 관련 산업 분야에 실무적으로 활용이 가능할 것이다.
2-2. 사용자 리뷰 분석과 토픽 모델링 기법
모바일 앱의 사용자 리뷰에는 앱 기능의 불만사항, 새로운 기능에 대한 요청 등 중요한 정보가 포함되어 있다[17]. 따라서 상품에 대한 평점이나 사용자의 리뷰 데이터가 풍부하기 때문에 설문이나 실험보다 비교적 표본을 모집하기 쉽다는 이점이 있다[18]. 또한, 사용자 리뷰의 양이 증가할수록 지식 이질성이 높아져, 더 많은 요구사항을 수용할 수 있다[19].
기존 대부분의 사용자 경험 연구에서는 설문 조사 기법을 활용하였는데, 설문 조사 과정의 특성상 사전에 작성된 설문 문항을 통해 데이터를 수집하기 때문에 사용자들의 다양한 의견을 반영하는 데 어려움이 있었다[20]. 또한, 사용자들은 연구 진행자를 의식하는 응답이나 실험 환경에 따라서 편향이 발생되기도 한다[21]. 실제 사용자는 적용 분야에 따라 다양한 연령대가 존재하지만, 조사대상자가 대부분 대학생으로 구성되어 있기 때문에 실제 사용자의 의견이 반영되기 쉽지 않을 뿐만 아니라 연구 결과를 일반화하기 어렵다는 단점이 있다[22]-[23].
모바일 앱 분야에서도 설문 조사 기법의 한계점을 보완하기 위하여 온라인 사용자 리뷰를 활용한 연구가 진행되고 있다. 예를 들면, 모바일 쇼핑 앱의 리뷰를 분석하여 사용자의 만족도에 미치는 영향 요인을 파악한 연구가 있다[22]. 또한, 모바일 쇼핑 앱에서 잠재 변수를 식별하기 위해 온라인 리뷰가 도움이 된다는 연구도 진행되었다[24]-[25].
이러한 장점을 지닌 온라인 리뷰 분석을 위하여 최근 다수의 연구들이 토픽 모델링 기법을 활용하고 있다[26]. 토픽 모델링은 대량의 데이터를 분석할 수 있고, 유전자 정보, 이미지, 소셜 네트워크 등 다양한 비정형 데이터에 적용하여 패턴을 찾을 수 있기 때문이다[27]. 따라서 쇼핑, 헬스케어, 관광, 의료서비스 등 다양한 분야에서 토픽 모델링 기법을 통해 온라인 리뷰를 분석한 연구들이 수행되고 있다[28]-[32]. 본 연구는 대량의 모바일 증강현실 앱 사용자 리뷰 데이터의 긍정, 부정 요인을 파악하기 위하여 토픽 모델링 기법을 활용하고자 한다.
토픽 모델링은 텍스트 마이닝 기법 중 통계적 추론을 이용한 방법으로써 문장들 속에 숨겨진 주제(Topic)들을 찾기 위해 고안된 방법이다. 대표적으로 LDA(Latent Dirichlet Allocation) 알고리즘은 토픽 모델링 기법에 속하며 문헌에서 단어의 출현은 문서의 주제에 의해 결정된다고 가정하여 토픽 모델링이 수행된다[33].
<그림 1>에서 K 는 토픽의 개수, 말뭉치(D)는 문서들의 집합이고, 문서(N)는 단어들의 집합이라 할 수 있는데, 잠재된 토픽들은 추출된 단어(Wd,n)들을 통해서 추론할 수 있다. 코퍼스 단위로 정해지는 값 α와 β 중에서 α는 θ값에 영향을 주는 파라미터이고, β는 토픽에 생성할 단어(W)를 결정하는 파라미터이다. 또한, η는 β값에 영향을 주는 파라미터이다. 즉, θ는 문헌 별 주제 분포(topic proportions)이고, Z는 단어 별 토픽 할당(topic assignment)이다. 또한, 주제(topic, β)는 추론하고자 하는 잠재 구조(hidden structure)이며, 각각 문헌 별 주제 분포인 θ값과 주제인 β값을 결정하는 파라미터는 α와 η이다. 이와 같이 Z(토픽)는 문헌 별 주제 분포인 값에 따라 결정되고, Z값과 β값에 따라 단어(W)가 결정된다고 할 수 있다[27]. 즉, LDA 알고리즘은 문서에서 추출된 단어(variable)를 통해 숨겨진 단어들을 추론하여 주제를 발견하는 것이다.
LDA기반 토픽 모델링의 특징은 문헌의 주제 혹은 사용자 정의된 주제와 키워드 등을 대상으로 사전학습 과정 없이 문헌 속에서 확률 및 추론을 통해 숨겨진 주제의 구조를 찾는 것이다[33]-[34]. LDA 토픽 모델은 함께 자주 나타나는 단어의 그룹을 하나의 토픽으로 간주한다. 여기서 토픽(주제)이란 일상 대화 속에서 통용되는 주제가 아닌 실험 데이터 속 단어의 출현 비율에 따라서 정해지는 토픽(주제)을 말한다.
Ⅲ. 연구 방법
<그림 2>는 본 연구의 데이터 수집과 분석 절차를 나타낸다. 이에 대한 자세한 설명은 다음과 같다.
3-1. 모바일 증강현실 앱 선정 및 연구 절차
본 연구의 GooglePlay 모바일 증강현실 앱 선정 기준은 사용자의 앱 다운로드 순위 상위 5위이며 사용자 리뷰 수 300건 이상의 안드로이드 기반 모바일 증강현실 앱이다. 게임과 교육 분야의 경우 모바일 증강현실 게임 순위 상위 5위 중에서 사용자 리뷰 수 300건 이상인 모바일 증강현실 게임 앱은 3건이었다. 최종 선정된 게임, 뷰티, 교육 분야의 모바일 증강현실 앱의 종류와 특징은 <표 1>과 같다.
3-2. 데이터 수집 및 키워드 추출
모바일 증강현실 앱 사용자 리뷰를 수집하기 위해 오픈 소스 프로그램 Python3.6과 오픈 패키지 BeautifulSoup을 사용하였다. Google Play store(https://play.google.com/store/apps)의 경우 안드로이드 기반 앱의 사용자 평점(5점 척도)과 리뷰를 제공한다. 사용자 리뷰 수집 기간은 모바일 증강현실 앱 런칭 시점부터 2018년 10월 까지다. 각 분야의 모바일 증강현실 앱 사용자 만족, 불만족 요인을 도출하기 위해 사용자 평점을 기준으로 <표 2> 와 같이 1~2점은 부정, 3~5점은 긍정으로 리뷰 데이터를 나누어 분석하였다.
모바일 증강현실 앱 사용자 리뷰의 특징은 띄어쓰기와 맞춤법 오류가 대다수이고, 이와 같은 이유로 자동/수동 띄어쓰기를 병행 처리하여 형태소 분석하였다. 형태소 분석의 정규화 과정에서 문맥에 맞지 않는 명사들은 전체적으로 표준화 작업을 실행하였다. 예를 들면, 업뎃 ⇒ 업데이트, 어플/애플리케이션/어플리케이션 ⇒ 앱, 튕겨 ⇒ 튕김, 프사 ⇒ 프로필사진, 로긴 ⇒ 로그인, 랙 ⇒ 렉, 화장/메컵 ⇒ 메이크업 등이 해당된다.
모바일 증강현실 앱 기능에 대한 키워드들은 명사가 주를 이루기 때문에 형태소 분석에서 2자 이상의 명사(Noun)를 추출하였다. 또한, 추출된 키워드의 빈도 분석을 통해서 출현 수가 높은 키워드를 대상으로 사용자 사전에 추가하였고, 누락되는 키워드(기능)가 없도록 확인 작업을 여러 번 수행하였다.
한글 사용자 리뷰 분석의 경우에는 새로운 고유명사, 외래어, 분야별 전문용어 등의 추가해야 할 신조어들이 많이 존재하므로 세밀한 분석이 필요하다. 따라서 사용자 사전에 추가된 모바일 증강현실 앱 관련 키워드(기능)들은 다음과 같다. 예를 들면, 게임 분야의 ‘포켓스탑’, ‘위치조작’, ‘렌더링 방식’, ‘계정보호’ 등과 뷰티 분야의 ‘수동조절’, ‘움짤기능’, ‘강제종료’, ‘메이크업품’ 등이다. 그리고 교육 분야의 ‘광학렌즈’, ‘톡모드’, ‘블루레이’ 등이 사용자 사전에 추가된 키워드이다.
3-3. 토픽 모델링 추출
모바일 증강현실 앱 사용자의 긍정과 부정 주요 요인(키워드)을 추출하기 위해 LDA 알고리즘을 이용하여 토픽 모델링을 추출하였다. 이를 위해 Python의 자연어 처리 패키지인 'konlpy'와 토픽 모델링을 위해 'gensim'을 활용하였다. 또한, 'gensim'의 ‘doc2bow’ 메소드를 이용하여 단어 단위로 토큰화 된 각 문서를 bag of word 형태로 바꾸고 문서데이터를 수치화한 후 LDA 토픽 모델을 생성하였다. Bag of Words(BoW)는 단어의 구조와 상관없이 단어의 출현 빈도(frequency)만을 고려하는 텍스트 데이터의 수치화 표현 방법이다[35]. LDA 분석에서 토픽 수(K)는 사용자가 지정할 수 있는 하이퍼 파라미터이다. 최적의 토픽 수(K)를 구하는 방법으로 Perplexity 지표[36]를 참고하거나 실험 데이터의 특징에 따라 연구자가 주관적으로 토픽 수(K)를 정할 수 있다. 본 연구에서는 모바일 증강현실 앱의 활용 분야가 다르므로 긍정과 부정 토픽 5개씩 분야별 총 10개씩의 토픽이 도출되었다. 생성된 LDA 토픽 모델의 키워드를 확인한 결과 필터링 되지 않은 불용어들과 다수의 토픽에 중복으로 출현하는 키워드들은 불용어 사전에 추가하여 필터링하고 어휘사전을 재구축한 후 LDA 토픽 모델들을 생성/확인하는 과정을 반복하였다.
토픽 모델링 결과 다음 <표 3, 4, 5>와 같이 게임, 뷰티, 교육 분야에서 사용자의 긍정, 부정 토픽 5개씩 8개의 키워드와 키워드 값이 도출되었다. 괄호 안에 표기된 키워드 값은 분야별 전체 문서(사용자 리뷰 데이터)에서 키워드가 차지하는 비중을 비율로 나타낸 값이다. 높은 값의 키워드는 해당 토픽의 주제와 연관성이 높은 단어라 할 수 있다. 따라서 높은 값의 키워드를 바탕으로 토픽의 주제를 정의하였다. 또한, 도출된 토픽에 속하는 키워드 값들의 비중이 높을수록 토픽의 우선순위(중요도)가 결정된다. 이러한 토픽의 우선순위를 바탕으로 게임, 뷰티, 교육 분야의 모바일 증강현실 앱 사용자의 만족, 불만족 주요 요인을 파악할 수 있다.
Ⅳ. 연구 결과
4-1. 토픽 모델링 결과
토픽 모델링 분석 결과 게임, 뷰티, 교육 분야의 긍정 토픽 5개와 부정 토픽 5개씩 총 30개의 토픽이 도출되었다. 추출된 토픽들의 단어들을 살펴보면 게임 분야에서는 위치 정보, 게임 아이템에 대한 단어들이 주를 이루었고, 뷰티 분야에서는 메이크업, 증강현실 스티커 기능, 카메라 필터 기능에 대한 평가가 대부분이었다. 교육 분야에서는 광고, 유료, 콘텐츠 인식에 관한 내용이 추출되었다. 또한, 사용자 리뷰 데이터를 긍정평가와 부정평가로 분리하여 분석한 결과 ‘최악’, ‘오류’, ‘불편’, ‘갑자기’, ‘삭제’ 등과 같은 부정적인 단어들과 ‘굿굿’, ‘대박’, ‘꿀잼’, ‘짱짱’, ‘감사’, ‘강추’ 등의 긍정적인 단어들이 각각 도출되었다.
게임 분야 긍정평가의 Topic1은 ‘레지스탕스’, ‘터닝메카드’, ‘배틀’ 등의 단어들은 배틀 게임에 대한 만족감을 나타낸 표현이다. 따라서 ‘배틀 시스템’으로 정의하였다. ‘터닝메카드’로 정의한 Topic2는 ‘감사’, ‘최고’, ‘터닝메카드 GO’ 등의 키워드들로 구성된 것으로 아동용 게임에 대한 만족감을 드러낸 표현들이다. Topic3은 ‘게임 캐릭터’, Topic4는 ‘증강현실 캐릭터’, Topic5는 ‘배틀 타워 업데이트’로 정의하였다. 게임 분야 부정평가의 Topic1은 ‘갑자기’, ‘업데이트’, ‘로그인’ 등의 키워드로 구성되어 ‘업데이트 에러’로 정의하였고, Topic2는 ‘위치 정보 에러’, Topic3은 ‘Pokémon GO 아이템 에러’, Topic4는 ‘위치 조작’, Topic5는 ‘게임 에러’로 정의하였다. 게임 분야에서 부정평가의 키워드 대부분은 위치정보, 위치이상, 위치조작 등과 같이 ‘위치’와 관련된 다수의 키워드가 존재했다.
게임 분야 긍정평가의 주요 요인은 Topic2(터닝메카드), Topic4(증강현실 캐릭터), Topic3(게임 캐릭터), Topic1(배틀 시스템), Topic5(배틀 타워 업데이트) 순서로 확인되었다. 이러한 긍정평가 결과는 모바일 증강현실 게임 앱에 대한 사용자 만족감이 표현된 토픽들이라 할 수 있다. 게임 분야 부정평가의 주요 요인은 Topic3(Pokémon GO 아이템 에러), Topic2(위치 정보 에러), Topic5(게임 에러), Topic1(업데이트 에러), Topic4(위치 조작) 순서로 확인되었다. 이러한 결과는 모바일 증강현실 게임 앱의 ‘Pokémon GO 아이템 에러’와 ‘위치 정보 에러’가 주요 불만 요인임을 알 수 있다.
뷰티 분야 긍정평가의 Topic1은 ‘메이크업’, ‘얼굴’, ‘자연’, ‘증강현실’ 등의 단어들로 구성된 ‘자연스러운 메이크업’으로 정의하였다. Topic2는 ‘스티커’, ‘셀카’, ‘감사’ 등의 ‘편리한 스티커’에 대한 주제이고, Topic3은 ‘기능’, ‘보정’, ‘다양’ 등의 키워드로 구성된 사용자의 ‘다양한 기능’에 대한 내용, Topic4는 ‘신기한 필터 기능’, Topic5는 친구들과 함께 즐길 수 있는 뷰티 앱을 긍정적으로 평가한 ‘대박’, ‘카메라’, ‘추천’, ‘굿굿’등의 단어들로 구성된 감정 평가로써 ‘전반적인 만족’으로 정의하였다. 뷰티 분야에서 부정평가로 도출된 Topic1의 ‘스티커’, ‘필터’, ‘다운로드’, ‘얼굴인식’ 등은 사용자의 기능에 대한 부정적 의견인 ‘스티커 다운로드 불만족’에 대한 주제이고, Topic2는 ‘메이크업’,‘얼굴’, ‘이상’, ‘인식’ 등으로 구성된 ‘얼굴인식 에러’ 에 대한 내용이다. Topic3은 ‘업데이트 불만족’, Topic4는 ‘추가 기능 요구’, Topic5는 ‘증강현실’, ‘오류’, ‘갑자기’ 등으로 추출된 단어들로 구성되어 ‘증강현실 카메라 에러’로 정의하였다. 뷰티 분야에서 긍정평가의 주요 요인은 Topic1(자연스러운 메이크업), Topic4(신기한 필터 기능), Topic2(편리한 스티커), Topic3(다양한 기능), Topic5(전반적인 만족) 순서였다. 뷰티 분야에서 부정평가의 주요 요인은 Topic1(스티커 다운로드 불만족), Topic2(얼굴인식 에러), Topic3(업데이트 불만족), Topic5(증강현실 카메라 에러), Topic4(추가 기능 요구) 순서로 <표 4>와 같다.
교육 분야의 긍정평가 Topic1은 ‘학교’, ‘그림’ 신기’ 등으로 구성된 ‘신기한 수업 자료’와 Topic2는 ‘최고’, ‘별자리’ 등으로 ‘실감나는 별자리’에 대한 주제이다. Topic3은 ‘놀라운 미술시간’, Topic4는 ‘선생님 추천’에 대한 내용이다. Topic5는 증강현실 앱을 활용한 수업에서 도움을 받은 학생들이 만족감을 표시한 내용의 ‘행성·별자리 위치’라 정의하였다. 반면, 부정평가에서는 자주 나타나는 광고에 불만이 표현된 키워드로 ‘잦은 광고’가 Topic1의 주제이고, Topic2는 원하는 콘텐츠를 사용할 때마다 결제해야 하는 불만이 드러난 주제로써 ‘결제에 대한 불만족’으로 정의하였다. Topic3은 ‘인식’, ‘색칠’, ‘프린트’, ‘노답’으로 구성된 ‘그림인식 에러’로 정의하였다. Topic4는 앱 다운로드 시간 지연에 불만이 드러난 주제로써 ‘긴 다운로드 시간’으로 정의하였다. Topic5는 ‘에러 수정 요구’에 대한 주제로써 관리자에게 기능 수정을 요구하는 사용자들이 앞으로도 사용할 의향이 있음을 알 수 있었다. 교육 분야에서 긍정평가의 주요 요인은 Topic1(신기한 수업 자료), Topic5(행성·별자리 위치), Topic2(실감나는 별자리), Topic3(놀라운 미술시간), Topic4(선생님 추천) 순서였고, 부정평가의 주요 요인은 Topic1(잦은 광고), Topic3(그림인식 에러), Topic2(결제에 대한 불만족), Topic5(에러 수정 요구), Topic4(긴 다운로드 시간) 순서로 <표 5>와 같다.
4-2. 토픽 모델링 시각화
LDAvis는 토픽 모델링에 자주 이용되는 LDA(Latent Dirichlet Allocation) 모델의 학습 결과를 한눈에 알아보기 쉽도록 시각적으로 표현하는 라이브러리이다[37]. 시각적으로 표현된 LDAvis 토픽의 크기에 따라서 전체 문서에서 토픽의 비중을 알 수 있고, 토픽의 위치에 따라서 도출된 토픽들의 독립성 여부를 확인할 수 있다. 또한, 토픽들 간의 거리는 의미상 유사 정도의 거리이다. 즉, 거리가 가까운 토픽일수록 주제와의 관련성 높거나 같은 의미의 단어가 각 토픽에 동시에 출현할 가능성이 큼을 의미한다.
게임, 뷰티, 교육 분야의 토픽 모델링 결과 <표 3, 4, 5>를 바탕으로 LDAvis 시각화한 결과는 <그림 3>과 같다.
주제와 관련성이 높은 토픽들이 게임과 교육 분야의 긍정평가에서 확인되었다. 게임 분야의 Topic3(게임 캐릭터)와 Topic4(증강현실 캐릭터)가 ‘게임’을 공통으로 의미상 관련성이 높음을 보여준다. 교육 분야에서는 Topic1(신기한 수업 자료)과 Topic3(놀라운 미술시간)의 ‘학교’와 ‘선생님’을 공통 키워드로 주제의 관련성이 높음을 나타낸다. 또한, Topic4(선생님 추천)와 Topic5(행성·별자리 위치)는 ‘별자리’라는 공통 키워드로 주제와 관련성이 높음을 보여준다. 그 밖의 토픽들은 모두 독립적으로 분리된 것을 시각적으로 확인할 수 있다. 이러한 결과는 리뷰 데이터의 세부 주제들이 잘 도출되었음을 나타낸다. 토픽들 간의 위치를 살펴본 결과 게임분야에서 부정평가의 Topic2(위치 정보 에러)와 Topic4(위치 조작)가 토픽들의 중심에 가까이 위치함을 확인할 수 있다. 이러한 결과를 통해 '위치정보 에러’와 ‘위치 조작’이 서로 연관성이 높은 주제이고, 게임 분야에서 불만족 요인의 주요 토픽임을 알 수 있다.
Ⅴ. 결 론
5-1. 연구 요약 및 함의
본 연구는 게임, 뷰티, 교육 분야의 Google Play 모바일 증강현실 앱의 사용자 리뷰를 분석하여 만족, 불만족 요인을 파악하고자 하였다. 모바일 증강현실 앱 사용자 한글 리뷰 데이터를 분석하기 위해 텍스트 마이닝 기법의 LDA 토픽 모델링 방법을 적용하였다.
연구 결과 게임, 뷰티, 교육 분야별 긍정평가에서 도출된 토픽 중에서 게임 분야의 Topic4(증강현실 캐릭터), 뷰티 분야의 Topic1(자연스러운 메이크업), 교육 분야의 Topic1(신기한 수업 자료)을 통해서 증강현실 기능에 대한 사용자들의 기대가 높음을 파악할 수 있었다. 게임 분야에서 사용자의 ‘위치정보’는 위치기반 게임 실행에 있어서 중요한 요인임을 알 수 있다. 게임 분야의 부정평가 Topic2(위치 정보 에러)와 Topic4(위치 조작)를 통해서 게이머들의 ‘위치 조작’ 문제가 2017년 당시 심각한 문제였음을 알 수 있었다. 즉, 비도덕적인 게이머들이 모바일 증강현실 게임 앱 관리자들의 보안이 허술한 점을 이용하여 ‘사용자 위치 조작’과 같은 피해를 준 것이다[38]. 이러한 피해 사례를 통해서 모바일 증강현실 콘텐츠 산업에서도 보안 관리가 중요함이 파악되었다.
뷰티 분야의 긍정평가 Topic1(자연스러운 메이크업), Topic2(편리한 스티커), Topic3(다양한 기능)에서 ‘친구들’, ‘친구’, ‘영상통화’, ‘강추’ 등의 키워드를 통해서 친구들과 함께 자연스러운 메이크업 사진을 공유하고, ‘영상통화’를 동시에 즐기고 싶은 사용자의 욕구가 높음이 파악되었다. 그리고 다양한 ‘스티커 기능’과 ‘필터 기능’의 만족이 ‘앱 추천’으로 이어지는 것으로 파악되었다. 증강현실 앱 기능에 대한 사용자 만족은 적극적인 앱 추천으로 이어지고, 이는 곧 새로운 사용자 유입에 효과적임을 보여준다. 따라서 사용자 만족 요소(기능) 관리가 중요함을 알 수 있다.
교육 분야에서 긍정평가의 Topic4(선생님 추천)와 Topic5(행성·별자리 위치)를 통해서 증강현실 기술이 적용된 콘텐츠가 학교 수업에 활용되는 것으로 파악되었다. 학생들은 교육용 증강현실 앱에 대한 정보를 선생님을 통해 얻고, 증강현실 앱을 활용하여 수업 내용을 습득하고 학습 효과를 높이는 것으로 파악되었다. 이같이 파악된 효과는 교육 분야의 증강현실 콘텐츠 수요로 이어질 것으로 전망된다.
교육 분야에서 부정평가의 Topic2(결제에 대한 불만족)와 Topic3(그림인식 에러)를 통해서 사용자들의 불만족 주요 요인이 파악되었다. 교육 분야에서 증강현실 앱은 학교 수업시간에 학생들이 수업 내용에 대한 흥미를 유발하고 상호작용을 높이기 위해 사용되는 수단이다. 이 때문에 교육용 증강현실 콘텐츠의 질과 기술적 완성도는 더욱 중요할 수 있다. 따라서 교육용 증강현실 앱 오류를 최소화시킬 방안을 마련해야 한다.
본 연구의 학문적 시사점은 다음과 같다. 첫째, 직접 크롤링한 모바일 증강현실 앱 사용자 리뷰 데이터를 토픽 모델링 기법으로 분석하였다는 점에서 의의가 있다. 기존의 모바일 앱 사용자 경험 연구에서는 주로 설문 조사 기법을 사용하였는데, 설문 조사 기법은 사전에 작성된 설문 문항을 통해 데이터를 수집하기 때문에 사용자들의 다양한 의견을 반영하는데 어려움이 있다[20]. 본 연구는 총 57,738건의 모바일 증강현실 앱 리뷰를 수집하여 다양한 의견을 분석하였고, 리뷰 데이터를 긍정, 부정으로 나누어 사용자의 만족, 불만족 요소를 도출했다는 점에서 학문적 의의가 있다.
둘째, 본 연구는 게임, 뷰티, 교육 분야로 산업 범위를 확장하여 모바일 증강현실 앱 연구를 시도했다는 점에서 의의가 있다. 국내 모바일 증강현실 앱 연구는 주로 게임 분야에 치우친 경향이 있다[7]-[11]. 그러나 이러한 결과들이 다양한 산업 분야에 그대로 적용될 수는 없으므로 각 산업의 특성에 맞는 요소들을 밝힐 필요가 있다. 따라서 본 연구 결과는 게임뿐만 아니라 뷰티 분야, 교육 분야의 모바일 증강현실 앱 만족, 불만족 요소를 각각 도출했다는 점에서 학문적 의의가 있다.
본 연구에서 도출된 모바일 증강현실 앱 리뷰의 긍정, 부정 요소는 실무적으로 활용이 가능하다. 첫째, 모바일 증강현실 앱 제공자는 리뷰의 긍정 요소를 마케팅 전략과 장기적인 콘텐츠 개발 전략에 활용할 수 있다. 예를 들어, 뷰티 분야의 긍정평가인 ‘자연스러운 메이크업’, ‘신기한 필터 기능’, ‘편리한 스티커’ 등은 증강현실 앱 사용자의 니즈가 반영된 기능이다. 이를 강조하여 관련 분야의 기업은 소비자의 구매력을 자극할 수 있는 마케팅 전략을 세울 수 있다. 교육 분야의 긍정평가인 ‘신기한 수업 자료’, ‘행성·별자리 위치’ 등은 사용자가 만족하는 증강현실 앱의 ‘수업 자료’로서 높은 활용성과 ‘학습 효과’가 반영된 것이다. 교육 분야의 모바일 증강현실 앱 제공자는 이와 같은 교육용 콘텐츠의 활용성과 효과성을 강조하여 현행 교과 과정과 연계한 교육자용/학습자용 증강현실 콘텐츠 개발 전략을 수립할 수 있다. 이처럼 뷰티와 교육 분야의 모바일 증강현실 앱 제공자는 본 연구의 분석 결과를 마케팅 전략과 장기적인 콘텐츠 개발 전략에 활용할 수 있다.
둘째, 본 연구에서 도출된 부정 요소를 바탕으로 모바일 증강현실 앱 기능을 보완(개선)하는데 활용할 수 있다. 예를 들어 게임 분야의 ‘위치 조작’, ‘업데이트 에러’, 뷰티 분야의 ‘스티커 다운로드 불만족’, ‘얼굴인식 에러’, ‘증강현실 카메라 에러’ 등과 교육 분야의 ‘그림인식 에러’, ‘긴 다운로드 시간’ 등이 사용자의 불만족 요인들로 나타났다. 각 산업 분야의 증강현실 콘텐츠 개발자들은 도출된 불만족 요인들을 빠르게 보완(개선)하여 사용자들의 불만족 요인에 대한 신뢰 회복에 힘써야 한다. 급변하는 증강현실 콘텐츠 시장에서는 사용자 유치 경쟁이 치열하기 때문이다. 따라서 모바일 증강현실 앱 개발자들은 본 연구에서 도출된 사용자의 부정 요소를 활용하여 증강현실 콘텐츠 기능 보완(개선)에 적용할 수 있을 것이다.
5-2. 연구의 한계 및 향후 연구 방향
본 연구가 지닌 한계점은 다음과 같다. 첫째, LDA 토픽 모델링 기법의 경우 모수 통계라는 특성 때문에 데이터가 가지는 토픽의 수(K)를 설정해줘야 하는 한계점이 존재한다. 해당 데이터에 몇 개의 주제가 내포되어 있는지를 미리 알기는 어렵기 때문에 다양한 K값으로 여러 번 실험하거나 Perplexity 값을 기준으로 적절한 K값을 선정한다[36]. 향후 연구에서는 이러한 LDA 토픽 모델링 기법을 개선하기 위해 디리클레 프로세스(Dirichlet Process)와 계층적 디리클레 프로세스(Hierarchical Dirichlet Process)를 적용할 수 있을 것이다.
둘째, 모바일 증강현실 앱 사용자 한글 리뷰의 경우에는 모바일 환경의 특수성으로 인하여 한글 띄어쓰기와 맞춤법 오류가 대다수였다. 또한, 이모티콘만으로 감정을 표시한 리뷰들도 다수 존재하여 분석하는데 있어서 어려움이 있었다. 이러한 비정형 한글 데이터를 분석하는 과정에서 사용자의 의도와는 다르게 해석될 수 있다. 또한, 신조어 추출과 정형화 과정의 어려움은 한글 리뷰의 과학적인 분석의 한계점이다. 향후 연구에서는 본 연구를 바탕으로 확장된 의미론적 구문 분석과 감성 분석을 적용하여 사용자의 의도를 보다 정확하게 파악하고 분석할 수 있을 것이다.
셋째, 사용자 긍정/부정 평가의 토픽 모델링 분석 결과에서 서로 상반된 의미의 키워드가 검출된 것이 확인되었다. 이러한 결과는 만족과 불만족 의견을 함께 제시한 다수의 사용자가 존재하기 때문이다. 향후 연구에서는 긍정/부정 데이터 분류 기준을 평점과 감성 분석을 함께 적용하여 보다 정확한 분야별 사용자의 만족, 불만족 요소를 도출할 수 있을 것이다.
넷째, 안드로이드 기반 모바일 증강현실 앱 사용자 리뷰 분석 결과를 모든 환경의 결과로 일반화시키기에는 어려움이 있다. 향후 연구에서는 본 연구를 바탕으로 iOS 기반의 모바일 증강현실 앱 환경에서의 주요 기능 파악과 iOS 기반 환경의 영향을 받는 모바일 증강현실 앱의 기능 차이가 있었는지에 대해 살펴볼 수 있겠다.
다섯째, 본 연구에서 도출된 모바일 증강현실 앱 사용자 만족, 불만족 요인은 모든 산업 분야에 적용될 수 없는 한계점이 있다. 향후 연구에서는 본 연구를 바탕으로 가구, 패션(의류) 등의 다양한 산업 분야로 확장하여 산업별 모바일 증강현실 앱 특징을 체계적으로 분류하고자 한다.
본 연구가 향후 모바일 증강현실 앱을 활용한 다양한 산업분야의 선행 연구로서 학문적 발판이 될 수 있기를 기대한다.
Acknowledgments
이 논문은 2018년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2018S1A5A8026839)
References
- J. H. Kim, KISTI Market Report : Mobile Augmented Reality, Korea Institute of Science and Technology Information, May), (2017.
- F. Bonetti, G. Warnaby, and L. Quinn, “Augmented Reality and Virtual Reality in Physical and Online Retailing: A Review”, Synthesis and Research Agenda, Augmented Reality and Virtual Reality, Springer, (2018).
- A. Poushneh, and A. Z. Vasquez-Parraga, “Discernible impact of augmented reality on retail customer’s experience, satisfaction and willingness to buy”, Journal of Retailing and Consumer Services, 34, p229-234, (2017). [https://doi.org/10.1016/j.jretconser.2016.10.005]
- H. Y. Yun, Weekly Technology Trends : VR·AR·MR related technology and policy trend, Information and Communication Planning and Evaluation Center, 1879, Jan), (2019.
- J. H. Lee, "Classification and Utilization of Mobile Augmented Reality Convenience Type Application", Journal of the Korean Society Design Culture, 24(1), p531-541, (2018).
- Joongang Ilbo, (October 16, 2016), "Department store· Large-scale Marts 'Augmented Reality Marketing' trend", Available : https://news.joins.com/article/20728847.
- J. Y. Lee, and J. S. Kwon, “Touch-based Gaming System using Augmented Reality Technology”, Journal of Digital Contents Society, 15(1), p69-76, Feb), (2014. [https://doi.org/10.9728/dcs.2014.15.1.69]
- K. Tuomas, "Pokémon GO 2016: exploring situational contexts of critical incidents in augmented reality", Journal of Virtual Worlds Research, (2016).
- S. K. Shin, and J. Y. Park, "A Study on the Augmented Reality Game Motivation Influences in Game Flow : Focusing on Pokémon Go", Information Society & Media, 18(3), p141-171, (2017).
- Y. J. Han, “Analysis of mediating effects of presence, emotional attachment, and focus of attention for augmented reality immersion - In the case of augmented reality game Pokémon Go users”, Journal of the HCI Society of Korea, 12(4), p27-35, (2017). [https://doi.org/10.17210/jhsk.2017.11.12.4.27]
- S. H. Cho, "Effects of ‘Pokemon Go' Properties on User Behavior and Leisure Satisfaction", Research Bulletin of Package Culture Design, 50, p91-100, (2017).
- J. W. Park, and S. K. No, “A Study of the Characteristic of Make-up Application”, Journal of the Korean Society Design Culture, 23(4), p469-480, (2017).
- A. Watson, B. Alexander, and L. Salavati, “The impact of experiential augmented reality applications on fashion purchase intention”, International Journal of Retail and Distribution Management, (2018).
- Z. Turan, E. Meral, and I. F. Sahin, “The impact of mobile augmented reality in geography education: achievements, cognitive loads and views of university students”, Journal of Geography in Higher Education, 42(3), p427-441, (2018). [https://doi.org/10.1080/03098265.2018.1455174]
- J. S. Won, and S. H. Choi, “The Effects of AR(Augmented Reality) Contents on User’s Learning : A Case Study of Car manual Using Digital Contents”, Journal of Digital Contents Society, 18(1), p17-23, (2017). [https://doi.org/10.9728/dcs.2017.18.1.17]
- H. J. Lee, S. A. Cha, and H. N. Kwon, “Study on the Effect of Augmented Reality Contents-Based Instruction for Adult Learners on Academic Achievement, Interest and Flow”, The Journal of the Korea Contents Association, 16(1), p424-437, (2016). [https://doi.org/10.5392/jkca.2016.16.01.424]
- S. McIlroy, N. Ali, H. Khalid, and A. E. Hassan, “Analyzing and automatically labelling the types of user issues that are raised in mobile app reviews”, Empirical Software Engineering, 21(3), p1067-1106, (2016). [https://doi.org/10.1007/s10664-015-9375-7]
- H. J. Hwang, H. R. Shim, and J. H. Choi, “Exploration of User Experience Research Method with Big Data Analysis : Focusing on the Online Review Analysis of Echo”, The Journal of the Korea Contents Association, 16(8), p517-528, (2016). [https://doi.org/10.5392/jkca.2016.16.08.517]
- S. Zhou, Z. Qiao, Q. Du, G. A. Wang, W. Fan, and X. Yan, “Measuring Customer Agility from Online Reviews Using Big Data Text Analytics”, Journal of Management Information Systems, 35(2), p510-539, (2018). [https://doi.org/10.1080/07421222.2018.1451956]
- F. Ryan, M. Coughlan, and P. Cronin, “Interviewing in qualitative research: The one-to-one interview”, International Journal of Therapy and Rehabilitation, 16(6), p309-314, (2009). [https://doi.org/10.12968/ijtr.2009.16.6.42433]
- A. Bhattacherjee, Social Science Research: Principles, Methods, and Practices, Textbooks Collection. 3, South Florida Univ., http://scholarcommons.usf.edu/oa_textbooks/3 (2012).
- D. H. Kim, and J. H. Kim, “A Study on Open Market Satisfaction and Purchase Intention by Mobile Apps”, E-Business Research, 18(5), p245-257, (2017). [https://doi.org/10.20462/tebs.2017.10.18.5.245]
- K. Y. Lee, "The Effects of E-WOM in Selecting the Mobile Application", The Journal of the Korea Contents Association, 17(1), p80-91, (2017). [https://doi.org/10.5392/jkca.2017.17.01.080]
- A. Rese, D. Baier, A. Geyer-Schulz, and S. Schreiber, “How augmented reality apps are accepted by consumers : A comparative analysis using scales and opinions”, Technological Forecasting and Social Change, 124, p306-319, (2017). [https://doi.org/10.1016/j.techfore.2016.10.010]
- M. Y. C. Yim, S. C. Chu, and P. L. Sauer, “Is Augmented Reality Technology an Effective Tool for E-commerce? An Interactivity and Vividness Perspective”, Journal of Interactive Marketing, 39, p89-103, (2017). [https://doi.org/10.1016/j.intmar.2017.04.001]
- J. H. Part, and H. J. Oh, "Comparison of Topic Modeling Methods for Analyzing Research Trends of Archives Management in Korea : focused on LDA and HDP", Korean Library and Information Science Society, 48(4), p235-258, (2017).
- M. Song, Text Mining, Seoul, Chunglam Publishing Co., p112-117, (2017).
- S. H. Lee, A. R. Jo, and H. Y. Lee, "The Medical Service Customer’s Satisfaction Factors Extracted from Online Hospital Review Data Using Latent Dirichlet Allocation Method", Korea Service Management Society, 18(5), p23-44, (2017).
- K. K. Kim, Y. H. Kim, and J. H. Kim, “A Study on Customer Satisfaction of Mobile Shopping Apps Using Topic Analysis of User Reviews”, Journal of Korea Society of Electronic Commerce, 23(4), p41-62, (2018).
- H. J. Lee, "Keyword identifications on dimensions for service quality of Healthcare providers", The Knowledge Management Society of Korea, 19(4), p171-185, (2018).
- J. Y. Ha, and S. H. Lee, "Discovering potential cultural tourism resources through online review of local visitors : Focused on Imsil county, Jeonbuk Province", International Association for Global Culture, 5(4), p67-85, (2018). [https://doi.org/10.26654/iagc.2018.5.4.067]
- T. H. Hong, H. Niu, G. Ren, and J. Y. Park, "Multi-Topic Sentiment Analysis using LDA for Online Review", The Journal of Information Systems, 27(1), p89-110, (2018).
- D. M. Blei, “Probabilistic topic models”, Communications of the ACM, 55(4), p77-84, (2012). [https://doi.org/10.1145/2133806.2133826]
- D. M. Blei, T. L. Griffiths, and M. I. Jordan, “The nested Chinese restaurant process and bayesian nonparametric inference of topic hierarchies”, Journal of the ACM(JACM), 57(2), Article 7 p7, (2010). [https://doi.org/10.1145/1667053.1667056]
- Bag of words, (Mar 3, 2019), <WikiDocs>, Available : https://wikidocs.net/22650.
- T. L. Griffiths, and M. Steyvers, “Finding scientific topics”, Proceedings of the National Academy of Sciences, 101(1), p5228-5235, (2004). [https://doi.org/10.1073/pnas.0307752101]
- C. Sievert, and K. Shirley, "LDAvis: A method for visualizing and interpreting topics", Proceedings of the workshop on interactive language learning, visualization, and interfaces, (2014). [https://doi.org/10.3115/v1/w14-3110]
- Huffington Post Korea, (July 23, 2016), “In Korea, there are people who want to manipulate GPS to play 'Pokemon Go'”, Available: https://www.huffingtonpost.kr/2016/07/23/story_n_11149852.html.
저자소개
2001년 : 관동대학교 전자계산공학과 (공학사)
2015년 : 서울시립대학교 대학원 (경영학석사 - 경영정보시스템)
2017년 : 서울시립대학교 대학원 (경영학박사과정 - 경영정보시스템)
2017년~현재: 서울시립대학교 (경영학박사과정 - 경영정보시스템)
※관심분야: 증강현실(AR), 텍스트마이닝, 음성인식, 디지털 보안 등
2011년 : 한신대학교 (학사 - 통계)
2018년 : 서울시립대학교 대학원 (경영학석사과정 - 경영정보시스템)
2018년~현재: 서울시립대학교 대학원 (경영학석사과정 - 경영정보시스템)
※관심분야: 데이터마이닝, 기술경영, 인공지능(AI) 등
2004년 : 연세대학교 기계전자공학부 (공학사)
2006년 : 연세대학교 대학원 (경영학 석사)
2009년 : Carnegie Mellon University 경영학 석사 (Information Systems 전공)
2012년 : Carnegie Mellon University 경영학 박사 (Information Systems 전공)
2013년 8월 ~ 2017년 8월: 울산과학기술원(UNIST) 경영학부 조교수
2017년 9월 ~ 2018년 8월: 서울시립대 경영학부 조교수
2018년 9월 ~ 현재: 서울시립대학교 경영학부 부교수
※관심분야: 인공지능(AI), UX 등