웹(앱) 기반 인공지능 응용서비스의 사용자 만족도와 효과성 평가에 관한 연구
Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 논문은 주요 웹(앱) 사이트를 대상으로 인공지능 응용서비스 중심으로 한 사용자 만족도와 효과성 평가를 다루었다. 이를 위해 사이트를 선정하고 각 사이트의 사용자들을 대상으로 설문조사를 실시하고 결과를 분석하여 사이트의 특징과 개선점을 도출했다. 설문조사의 정확도를 높이기 위해 평가지표를 도출하는 과정에서 워드클라우드를 사용하여 5가지의 평가지표를 얻었다. 이 평가지표를 근거로 설문 문항을 설계하였다. 5개의 사이트를 5가지의 평가지표와 관련하여 만족도 조사 결과를 분석하고 시각화하였다. 서비스의 투명성과 신뢰성을 높이기 위해 사용자들의 이해와 신뢰 수준을 고려한 연구도 필요하며, 인공지능 기술의 윤리적 측면과 관련한 연구가 중요하다고 여겨진다. 앞으로 더 많은 연구와 노력이 필요하며, 사용자 중심의 웹(앱) 기반 인공지능 응용서비스 개선과 윤리적 이슈에 대응하는 방안 모색이 이루어져야 할 것이다.
Abstract
This study evaluated the user satisfaction and effectiveness of artificial intelligence (AI)-based services on major web (app) platforms. Five sites were selected for evaluation, and surveys targeting users of each site were conducted. The results were analyzed to extract features and areas of improvement for the sites. To enhance the accuracy of the survey, word clouds were used for deriving five evaluation criteria during the process of generating evaluation metrics. These evaluation criteria were then used as the basis for designing the survey questions. The satisfaction survey results for the five sites were analyzed and visualized with respect to the five evaluation criteria. To improve the transparency and reliability of services, research that considers user understanding and trust levels is necessary, and research related to the ethical aspects of AI technology is considered important. Further research and more effort will be required in the future; accordingly, strategies to improve user-centric web (app)-based AI applications and address ethical issues should be explored.
Keywords:
AI Application Service, Service Satisfaction, Evaluation Index, Web, App키워드:
인공지능응용서비스, 서비스만족도, 평가지표, 웹, 애플리케이션Ⅰ. 서 론
최근 4차 산업 혁명 시대에서는 가상현실(VR)과 증강 현실(AR)과 같은 혁신적인 기술들이 빠르게 성장하고 있으며, 5G망의 상용화로 아시아·태평양 지역에서의 VR 및 AR 관련 소비가 급증하고 미래에도 계속될 것으로 전망된다[1],[2]. 교육 분야에서도 AI의 도입으로 새로운 교육 패러다임이 등장하며, AI 기반 학습 플랫폼을 통한 학습 기회가 제공되나 선택의 어려움과 맞춤형 교육 콘텐츠 추천의 어려움이 있다[2]. 이에 본 연구는 AI 기술이 적용된 웹(앱)의 사용자 만족도와 효과성을 평가하고자 하며, AI를 교육에 통합하고 사용자 경험을 향상시킬 수 있는 잠재력을 탐구한다. 이 연구의 주요 목표는 웹 또는 앱에서 활용되는 다양한 인공지능 기술의 사용자 만족도와 서비스 효과성을 종합적으로 조사하고 분석하는 것이다. 연구는 다음과 같은 측면을 중심으로 진행된다.
웹 또는 앱에서 자연어 처리, 이미지 분석, 추천 시스템 등 어떤 종류의 인공지능 기술이 적용되고 활용되고 있는지 체계적인 조사를 통해 연구대상이 되는 사이트를 선정하고, 인공지능 기술이 서비스 이용 경험에 어떤 영향을 미치는지 평가와 인공지능 기술을 도입함으로써 웹 또는 앱 서비스의 효과성이 어떻게 변화하는지 분석을 하기 위한 설문내용을 설계하고 설문에 대한 응답자를 구성한다. 설문내용 설계를 위해 키워드 클라우드를 사용하고 웹(앱) 기반의 인공지능 응용서비스에 영향을 미치는 단어를 추출하고 분석한 결과에 근거하여 문항을 작성하고자 한다. 이렇게 종합적인 분석과 평가를 통해 웹 또는 앱에서 인공지능 기술의 활용 가능성과 영향을 깊이 있게 이해하며, 사용자 중심의 혁신적인 서비스 개발과 윤리적 고려를 통해 웹(앱) 서비스를 발전시키는 전략을 모색할 것이다. 대상 웹(앱)사이트는 GPT가 제안해 준 AI를 적용한 웹(앱)사이트를 반복 질의와 필터링을 통해 10개의 사이트를 우선 선정한 후 상위권, 유사성 등을 고려하여 최종적으로 5개 사이트를 연구대상으로 선정하였다.
Ⅱ. 관련연구
2-1 웹(앱)기반 인공지능 응용서비스 개요
웹(앱) 기반 인공지능 응용서비스는 사용자들이 웹 브라우저나 모바일 앱을 통해 접근하며, 인공지능 기술을 활용하여 다양한 기능과 서비스를 제공하는 것을 의미한다. 이러한 서비스는 사용자들의 편의성과 만족도를 높이며, 비즈니스나 개인 목적에 따라 다양한 분야에서 적용될 수 있다[3][4][5]. 접근성, 맞춤화된 경험, 데이터수집과 보안, 실시간 업데이트, 다양한 분야에의 적용, UI/UX디자인, 클라우드 기반 등의 특징을 가진다[6].
표 1은 웹(앱) 기반 인공지능 응용서비스의 주요요소와 개요를 설명한다.
Web (app) based artificial intelligence application service elements
데이터 기반으로 인공지능 응용서비스가 적용된 웹(앱)은 사용자들에게 정확한 개인화, 빠른 의사결정, 지능적인 검색 및 탐색, 예측과 추천, 지속적인 개선과 최적화와 같은 다양한 혜택을 제공할 수 있다. 데이터를 기반으로 한 인공지능의 적용으로 웹(앱)은 사용자 경험을 향상시키고 사용자들의 다양한 요구와 니즈에 맞게 서비스를 제공할 수 있는 역할을 수행할 수 있다.
2-2 사용자 만족도 및 효과성 평가 관련 선행 연구
사용자 만족도 및 효과성 평가 관련한 다양한 연구 논문들이 있다. "정보시스템의 사용자 만족도 평가에 관한 연구" 논문은 기존의 MIS 평가에서 제시된 다양한 관점과 평가방법을 종합하여 새로운 평가 프레임워크를 제시하였다[7]. “세로영상 플랫폼 UI 디자인의 사용자 만족도 연구” 논문은 PC와 다른 스마트폰 위주의 세로형 동영상 플랫폼에서의 화면 구성요소를 조사하여 개선점을 제안하는 것을 목표로, 화면 UI에 대한 분석을 표로 제시하고 설문과 추가 응답의 방법으로 플랫폼 UI의 공통점과 차이점, 장·단점을 도출하였다[8]. “대학 비교과 교육과정 운영 사례 분석 연구: 동아대학교 스마트테크IT융합 패션전문인력양성교육과정을 중심으로” 논문은 패션산업에서의 4차 산업혁명 대응 기술 혁신을 위한 학계 및 산업계의 인식 확산 및 관련 비교과 교육과정 운영사례를 분석하고 교육과정 개발을 위한 기초자료를 제시하는 데 연구의 목적을 두고 교육 수료생을 대상으로 강의평가와 관련 60개 업체를 대상으로 설문조사를 실시하여 관련 인재의 필요성에 비해 지역에서 주관하고 있는 교육, 인재 양성이 부족한 것을 확인하고 융합 교육 콘텐츠를 중심으로 비교과 교육과정을 개발, 운영함으로써 산업적 요구에 대응할 수 있도록 제안하였다[9]. “이용자 만족도 조사를 통한 철도역사 내 교통약자 경로안내 시스템 평가” 논문은 교통약자의 이동성을 보장하기 위해 다양한 정책수립 및 기술도입에 의해 철도역사 내 교통약자 경로안내 시스템에 대한 이용자 만족도 조사를 수행하였다. 시스템에 대한 만족도, 이용자 요구사항 등을 조사하였다[10]. 이같이 만족도나 효과성 평가와 관련하여 다양한 분야에서 연구되어지고 있다. 본 논문에서는 효과성 평가의 대상을 인공지능 응용서비스가 대두되고 있는 웹(앱)을 대상으로 진행하였다. 대상에 따라 만족도와 효과성 평가를 위한 방법적인 부분을 달리해야 하므로 인공지능서비스를 하고 있는 웹(앱)을 선정하고 설문내용을 설계하고 분석하는 과정을 진행하였다.
Ⅲ. 연구방법
3-1 데이터 수집 및 방법
본 논문에서 실행한 프로세스는 그림 1과 같다. 워드클라우드를 활용한 웹(앱) 기반의 인공지능 응용서비스와 관련한 데이터를 수집하고 이를 근거로 하는 설문내용을 작성한다. 가능한 밀도있는 답변을 위해 사이트를 주로 사용하는 대학생 대상으로 설문조사를 진행한다. 업데이트가 되는 주기를 고려하여 4주 간격으로 3차례의 동일한 대상에게 동일한 설문조사를 실행하여 데이터를 수집하고 분석하여 인공지능 응용서비스의 사용자 만족도와 효과성에 관한 연구 결과를 시각화하였다. 구체적인 연구방법의 내용은 표 2와 같이 정리할 수 있다.
Research process
Research method and overview
대상 웹(앱)사이트는 GPT가 제안해 준 AI를 적용한 웹(앱)사이트를 반복 질의와 필터링을 통해 10개의 사이트를 선정한 후 상위권, 유사성 등을 고려하여 최종적으로 Netflix, Amazon, Google, Spotify 및 Facebook을 연구대상으로 선정하였다. 선택이유는 각 사이트가 고유한 인공지능 기술과 서비스를 포함하고 있으며, 이들 사이트는 다양한 온라인 서비스 분야에서 혁신적인 역할을 하고 있기 때문이다. 표 3에서 각 사이트의 URL과 각 사이트별 인공지능 응용서비스가 적용된 요소에 따른 선정 이유를 정리하였다.
AI application service of research target site
3-2 평가지표 설계 및 분석 방법
평가지표는 사용자인터페이스와 디자인, 기능과 성능, 콘텐츠와 다양성, 개인정보 보호 및 보안, 사용자 경험을 기반으로 각 항목에 대한 구체적인 평가지표를 선택하였다. 평가지표는 또한, 평가지표에 대한 답변을 나타낼 수 있는 척도를 설계하였다. 일반적으로 5점 척도를 사용하여 "매우 불만족"부터 "매우 만족"까지의 등급을 포함하였다.
분석방법은 선택한 대상 사이트에 대한 사용자들로부터 평가를 수집하기 위해 온라인 설문조사을 사용하였다. 수집한 데이터를 정리하고 필요한 형식으로 변환하고 누락된 응답이나 이상치 등을 처리하여 데이터의 신뢰성을 높이기 위해 데이터전처리를 하고 평가지표 계산하였다. 각 항목별로 평가지표를 계산하여 사용자인터페이스, 기능과 성능, 콘텐츠와 다양성, 개인정보 보호 및 보안, 사용자 경험, 기타 의견 및 건의사항에 대한 만족도를 평가하였다. 이 문항을 추출한 근거는 웹에서의 인공지능서비스 검색 결과를 그림 2와 같이 워드클라우드로 만들고 여기에서 나타난 항목 중 주요 항목을 근거로 5가지의 문항을 만들었다. 각 항목별 평가 결과를 종합하여 전체적인 사용자 만족도를 계산하였다. 각 사이트의 항목별 및 전체 만족도를 비교하여 강점과 개선이 필요한 부분을 확인하고, 사용자 의견을 분석하여 서비스 개선 방안을 도출하였다.
AI services word cloud
Ⅳ. 사용자 만족도 평가
4-1 설문지 설계
사용자 만족도 평가는 사용자들이 서비스나 제품에 대한 만족도를 평가하는 것이다. 주로 설문조사, 인터뷰, 피드백 수집 등을 사용한다. 이 논문에서는 설문조사를 사용하였다. 표 4는 사용자 만족도 평가를 위한 설문지이다.
Questionnaire questions
5개 사이트(Netflix, Amazon, Google, Spotify, Facebook) 대상으로 설문조사를 위한 설문지를 설계하였다. 설문지는 각 사이트에 대한 사용자 만족도와 효과성을 평가하기 위한 항목을 포함하고 있다. 실제 연구를 위해서는 더 구체적인 내용과 추가적인 항목이 필요할 수도 있겠으나 사용자 의견을 정량화하고 통계적 분석을 위해 공통적인 문항으로 설계하였다. 평가지표별로 문항을 설계하였으나 설문지에는 평가지표가 나타나지 않도록 하였다. 표 5는 평가지표와 관련한 문항을 분류한 것이다.
Questions for each evaluation indicator
사용자 만족도 조사에 대한 분석은 우선, 주어진 표에서 각 사이트를 5점 척도의 사용자 만족도 점수를 확인한 후, 각 사이트의 사용자 만족도 점수를 합산하고, 그 합계를 해당 사이트의 수로 나눠 평균 만족도 점수를 계산하였다. 계산한 평균은 각 사이트의 대략적인 사용자 만족도를 나타낸다. 각 사이트의 사용자 만족도 점수와 평균 만족도 점수를 비교하면서 각 사이트의 특징과 관련하여 분석하였다.
4-2 효과성 평가 지표 설계
효과성 평가는 서비스나 제품의 목표 달성 정도를 평가하는 것이며 주로 데이터 분석을 통해 수행된다. 효과성 평가는 사용자의 행동 분석이나 지표를 통해 서비스의 성과를 평가할 수 있다. 이 논문에서는 4주 간격으로 3차례의 동일한 대상, 동일한 설문조사를 진행하여 데이터를 얻었고 사용자들의 서비스에 대한 주관적인 평가를 정량화하여 서비스의 강점과 개선점을 파악할 수 있었다. 표 6은 Netflix의 평가지표에 따른 만족도 점수이다.
Netflix satisfaction score by evaluation index
Netflix는 3번의 설문조사 결과 모두 콘텐츠의 다양성에서 가장 높은 점수의 결과를 얻었고, 개인정보 보호 및 보안에서 가장 낮은 점수를 얻었다. 표 7은 Amazon의 평가지표에 따른 만족도 점수이다.
Amazon satisfaction score by evaluation index
Amazon은 1차, 2차 조사에서 기능과 성능에서 가장 높은 점수를 얻었고, 개인정보 보호 및 보안 항목이 2차, 3차 설문에서 가장 낮은 점수를 얻었다. 표 8은 Google의 평가지표에 따른 만족도 점수이다.
Google satisfaction score by evaluation index
Google은 기능과 성능 항목에서 1차, 3차 조사에서 가장 높은 점수를 얻었고, 사용자인터페이스와 디자인 항목이 2차, 3차 조사에서 가장 낮은 점수를 얻었다. 특이한 점이 콘텐츠와 다양성 항목이 1차 조사에서 가장 낮은 점수를 얻었는데 2차 조사에서는 가장 높은 점수를 얻었다. 표 9는 Spotify의 평가지표에 따른 만족도 점수이다.
Spotify satisfaction score by evaluation index
Spotify는 1차, 3차 조사에서 기능과 성능 항목이 가장 높은 점수를 얻었고, 개인정보 보호 및 보안에서 1,2,3차의 조사에서 모두 가장 낮은 점수를 얻었다. 표 10은 Facebook의 평가지표에 따른 만족도 점수이다.
Facebook satisfaction score by evaluation index
Facebook은 1차, 3차 조사에서 콘텐츠와 다양성 항목이 가장 높은 점수를 얻었고, 개인정보 보호 및 보안 항목이 가장 낮은 점수를 얻었다. 2차 조사에서는 기능과 성능 항목이 가장 높은 점수를 얻었고, 사용자인터페이스와 디자인 항목이 가장 낮은 점수를 얻었다. 대체로 4점대 이상의 점수가 측정되어 소수점 둘째 자리까지 수치화하였다.
평가지표에 따른 만족도 설문조사 결과를 그래프로 표현하였다. 그림 3은 5개의 사이트를 5가지의 평가지표에 따라 5점 척도의 점수를 그래프로 표현한 것이다. 그림 4는 주제별 패턴을 식별하기 위해 히트맵으로 표현한 것이다. 평가지표별 결과를 정리하면, 사용자인터페이스 지표에서는 Google이 비교적 높은 점수를 받았다. 사용자들이 Google의 인터페이스를 매우 직관적이고 편리하게 느낀 것으로 해석할 수 있다. 기능과 성능 지표에서도 Google이 가장 높은 점수를 받았다. Google의 다양한 기능과 뛰어난 성능을 사용자들이 높게 평가한 것으로 해석된다. 콘텐츠 다양성 지표에서는 Netflix가 가장 높은 점수를 받았다. Netflix는 다양한 콘텐츠를 제공하며 사용자들의 다양한 관심사를 충족시키는 데 성공한 것으로 해석된다. 개인정보 보호 및 보안 지표에서는 Google이 가장 높은 점수를 받았다. Google의 강화된 개인정보 보호와 보안 시스템을 사용자들이 신뢰하고 있는 것으로 해석된다. 사용자 경험 지표에서도 Google이 가장 높은 점수를 받았다. 사용자들이 Google의 서비스를 전반적으로 사용하며 편리한 경험을 얻은 것으로 해석된다. 또한, 지표별 가장 낮은 점수를 얻은 지표를 살펴보면, 사용자인터페이스, 기능과 성능, 콘텐츠 다양성, 개인정보 보호 및 보안지표에서 모두 Facebook이 가장 낮은 점수 얻은 것을 확인하였다.
Satisfaction results according to site
Heatmap to identify thematic patterns
5-2 결과해석 및 서비스 향상 제언
콘텐츠의 다양성과 기능과 성능 지표에서 가장 높은 점수를 얻었다. 기능과 성능 지표는 Amazon, Google, Spotify에서 2차례, Facebook에서 1차례와 콘텐츠의 다양성 지표는 Netflix가 3차례, Facebook이 2차례, Amazon, Google, Spotify는 1차례로 가장 높은 점수를 얻었다. 그리고, Netflix와 Spotify는 3차례, Amazon과 Facebook은 2차례, Google은 1차례로 5개 사이트 모두 개인정보 보호 및 보안 지표에서 가장 낮은 점수를 얻었다. 이는 사용자들이 개인정보 처리 및 보안 정책을 불안정하게 느낄 수 있음을 시사한다. 그리고, 사용자인터페이스와 디자인 지표가 Google이 2차례, Amazon과 Facebook이 1차례 가장 낮은 점수를 얻었다. 전반적으로 모든 사이트에서 개인정보 처리 및 보안지표가 가장 낮은 점수를 얻었고, 다음으로 사용자인터페이스와 디자인 지표가 낮은 점수를 얻었다. 이는 사용자들의 개인정보 보호에 대한 신뢰를 더 높일 수 있는 방법을 고려해야 할 것이고, 더 강화된 보안 기능과 투명한 개인정보 처리 방침을 제공하는 것이 중요하다는 것을 의미한다. 또한, 사용자인터페이스와 디자인의 개선을 통해 사용자들이 더 직관적으로 서비스를 활용할 수 있도록 노력해야 할 것이다. 이 같은 분석을 통해 얻은 정보는 각 사이트의 장점과 개선 필요한 부분을 파악하는 데 도움을 줄 것이다.
Ⅴ. 결 론
5개 사이트(Netflix, Amazon, Google, Spotify, Facebook) 대상으로 인공지능 응용서비스 중심으로 설문조사를 통해 5가지 평가지표에 근거한 사용자 만족도와 효과성 평가를 알아보았다.
먼저 인공지능 응용서비스를 포함한 웹(앱)사이트를 선정하고, 인공지능 응용서비스에 대한 만족도와 효과성 평가를 위한 설문지를 설계한 후, 온/오프라인을 활용하여 설문조사를 실시하였다. 설문조사를 포함한 데이터를 이해, 분석하고 평균을 계산한 후 사이트의 특징과 관련하여 분석하였다.
만족도가 상승하거나 하락하는 이유를 찾아내는 것도 중요한 요소이므로 비슷한 시기나 주기마다 만족도 조사를 실시하고 결과를 비교함으로써, 각 사이트의 사용자 만족도의 추이를 파악할 수 있을 것으로 예상하고 보편적인 사이트의 업데이트 간격인 4주 간격으로 3차례의 동일한 대상, 동일한 설문 내용으로 만족도 조사를 실행하였다.
이렇게 분석을 통해 얻은 정보는 각 사이트의 장점과 개선 필요한 부분을 파악하는 데 도움을 줄 것이다. 앞으로 사용자가 인공지능 기능을 어떻게 인식하고 활용하는지를 평가하는 연구가 필요할 것이다. 사용자들이 편리하게 상호작용하며 응용서비스를 활용할 수 있는 인터페이스 설계의 효과를 측정하고 개선점을 찾는 것이 중요하기 때문이다. 또한, 인공지능 기술의 의사결정 과정과 동작 방식을 사용자들이 어떻게 이해하고 신뢰하는지에 관한 연구로 서비스의 투명성을 높이고, 알고리즘의 결정 근거를 제공함으로써 사용자들이 인공지능 시스템을 신뢰도를 높이고, 인공지능 응용서비스가 더 많이 활용되는 상황에서의 윤리적 이슈 연구를 통해 알고리즘 편향성, 차별, 개인정보 보호 등과 같은 윤리적 문제에 대한 대응 방안을 제시하고 사용자들의 이슈를 고려하는 연구도 필요할 것이다.
References
- S.-J. Lee, “Analysis of Determinants Influencing User Satisfaction for Augmented Reality(AR) Camera Application: Focusing on Naver's Service,” The Journal of the Korea Contents Association, Vol. 20, No. 7, pp. 417-428, July 2020.
- L. Jin, “Recommendation System Design Based on Learning Style : Focusing on AI Language Learning Applications,” Master's Thesis, Educational Technology, Ewha Womans University Graduate School, August 2021.
- K.-S. Kim, “Artificial Intelligence-based Technology and Relief,” Public Land Law Review, Vol. 85, pp. 231-258, 2019.
- M.-H. Park and C.-Y. Park, “Comparison of the Cases Based on the Usage of Artificial Intelligence in the EdTech Industry - Focusing on IBM Watson Talent and Riiid R.Inside,” Journal of Educational Technology, Vol. 38, No. 2, pp. 333-368, 2022.
- J.-H. Kim, “Analysis of User Experience and Usage Behavior of Consumers Using Artificial Intelligence(AI) Devices,” Journal of Digital Convergence, Vol. 19, No. 6, pp. 1-9, 2021.
- C.-H. Baek, J.-H. Choe, and S.-U. Lim, “Review and Suggestion of Characteristics and Quality Measurement Items of Artificial Intelligence Service,” Korean Society for Quality Management, Vol. 46, No. 3, pp. 677-694, 2018.
- M.-S. Park and M.-H. Shin, “A Research for End-User Satisfaction Evaluation on Information Systems,” Journal of the Korea Society of Computer and Information, Vol. 5, No. 4, pp. 154-160, 2000.
- S.-Y. Ban and E.-J. Lee, “An User Satisfaction Study of Vertical Video Platform UI Design,” Illustration Forum, Vol. 23, No. 71, pp. 83-93, 2022.
- C.-Y. Suh and S.-Y. Lee, “A Case Analysis of Extracurricular Curriculum Implementation: Focused on the Smart Tech IT Convergence Fashion Professional Training Course of Dong-A University,” The Journal of Learner-Centered Curriculum and Instruction, Vol. 23, No. 7, pp. 169-182, 2023.
- E.-B. Jeong and S.-Y. You, “Assessment of a Route Guidance for Mobility-handicapped Passengers in Railway Stations based on User Satisfaction Survey,” Korean Society of Transportation, Vol. 38, No. 4, pp. 309-323, 2020.
저자소개
1994년：울산대학교 시각디자인학과 디자인학사
1998년：국립큐슈예술공과대학대학원 정보전달전공 예술공학석사
2002년：국립큐슈예술공과대학대학원 정보전달전공 예술공학박사 수료
2002년～현 재: 호남대학교 소프트웨어학과 교수
※관심분야 : UI/UX, 디지털트윈, VR/AR, AI