Journal Archive

웹(앱) 기반 인공지능 응용서비스는 사용자들이 웹 브라우저나 모바일 앱을 통해 접근하며, 인공지능 기술을 활용하여 다양한 기능과 서비스를 제공하는 것을 의미한다. 이러한 서비스는 사용자들의 편의성과 만족도를 높이며, 비즈니스나 개인 목적에 따라 다양한 분야에서 적용될 수 있다[3][4][5]. 접근성, 맞춤화된 경험, 데이터수집과 보안, 실시간 업데이트, 다양한 분야에의 적용, UI/UX디자인, 클라우드 기반 등의 특징을 가진다[6].

표 1은 웹(앱) 기반 인공지능 응용서비스의 주요요소와 개요를 설명한다.

데이터 기반으로 인공지능 응용서비스가 적용된 웹(앱)은 사용자들에게 정확한 개인화, 빠른 의사결정, 지능적인 검색 및 탐색, 예측과 추천, 지속적인 개선과 최적화와 같은 다양한 혜택을 제공할 수 있다. 데이터를 기반으로 한 인공지능의 적용으로 웹(앱)은 사용자 경험을 향상시키고 사용자들의 다양한 요구와 니즈에 맞게 서비스를 제공할 수 있는 역할을 수행할 수 있다.

사용자 만족도 및 효과성 평가 관련한 다양한 연구 논문들이 있다. "정보시스템의 사용자 만족도 평가에 관한 연구" 논문은 기존의 MIS 평가에서 제시된 다양한 관점과 평가방법을 종합하여 새로운 평가 프레임워크를 제시하였다[7]. “세로영상 플랫폼 UI 디자인의 사용자 만족도 연구” 논문은 PC와 다른 스마트폰 위주의 세로형 동영상 플랫폼에서의 화면 구성요소를 조사하여 개선점을 제안하는 것을 목표로, 화면 UI에 대한 분석을 표로 제시하고 설문과 추가 응답의 방법으로 플랫폼 UI의 공통점과 차이점, 장·단점을 도출하였다[8]. “대학 비교과 교육과정 운영 사례 분석 연구: 동아대학교 스마트테크IT융합 패션전문인력양성교육과정을 중심으로” 논문은 패션산업에서의 4차 산업혁명 대응 기술 혁신을 위한 학계 및 산업계의 인식 확산 및 관련 비교과 교육과정 운영사례를 분석하고 교육과정 개발을 위한 기초자료를 제시하는 데 연구의 목적을 두고 교육 수료생을 대상으로 강의평가와 관련 60개 업체를 대상으로 설문조사를 실시하여 관련 인재의 필요성에 비해 지역에서 주관하고 있는 교육, 인재 양성이 부족한 것을 확인하고 융합 교육 콘텐츠를 중심으로 비교과 교육과정을 개발, 운영함으로써 산업적 요구에 대응할 수 있도록 제안하였다[9]. “이용자 만족도 조사를 통한 철도역사 내 교통약자 경로안내 시스템 평가” 논문은 교통약자의 이동성을 보장하기 위해 다양한 정책수립 및 기술도입에 의해 철도역사 내 교통약자 경로안내 시스템에 대한 이용자 만족도 조사를 수행하였다. 시스템에 대한 만족도, 이용자 요구사항 등을 조사하였다[10]. 이같이 만족도나 효과성 평가와 관련하여 다양한 분야에서 연구되어지고 있다. 본 논문에서는 효과성 평가의 대상을 인공지능 응용서비스가 대두되고 있는 웹(앱)을 대상으로 진행하였다. 대상에 따라 만족도와 효과성 평가를 위한 방법적인 부분을 달리해야 하므로 인공지능서비스를 하고 있는 웹(앱)을 선정하고 설문내용을 설계하고 분석하는 과정을 진행하였다.

본 논문에서 실행한 프로세스는 그림 1과 같다. 워드클라우드를 활용한 웹(앱) 기반의 인공지능 응용서비스와 관련한 데이터를 수집하고 이를 근거로 하는 설문내용을 작성한다. 가능한 밀도있는 답변을 위해 사이트를 주로 사용하는 대학생 대상으로 설문조사를 진행한다. 업데이트가 되는 주기를 고려하여 4주 간격으로 3차례의 동일한 대상에게 동일한 설문조사를 실행하여 데이터를 수집하고 분석하여 인공지능 응용서비스의 사용자 만족도와 효과성에 관한 연구 결과를 시각화하였다. 구체적인 연구방법의 내용은 표 2와 같이 정리할 수 있다.

Fig. 1. 
Research process

대상 웹(앱)사이트는 GPT가 제안해 준 AI를 적용한 웹(앱)사이트를 반복 질의와 필터링을 통해 10개의 사이트를 선정한 후 상위권, 유사성 등을 고려하여 최종적으로 Netflix, Amazon, Google, Spotify 및 Facebook을 연구대상으로 선정하였다. 선택이유는 각 사이트가 고유한 인공지능 기술과 서비스를 포함하고 있으며, 이들 사이트는 다양한 온라인 서비스 분야에서 혁신적인 역할을 하고 있기 때문이다. 표 3에서 각 사이트의 URL과 각 사이트별 인공지능 응용서비스가 적용된 요소에 따른 선정 이유를 정리하였다.

평가지표는 사용자인터페이스와 디자인, 기능과 성능, 콘텐츠와 다양성, 개인정보 보호 및 보안, 사용자 경험을 기반으로 각 항목에 대한 구체적인 평가지표를 선택하였다. 평가지표는 또한, 평가지표에 대한 답변을 나타낼 수 있는 척도를 설계하였다. 일반적으로 5점 척도를 사용하여 "매우 불만족"부터 "매우 만족"까지의 등급을 포함하였다.

분석방법은 선택한 대상 사이트에 대한 사용자들로부터 평가를 수집하기 위해 온라인 설문조사을 사용하였다. 수집한 데이터를 정리하고 필요한 형식으로 변환하고 누락된 응답이나 이상치 등을 처리하여 데이터의 신뢰성을 높이기 위해 데이터전처리를 하고 평가지표 계산하였다. 각 항목별로 평가지표를 계산하여 사용자인터페이스, 기능과 성능, 콘텐츠와 다양성, 개인정보 보호 및 보안, 사용자 경험, 기타 의견 및 건의사항에 대한 만족도를 평가하였다. 이 문항을 추출한 근거는 웹에서의 인공지능서비스 검색 결과를 그림 2와 같이 워드클라우드로 만들고 여기에서 나타난 항목 중 주요 항목을 근거로 5가지의 문항을 만들었다. 각 항목별 평가 결과를 종합하여 전체적인 사용자 만족도를 계산하였다. 각 사이트의 항목별 및 전체 만족도를 비교하여 강점과 개선이 필요한 부분을 확인하고, 사용자 의견을 분석하여 서비스 개선 방안을 도출하였다.

Fig. 2. 
AI services word cloud

사용자 만족도 평가는 사용자들이 서비스나 제품에 대한 만족도를 평가하는 것이다. 주로 설문조사, 인터뷰, 피드백 수집 등을 사용한다. 이 논문에서는 설문조사를 사용하였다. 표 4는 사용자 만족도 평가를 위한 설문지이다.

5개 사이트(Netflix, Amazon, Google, Spotify, Facebook) 대상으로 설문조사를 위한 설문지를 설계하였다. 설문지는 각 사이트에 대한 사용자 만족도와 효과성을 평가하기 위한 항목을 포함하고 있다. 실제 연구를 위해서는 더 구체적인 내용과 추가적인 항목이 필요할 수도 있겠으나 사용자 의견을 정량화하고 통계적 분석을 위해 공통적인 문항으로 설계하였다. 평가지표별로 문항을 설계하였으나 설문지에는 평가지표가 나타나지 않도록 하였다. 표 5는 평가지표와 관련한 문항을 분류한 것이다.

사용자 만족도 조사에 대한 분석은 우선, 주어진 표에서 각 사이트를 5점 척도의 사용자 만족도 점수를 확인한 후, 각 사이트의 사용자 만족도 점수를 합산하고, 그 합계를 해당 사이트의 수로 나눠 평균 만족도 점수를 계산하였다. 계산한 평균은 각 사이트의 대략적인 사용자 만족도를 나타낸다. 각 사이트의 사용자 만족도 점수와 평균 만족도 점수를 비교하면서 각 사이트의 특징과 관련하여 분석하였다.

효과성 평가는 서비스나 제품의 목표 달성 정도를 평가하는 것이며 주로 데이터 분석을 통해 수행된다. 효과성 평가는 사용자의 행동 분석이나 지표를 통해 서비스의 성과를 평가할 수 있다. 이 논문에서는 4주 간격으로 3차례의 동일한 대상, 동일한 설문조사를 진행하여 데이터를 얻었고 사용자들의 서비스에 대한 주관적인 평가를 정량화하여 서비스의 강점과 개선점을 파악할 수 있었다. 표 6은 Netflix의 평가지표에 따른 만족도 점수이다.

Netflix는 3번의 설문조사 결과 모두 콘텐츠의 다양성에서 가장 높은 점수의 결과를 얻었고, 개인정보 보호 및 보안에서 가장 낮은 점수를 얻었다. 표 7은 Amazon의 평가지표에 따른 만족도 점수이다.

Amazon은 1차, 2차 조사에서 기능과 성능에서 가장 높은 점수를 얻었고, 개인정보 보호 및 보안 항목이 2차, 3차 설문에서 가장 낮은 점수를 얻었다. 표 8은 Google의 평가지표에 따른 만족도 점수이다.

Google은 기능과 성능 항목에서 1차, 3차 조사에서 가장 높은 점수를 얻었고, 사용자인터페이스와 디자인 항목이 2차, 3차 조사에서 가장 낮은 점수를 얻었다. 특이한 점이 콘텐츠와 다양성 항목이 1차 조사에서 가장 낮은 점수를 얻었는데 2차 조사에서는 가장 높은 점수를 얻었다. 표 9는 Spotify의 평가지표에 따른 만족도 점수이다.

Spotify는 1차, 3차 조사에서 기능과 성능 항목이 가장 높은 점수를 얻었고, 개인정보 보호 및 보안에서 1,2,3차의 조사에서 모두 가장 낮은 점수를 얻었다. 표 10은 Facebook의 평가지표에 따른 만족도 점수이다.

Facebook은 1차, 3차 조사에서 콘텐츠와 다양성 항목이 가장 높은 점수를 얻었고, 개인정보 보호 및 보안 항목이 가장 낮은 점수를 얻었다. 2차 조사에서는 기능과 성능 항목이 가장 높은 점수를 얻었고, 사용자인터페이스와 디자인 항목이 가장 낮은 점수를 얻었다. 대체로 4점대 이상의 점수가 측정되어 소수점 둘째 자리까지 수치화하였다.

평가지표에 따른 만족도 설문조사 결과를 그래프로 표현하였다. 그림 3은 5개의 사이트를 5가지의 평가지표에 따라 5점 척도의 점수를 그래프로 표현한 것이다. 그림 4는 주제별 패턴을 식별하기 위해 히트맵으로 표현한 것이다. 평가지표별 결과를 정리하면, 사용자인터페이스 지표에서는 Google이 비교적 높은 점수를 받았다. 사용자들이 Google의 인터페이스를 매우 직관적이고 편리하게 느낀 것으로 해석할 수 있다. 기능과 성능 지표에서도 Google이 가장 높은 점수를 받았다. Google의 다양한 기능과 뛰어난 성능을 사용자들이 높게 평가한 것으로 해석된다. 콘텐츠 다양성 지표에서는 Netflix가 가장 높은 점수를 받았다. Netflix는 다양한 콘텐츠를 제공하며 사용자들의 다양한 관심사를 충족시키는 데 성공한 것으로 해석된다. 개인정보 보호 및 보안 지표에서는 Google이 가장 높은 점수를 받았다. Google의 강화된 개인정보 보호와 보안 시스템을 사용자들이 신뢰하고 있는 것으로 해석된다. 사용자 경험 지표에서도 Google이 가장 높은 점수를 받았다. 사용자들이 Google의 서비스를 전반적으로 사용하며 편리한 경험을 얻은 것으로 해석된다. 또한, 지표별 가장 낮은 점수를 얻은 지표를 살펴보면, 사용자인터페이스, 기능과 성능, 콘텐츠 다양성, 개인정보 보호 및 보안지표에서 모두 Facebook이 가장 낮은 점수 얻은 것을 확인하였다.

Fig. 3. 
Satisfaction results according to site

Fig. 4. 
Heatmap to identify thematic patterns

콘텐츠의 다양성과 기능과 성능 지표에서 가장 높은 점수를 얻었다. 기능과 성능 지표는 Amazon, Google, Spotify에서 2차례, Facebook에서 1차례와 콘텐츠의 다양성 지표는 Netflix가 3차례, Facebook이 2차례, Amazon, Google, Spotify는 1차례로 가장 높은 점수를 얻었다. 그리고, Netflix와 Spotify는 3차례, Amazon과 Facebook은 2차례, Google은 1차례로 5개 사이트 모두 개인정보 보호 및 보안 지표에서 가장 낮은 점수를 얻었다. 이는 사용자들이 개인정보 처리 및 보안 정책을 불안정하게 느낄 수 있음을 시사한다. 그리고, 사용자인터페이스와 디자인 지표가 Google이 2차례, Amazon과 Facebook이 1차례 가장 낮은 점수를 얻었다. 전반적으로 모든 사이트에서 개인정보 처리 및 보안지표가 가장 낮은 점수를 얻었고, 다음으로 사용자인터페이스와 디자인 지표가 낮은 점수를 얻었다. 이는 사용자들의 개인정보 보호에 대한 신뢰를 더 높일 수 있는 방법을 고려해야 할 것이고, 더 강화된 보안 기능과 투명한 개인정보 처리 방침을 제공하는 것이 중요하다는 것을 의미한다. 또한, 사용자인터페이스와 디자인의 개선을 통해 사용자들이 더 직관적으로 서비스를 활용할 수 있도록 노력해야 할 것이다. 이 같은 분석을 통해 얻은 정보는 각 사이트의 장점과 개선 필요한 부분을 파악하는 데 도움을 줄 것이다.