Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 22 , No. 3

[ Article ]
Journal of Digital Contents Society - Vol. 22, No. 3, pp. 463-473
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Mar 2021
Received 16 Dec 2020 Revised 20 Jan 2021 Accepted 20 Jan 2021
DOI: https://doi.org/10.9728/dcs.2021.22.3.463

AI 로보어드바이저의 지속적 사용 의도 증진을 위한 호핑 서비스 설계 및 검증
이종화1 ; 백경원2 ; 이승헌2 ; 강현민1 ; 박채은1 ; 김진우3, *
1연세대학교 일반대학원 기술경영학협동과정 석사과정
2연세대학교 일반대학원 인지과학협동과정 석사과정
3연세대학교 경제학과 교수

Design and verification of service Hopping to promote the intent of continuous use of AI robo-advisor
Jong-Wha Lee1 ; Kyung-Won Baek2 ; Seung-Heon Lee2 ; Hyeon-Min Kang1 ; Chaieun Park1 ; Jin-Woo Kim3, *
1Master’s Course, Interdisciplinary Program in Technology and Business Administration, Graduate School of Business, Yonsei University, Seoul 03722, Korea
2Master’s Course, Interdisciplinary Program in Cognitive Science, College of Liberal Arts, Yonsei University, Seoul 03722, Korea
3Professor, School of Business, Yonsei University, Seoul 03722, Korea
Correspondence to : *Jin-Woo Kim Tel: +82-2-2123-2528 E-mail: jinwoo@yonsei.ac.kr


Copyright ⓒ 2021 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록

최근 신종 코로나 바이러스(COVID-19)로 인해 다양한 분야에 인공지능(AI) 기술이 적용된 비대면 서비스가 활성화되었다. 특히 금융 산업에서는 기존의 투자 상품에 AI 기술을 접목하여 자산관리 서비스 등을 자동화하고 있다. 자산관리 분야에 적용된 AI 기술의 대표적인 예로는 기존의 PB(Private Banking) 서비스를 대체하는 로보어드바이저가 있다. 본 연구는 몰입이론과 전망이론을 바탕으로 사용자의 주관적인 인식을 고려한 로보어드바이저 호핑을 개발하였다. 이후 교차 연구를 시행하여 호핑이 신뢰, 만족, 몰입, 지속사용의도에 영향을 미치는 것을 검증하였다.

Abstract

Recently, the new Corona virus (COVID-19) has activated non-face-to-face services with artificial intelligence (AI) technology in various fields. In particular, the financial industry is automating asset management services by incorporating AI technology into existing investment products. A prime example of AI technology applied to the asset management sector is Robo-advisor, which replaces existing Private Banking (PB) services. Based on the Flow theory and the Prospect theory, this study developed Robo-advisor Hopping, which takes into account the subjective perception of users. Subsequently, crossover-design was conducted to verify that hopping affects trust, satisfaction, flow, and intent of continuous use.


Keywords: Artificial Intelligence, Robo-advisor, Trust, Satisfaction, Continuous use
키워드: 인공지능, 로보어드바이저, 신뢰, 만족, 지속사용의도

Ⅰ. 서 론
1-1 연구의 필요성 및 목적

최근 신종 코로나바이러스 감염증(COVID-19)으로 인해 다양한 산업에서 인공지능(AI; artificial intelligence) 기술이 적용된 비대면 서비스가 활성화되고 있다. 특히 핀테크(Fintech; finance + technology) 산업에서는 소비자들이 겪던 불편함을 해결하는 데 많은 노력을 들이고 있다. 기존의 투자 상품에 AI 기술을 접목한 업무 프로세스 단순화를 통해 소비자에게 저렴한 가격에 고품질을 서비스를 제공하는 시도를 하고 있다. 대표적으로 AI 알고리즘을 통해 고객의 성향에 맞는 포트폴리오를 제공하고 관리하는 로보어드바이저(Robo-advisor; robot + advisor) 서비스는 비용 절감을 원하는 기업과 소비자의 요구를 충족시키며 중요한 역할을 할 것으로 기대된다.

로보어드바이저 시장은 빠른 속도로 성장하고 있다. Statista에 따르면 2023년에 로보어드바이저 시장 규모는 2조억 달러 규모가 될 것으로 예측한다[1]. 국내 역시 2020년 2월 말 기준 477억 원이 유입되면서 전체 규모가 959억 원으로 두 배 이상 증가하였다[2]. 특히 국내 로보어드바이저 서비스 이용자 수는 2017년 기준 5,825명에서 2019년 9월 기준 10만 명을 돌파하여 20배가량 성장하였다[3]. 로보어드바이저의 보급이 증가하면서 최근 학계에서 로보어드바이저의 향후 발전 방향에 관한 다양한 연구가 진행되고 있다. 로보어드바이저의 성능을 개선하기 위한 알고리즘 개선 방법이나[4], 기대수익과 위험을 조절하는 최적화 연구[5], 또는 규제 완화를 통한 활성화 방안[6] 등 로보어드바이저의 객관적인 지표 개선을 중심으로 한 연구가 주를 이루고 있다[7].

AI 기술 도입 이전에 로보어드바이저의 전신이라고 할 수 있는 전통적인 투자 관리(PB; private banking)에서는 투자 전문가와의 대면 회의가 중요한 역할을 가진다[8]. 그러나 로보어드바이저가 전통적인 투자 전문가의 역할을 모두 대체하지 못하기 때문에 몇 가지 한계점이 발생한다. 금융 서비스에서의 고객 관리는 신뢰를 기반으로 한다[9]. 이를 위해 전통적인 투자 관리에서는 대면 회의를 통한 신뢰 구축 과정이 존재하는 반면 자동화된 비대면 로보어드바이저 내에서는 개인 간의 유대 형성이나 신뢰 구축 과정이 부족하다[10]. 따라서 로보어드바이저에 재정적인 문제가 발생하여 도움을 구하는 경우에도 재정적인 피드백 이외의 감정적인 지원은 받을 수 없다[11].

로보어드바이저를 비롯한 서비스의 궁극적인 성공은 지속적인 사용 의사에 달려있다[12]. 이러한 지속적인 사용 의사는 사용자의 주관적인 인식인 신뢰, 만족, 몰입 등에 영향을 받는다[13]. 이에 본 연구는 로보어드바이저 서비스의 지속적인 사용 의도를 향상시키기 위해 사용자의 주관적인 인식개선에 초점을 맞춘 로보어드바이저 서비스 호핑을 개발하고, 이를 실제 투자자에게 제공하여 로보어드바이저 서비스의 지속적인 사용 의도에 미치는 영향에 주목하고자 한다.


Ⅱ. 본 론
2-1 이론적 배경과 가설
1) 몰입이론과 피드백

피드백은 한 사람의 행동에 관해 제공한 정보로 개념화되며 행동에 뒤따르는 결과로 정의할 수 있다[14]. 피드백은 신기술 또는 새로운 서비스의 수용 과정에서 유용할 수 있다. 피드백은 서비스 사용자의 행동이 올바르게 진행되도록 이끌어줄 수 있으며[15], 현재 진행 상황을 알려주어 사용자가 서비스의 흐름을 이해하도록 돕는다. 피드백이 주는 긍정적 효과에 대한 많은 연구가 이러한 특성을 반영하고 있다[16].

Csikszentmihaly(1975, 1990) 의 몰입이론(Theory of Flow)은 한 가지의 일에 깊게 집중하여 다른 모든 것 잊을 정도로 몰입하고 최고의 능력을 발휘하는 과정에서 가장 큰 행복을 느끼는 몰입 상태의 조건을 이론적으로 제시한다. 이 이론에서 몰입 상태를 유지하는 요소 중의 하나로 ‘즉각적인 피드백’을 제시한다[17], [19]. 피드백을 제공하기 위한 조건을 살펴보면 다음과 같다.

몰입 상태를 유지하기 위해서 모호성이 없어야 한다. 자신의 행동에 대한 결과인 피드백은 거의 동시에 나타나야 한다. 과업을 수행하면서 진행 상황에 대해 궁금할 겨를이 없이 즉각적으로 제시되어야 한다[18]. 또한 분명한 방향을 제시하여 목표를 달성하는데 필요한 것이 무엇인지 명확히 알 수 있어야 한다[17], [19]. 몰입 상태에서는 모순이 없는 목표를 주고, 피드백이 분명한 방향을 제공해야 한다. 그 결과 피드백은 행동의 결과를 명확하게 예측할 수 있게 한다[17], [19]. 행동과 결과를 통제할 수 있게 된 개인은 잠재적인 자기조절을 가능하게 하고, 몰입 상태를 유지하게 된다. 몰입이론에서의 피드백은 과제에 집중하여 몰입할 수 있게 한다. 이때 긍정적인 피드백은 기운을 북돋아 주고 걱정거리를 잊게 한다[17], [19]. 또 긍정적인 피드백으로 인해 지금까지 노력해 온 것에 대한 성취감을 얻게 된다. 이러한 이유로 즉각적이고 긍정적인 피드백은 보상으로서 기능할 수 있다[18].

본 연구에서는 긍정적이고 즉각적인 피드백을 제공하는 로보어드바이저 서비스(이하 호핑)를 제공하여 호핑을 사용하는 사용자들이 피드백을 통해 몰입 효과를 제공하고자 하였다.

H1: 즉각적인 피드백이 적용된 그룹이 그렇지 않은 그룹보다 몰입 효과가 더 크게 나타날 것이다.

2) 전망이론과 시각화

Kahneman and Tversky's(1979) 의 전망이론에 따르면 투자자들은 손실과 수익 상황에서 주관적인 가치와 확률을 바탕으로 효용을 평가한다. 이러한 의사결정은 주관적으로 일어나게 되고 이에 따라 투자를 합리적으로 하기 어려워진다. 대표적으로 수익과 손실에 대한 각기 다른 인지를 들 수 있는데 손실 상황에 대해서는 높은 인지를 보이지만, 수익 상황에서는 낮은 인지를 보인다. 전망이론에서는 사람들이 이익보다는 손실에 더 민감하게 반응하기 때문이라고 설명한다. 이로 인해 이익 상황에서는 안전한 선택을 선호하고, 손실 상황에서는 위험한 선택을 선호하게 된다고 한다. 사람들은 손실(고통)을 줄이려고 하는 성향이 있기 때문에 동일한 수준의 이익과 손실이라 해도 손실에서 느끼는 고통을 이익에서 얻는 기쁨보다 더 크게 느끼기 때문이다[20].

이에 따라 호핑에서는 투자자들의 심리적 만족을 증대시키기 위한 방법으로 수익금의 시각화를 통해 수익 상황에서의 낮은 인지를 강화하고자 하였다. 수익을 시각화를 통해 전달하면 접하는 사용자로 하여금 수익금을 보다 강하게 인지시킬 수 있다[21]. 투자 수익을 투자자가 자주 접하는 일상적인 소비상품으로 시각화한다. 시각화된 수익금은 투자자로 하여금 투자로 얻은 수익을 충분히 체감할 수 있도록 수익 발생 직후에 제공한다. 궁극적으로 투자자가 수익과 손실에 대한 균형 상태를 이루어 보다 만족감을 얻을 수 있도록 한다[22].

H2: 수익금을 시각화한 그룹이 그렇지 않은 그룹보다 만족감이 더 크게 나타날 것이다.

3) 협력 에이전트

일반적으로 라포(Rapport)는 개인 간의 긍정적인 관계를 나타낸다. 이전의 연구에서 라포는 친밀감(positivity), 상호주의(mutual attentiveness), 그리고 조정(coordination)으로 구성된다[23]. 친밀감은 상호 우호적이고 배려하는 것을 말한다[24]. 상호주의는 다른 사람에게 집중하는 것을 의미한다[23]. 조정은 다른 사람과 공통된 이해를 공유하며 상호작용하는 정도를 말한다[25]. 라포가 형성되면 유연하게 조정되는 관계를 맺을 수 있으며[26], 개인 간의 협력을 보장하기 위해서는 유연한 조정이 필수적이다[27]. 이는 개인이 협력관계를 구축하기 위해서는 라포 형성이 필요하다는 것을 말한다. 또한, 친밀감의 증가는 협업을 위한 기초가 된다[28]

신뢰는 사용자의 감정뿐만 아니라 시스템에 대한 사용자의 생각에 작용하기 때문에 사용자 경험에 있어서 중요하다[29]. 특히, 컴퓨터 시스템이 의사결정을 도울 때 신뢰의 개념은 중요하다[30]. 사용자가 시스템을 신뢰하지 않을 때, 시스템의 의사결정 보조는 아무리 진보하거나 정교하더라도 거부될 수 있기 때문이다[31]. 더욱이 신뢰는 인간과 자동화된 컴퓨터 시스템 사이의 업무 할당에 영향을 미친다[32]. 사람들이 시스템을 신뢰할 때, 그들은 시스템과 협력할 의향이 있다[32]. 반대로 충분한 신뢰가 보장되지 않으면 사람들은 자동화된 시스템이 결정을 내리는 것을 허용하지 않는다[31]. 이는 인간과 시스템 사이의 신뢰할 수 있는 상호 작용 시스템을 설계하는 것이 중요하다는 것을 말한다. 특히 사용자가 결정을 내리기 위해 컴퓨터를 보조로 사용하여 협력할 때 더욱더 그러하다.

호핑은 사용자의 투자 결정에서 보조적인 수단으로 활용되는 로보어드바이저이다. 본 연구에서는 전통적인 투자 전문가의 역할을 대체하기 위해서 사용자와 친밀감 및 신뢰를 형성할 수 있는 자동화된 협력 에이전트를 설계하였다. 에이전트는 사용자와 공감대를 형성하기 위한 언어가 사용되었다. 공감대를 형성하는 언어는 친밀감과 신뢰를 증진하는 것을 목적으로 하는 언어의 유형을 말한다[33]. Aedel(2011)는 공감대 형성을 위한 분류체계를 개발하였다. 이에 따라 호핑의 협력 에이전트는 합의, 조정, 위로, 칭찬, 동의를 구하며 격려, 감사, 응답과 같은 피드백을 제공하였다[34].

H3: 협력 에이전트를 적용한 그룹이 그렇지 않은 그룹보다 라포가 더 크게 나타날 것이다.

H4: 협력 에이전트를 적용한 그룹이 그렇지 않은 그룹보다 신뢰가 더 크게 나타날 것이다.

4) 지속사용의도

지속성은 초기 채택 이후의 일련의 행동을 지칭한다[35]. 초기 채택 이후에 서비스가 설치되고, 사용자가 엑세스할 수 있고, 사용자가 작업 활동을 수행함에 있어 사용자가 적응한 후 개별 사용자가 수행하는 무수한 확장 행동으로 정의된다[36]. 지속사용의도는 서비스 가치에 대한 사용자의 인식에 따라 결정된다[37]. 많은 연구에서 기술의 수용이나 사용자의 연속적인 사용을 알기 위하여 지속사용의도를 채택하고 있다[38].

관련 문헌 연구를 통해 지속적인 사용의도는 앞서 언급한 몰입, 만족, 그리고 신뢰에 영향을 받는 것을 확인할 수 있었다. 사용자의 서비스 사용에 완전히 몰입했다고 느낄 때 몰입은 지속적 사용의사에 긍정적인 영향을 미친다[10]. 서비스에 대한 사용자의 만족은 지속적인 사용에 긍정적인 영향을 준다[39]. 또한 라포와 신뢰 역시 지속적인 사용의도에 긍정적인 영향을 준다[40].

본 연구에서는 몰입, 만족, 신뢰 등 사용자의 주관적인 인식 개선을 목표로 호핑을 설계하였다. 따라서 호핑의 설계 요소들은 호핑의 지속사용의도에 영향을 미칠 것이라 가정하였다.

H5: 주관적 인식 개선 목표가 적용된 그룹이 그렇지 않은 그룹보다 지속사용의도가 더 높을 것이다.


Ⅲ. 연구 방법
3-1 호핑 개요 및 설계

본 연구는 실제 주식 시장에서의 필드 테스트를 통해서 사용자의 주관적인 인식 개선을 위해 설계된 로보어드바이저 호핑의 효과성을 확인하고자 하였다. 호핑은 모바일 어플리케이션으로 제작되었으며, 호핑에 사용된 AI 투자 포트폴리오 구성은 AI 투자 포트폴리오 제조 업체인 ThinkPOOL의 투자 알고리즘을 활용하였다. 자체 개발 서버를 통해 사용자의 앱 내 활동을 추적하여 사용자와 상호작용하였다. 호핑은 로보어드바이저의 기본적인 구성을 따른다. 사용자가 앱에 처음 접속하면 투자자 프로파일링을 통해 자산 규모와 위험 수용도를 바탕으로 적절한 포트폴리오 알고리즘을 채택하여 자산을 배분하고 투자를 실행한다. 단, 호핑과 사용자 간의 협력 관계를 강화시키기 위해 투자 결정은 로보어드바이저가 아닌 사용자 본인에게 권한이 있다. 호핑은 일임 투자가 아닌 자문형 로보어드바이저 서비스로서 기능한다. 그림 1은 호핑 사용자가 받아보는 투자 정보의 형태를 보여준다. 추천 종목의 이름과 종목코드, 그리고 추천 매매가를 나타낸다.


Fig. 1. 
Hopping Signal

1) 피드백

Csikszentmihalyi(1975, 1990) 의 몰입이론(Theory of Flow)은 인간이 모든 다른 생각들은 잊고 한가지의 일에 몰두하여 최고의 능력을 발휘하는 과정에서 최상의 행복을 느끼는 몰입 상태의 조건들을 이론적으로 제시한다[17], [19]. 호핑 개발의 목적은 사용자가 느끼는 주관적인 인식을 개선하기 위함이다. 이러한 목적을 달성하기 위해 몰입 이론에 근거하여 즉각적인 피드백을 설계하였다. 즉각적인 피드백을 제작하기 위해 필요한 기능을 아래와 같이 정리하였다. 첫째로, 행동에 따른 결과가 거의 동시에 나타나야 한다. 둘째로, 행위의 결과인 피드백이 분명한 방향을 제공한다. 셋째로, 자신이 한 일과 그 결과인 피드백이 예측 가능한 인과 체계에 있어야 한다. 넷째로, 긍정적인 피드백을 준다. 호핑에 설계되는 피드백은 행위에 대한 보상으로서 기능하게 된다. 표 1은 피드백을 설계하기 위하여 시스템적으로 확인할 수 있는 사용자의 행위에 대하여 호핑에서의 사용자 행동 시점을 정의하였다.

Table 1. 
Feedback Points
point status
no signal when there is no signal
buy signal when there is buy signal
no buying when there is no buying after buy signal until pm 01:00
buying when customer input buying information
no asset when there is no remain asset
default when customer log-in
profit when customer makes profit
loss when customer makes loss
sell signal where there is sell signal
loss cut reach customer’s stop loss

피드백의 효과를 극대화하기 위하여 사용자에게 피드백을 전달하는 에이전트를 구축하였다. 에이전트는 투자자와 공감대를 형상하기 위한 발화를 사용한다. 공감대를 형성하는 것은 사용자와의 친밀감을 바탕으로 한 신뢰 구축에 의의가 있다. 표 2는 본 연구에서 에이전트가 사용자의 앱 사용 행위 또는 투자 결과에 대하여 격려, 칭찬, 위로 등에 사용되는 발화를 나타낸다. 그림 2는 호핑에서 구현된 에이전트 발화의 예시를 보여준다.

Table 2. 
Feedback
point feedback
default "When you're done with your investment! Please leave an investment record."
"We analyzed various data. I'll wait for a good choice!"
"Please leave a post-trade investment diary."
"I'm looking forward to what you can earn from investing!"
"Please proceed with the investment! I'm sure you'll make a good decision."
no signal "I'm analyzing the data. I recommend a good stocks!“
"I'll find you an event as soon as possible!"
"Wait a little bit and I'll get you nice stocks soon!"
"I'm pondering and choosing the right stock!"
"Just trust me! I'm looking for a stock!"
buy signal "Please check the recommended items for investors~!"
"I've got the right stocks! Can you check it out?"
"Oh, it's hot! I'm giving you a hot new item!"
"You've been waiting a long time! Make a little happiness!"
"What event did we get? Check it out."
no buying "Let's pick an item. If we miss it now, we'll lose it!!️"
"Which stocks do you like?"
"When you make an investment, make sure! Please leave an trade record."
"Are you going to miss this great event?!"
"You're very careful! I'll look forward to a good choice!"
buying "You bought it! Let's look forward to a good investment result!"
"You chose a good stock. Let's look forward to a good result together~!"
“Good luck with the stock you chose!"
"May your choice be full of luck! I'm sure it'll be a great result."
"My great analytical skills and your judgment will give us great results!"
no asset "Without cash reserves, we don't have a recommendation."
"I don't have any assets left, so I don't think I can make a recommendation!"
"If you change your holding assets, I recommend more stocks!"
"Please increase the amount of money you can invest by changing your investment!"
"Let's slowly increase our holdings for a more interesting investment!"
profit "You sold the stock! Enjoy small but definite happiness!"
"Did you like the small but definite happiness you got from this trade?“
"The next investment will have better results!"
"Small but certain happiness! The world has become a little more beautiful."
“You've seen the profits! What are you going to do with your profits?”
loss "I always trying for you!"
"The market must have been tough. The next result will be better!"
"You've made a big decision. You'll see the next investment coming in!"
"I'm glad we didn't lose more!"
“When it comes to emotional investing it can be difficult.”
sell signal "I've got a signal for SALE. Please refer to it!"
"We have to sell it now. Check it out quickly!"
"Now! Consider the timing of the sale."
"Don't forget your trade record after selling it!"
"You know? You have to sell your stocks for your money!"
loss cut "We've reached the breakpoint. Please check it out quickly!"
"Check it out! You've reached the sell cut."
"We've reached the breakpoint. Think about selling!"
"If you're worried about future prospects, consider selling them!"
"Please make a judgment!"


Fig. 2. 
Agent conversation

2) 시각화

Kahneman and Tversky's(1979) 의 전망이론에 따르면 투자자들은 손실과 수익 상황에서 주관적인 가치를 바탕으로 효용을 평가한다. 여기에서 효용은 기준점을 기반으로 하므로, 이득이나 손실 수준이 똑같더라도 어떠한 기준점에서 측정하는가에 따라 느끼는 효용이 다르게 된다. 이로 인해 사람들은 손실을 회피하려는 경향을 보이는데, 이는 사람들이 같은 크기의 이익과 손실이라 해도 이익에서 얻는 기쁨보다 손실에서 느끼는 고통을 더 크게 느끼기 때문이다. 따라서 투자로 인한 손실 결과에 대해서 높은 인지를 보이지만, 수익 결과에 대해서는 상대적으로 낮은 인지를 보인다. 이에 따라 수익금의 시각화를 통해 수익 상황에서의 낮은 인지를 강화하고자 하였다. 시각화를 통해 금액을 보여주면 텍스트로 전달하는 것보다 크게 인지시킬 수 있다[20].

호핑에서는 사용자들의 심리적 만족을 향상시키기 위해 사용자의 투자 수익금에 시각화를 진행하였다. 수익금의 시각화를 처음 접하는 사용자에게는 다소 어색하게 다가올 수 있음을 고려하여 투자 수익금을 일상에서 자주 접하는 친숙한 소비상품으로 치환하는 방식으로 설계되었다. 본 연구에서는 소비 상품 112개를 투자 결과에 따라서 받아볼 수 있도록 하였다. 소비 상품은 7주간의 필드 테스트 기간의 투자 수익금으로 살 수 있는 가격대의 소비 상품이 선정되었다. 금액대는 0원부터 5,000,000원대까지 다양하게 수집하였으며, 사용자의 투자 결과에 따라서 수익금과 같은 가격대의 소비 상품이 1:1로 짝지어져 노출되었다. 그림 3은 사용자가 40,000의 투자 수익을 냈을 때 받아볼 수 있는 시각화된 수익금을 보여준다.


Fig. 3. 
Profit Visualization

3) SMS 서비스

호핑의 효과를 비교하고자 제작된 SMS 서비스는 투자 종목에 따른 편견이 생기지 않도록 호핑과 동일한 투자 알고리즘을 사용한다. 따라서 사용자에게 제공되는 투자 포트폴리오도 동일하다. SMS를 통해 사용자에게 투자 포트폴리오가 전달되며 호핑과 마찬가지로 사용자 본인의 판단 아래 투자 결정을 내릴 수 있다. 단, 호핑과는 달리 투자 행위에 대한 피드백이 없으며 투자 결과에 대한 시각화 없이 오롯이 투자 포트폴리오 정보만을 제공하였다. 그림 4는 SMS 사용자가 받아보는 투자 정보를 보여준다. 추천 종목명과 종목코드, 그리고 추천매매가를 나타낸다.


Fig. 4. 
SMS Signal

3-2 참가자

필드 테스트를 위한 참가자는 대학 게시판, 대학 커뮤니티, 페이스북 등 소셜네트워크서비스(SNS)를 통해 모집했다. 총 40명이 선별되었으나 필드 테스트 기간에 10명의 중도 탈락자가 발생하여 최종적으로는 총 30명 참가자의 데이터만 본 연구에 반영되었다. 남성 15명(50.00%), 여성 15명(50.00%)으로 연령은 20~35세 사이로 모집되었다. 참가자의 인구통계학적 특성은 표3과 같으며 그룹 특성은 표 4와 같다.

Table 3. 
The Demographic Characteristic of Data
Frequency Ratio
Gender Male 15 50.0
Female 15 50.0
Age 20~25 7 23.3
26~30 15 50.0
31~35 8 26.7
OS IOS 17 56.7
Android 13 43.3

Table 4. 
Group Characteristic of Data
group A (n=14) group B (n=16)
gender male 8 (57.1%)
female 6 (42.9%)
male 7 (43.8%)
female 9 (56.3%)
age 28.29 ± 4.12 27.31 ± 3.22

3-3 연구 절차

본 연구에서 호핑 서비스의 효과는 실제 주식 투자 상황에서 개인별 성향과 투자 진행 상황에 따라 차이가 있을 것으로 보아 참가자 자신이 스스로의 대조군이 되는 교차설계를 진행하였다. 참가자들은 그룹A와 그룹B로 무작위 할당되었다. 각 그룹은 필드 테스트 시작 이전에 오리엔테이션을 진행하여 사전에 필드 테스트 기간에 수행할 시스템에 대해서 설명받았다. 이후 필드 테스트 기간 동안 제공받은 시스템을 활용하여 실제 투자를 진행할 것을 안내 받았다. 그룹A는 호핑 서비스를 사용하는 과업과 그룹B는 SMS 서비스를 사용하는 과업을 부여받았다. 두 과업 모두 3주간의 사용 기간을 거쳤으면 1주의 휴식기를 지나고 2차 테스트 기간에는 그룹 A는 SMS 서비스를 사용하고, 그룹 B는 호핑 서비스를 교차로 수행하였다. 이에 대한 연구모형은 그림 5와 같다.


Fig. 5. 
Research Model (Crossover Design)

필드 테스트는 2020년 10월 19일부터 2020년 12월 4일까지 필드 테스트가 진행되었다. 1차 테스트 기간은 2020년 10월 19일 ~ 11월 6일까지 3주간 진행되었다. 1주의 휴식 기간을 거친 후, 2차 테스트 기간은 2020년 11월 16일 ~ 12월 4일까지 3주간 진행되었다. 각 테스트 기간 이후 설문지 응답과 심층 인터뷰를 진행하였다. 2차 설문지 응답과 심층 인터뷰까지 모두 마무리한 참가자들은 총 20만 원을 투자 지원금으로 지급받았다.

3-4 측정 도구
1) 몰입

몰입을 측정하기 위한 도구로는 Cheng, Y. M. (2020)이 요인 분석하여 타당도와 신뢰도를 확보한 설문 문항을 활용하며 Cronbach’s Alpha 계수는 .836이다. 문항은 총 2개로 구성되었으며 호핑/SMS 사용의 몰입에 관해 물었다. 평가는 7점 척도로 점수가 높을수록 몰입 정도가 높은 수준이라는 것을 의미한다.

2) 만족감

만족감 측정 도구로는 Cheng, Y. M. (2020)이 요인 분석하여 타당도와 신뢰도를 확보한 설문 문항을 활용하였으며 본 연구의 Cronbach’s Alpha 계수는 .957이다. 총 4개로 구성된 문항은 서비스 이용과 관련하여 전반적인 경험의 만족 정도를 나타낸다. 평가는 7점 척도로 점수가 높을수록 만족감 수준이 높은 것을 의미한다.

3) 라포

라포를 측정하기 위한 척도로는 Novick et al (2014)이 사용한 라포 척도를 활용하였다. 본 연구에서 요인 분석하여 타당도와 신뢰도를 확보한 설문 문항을 활용하였으며 본 연구의 Cronbach’s Alpha 계수는 .891이다. 총 4개 문항이 역 문항으로 구성되었으며 평가는 7점 척도이다.

4) 신뢰

신뢰를 측정하기 위한 척도로는 Chattaraman et al(2012)이 사용한 신뢰 척도를 활용하였다. 무결성 3문항, 배려 2문항, 능력 3문항으로 이루어져 있다. 무결성(TI)은 상대방에게 정직하게 전달하는가에 대한 인식의 정도이다. Cronbach’s Alpha 계수는 .929이다. 배려(TB)는 상대방이 요구하지 않아도 추가적인 배려 행위를 하는지에 대한 인식에 해당한다. Cronbach’s Alpha 계수는 .877이다. 능력(TA)은 요구되는 바를 정확하게 할 수 있는 능력이 있는지에 대한 인식을 의미한다. Cronbach’s Alpha 계수는 .924이다. 총 8개 문항의 평가는 7점 척도이며, 점수가 높을수록 신뢰 수준이 높은 것으로 평가한다.

5) 지속사용의도

지속사용의도를 측정하기 위한 척도로는 Belanche et al (2019)와 Cheng, Y. M. (2020)이 요인 분석하여 타당도와 신뢰도를 확보한 설문 문항을 활용하였다. 총 평가 문항은 6개이며, Cronbach’s Alpha 계수는 .977이다. 각 문항은 경험한 서비스에 대한 지속사용의도를 묻는다. 평가는 7점 척도로 점수가 높을수록 지속사용의도가 높은 것을 의미한다.


Ⅳ. 연구 결과
4-1 분석 결과의 신뢰도 및 타당성 분석

SPSS 프로그램을 이용하여 탐색적 요인분석을 하였다. 측정한 항목 간에 일관성을 검증하기 위해 Cronbach’s a 계수를 이용하였다. Cronbach’s a 계수가 0.8 이상일 경우 항목 간 척도의 신뢰도가 높다고 할 수 있으며, 각 요인의 적재량이 0.5 이상이면 신뢰도 면에서 적합하다고 할 수 있다. 본 연구의 탐색적 요인들의 적재량이 0.5 이상이고, Cronbach’s a 계수 값이 0.8 이상이므로 신뢰도에 이상이 없음을 확인하였다. 표5는 분석값을 나타낸다.

Table 5. 
Verification of validity and Reliability
Scale Factor Loading Ave >= 0.5 Composite Reliability >= 0.7 Cronbach’s Alpha
Flow experience F1 .742 .859 .924 .836
F2 .622
Satisfaction S1 .808 .887 .969 .957
S2 .801
S3 .765
S4 .663
Rapport R1 .878 .752 .924 .891
R2 .867
R3 .815
R4 .633
Trust Integrity TI1 .792 .876 .955 .929
TI2 .788
TI3 .690
Trust Benevolence TB1 .788 .890 .942 .877
TB2 .747
TrustAbility TA1 .722 .868 .952 .924
TA2 .615
TA3 .551
Continuous Intention CI1 .893 .896 .981 .977
CI2 .858
CI3 .846
CI4 .845
CI5 .841
CI6 .776

4-2 가설 검정

현장 연구는 교차 설계를 사용하여 주관적인 경험 개선을 확인하고자 개발된 호핑과 일반적인 AI 투자 지원 시스템을 구현한 SMS를 사용하였다. 본 연구의 참여자가 그룹 A는 14명, 그룹 B는 16명으로 30명 미만이었기 때문에 모수법의 정규 분포 가정을 충족하기에 충분하지 않았다. 따라서 5가지 가설(H1, H2, H3, H4, H5)을 검정하기 위해 비모수 검정(Mann-Whitney U)을 사용하여 분석했다.

몰입과 관련하여 호핑과 SMS 그룹을 비교했다. 그 결과 호핑(M = 4.800, SD = 1.51)은 SMS(M = 3.616, SD = 1.784)보다 더 몰입을 느끼는 것으로 나타났다. 두 그룹 간의 “몰입” 측정에는 통계적으로 유의한 차이(U = 277.5, p = 0.010)가 있었으며, 호핑의 몰입이 SMS보다 높게 나타났다. 따라서 H1이 지지되었다.

라포와 관련하여 호핑과 SMS 그룹을 비교했을 때 호핑(M = 4.050, SD = 1.394)은 SMS(M = 2.950, SD = 1.529)보다 라포를 더 크게 느끼는 것으로 나타났다. 두 그룹 간의 “라포” 측정에는 통계적으로 유의한 차이(U = 284.5, p = 0.014)가 있었으므로 H3가 지지되었다.

신뢰의 구성요소인 무결성, 배려, 능력과 관련하여 호핑과 SMS 그룹을 비교했을 때 호핑(M = 5.266, SD = 1.325)은 SMS(M = 3.988, SD = 1.499)보다 무결성을 더 크게 느끼는 것으로 나타났다. 두 그룹 간의 “무결성” 측정에는 통계적으로 유의한 차이(U = 238.5, p = 0.002)가 있었다. 배려 측면에서 호핑과 SMS 그룹을 비교했을 때 호핑(M = 5.133, SD = 1.023)은 SMS(M = 3.650, SD = 1.151)보다 배려를 더 크게 느끼는 것으로 나타났다. 두 그룹 간의 “배려” 측정에는 통계적으로 유의한 차이(U = 226.5, p = 0.001)가 있었다. 능력의 측면에서 호핑과 SMS 그룹을 비교했을 때 호핑(M = 5.144, SD = 1.023)은 SMS(M = 3.422, SD = 1.422)보다 능력을 더 크게 느끼는 것으로 나타났다.

두 그룹 간의 “능력” 측정에는 통계적으로 유의한 차이(U = 150.5, p = 0.000)가 있었으므로 H4가 지지되었다.

질적 데이터를 통해 몰입, 라포, 신뢰 간의 연관성을 확인할 수 있었다. 예를 들어, p23은 투자 행위에 대한 피드백을 통해 라포 형성이 신뢰에 영향을 주었음을 보여준다. p23. “어떤 날에 샀을 때는 반응이 다르고 수익이 날 때 반응을 해주고, 아무래도 얘가 저를 관찰하고 신경 써주는 반응을 해주니까 신뢰가 늘었던 것 같아요.” 호핑의 피드백은 p23이 설명했듯이 반응을 통한 인간적인 관계를 맺을 수 있었다. 참가자들은 피드백을 통해 서비스에 몰입한 경험을 이야기하기도 한다. p9. “호핑이 친밀감을 쌓을 수 있는 시간들이 있었고 계속해서 메시지가 오는 게 저는 반가웠거든요. ... 너를 위해 준비했어 라고 했을 때 확인해보면서 반가운 마음이 들 때도 있었고.” p9 참가자는 피드백을 통해 서비스에 집중할 수 있었다고 말한다. 실제로 호핑에 디자인된 피드백은 참여자가 서비스에 더욱 몰입하게 하기 위함이었고, 신뢰를 주기 위해 친근한 디자인과 공감대를 형성하는 설계를 진행한 것을 고려할 때 가설 (H1, H3, H4)이 지지되는 것을 인터뷰를 통해서도 확인할 수 있었다.

만족감과 관련하여 호핑과 SMS 그룹을 비교했을 때 호핑(M = 4.958, SD = 1.196)은 SMS(M = 3.525, SD = 1.850)보다 만족감을 더 크게 느끼는 것으로 나타났다. 두 그룹 간의 “만족감” 측정에는 통계적으로 유의한 차이(U = 246.5, p = 0.003)가 있었으므로 H2가 지지되었다.

두 번째 가설인 수익금의 시각화를 통해 수익의 체감을 강화하고 만족감을 높일 수 있는지에 대해 인터뷰하였다. 참가자들은 시각화를 통해 수익 체감으로 인한 만족감을 나타냈으며, 다음 투자에 대한 기대감을 표출하였다. 다음은 p5의 1차 호핑 사용 이후 2차 SMS 사용 때의 인터뷰이다. “호핑에서는 시각화해서 보여준다는 게 제가 체감하기에 편했거든요. 그게 500원이라 할지라도 어떤 거로 물건을 바꿀 수 있다든지 이미지화가 안 되니까 수익이 났다 해도 어느 정도인지 파악이 잘 안 되는 기분이어서 신중한 투자가 되지 않는다 해야 하나, 얼마 벌었는지 모르니까 만족도 안 하게되는거 같고.” p5 참가자는 시각화를 통한 수익의 체감이 강했다고 말한다. 이후 SMS를 사용할 때는 수익 체감이 되지 않기 때문에 신중한 투자가 어렵다고 말하는 것을 확인할 수 있었다. p30 참가자 또한 시각화에 대한 만족을 표현했다. “되게 재미있었어요. 시각적으로 보여주잖아요. 뭘 팔았더니 엽기 떡볶이를 얻었다, 족발을 얻었다, 이런 것들이 되게 재미있었어요. 사실 3만 원 수익을 벌었다고 해도 이걸 뭘 할 수 있는지 와닿지는 않는데 딱 뭘 살 수 있다고 하니까 가치가 와닿는 느낌이었어요.” 다른 참가자들 역시 시각화로 인한 수익 체감과 그로 인한 만족을 다수 보고했다.

지속사용의도와 관련하여 호핑과 SMS 그룹을 비교했을 때 호핑(M = 4.972, SD = 1.056)은 SMS(M = 3.438, SD = 1.774)보다 지속사용의사를 더 크게 느끼는 것으로 나타났다. 두 그룹 간의 “지속사용의도“ 측정에는 통계적으로 유의한 차이(U = 253.8, p = 0.004)가 있었으므로 H5가 지지되었다.

마지막 가설인 사용자가 다양한 주관적인 인식 개선 경험을 하고 지속사용의도가 증가하는 것에 대해 인터뷰하였다. 서비스 필드 연구의 특성상 특정 요인이 얼마나 강하게 영향을 끼쳤는지 확인하기는 어려웠지만, 질적 데이터를 통해 이를 보완하고자 하였다. p27은 sms와 비교하여 피드백과 시각화로 인해 호핑의 지속사용의사가 있음을 표현했다. “앞으로도 투자 가능한 자금이 늘어나면 매수할만한 종목들을 들어가서 찾아볼 것 같아요. SMS에서는 종목 추천되는 것 외에는 거래 관련해서 무언가 남겨진다든지 얼마 벌었는지를 한눈에 파악한다든지 하는 부분이 없으니까 있는 것이 편할 거라고 생각해요.” p24는 실제 수익이 얼마 되지 않음에도 시각화로 인해 흥미를 느끼고 지속 참여 의사가 있음을 밝혔다. “스스로 얼마만큼의 수익을 내고 거기서 재미를 찾는 게 중요하다고 생각하는데 시각화해서 보여주는 게 흥미가 생겨서 계속 참여를 하게 된 것 같습니다. ... 실제로 수익이 난 게 얼마 되진 않았거든요. 몇천 원밖에 되지 않았는데 흘러 넘어갈 수 있는걸 실물로 보여주는 게 피부에 와닿아서 좋았던 것 같고요. 다음에 수익이 났을 때 어떤 걸 줄까 기대감도 생긴 것 같습니다.” p9은 호핑의 에이전트에 대한 친근감을 표현하며 지속사용 의사를 나타냈다. “저한테 친근하게 말을 걸면서 이것도 챙겨보라는 식으로 이야기를 해주었기 때문에 인격적으로 느낀 것 같아요. 저는 호핑이 지금도 그냥 서비스가 아닌 뭔가라고 느껴지는 것 같고 SMS는 그냥 제가 놓친 문자들 같아요. ... 호핑은 금융전문가 느낌의 딱딱한 건 아닌데 그냥 금융 좀 잘하는 약간 친구? 그런 느낌입니다.” p14는 에이전트의 피드백 선의를 보고하기도 하였다. “메시지가 긍정적이라고 생각했는데 어플이 사용자를 유의하고 있고 챙겨주는 느낌이 있어서, 신경 써주는 느낌이 들어서 사용자 입장에서 어플에 대한 충성도가 있다. ... 보편적인 기능뿐만 아니라 멘트를 바꾼다든지 선의를 보였기 때문에 긍정적으로 평가하고 있다.” 에이전트에 대한 라포 형성이 신뢰로 이어지는 것을 확인할 수 있었다. p9. “얘가 뭔가 꾸미거나 속이려고 하지는 않을 것 같다. 나를 계속 생각해주고 걱정해주는 친구 같다.”


Ⅴ. 결 론

본 연구는 사용자의 주관적인 인식을 고려한 설계를 제공하는 호핑을 개발하고 7주간의 필드 테스트를 통해 호핑이 몰입, 만족, 라포, 신뢰, 그리고 지속사용의도에 어떠한 영향을 미치는지 탐구하고자 하였다. 로보어드바이저 서비스에 관심 있는 투자자 30명을 대상으로 연구가 진행되었으며, 연구 참여자는 3주간의 호핑 사용 및 3주간의 SMS 사용을 모두 경험하였다. 3주가 끝날 때마다 설문지 응답을 수집하였으며, 심층 인터뷰를 진행하였다.

본 연구는 참여자에게 주관적 인식 개선요소를 반영한 호핑과 일반적인 투자 지원 서비스인 SMS를 모두 제공하여 개인 특성에 따라 편향된 결과를 제거하고자 하였다. 또한 참여자를 두 그룹으로 나누어 동일한 시기에 교차 설계함으로써 주식시장의 변동사항에 따른 편향을 제거하려 시도했다는 점에서 의의가 있다. 설문과 심층 인터뷰를 통해 주관적인 인식을 개선하기 위한 호핑 어플리케이션이 어떻게 인식되는지, 그리고 제작된 상호작용이 사용자의 주관적인 인식에 어떤 영향을 미칠 수 있는지에 대한 통찰력을 제공한다.

정량적인 데이터는 주관적인 인식 개선을 위해 설계된 호핑이 그렇지 않은 서비스보다 라포를 형성하고 신뢰하게 되며, 서비스에 몰입하고 만족하며 지속사용의도에 영향을 미치는 것을 확인할 수 있었다. 인터뷰를 통한 질적 데이터는 다양한 요소가 상호작용하며 서비스의 만족에 영향을 미치는 것을 확인하였다. 참가자들은 호핑 사용을 SMS 사용과 비교하여, 호핑에서의 주관적 경험이 더 좋았음을 보고했다. 이러한 보고는 로보어드바이저 서비스의 향후 발전 방향이 객관적인 지표 개선에만 있지 않음을 나타낸다. 실제로 참가자들은 투자 포트폴리오의 성능에 대해서는 거의 언급하지 않았으며, 투자 성과가 좋지 않게 나타남에도 AI 성능을 지적하기보다는 본인의 책임으로 보았다. 본 연구의 양적, 질적 자료들은 주관적인 인식 개선을 위한 로보어드바이저 서비스 설계가 사용자들에게 분명한 이점을 제공했음을 시사한다. 에이전트의 친절하고 즉각적인 피드백은 라포 형성과 신뢰와 연결되었고 서비스에 몰입하도록 해주었다. 또한 수익금의 시각화는 서비스에 기대감을 가지고 만족할 수 있도록 하였다. 이러한 복합적인 요인은 결국 호핑의 지속사용의도를 끌어올릴 수 있었다.

본 연구는 로보어드바이저의 투자자문 성능에 직접적인 변화를 주지 않더라도 로보어드바이저와 사용자 간의 관계를 고려한 설계가 사용자의 주관적인 인식에 긍정적인 영향을 미침을 보여준다. 이는 로보어드바이저를 비롯한 신기술의 적용에는 객관적인 성능 지표 개선뿐만 아니라, 신기술을 사용하는 사용자와의 관계에 초점을 맞추고 기술을 개발하는 것의 중요성을 시사한다. 이전의 연구에서 금융 서비스에서의 고객 관리는 신뢰를 기반으로 하는 것을 확인할 수 있었으며[41], 이러한 신뢰는 주로 투자 전문가와 고객 사이의 개별적인 관계에서 구축된다[42]. 로보어드바이저는 높은 수준의 자동화로 비용과 시간에서의 이점을 취했지만, 사용자와의 신뢰 구축을 통한 지속적인 사용으로의 발전에는 미흡한 면이 있다. 사람이 직접 상호작용하지 않는 알고리즘 기반 프로세스로서 완전 자동화로 구축되어 진행한 이번 연구는 기존 로보어드바이저 관련 연구에 새로운 시각을 제공할 수 있다.

Table 6. 
Appendix
Construct Questionnaire Reference
Rapport R1 The agent seemed unengaged Novick, D. et al., 2014
R2 The agent was not paying attention to me
R3 The agent and I did not seem to connect
R4 I didn’t understand the agent
Trust Ability TA1 This App performs all of its roles very well Liew, T. W. et al., 2018
TA2 Overall, This App is capable and proficient
TA3 In general, this App is informative
Trust Benevolence TB1 If I required help, this App would do its best to provide assistance
TB2 This App is interested in my investment and not just its own
Trust Integrity TI1 This App is truthful in its dealing with me
TI2 I would characterize this App as being honest
TI3 This App is sincere and genuine
Flow experience F1 I am absorbed in what I am doing while using the robo-advisor Cheng, Y. M., 2020
F2 Interacting with the robo-advisor makes me curious
Satisfaction S1 I am content with the performance of the robo-advisor Cheng, Y. M., 2020
S2 I am pleased with the experience of using the robo-advisor
S3 I am happy with the functions provided by the robo-advisor
S4 I am satisfied with the overall experience of using the robo-advisor
Continuance Intention to use CI1 I intent to continue using the robo-advisor in the future Cheng, Y. M., 2020
CI2 I will use the robo-advisor on a regular basis in the future
CI3 I will frequently use the robo-advisor in the future
CI4 My intentions are to continue using the robo-advisor than use any alternate means
CI5 I intend to use robo-advisors for managing investments Belanche, D. et al., 2019
CI6 Using robo-advisors for managing investments is something I would do

본 연구는 비대면 시대에 AI 로보어드바이저에 대한 관심이 증가함에 따라 AI 투자 지원 서비스를 직접 개발하고, 필드테스트를 진행하여 실증적 효용을 보고자 했다. 특히 실제 투자환경에 적용하여 현실 세계의 니즈를 반영한다는 점에서 그 의의가 크다. 그러나 대조군의 사용 환경이 호핑 어플리케이션과 SMS 서비스로 나누어져 의도된 디자인 외에도 인터페이스 측면에서 사용자 경험의 차이가 발생할 수 있다. 이후 연구에서는 동일한 인터페이스를 지닌 로보어드바이저 사용 환경을 구축하여 실험을 진행할 때 더욱 엄밀한 효과 검증을 기대할 수 있다.


Acknowledgments

이 연구는 산업통산자원부 및 한국산업기술평가관리원의 산업핵심기술개발사업의 일환(20002757, 빅데이터 및 AI 기반의 투자 및 자산관리 지원 서비스 시스템 개발)으로 수행되었다.


References
1. Statica. Personal Finance report 2020. Available: https://www.statista.com/study/41710/fintech-report-personal-finance/
2. Lee Sung-bok, "Status and Implications of Introducing RoboAdvisor in Korea," Capital Market Focus 2019-16, 2019.
3. Maeil Economy, "Good for the floating market from Corona…Robo Fund 50 Billion In One Month," 2020. 3. 2. Available: http://mbnmoney.mbn.co.kr/mobile/view?news_no=MM1003890401
4. Kim, S. (2019). Robo-Advisor algorithm with intelligent view model. Journal of Intelligence and Information Systems, 25(2), 39-55.
5. Hayes, A. (2020). Enacting a rational actor: Roboadvisors and the algorithmic performance of ideal types. Economy and Society, 1-34.
6. Kim Bum-joon, & Uhm Yoon-kyung (2017). Utilizing Robo-Advisor and Protecting Financial Investors: Focusing on the implications of the US regulatory system. Law studies, 17(1), 71-98.
7. Lee Woo-sik. (2017). Predicting the direction of Korea's KOSPI stock index using deep learning analysis and technical analysis indicators. Korea Data Information Science Association, 28(2), 287-295.
8. Mayer, R. C., Davis, J. H., & Schoorman, F. D. (1995). An integrative model of organizational trust. Academy of management review, 20(3), 709-734.
9. Oh Sang-hyun, & Kim Sang-hyun (2006). A Study on the Expansion of Technology Acceptance Model and the Behavior of Internet Banking Utilization: Focused on the Role of Trust and Conformity. Economic Research, 24(1), 175-206.
10. Salo, A. (2017). Robo advisor, your reliable partner? Building a trustworthy digital investment management service (Master's thesis).
11. Rebecca Lake. (2017). What human advisors do that roboadvisors can’t. Available: https://money.usnews.com/investing/articles/2017-06-09/what-human-advisors-do-that-robo-advisors-cant
12. Shin Moon-sik, Han Sang-seol, & Kim Hyo-jung. (2012). The impact of perceived risk, site quality and consumer personality on sustained intent of use: Focused on social commerce sites. Management education research, 27(1), 1-23.
13. Cheng, Y. M. (2020). Will robo-advisors continue? Roles of task-technology fit, network externalities, gratifications and flow experience in facilitating continuance intention. Kybernetes.
14. Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112.
15. Ko Soo-il, & Ko Eun-jung. (2004). The determinant of feedback acceptance. Human Resources Development Research, 6(2), 21-44.
16. Moreno, R. (2004). Decreasing cognitive load for novice students: Effects of explanatory versus corrective feedback in discovery-based multimedia. Instructional science, 32(1-2), 99-113.
17. Csikszentmihalyi, M. (1990) Flow: The Psychology of Optimal Experience. New York: Harper and Row
18. Jihyun, Lee. (2013). Exploring Learner-Centered Feedback Design Principles and Strategies for Digital Learning Environments. Journal of Educational Technology, 29(3), 5140540.
19. Csikszentmihalyi, M. (1975). Beyond Boredom and Anxiety, San Francisco: J ossey-Bass. and Eugene Rochberg-Halton (1981), The Meaning of Things: Domestic Symbols and the Self.
20. Kahneman, D., & Tversky, A. (2013). Prospect theory: An analysis of decision under risk. In Handbook of the fundamentals of financial decision making: Part I (pp. 99-127).
21. Fano, A., & Kurth, S. W. (2003, January). Personal choice point: helping users visualize what it means to buy a BMW. In Proceedings of the 8th international conference on Intelligent user interfaces (pp. 46-52).
22. Heider, F. (1946). Attitudes and cognitive organization. The Journal of psychology, 21(1), 107-112.
23. Murphy, M., Valdez, C., 2005. Ravaging resistance: A model for building rapport in a collaborative learning classroom. Radical Pedagogy. 7(1), 1–7.
24. Novick, D., Gris, I., 2014. Building rapport between human and ECA: A pilot study. Paper presented at the International Conference on Human-Computer Interaction.
25. Abbe, A., Brandon, S.E., 2013. The role of rapport in investigative interviewing: A review. Journal of Investigative Psychology and Offender Profiling. 10(3), 237–249.
26. Goggins, S.P., Laffey, J., Tsai, I., 2007. Cooperation and groupness: Community formation in small online collaborative groups. Paper presented at the Proceedings of the 2007 International ACM conference on Supporting Group Work.
27. Camarinha-Matos, L.M., Pantoja-Lima, C., 2001. Cooperation coordination in virtual enterprises. Journal of Intelligent Manufacturing. 12(2), 133–150.
28. Altman, I., Taylor, D.A., 1973. Social Penetration: The Development of Interpersonal Relationships. Holt, Rinehart & Winston.
29. Lee, J.D., See, K.A., 2004. Trust in automation: Designing for appropriate reliance. Human Factors. 46(1), 50–80.
30. Fogg, B., Tseng, H., 1999. The elements of computer credibility. Paper presented at the Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.
31. Fogg, B., Tseng, H., 1999. The elements of computer credibility. Paper presented at the Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.
32. Lee, J., Moray, N., 1992. Trust, control strategies and allocation of function in human-machine systems. Ergonomics. 35(10), 1243–1270.
33. Tannen, D. (1990). You just don't understand: Women and men in conversation (p. 42). New York: Morrow.
34. Ädel, A., 2011. Rapport building in student group work. Journal of Pragmatics. 43(12), 2932–2947.
35. Rogers, E. M. (1995). Diffusion of Innovations: modifications of a model for telecommunications. In Die diffusion von innovationen in der telekommunikation (pp. 25-38). Springer, Berlin, Heidelberg.
36. Jasperson, J., Cater, P.E., Zmud, R.W., 2005. A comprehensive conceptualization of post adoptive behavior associated with information technology enabled work systems. MIS Quarterly 29 (3), 525–557.
37. Jen, W., Hu, K.C., 2003. Application of perceived value model to identify factors affecting passengers’ repurchase intentions on city bus: a case of the Taipei metropolitan area. Transportation 30 (3), 307–327.
38. Hong, S., Tam, K., 2006. Understanding the adoption of multipurpose information appliances: the case of mobile data services. Information Systems Research 17 (2), 162–179.
39. Lee, M.C., 2010. Explaining and predicting users’ continuance intention toward e-learning: an extension of the expectation–confirmation model. Computers & Education 54 (2), 506–516.
40. Moon, H., Miao, L., Hanks, L., & Line, N. D. (2019). Peer-to-peer interactions: Perspectives of Airbnb guests and hosts. International Journal of Hospitality Management, 77, 405-414.
41. Tyler, K. & Stanley, E. (2007). The Role of Trust in Financial Services Business Relationships. Journal of Services Marketing, 21 (5), 334–344
42. Tyler, K. & Stanley, E. (2007). The Role of Trust in Financial Services Business Relationships. Journal of Services Marketing, 21 (5), 334–344

저자소개

이종화(Jong-Wha Lee)

2012년 : 상명대학교 컴퓨터과학과 (학사)

2020년 : 연세대학교 일반대학원 기술경영학협동과정 (석사)

2019년~현 재: 연세대학교 일반대학원 기술경영학협동과정 석사과정 재학 중

※관심분야:인공지능(Artificial Intelligence), 사용자 경험 디자인(User Experience Design), 핀테크(Fintech) 등

백경원(Kyung-Won Baek)

2013년 : 숙명여자대학교 산업디자인학과 (학사)

2020년 : 연세대학교 일반대학원 인지과학협동과정 (석사)

2019년~현 재: 연세대학교 일반대학원 인지과학협동과정 석사과정 재학 중

※관심분야:인공지능(Artificial Intelligence), 사용자 경험 디자인(User Experience Design), 핀테크(Fintech) 등

이승헌(Seung-Heon Lee)

2013년 : 중앙대학교 사회복지학과 (학사)

2020년 : 연세대학교 일반대학원 인지과학협동과정 (석사)

2019년~현 재: 연세대학교 일반대학원 인지과학협동과정 석사과정 재학 중

※관심분야:인공지능(Artificial Intelligence), 사용자 경험 디자인(User Experience Design), 핀테크(Fintech) 등

강현민(Hyeon-Min Kang)

2014년 : 대구대학교 정보통신대학 멀티미디어공학전공 (학사)

2020년 : 연세대학교 일반대학원 기술경영학협동과정 (석사)

2020년~현 재: 연세대학교 일반대학원 기술경영학협동과정 석사과정 재학 중

※관심분야:인공지능(Artificial Intelligence), 사용자 경험 디자인(User Experience Design), 혼합현실(Mixed Reality) 등

박채은(Chaieun Park)

2014년 : 홍익대학교 프로덕트디자인 전공 (학사)

2020년 : 연세대학교 일반대학원 기술경영학협동과정 (석사)

2020년~현 재: 연세대학교 일반대학원 기술경영학협동과정 석사과정 재학 중

※관심분야:인공지능(Artificial Intelligence), 사용자 경험 디자인(User Experience Design), 핀테크(Fintech) 등

김진우(Jin-Woo Kim)

1986년 : 연세대학교 경영학과 (경영학사)

1993년 : Carnegie Mellon Univ. HCI 전공

1994년~현 재: 연세대학교 경영대학 교수

※관심분야:Experience Design, Companion, Digital Therapeutics