대화형 에이전트의 사투리 사용이 사용자 인식에 미치는 영향 : 내집단 유대감과 지속사용의도를 중심으로

Ⅰ. 서 론

최근 인공지능 기술의 발달로 음성형 대화형 에이전트(Conversational Agent, 이하 에이전트)가 상용화되고 있다. 아마존 에코(Amazon Echo), 구글 어시스턴트(Google Assistant), 네이버 클로바(Naver Clova) 등이 그 대표적인 예로, 다양한 에이전트가 시장에 출시되며 그 관심이 증가하고 있다.

이와 같은 대화형 에이전트는 사용자와 대화를 주고받는 형식으로 서비스를 전달하기 때문에, 에이전트의 말투, 억양, 톤 등의 음성인 프롬프트(Prompt)가 에이전트의 사용성을 결정하는 주요소이다[1].

이에 인간과 컴퓨터 상호작용(Human Computer Interaction)분야에서는 에이전트와의 긍정적인 상호작용을 위한 전략으로, 에이전트의 대화에 의인화 요소를 적용하고 유사성 매력효과(Similarity Attraction)를 창출하고자 하는 연구가 활발하게 진행되고 있다[2],[3]. 유사성 매력효과는 자신과 비슷한 사람들과 소통할 때 발생하는 긍정적인 감정으로, 의사소통의 대상이 컴퓨터, 대화형 에이전트일 경우에도 이와 동일한 효과가 나타난다[4],[5].

유사성 매력효과는 내집단(In-group)안에서 극대화되며, 그 효과는 컴퓨터와의 관계에서도 적용된다. 선행연구에 따르면 사람들은 자신이 속해 있는 그룹의 대상을 자신과 더 비슷하다고 인지하고, 지적수준이 높다고 평가하며, 이에 협력적인 태도를 보인다[6]. 또한 그 대상이 컴퓨터일 경우에도 동일한 효과가 나타났다. 즉, 사용자와 에이전트 간에 발생하는 내집단 유대감(Ingroup Ties)은 에이전트를 긍정적으로 평가하는 요소로 작용한다고 볼 수 있다.

이에 본 연구에서는 에이전트의 상호작용에 내집단 유대감을 도모할 수 있는 발화 디자인 요소로 ‘사투리’를 적용하고자 한다. 사람들은 같은 지역 출신 사람과 자신을 더욱 비슷하다고 생각하고 안정감 등의 정서적 지지를 받는 경향이 있는데[7], 이때에 사투리의 사용유무가 지역 출신을 구분하는 기준으로 작용한다. 따라서 자신과 동일한 사투리를 사용하는 에이전트에게 사용자는 내집단 유대감을 느낄 가능성이 높으며, 이에 따라 긍정적인 상호작용 효과가 창출될 것으로 기대된다.

그러나 이와 같은 가능성에도 불구하고 사투리를 에이전트의 발화디자인에 적용하고 그 효과를 검증한 연구는 부족하다. 나아가 사용자와 주고받는 대화형 에이전트와의 대화 내용이 고민상담 등의 사회적 대화(Social Conversation)로 확장되고 있음에도 불구하고, 이를 포괄한 다양한 맥락의 시나리오에서 에이전트의 디자인 요소를 검토한 연구는 부족하다. 특히 공식적인 상황에서 사투리 보다는 표준어를 사용하도록 훈련받는다는 점을 미뤄볼 때[8], 에이전트의 사투리 사용 효과는 그 사용 대화맥락(과업중심, 사회적 관계중심 대화)에 따라 다르게 나타날 가능성이 있다. 따라서 대화형 에이전트에 사투리를 적용하고, 그 맥락에 따른 효과를 확인하는 연구 필요성이 있다.

이에 본 연구는 에이전트 대화에 사투리를 적용하고, 그 유무에 따라 내집단 유대감 인식과 에이전트의 지속사용의도에 어떠한 차이가 나타나는지를 확인함에 목적을 둔다. 또한 에이전트가 사용되는 대화맥락(과업중심, 사회적 관계중심 대화)에 따라 사투리의 적용 효과가 다르게 나타날 가능성이 있다는 점에서, 두 가지의 대화맥락(과업중심, 사회적 대화)을 구분하여 그 효과를 검증하고자 한다. 이에 따른 주요 연구 질문은 다음과 같다.

RQ1. 대화형 에이전트의 사투리 사용은 사용자가 인식하는 내집단 유대감의 정도에 차이를 가져오는가?RQ2. 대화형 에이전트의 사투리 사용은 사용자가 인식하는 에이전트의 지속사용의도 정도에 차이를 가져오는가?RQ3.그 효과는 대화형 에이전트의 사용 대화 맥락(과업중심 대화, 사회적 대화)에 따라 다르게 나타나는가?

Ⅱ. 본 론

2-2 연구가설

본 연구는 컴퓨터가 사람의 언어나, 행동, 외형 등의 사회적인 단서를 사용할 때 사용자는 사람을 대할 때와 유사한 사회적 반응을 보인다는 선행연구에 근거하여[6], 대인 커뮤니케이션에서 빈번하게 사용하는 사투리를 대화형 에이전트에 적용하고 사용자 인식에 미치는 효과를 검증하고자 하였다. 이에 따른 독립변수는 사투리의 사용유무로, 그 여부에 따라 종속변수인 내집단 유대감과 지속사용의도에 유의미한 차이가 나타나는지를 확인하고자 하였다. 나아가 사투리가 사용되는 대화의 맥락을 조절변수로 설정하고, 각 대화 맥락에 따라 종속변수에 미치는 효과 크기에 차이가 나타나는지를 확인하고자 하였다. 이상의 문헌연구를 기반으로 수립한 연구모형 및 연구가설은 다음과 같다.

Figure 1.

Research Model

H1. 대화형 에이전트의 사투리 사용은 사용자에게 인식되는 내집단 유대감을 증가시킬 것이다.H2. 대화형 에이전트의 사투리 사용은 사용자에게 인식되는 에이전트의 지속사용의도를 증가시킬 것이다.H3. 대화형 에이전트의 사투리 사용이 인식된 내집단 유대감에 미치는 영향력은 사회적 대화 맥락에서 크게 나타날 것이다.H4. 대화형 에이전트의 사투리 사용이 지속사용의도에 미치는 영향력은 사회적 대화 맥락에서 크게 나타날 것이다.

3-1 연구 방법

1) 실험 설계

가설검증을 위해 본 연구는 2(사투리 사용 유/무) x2(과업중심형 대화/사회적 대화)의 피험자 내(Within-group)요인 디자인으로 설계되었다. 사투리가 사용되지 않는 통제조건(Control condition)에는 표준어 자극이 제시되었다.

실험 진행을 위해 참가자들에게는 온라인 설문조사 링크가 전송되었으며, 본 설문지에는 총 4가지의 실험 조건이 포함된 대화형 에이전트의 비디오 클립 파일이 첨부되었다. 참가자들은 배정된 설문 순서에 따라 대화형 에이전트의 대화자극을 듣고 이에 대한 인식을 설문지로 평가하였다.

2) 참가자

사투리 사용 대화형 에이전트의 사용자 인식을 분석하기 위한 목적에 따라, 본 연구는 실험참가자를 경상북도 대구의 사투리를 사용하는 자로 한정하였다. 즉, 참가자들은 출생지와 현 거주지 중 하나 이상이 대구인 사람으로, 15년 이상 대구에서 거주한 경험이 있는 자로 선정되었다.

온라인 모집공고를 통해서 1주일간 참가자를 모집한 결과 총 57명의 참가자의 참가자가 실험참가자로 모집되었다. 대구거주경험이 15년이 되지 않는 참가자 3인을 제외하고 총 54명의 참가자(평균연령 28.04세, 표준편차 7.24)가 실험에 참여했다. 참가자의 성비는 남자 18명, 여자 36명으로, 참가자들은 자발적으로 실험 참가에 참여했으며 실험이 종료된 이후 소정의 기프티콘을 지급받았다.

3) 실험자극

실험 자극으로는 표준어와 사투리를, 과업중심의 대화와 사회적 대화 맥락에서 사용하는 총 4가지의 인터랙션 비디오가 제작되었다. 현재 상용화된 TTS(Text to Speech)엔진에서는 사투리 자극이 포함되어있지 않다는 점에서 20대 대구 출신의 성우목소리가 에이전트의 목소리 자극으로 사용되었다. 또한 녹음된 자극은 오즈의 마법사 실험(Wizard of Oz) 방법론에 따라 인공지능 스피커의 모형에 내장되었으며, 이 때 특정 브랜드에 대한 사용자의 편견이 실험에 변수로 작용하지 않도록, 국내 사용자에게는 익숙하지 않은 아마존 에코(Eco)가 인공지능 스피커 모형으로 사용되었다.

Fig 2.

An Example of Video Manipulation

또한 과업중심의 대화 맥락과 사회적 대화 맥락 구분의 대화 스크립트는 선행연구[5]의 정의에 근거하여 설계되었다. 과업 중심의 대화 맥락은 사용자가 인공지능 스피커에 일정과 날씨를 묻는 상황의 스크립트가 사용되었다. 한편 사회적 대화맥락은 사용자가 인공지능 스피커에게 감정적 지지를 요청하거나, 자신의 감정을 설명하는 자기노출(Self-disclosure)가 포함된 대화 내용을 설정하였다. 모든 대화내용은 대화의 실제성을 확보하기 위해 실제 상용화된 에이전트인 네이버 클로바의 대화 스크립트를 참고, 수정하여 설계되었다. 설문에 포함된 비디오 자극물의 순서는 순서효과를 최소화하기 위하여 Latin Square Design의 방법론에 근거하여 무작위로 배치되었다[22]. 실험에 사용된 자극 예시는 <그림3>과 같다.

Fig 3.

Stimuli Designs

4) 설문문항

참가자는 각 실험 조건의 자극물이 담긴 대화형 에이전트의 인터랙션 영상을 시청한 후, 대화형 에이전트의 인상을 측정하기 위한 총 7문항(자극별 1회)으로 구성된 설문에 참여하였다. 내집단 유대감과 지속사용의도를 측정하기 위한 설문문항은 본 연구에 적합한 선행 연구에 근거하여 실험 맥락에 맞게 번안하여 활용하였다[17],[23]. 설문에 대한 응답은 7점 리커트 척도(전혀 그렇지 않다(1) - 매우 그렇다(7)로 측정되었다.

Table 1.

Survey Items

Ⅲ. 분석결과

참가자 조건에 부합하는 54명의 참가자 데이터에서 3명의 데이터가 아웃라이어로 나타나, 51명의 데이터가 분석에 사용되었다. 아웃라이어는 Box Plot분석에서 5개의 문항 이상에서 이상 수치를 보이는 참가자로 기준을 삼았다.

3-2 문항타당도 검정

설문에서 사용한 문항의 타당도를 검증하기 위하여, Smart PLS 2.0가 사용되었다. 분석 결과 모든 문항에서 AVE((Average Variance Extracted) ≥ 0.5가 충족되어, 측정 항목에서 수렴 타당성이 입증되었다(AVE ≥ 0.5). 또한, Composite Reliability와 Cronbach’s Alpha 값이 0.7 이상으로 신뢰성이 확보되었다[24]. 결과적으로 <표2>와 같이 연구에 사용된 모든 문항에 대한 신뢰성과 타당성이 검증되었다.

Table 2.

Validity and Reliability Test Results

3-3 가설검정

가설 검정을 위하여 피험자 내 설계에 따른 이원 반복측정 분산분석(Two-way Repeated Measures Anova)을 실시하였다. 분산분석 실시결과는 <표3>와 같다.

Table 3.

Anova Tests Results

1) 내집단 유대감

가설 검정 결과, 유대감에 미치는 사투리의 효과는 통계적으로 유의미하게 나타났다(F(1,44) = 25.720, p= .000 < .05). 이는 대화형 에이전트를 사용할 때 사용자가 에이전트에 느끼는 내집단 유대감이 증가한 것으로 해석이 가능하다.

또한 사투리 유무와 대화의 맥락간의 상호작용 효과는 통계적으로 유의하지는 않았으나, 경향성이 나타났다(F(1,44) = 3.592, p= .065 > .05). <그림4>에서 확인할 수 있듯, 사투리 사용에 따른 유대감의 차이는 과업 중심의 맥락보다 사회적 대화 맥락에서 그 효과가 더 크게 나타나는 경향을 보였다.

Fig 4.

Interaction Effects on Ingroup Ties

사용자는 대화형 에이전트와 사회적 대화를 나눌 때 에이전트의 상호작용 수준이 보다 개인화(personalized)되기를 원한다는 점을 미뤄볼 때, 에이전트의 사투리 사용은 사용자의 정체성을 고려하는 맞춤화된 대화전략을 제공한다는 인상을 줌으로써 사회적 대화에서 내집단 효과가 더 크게 나타난 것으로 해석할 수 있다[5].

2) 지속사용의도

검정 결과, 지속사용의도에 미치는 사투리의 효과는 통계적으로 유의미하게 나타나지 않았다(F(1,44) = 1.000, p = .323 > .05). 또한 사투리 유무와 대화의 맥락간의 상호작용 효과도 유의미하지 않았다(F(1,44) = 0.021, p = .885 > .05). 비록 <그림4>에서 알 수 있듯, 사투리 사용에 따라 지속사용의도가 소폭 증가하는 경향을 보였으나, 그 차이가 통계적으로 유의한 영향으로 이어지지는 않았다.

Fig 5.

Interaction Effects on Continuous Intention

Ⅳ. 결 론

본 논문은 일상생활에서 빈번하게 사용되는 사투리를 대화형 에이전트에게 적용하고, 사용자와의 내집단 유대감과 지속사용의도에 미치는 영향을 검토하였다. 연구 결과, 대화형 에이전트에 적용된 사투리는 사용자가 인지하는 에이전트와의 내집단 유대감을 증가시키는 것으로 나타났다. 즉, 사용자들은 자신과 동일한 사투리를 사용하는 에이전트에게 심리적으로 연결되어 있다는 유대감을 느낀다. 이는 대인관계에서 발생하는 내집단 유대감이 기기인 대화형 에이전트와 사용자와의 상호작용 관계에도 적용될 수 있음을 시사하며, 향후 내집단 유대감이 가져오는 긍정적인 상호작용의 효과가 대화형 에이전트에도 적용될 수 있는 가능성을 확인했다는 점에서 연구 의의를 지닌다.

일례로 대상이 내집단일 때 나타나는 보다 협력적인 태도와, 인지된 지능 수준이 증가하는 등의 긍정적인 상호작용 효과는 동향의 사투리를 사용하는 ‘유대감이 증가한’ 대화형 에이전트에게도 적용될 가능성이 높다고 볼 수 있다[6]. 이는 사용자가 에이전트를 사용하는 과정에서 오류, 지연 등의 기술적인 한계로 인한 “심리적인 좌절감”을 경험하는 현상이 보고되는 현 시점에서 사투리가 그 부정적인 감정을 상쇄하는 요소로 작용할 수 있다는 점을 제시하며 실무적 함의점을 가진다[25].

또한 대화의 맥락(과업중심대화 / 사회적대화)에 따라 에이전트의 사투리 사용이 미치는 효과의 크기가 다를 것이라는 본 연구의 가설(H3)은 일부 그 경향성(p = 0.065)이 확인되었다. 이와 같은 결과는 대화형 에이전트의 역할이 컴패니언(Companion)으로 확장되고 있는 단계에서, 에이전트에게 적용된 언어적 디자인 요소가 대화의 맥락에 따라 다르게 나타날 수 있다는 점을 밝히고, 사투리 사용 효과가 사회적 대화 맥락에서 더 크게 발현될 수 있다는 가능성을 시사했다는 점에서 연구의의를 지닌다.

한편 사투리의 사용 유무에 따른 대화형 에이전트의 지속사용의도에는 유의미한 차이가 나타나지 않았다. 이는 제한된 시나리오 조건에서 간접적인 사용경험을 토대로 지속사용의도가 측정되었다는 점에서 사용자와 에이전트가 직접 말차례를 주고받는 환경에서 재검증이 요구된다.

본 연구의 한계점으로는 특정지역의 사투리 사용자를 대상으로 연구가 진행되었다는 점이 있으며, 사용자와 에이전트 간의 비디오를 매개로 한 간접적인 인터랙션 경험을 기반으로 연구가 이루어졌다는 한계가 있다. 또한 표준어 사용 에이전트를 사용해본 경험이 있는 사용자와 대화형 에이전트를 처음 사용해본 사용자 간에 그 평가가 차이가 나타날 수 있다는 점에서 보다 확대된 그룹의 참가자를 대상으로 후속연구가 필요할 것이다.

References

• Cohen, M. H., Giangola, J. P., & Balogh, J, Voice user interface design, Boston, MA, Addison-Wesley Professional, February), (2004.
• Nass, Clifford, and Kwan Min Lee, "Does computer-synthesized speech manifest personality? Experimental tests of recognition, similarity-attraction, and consistency-attraction", in Journal of experimental psychology: Applied, 7(3), p171-181, April), (2001. [https://doi.org/10.1037//1076-898x.7.3.171]
• Jeong, Yuin, Juho Lee, and Younah Kang, "Exploring Effects of Conversational Fillers on User Perception of Conversational Agents", in Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems, ACM, pLBW2715, Glasgow, UK, May), (2019. [https://doi.org/10.1145/3290607.3312913]
• Buller, David B., and R. Kelly Aune, "The effects of speech rate similarity on compliance: Application of communication accommodation theory", in Western Journal of Communication, 56(1), p37-53, June), (2006. [https://doi.org/10.1080/10570319209374400]
• Bickmore, Timothy, and Justine Cassell, "Social dialongue with embodied conversational agents", in Advances in Natural Multimodal Dialogue Systems. Text, Speech and Language Technology, 30, Springer, Dordrecht, p23-54, (2005). [https://doi.org/10.1007/1-4020-3933-6_2]
• Reeves, Byron, and Clifford Ivar Nass, The media equation: How people treat computers, television, and new media like real people and places, Cambridge university press, (1996).
• Song Hee Kang, and Ji Sung Song, “A Study on Soju Label Design for Inter-Regional Mutual Exchange of Dialect”, in The Korean Society of Design Culture, 21(3), p21-33, September), (2015.
• Jang, Chang-Young, “The Implication of the Use of Dialect on Poetry Education”, The Korean Language and Literature, 138, p207-234, (2004).
• Luger, Ewa, and Abigail Sellen, "Like having a really bad PA: the gulf between user expectation and experience of conversational agents", in Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, ACM, p5286-5297, California, USA, May), (2016.
• Brave, Scott, and Clifford Nass, "Emotion in human-computer interaction", in The human-computer interaction handbook: fundamentals, evolving technologies and emerging applications, p81-96, (2003).
• Bickmore, Timothy, and Justine Cassell, "Small talk and conversational storytelling in embodied conversational interface agents", in Proceedings of the AAAI fall symposium on narrative intelligence, p87-92, North Falmouth, Massachusetts, November), (1999.
• Mori, Masahiro, Karl F. MacDorman, and Norri Kageki, "The uncanny valley [from the field]", in IEEE Robotics & Automation Magazine, 19(2), p98-100, June), (2012. [https://doi.org/10.1109/mra.2012.2192811]
• National Institute of Korean Language, Korean Dictionary, [Internet] Available: https://stdict.korean.go.kr/search/searchView.do?word_no=431263&searchKeywordTo=3.
• Kim, Chang Young, 2015 A Survey on Korean Linguistic habit, National Institute of Korean Language, Republic of Korea, 11-1371028-000585-13, January), (2015.
• Soo Young Cho, Gu Min Kwon, and Sook Young Kwon, “A Study on the Use of Standard (Seoul) Language Among College Students from the Other Provinces Who Reside in Seoul”, in Korean Journal of Communication Studies, 25(1), p35-62, Feb), (2017.
• Duk Woong Han, and Kun Seok Park, “Social Psychological Factors Contributing to the Use of Dialect”, in Korean Psychological Assocation, 2, p51-56, (2004).
• Cameron, James E, "A three-factor model of social identity", Self and identity, 3(3), p239-262, April), (2004. [https://doi.org/10.1080/13576500444000047]
• Almahamid, Soud, and Fisal Abu Rub, "Factors that determine continuance intention to use e-learning system: an empirical investigation", in International conference on telecommunication technology and applications Proc. of CSIT, 5, p242-246, Yerevan, Armenia, (2011).
• Al‐Natour, Sameh, Izak Benbasat, and Ronald T. Cenfetelli, "The effects of process and outcome similarity on users' evaluations of decision aids", in Decision Sciences, 39(2), p175-211, (2008).
• Mohamed, Norshidah, et al, "Insights into individual's online shopping continuance intention", in Industrial Management & Data Systems, 114(9), p1453-1476, (2014). [https://doi.org/10.1108/imds-07-2014-0201]
• Jeong, Kwangmin, et al, "Fribo: A Social Networking Robot for Increasing Social Connectedness through Sharing Daily Home Activities from Living Noise Data", in Proceedings of the 2018 ACM/IEEE International Conference on Human-Robot Interaction, ACM, p114-122, Chicago, USA, March), (2018.
• Bradley, James V, "Complete counterbalancing of immediate sequential effects in a Latin square design", in Journal of the American Statistical Association, 53(282), p525-528, June), (1958. [https://doi.org/10.2307/2281872]
• Šebjan, Urban, and Polona Tominc, "Impact of support of teacher and compatibility with needs of study on usefulness of SPSS by students", in Computers in Human Behavior, 53, p354-365, (2015). [https://doi.org/10.1016/j.chb.2015.07.022]
• Bagozzi, Richard P., and Youjae, Y, "On the evaluation of structural equation models", Journal of the academy of marketing science, 16(1), p74-94, (1988).
• Jooyeon Park, and Ju Hak Park, “Are polite agents always good? : Effects of closeness and politeness strategies in user-agent relationship”, in HCI Korea, HCI 2007, Korea, p1692-1699, (2007).