Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 20, No. 5, pp.891-905
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2019
Received 01 Apr 2019 Revised 22 May 2019 Accepted 26 May 2019
DOI: https://doi.org/10.9728/dcs.2019.20.5.891

고령자를 위한 대화형 에이전트의 디자인 전략 : 자기 결정 이론을 기반으로 한 디자인 요소 탐색을 위한 필드 연구

박중신1 ; 윤정미2 ; 황우호3 ; 강윤영2 ; 고현정2 ; 김보리4 ; 홍세준5 ; 김건하4 ; 김진우3, *
1연세대학교 기술경영학협동과정
2연세대학교 인지과학협동과정
3연세대학교 경영학과
4이화여자대학교 뇌융합과학연구원
5고려대학교 경영대학
A Design Strategy of Interactive Agent for the Elderly : Field Research for Searching Design Element Based on Self-Determination Theory
Joongsin Park1 ; Jungmi Yoon2 ; Yuhao Huang3 ; Younyoung Kang2 ; Hyunjeong Ko2 ; Bori R. Kim4 ; Se-Joon Hong5 ; Geon Ha Kim4 ; Jin Woo Kim3, *
1Department of Management of Technology
2Department of Cognitive Science and School of Business, Yonsei University, 50 Yonsei-ro Seodaemun-gu, Seoul, 03722, Korea
3School of Business, Yonsei University, 50 Yonsei-ro Seodaemun-gu, Seoul, 03722, Korea
4Department of Neurology, Ewha Womans University Mokdong Hospital, 1018, Anyangcheon-ro Yangcheon-gu, Seoul 07985, Korea
5Business School, Korea University, 145 Anam-ro, Seongbuk-gu, Seoul, 02841, Korea

Correspondence to: *Jinwoo Kim E-mail: jinwoo@yonsei.ac.kr

Copyright ⓒ 2019 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구에서는 고령자의 대화를 증진시키기 위한 에이전트를 개발하기 위해 고령자를 위한 대화형 에이전트가 가져야 할 대화 디자인 요소를 탐색적 연구를 바탕으로 도출하고, 이를 적용한 대화형 에이전트 ‘새미’를 개발하였다. 65세 이상 고령자 23인의 가정을 직접 방문하여 위자드 오브 오즈(Wizard of Oz) 방법을 통해 고령자의 가정 내에서 대화형 에이전트와 고령자가 대화할 때 어떤 현상들이 나타나는지 관찰하였다. 특히 발화 유도와 발화 제한의 상황에서 관여, 구조, 자율성지지 측면의 에이전트의 발화 전략이 발화 현상과 어떤 관계가 있는지 대화 사례를 바탕으로 탐색하였으며 탐색결과를 종합하여 고령자를 위한 대화형 에이전트 디자인을 위한 6가지 가이드라인을 도출했다. 도출된 가이드라인을 바탕으로 메신저 기반의 챗봇 형태인 대화형 에이전트 ‘새미’를 개발하였다.

Abstract

In this study, we developed an interactive agent 'Sammy' for promoting the conversation of the elderly based on an exploratory study. We visited the home of 23 elderly people over 65 years old and observed some phenomena when the conversation agent and the elderly talk in the home through the Wizard of Oz method. Especially, we explored the relationship between dialogue case and agents' utterance strategies in terms of involvement, structure, and autonomy support in the context of inducement and restriction of utterance. Based on the results of exploratory research, we derived six guidelines for interactive agent' design for the elderly. Using these guidelines, we developed 'Sammy', an interactive agent in the form of a messenger-based chatbot.

Keywords:

Chatbot, Conversational agent, Senior care, Voice User Interface, Wizard of Oz

키워드:

챗봇, 대화형 에이전트, 고령자 케어, 음성 인터페이스, Wizard of Oz

Ⅰ. 서 론

2017년 통계청에 의하면 국내 65세 이상 고령자는 전체 인구 중에서, 13.8%를 차지하는 것으로 나타났으며, 2030년에는 전체 인구의 24.1%에 이를 것으로 전망되고 있다. 인구 고령화 속도는 점점 더 빨라질 것으로 전망되고 있으며 고령화와 함께 독거노인의 비율 또한 증가하고 있다. 2016년 고령자 1인가구는 전체 고령자의 33.5% 로서 고령가구 세 집 중 한집이 홀로 사는 노인임을 알 수 있다. 국제적으로는 40%의 고령자가 외로움을 느끼는 것을 알 수 있었는데[1], 고령화 및 1인 가구의 증가 추세와 함께 외로움에 대한 사회문제에 대한 대처가 필요한 상황이다. 외로움은 심혈관계 질병이나 사망 등 다양한 건강문제로 연결될 수 있다[2]. 특히 고령화 과정에서 치매에 대한 위험성이 높아지는데, 사회적 고립, 우울 등 보다 외로움이 고령자의 인지기능에 영향을 주는 주요한 요인으로 작용한다는 연구결과는 고령자의 외로움 케어에 대한 중요성을 역설하는 사례로 볼 수 있다[3].

외로움은 개인이 인지하는 정서적, 사회적 고립을 경험했을 때의 감정 및 인지를 의미하며 심리적 고통의 이라할 수 있으며, 또한 이는 사회적 관계가 부족한 것을 의미한다[4]. 또한 외로움은 친밀한 관계를 상실했거나 대화 상대가 없거나, 대화 자체의 상실을 경험할 때 발생하는 것으로[5], “정서적 고립에 대한 두려움의 감정”을 의미한다. 즉, 타인으로부터 심리적 안정감이 결핍된 느낌으로 정의할 수 있다[6]. 외로움을 느끼는 사람들은 사회적 역량이 떨어지고, 수동적이어서 자기노출 등의 표현이 제한되는데[7], 외로운 고령자의 경우 상실된 관계를 다시 형성하거나 대화를 적극적으로 하기에 제한된다고 볼 수 있다. 따라서 타인과의 적극적 대화를 통한 친밀한 사회적 관계의 회복은 고령자의 외로움을 해결하는 효과적인 방법이 될 수 있다.

외로움으로 인한 고령자의 문제를 해결하기 위해 Active listening을 활용한 돌봄이 제도 등 사람을 통해 대화를 증진시키고자 했으나 이러한 시도는 시간, 재정적으로 한계를 가지고 있다[8]. 이러한 한계를 극복하고자 소셜 로봇과 같은 IT 기술을 바탕으로 한 사람처럼 이해하고 커뮤니케이션 할 수 있는 대화형 에이전트가 제안되었다[9]. 대화형 에이전트는 동반자로서 고령자를 돕고 가정 내에서 지속적으로 케어를 제공할 수 있는 주체이며, 이에 대한 연구가 지속적으로 이루어지고 있다[10]. 최근 AI 스피커와 같은 음성기반의 에이전트의 사례는 대화형 에이전트가 폭넓게 보급되고 충분히 수용할 가능성이 있음을 보여준다[11].

대화형 에이전트가 고령자의 대화를 증진시킬 수 있는 대안으로 다양한 연구가 이뤄지고 있지만[12-16] 대화형 에이전트가 가져야할 특징과 상호작용 및 응답특성은 물론 실제 고령자의 거주 환경에서 상용화 된 사례는 찾아보기 어려운 한계점이 있다. 따라서 AI 스피커 및 대화형 에이전트의 기술 수준이 상용화 가능한 수준이 된 현 시점에서, 고령자를 위한 대화형 에이전트 개발을 위한 대화 디자인 요소를 발굴 하고 이를 반영하여 실제로 대화형 에이전트를 개발하는 것은 마땅히 이뤄져야 할 연구적 과제이다. 고령자가 에이전트를 지속적으로 활용하기 위해서는 고령 사용자와 에이전트가 어떻게 상호작용 하는지 탐색할 필요가 있으며, 연구실 내에서 제한된 환경에서의 연구를 넘어서 에이전트의 발화, 반응에 대한 적절성을 판단하기 위해 실제 거주 환경에서의 사람의 반응에 대해 관찰하는 연구가 필요하다.

따라서 본 연구에서는 고령자를 위한 대화형 에이전트를 구현하기 위해 실제 사용자와 에이전트가 대화를 통해 상호작용하는 상황에서 어떤 특징적인 현상들이 나타나는지 탐색적으로 연구하고자 한다. 이 과정에서 고령자의 대화 참여를 증진시키거나 제한하는 요소들에 대해 살펴봄으로써 고령자의 대화증진을 위한 에이전트의 특성을 바탕으로 디자인요소를 도출하고, 이를 실제 상용화 가능한 대화형 에이전트로 개발함으로써 고령자를 위한 대화형 에이전트 개발과 관련한 학술적 실무적 함의점을 도출하고자 한다.


Ⅱ. 관련연구

2-1 고령자를 위한 대화형 에이전트

고령자의 가정 내에서 동반자의 역할을 할 수 있는 대화형 에이전트는 어떤 특성을 가져야 하는지, 에이전트와의 장기간 대화를 통해 고령자에게 어떤 변화가 나타나는지 등 고령자를 위한 대화형 에이전트와 관련한 다양한 연구들이 진행 되었다[12]-[16]. 자율성의 정도에 따른 에이전트의 상호작용 전략이 고령자에게 어떻게 수용될 수 있는지 알아보는 proactive assistive 로봇 연구[12]의 경우, 자율성이 높은 발화 전략을 선제발화(proactive)로, 자율성이 낮은 발화 전략을 요청에 따른 발화(on-demand)로 보고 그에 따른 고령자의 에이전트에 대한 평가를 실시했다. 여기서 선제발화란, 고령자의 대화 개시가 없이도 자동적으로 상호작용을 주도하는 것을 말하며, 요청에 따른 발화는 고령자의 발화가 있을 때에만 반응하는 발화를 말한다. 선제적 발화측면에 대한 연구 결과, 선제발화가 수용 가능하며 특히 고령자의 실질적인 안전과 건강 측면에 대한 대화가 선호되는 것으로 나타났다. 이 연구는 에이전트와의 상호작용을 직접 하지 않고 영상을 통해 시나리오를 평가하는 것을 통해 에이전트의 특성을 도출했다는 한계가 있다. 이와는 달리 실제 에이전트와의 상호작용 환경에서 고령자 발화 유도 및 건강행동을 유도한 연구가 있었는데[13], 사회적으로 고립된 고령자의 proactive와 passive agent 사용 경험에 대한 비교가 이루어졌다. Wizard of Oz(WoZ)로 진행된 field study에서 에이전트가 선제적으로 발화 할수록, 대화의 횟수가 증가할수록 더 큰 외로움 감소 효과가 있음을 알 수 있었다.

선제발화 외에도 맞장구를 쳐주는 소셜 로봇의 효과를 통해 고령자를 케어한 연구들도 있었다[14-15]. 여행 기억에 대해 질문하고 맞장구 및 턴 테이킹을 통해 고령자로부터 발화를 유도한 연구[14]의 경우 WoZ 실험을 통해 얻은 고령자의 발화와 wizard의 반응을 학습시킨 모델을 적용하여 실시간으로 반응하는 대화형 로봇을 구현했다. 이를 통해 맞장구의 시점과 유형이 고령자의 발화에 어떤 영향을 미치는지 효과를 검증하였다. 실제로 인지적인 어려움이 있는 고령자들을 대상으로 한 연구들도 있었다. 치매와 우울증이 있는 노인을 대상으로 한 소셜 로봇 연구[15]에서는 로봇이 고령자의 표정, 발화내용을 인식하여 대화를 진행하였다. 선제적으로 대화에 참여하였으며 스케쥴을 알리거나 몸통 전면부에 부착된 스크린으로 고령자와 함께 게임을 수행했다. Web 기반 dialog management 시스템을 적용한 발화를 수행하기도 하였다. 로봇과의 1:1 상호작용이 아닌 다른 미디어를 함께 활용하며 대화하는 연구도 진행되었다[16]-[17]. TV 내용을 기반으로 자유롭게 의견을 주고받은 기록이 있는 SNS 데이터를 크롤링하여 발화의 소스로 활용한 챗봇 연구[16]가 이루어졌다. TV를 함께 보는 봇이 고령자의 발화를 얼마나 유도하며 로봇을 어느정도로 자연스럽게 느끼는지 실험을 통해 살펴보았다. 실험은 대학생을 피험자로 섭외하여 이뤄졌으며 SNS에 노출된 TV 프로그램 관련 발화를 끌어와 발화의 소재로 활용하였다.

이러한 다양한 대화형 에이전트를 통한 고령자 케어 연구들은 몇 가지 한계점을 지닌다. 실제 최종 사용자가 될 고령자가 아닌 젊은 사람을 대상으로 하거나 심각성이 제기되는 환자를 대상으로 연구를 진행하여 일반 고령자를 대상으로 하는 대화형 에이전트의 특성으로 일반화하기 어렵다. 또한, 실험실 환경에서 진행하여 실제 고령자가 일상에서 나타날 수 있는 대화상황과는 거리가 멀 수 있다. 발화 주제 또한 연구자가 정해놓은 데이터베이스 한도로 제한되거나 여과 없이 외부 데이터를 활용하여 발화함으로써 대화 상대로서의 에이전트에 대한 기대감이 급격히 떨어질 수 있으며, 에이전트 성격의 일관성을 해칠 수 있다[18]. 에이전트의 발화 특성이 고령자에게 미치는 영향 또한 정량적으로 평가되었지만, 실제 대화 상황에서 발화 특성을 어떻게 적용할 수 있으며 적용된 대화특성이 실제 대화에 자연스럽게 접목될 수 있는가에 대한 현상적 탐색은 이뤄지지 않았다는 점에서 실효성에 대한 의문도 여전히 남아있다. 따라서 본 연구에서는, 일반 고령자들을 대상으로 그들의 실제 거주 환경에서 에이전트와의 지속적인 대화를 할 때 어떤 현상들이 나타나는지 살펴봄으로써 대화형 에이전트가 가져야할 특성을 탐색하고자 한다. 이를 바탕으로 도출된 디자인 요소를 실제 대화형 에이전트에 적용하여 구현함으로써 대화형 에이전트의 상용화 및 적용가능성에 대해 논하고자 한다.

2-2 자기결정이론과 기본심리욕구

기존의 대화형 에이전트와 관련된 연구에서는 선제발화, 맞장구 등 다양한 요인들이 사용자의 발화를 유도할 수 있음을 실증적으로 확인하였다. 그러나 해당 요인이 발화를 유도하는 과정과 원인에 대한 총체적 이해를 제공하는데는 제한점이 있었으며, 그에 따라 대화형 에이전트가 가져야할 특성에 대한 종합적 제시도 이뤄지지 않았다. 따라서 본 연구에서는 ‘대화’를 하나의 참여 가능한 ‘활동’으로 정의하고, 활동 참여의 동기와 관련된 자기결정이론[19]을 적용하여 에이전트의 대화특성을 살펴봄으로써 대화적 요소들이 고령자의 로봇과의 대화 참여에 어떻게 영향을 미칠 수 있는지 탐색하고자 한다.

자기결정이론에서는 인간의 생존을 위한 기본적인 욕구로 자율성, 유능성, 관계성을 제시하고 있는데, 이런 욕구들이 적절히 충족될 때 내재적으로 동기가 유발되었다고 볼 수 있다. 또한, 이와 관련한 욕구 충족은 건강에 필수적이라고 말한다[20]. Connell 과 Wellborn의 연구[21]에서는 참여에 대한 심리적 욕구의 동기 모델을 제시하는데, 유능성을 느끼기 위해 구조적인 맥락이, 자율성을 느끼기 위해 자율성 지지적 맥락이, 관계성을 느끼기 위해 관여적 맥락이 형성되었을 때 각 심리적 욕구가 충족되고 행동에 대한 참여가 이뤄진다는 것이다. 여기서 구조적 맥락은 적정 도전[22]과도 연관이 되는데 해당 행동이 명확하고 수행 가능하며, 적절한 난이도를 갖는가에 따라 형성되는 맥락이다. 자율성 지지 맥락은 행동에 참여하는 당사자가 자율적으로 행동에 참여하도록 하기 위해 의견이 적절히 수용되거나, 원하는 것에 대해 수용되고, 공감되는가에 따라 형성되는 맥락이다. 관여적 맥락은 행동에 참여하는 당사자 외에 이를 돕거나 함께하는 사람이 얼마나 당사자에게 시간과 열정, 에너지를 쏟고, 흥미와 관심을 표현하는가에 따라 형성되는 맥락이다. 맥락을 기반으로 욕구를 충족하기 위한 방법은 구조, 자율성지지, 관여의 영역에 따라 각각 다르며 실제 건강행동[23], 창의활동[24-25] 등 활동 참여의 측면에서 각각의 방법이 실제 활동참여에 미치는 영향에 대해 검증되어왔다.

그러나 이러한 기본심리욕구를 충족하기 위한 방안을 에이전트에 적용한 사례는 찾아보기 어려우며, 대부분 활동 참여와 관련된 맥락 형성이 선생님, 부모 혹은 친구 관계[26]에서 이뤄졌다는 점을 볼 때 에이전트 기반의 활동참여에서도 동일한 방법이 효과적인지에 대한 탐색적 연구가 필요하다. 따라서 본 연구에서는 기본심리욕구 충족을 위한 방법들[21]을 에이전트의 대화 요소에 적용시켰을 때 실제 고령자들의 대화 참여와 관련해 어떤 영향을 미치는지 살펴보고, 에이전트와의 상호작용을 통한 대화 참여 유도의 효과적인 맥락 형성 방법이 무엇인지 도출하고자 한다.


Ⅲ. 탐색적 연구

고령자와 에이전트가 대화할 때 나타나는 현상과 관련한 데이터를 수집하기 위해 WoZ 기반의 탐색적 연구를 실시하였다. 조사용 프로토타입을 제작하고 고령자의 가정에 직접 방문하여 활용함으로써 고령자의 발화 내용을 수집하고 이를 분석하였다. WoZ 방법[27]은 연구자가 Wizard로서 프로토타입을 조작하게 되고, 연구 참여자는 연구원이 프로토타입을 조작하는지 모르는 상태에서 프로토타입과 상호작용을 하는 방법을 말한다. 신기술이 실제로 구현되기 이전에 이러한 WoZ 방식으로 사용자와 기기 간 상호작용의 특성을 파악함을 통해 기술수용에 영향을 미치는 요인들을 도출해낼 수 있다는 장점이 있다. 가정 내 고령자의 주요 맥락과 대화주제 선정, 지속적인 참여유도[16] 및 자연스러운 사회적 상호작용[28]을 위한 환경조성을 위해 TV시청 환경을 설정하고 에이전트와 고령자와의 대화를 WoZ 기반으로 진행하였다.

3-1 연구참여자

본 연구를 위해 총 23명의 고령자가 섭외되었다. 서울 소재 노인회 2곳에서 8명, 노인 건강센터 2곳에서 15명이 섭외 되었다. 섭외된 고령자의 사전 동의를 얻어 고령자의 집에 직접 방문하여 연구를 진행했다. 총 23명의 연구 참여자들 중에서 1시간의 체험을 끝까지 완료한 참여자는 18명, 1시간 미만으로 제한적으로 참여 완료한 인원은 2명, 체험 도중 중단한 인원은 2명, 체험을 거부한 인원은 1명으로 나타났다. 남성 참여자 7명, 여성 참여자 16명이었으며, 평균 연령은 75.9세 였다(남성 평균 77.5세, 여성 평균 75.25세).

3-2 시스템 디자인

WoZ 기반으로 고령자와 에이전트의 대화내용을 수집하기 위해 조사용 프로토타입을 구현하였다. 조사용 프로토타입은 연구 참여자의 인근에서 음성으로 상호작용하기 위해서 음성발화 모듈을 포함한다. 음성발화 모듈는 에이전트가 선제적으로 발화하기 위한 ‘예약어 발화’ 기능과 고령자의 발화에 실시간으로 응대하기 위한 ‘실시간 발화’ 기능을 가지고 있다. 예약어는 연구자들의 사전 논의를 통해 연구 참여자들에게 공통적으로 주어질 수 있는 발화 내용이며 에이전트의 자기 노출 표현, 고령자에 대한 질문, 맞장구의 세트로 구성되어있다. 예약어는 사전에 text의 형태로 준비하여 Text-To-Speech(TTS) 엔진을 통해 음성 파일로 변환하여 프로토타입 내부에 저장 했다. 실시간 발화는 고령자의 발화에 응대하기 위한 발화 중 예약어 외의 내용을 포함하기 위한 기능으로서 실시간 TTS를 통해 입력된 text를 바로 음성으로 출력한다. TTS는 amazon polly를 사용했다. 예약어와 실시간 발화 내용 모두 재생 시점을 로그로 남겨 추후 대화내용을 분석하기 위한 데이터로 활용하였다. 조사용 프로토타입은 무선 통신 및 제어를 위한 소형PC인 라즈베리파이3와 음성 출력을 위한 스피커(go, JBL), 전원 공급을 위한 소형 보조베터리(PLM06ZM, 샤오미)로 구성했으며 구성 부품을 은닉시키기 위해 외형으로 30 x 20 x 10cm 크기의 갈색 인형을 사용하였다. 외형은 60세 이상의 고령자 12명과의 사전 인터뷰를 통해 선호하는 형태와 크기에 대한 의견을 반영되었다.

에이전트의 발화내용은 주도권을 가지고 발화하는 ‘선제발화’[13]와 고령자의 주도권을 그대로 유지시키며 발화를 촉진시키는 ‘맞장구’[29]로 구성되었다. 본 연구에서는 선제발화의 ‘구성’을 정보, 감정, 의견 등의 표현을 포함하는 화행[30-31]의 구성으로 적용하였다. 여기서 화행이란[32] 한 집단 내에서 구성원들이 타인의 방해없이 발언한 내용이 특정 행위로써 타 구성원들에게 받아들여지는 집단 상호작용 과정을 말한다. 그리고 다양한 기능 또는 행위로서의 상호작용이 고령자에게 미치는 영향을 탐색하기 위해 화행이 적용되었다. 선제발화의 ‘내용’은 고령자가 익숙하게 수용하고 있는 TV 컨텐츠의 내용 중 일부를 추출하여 키워드 기반으로 발화 내용을 디자인 하였다. 발화 내용의 적절성은 연구원 3인의 논의를 통해 최종 결정되었다. 상대방의 발화에 대한 맞장구를 쳐줄 때 원래 발화자는 더 많이 발화하게 되고, 대화는 더 자연스러워 질 수 있다[16]. 따라서 맞장구를 에이전트의 발화 요소로 포함하였으며, 맞장구와 관련한 장경희의 연구[33]를 바탕으로 국내실정에 맞는 맞장구의 구성과 내용을 맞장구 콘텐츠에 적용했다. 또한 본 연구에서는 에이전트가 각 발화 내용을 수직적 관계(Vertical Relationship)가 반영된 존댓말(Honorific Speech; HS), 편한말(Familiar Speech; FS)의 표현으로 나누어 발화를 하였다. 수직적 관계에 대한 표현의 변화가 에이전트에 대한 태도를 변화시켰다는 기존 연구결과[34]를 반영하여 표현을 다양화하였다. 선제발화와 맞장구의 내용 및 수직적 관계에 따른 표현에 대한 사례는 표. 1과 같다. 본 연구는 다양한 대화적 요소들이 자기결정이론의 기본심리욕구와 관련해서 어떤 현상들을 도출하는지 탐색한 연구로서, 동일 내용의 수직적 관계 표현의 차이가 발화유도에 미치는 영향에 대한 양적 분석은 연구 범위에 포함하지 않았다.

Agent's proactive and back channel speech example

3-3 연구 진행 순서

고령자와 에이전트간의 대화는 고령자에게 최대한 익숙한 상황에서 이루어지도록 하기 위해 연구자들은 고령자의 집에 직접 방문하였다. 진행 순서는 방문 및 조사장비 세팅 – 프로토타입 설명 및 튜토리얼 – 에이전트와 체험 순으로 진행되며 총 1시간 가량의 시간이 소요됐다. 에이전트가 다양한 주제에 대해 발화하고 반응하기 위해 TV 프로그램을 시청하는 환경이 조성되었으며, 이때 프로그램은 국내 고령자의 TV 시청행태에 관한 연구[35]를 참고하여 사전에 준비했다. 조사는 연구참여자 1인에 대해서 연구원 2인이 실시했다. 본 연구는 WoZ 방법을 통해 연구자가 음성 에이전트가 탑재된 조사용 프로토타입을 조작하며, 고령자는 기기와 음성으로 상호작용을 할 수 있다. 구체적인 조사 환경은 그림 1과 같다.

Fig. 1.

Environment for data collection

기존의 WoZ 연구는[27] 일반적으로 연구원이 공간적으로 분리되어있어 연구 참여자들은 연구원의 존재를 거의 느끼지 못하는 상태에서 연구가 진행되는 것이 일반적이다. 하지만, 본 연구의 경우 고령자의 가정에 직접 방문하는 연구의 특성상 고령자만 독립적인 공간에서 연구를 진행할 경우, 고령자의 가정 내에서 다른 공간에 연구원들이 있어 고령자의 시야범위 밖에 있으므로 불안감을 제공할 수 있었다. 따라서 본 조사 일정에는 연구 참여자인 고령자가 조사용 프로토타입과 자유롭게 상호작용할 수 있도록 하되 최대한 개입하지 않는 상태에서 같은 공간에서 연구를 진행했다.

조사용 프로토타입과 이를 조작하기 위한 연구자용 노트북은 연구자의 모바일 디바이스를 활용한 LTE 테더링으로 연결되어 고령자의 가정에 WiFi 망 유무와 관계없이 조작이 가능하도록 했다. 고령자와 에이전트간의 상호작용 내용을 녹취하기 위해 지향성 마이크가 고령자를 향하도록 설치하였으며, 사전에 연구 참여 동의와 함께 재차 녹취에 대한 동의를 구한 뒤, 연구를 진행했다. TV 영상은 영상 재생용 랩탑과 고령자 가정내 TV를 연결하여 송출하였으며, 고령자는 TV 채널 변경의 자율권은 없지만 음량을 스스로 조절하게 하여 청력에 따라 적절한 음량으로 TV를 시청하도록 했다. 미리 제작된 TV 프로그램을 시청하는 상황에서 연구자는 노트북을 통해 에이전트를 원격으로 조작하여 고령자에게 발화 콘텐츠를 송출했다. 사전에 제작된 에이전트의 선제발화 메시지는 TV 프로그램별 시기에 맞도록 각 연구 참여자 마다 통일하였다. 연구자는 고령자와의 대화 맥락에 맞도록 에이전트가 발화를 할지, 아니면 기다릴지 선택했다. 고령자의 발화에 따라 예약어 외의 발화로 대응하게 될 경우 연구자가 실시간으로 응답 내용을 생성하여 TTS를 통해 음성 형태로 송출했다. 이 같은 과정으로 고령자는 총 1시간 가량 에이전트와 대화를 통한 상호작용을 경험하도록 하였다.

3-4 수집된 데이터 및 분석

고령자와 프로토타입과의 상호작용에서 발생하는 대화를 녹취하였으며, 이를 전사하여 분석자료로 활용하였다. 참여거부 및 녹취데이터가 불량한 경우를 제외한 총 20명의 연구참여자와 에이전트간의 발화는 총 5657번 이루어졌다. 연구원이 프로토타입을 조작하여 발생한 발화는 3014번, 그에 따른 고령자의 반응과 선제적 발화는 2643번으로 나타났다. 발화데이터가 누적된 20명 중 7명의 경우 가족 구성원의 개입, 중단 의사 표현 등의 사유로 1시간을 채우지 못한 채로 종료되었다. 그 외에 13명의 경우 1시간 동안 전체 조사 프로세스를 참여하며 1인당 평균 203.3회(SD=51.7) 발화했다(최대 293회, 최소 133회). 에이전트의 발화 횟수는 평균 231회였다(SD=44.4, 최대 295회, 최소 161회). WoZ 방법으로 대화 상황을 체험하도록 하였기 때문에 고령자가 발화를 더 많이 할 경우 상대적으로 에이전트의 발화량은 감소하였다. 반대로 고령자가 발화를 하지 않을 경우 에이전트는 더 많이 발화하였다. 위와 같이 수집된 대화 내용 데이터를 연구자 2인이 함께 분석하였다. 에이전트와 고령자의 수많은 연속하는 발화 데이터 세트 중, 특징적인 발화 세트의 분석 결과에 대해서는 연구자 2인의 논의를 거쳐 최종적인 의미를 도출했다.


Ⅳ. 연구결과

에이전트의 선제적인 발화와 고령자의 발화에 대한 반응에 따라 다양한 특징을 가진 대화이동 연속체가 나타났다. 본 논문은 고령자의 대화증진을 위한 에이전트 개발을 목표로 대화와 관련된 다양한 현상들 중 대화이동을 자주 발생시켰던 ‘발화 유도’와 대화이동을 제한 한 ‘발화 제한’ 측면을 중심으로 현상을 살펴보았다. 또한 발화를 유도하거나 제한하는 상황에서 기본심리욕구 충족과 관련한 관여, 구조, 자율성지지 측면의 발화가 어떻게 나타나는지 살펴봄으로써 각각의 발화 전략이 발화를 유도하거나 제한하는데 어떻게 영향을 미치는지 탐색하였다.

4-1 발화 유도 측면

1) 관여

에이전트는 선제적 발화, 맞장구 등 대화적 요소를 통해 고령자와의 대화에 관여하였으며, 다양한 모습으로 고령자의 대화 참여를 유도하였다. 연구자는 에이전트를 통해 선제적으로 발화하거나, 질문을 던지고, 자기 노출적 대화를 시도하였다. 고령자가 선제적으로 발화하지 않는 이상 대화가 진행될 수 없는 상황에서, 대화의 공백을 에이전트가 발화를 통해 채움으로 고령자는 지속적으로 발화내용을 듣고, 응답하거나 답변할 수 있는 기회와 시간을 갖게 되었다. 또한, 고령자에게 고령자의 삶, 흥미요소 등에 대해 질문을 함으로써 에이전트가 당신에게 관심이 있음을 지속적으로 나타냄으로써 질문에 대한 고령자의 응답을 듣거나 다양한 주제로 대화를 확장시킬 수 있었다. TV 공동시청이라는 에이전트와 고령자가 함께 있는 맥락에서 에이전트가 TV 프로그램 내용에 대해 반응함으로써 함께 있는 시간에 몰입하고, 즐기고 있음을 표현할 수 있었는데, 고령자 또한 함께 공감하며 콘텐츠를 소비하는 것을 대화를 통해 확인할 수 있었다.

에이전트는 고령자의 질문에 대해 답변을 해줌으로써 고령자에게 실질적인 도움을 줄 수 있었다. 특정한 사건이나 사실에 대한 질문은 물론 의견에 대한 동의와 공감과 관련한 질문에 응대발화를 통해 동의하고 공감해주었다. 에이전트는 자신이 어떠한 생각과 관심이 있음을 자기 노출을 통해 고령자에게 전달하였다. 이 과정에서 고령자는 에이전트의 발화내용에 공감함은 물론 호혜적 대화로써 자신의 의견도 노출하는 것을 볼 수 있었다(그림 2, P18).

Fig. 2.

Self-disclosure of elderly people after that of agents

그림 2에서 에이전트는 선제발화를 통해 고령자와의 대화를 주도하며 대화를 통해 고령자와 함께 시간을 보내고자 했다. 또한 ‘맞아요’와 같은 동의 표명, ‘와’와 같은 감정표현 등의 맞장구를 통해 고령자의 발화에 대해 관심을 표현함으로써 대화에 충분히 관여하는 것을 알 수 있었다. 이 과정에서 고령자는 수차례의 발화를 통해 대화에 참여하게 된다.

고령자의 자기 노출의 상황에서 에이전트는 짧은 맞장구의 형태를 반복하며 공감하며 응대해주었다. 에이전트의 추가적인 자기 노출이 없이도 고령자는 자신의 발화를 이어가며 길게 발화하였다(그림 3, P21). 고령자는 에이전트와 단독으로 소통하는 과정에서 더 빈번하고 사적인 대화를 진행하였다. 그러나 선택적으로 다른 이들의 관여를 요청하는 면도 볼 수 있었다.

Fig. 3.

Speaking in succession in response to a short back-channel

2) 구조

에이전트는 발화를 통해 고령자가 대화와 관련한 맥락의 구조를 파악할 수 있도록 영향을 주었다. 예를 들면, 에이전트는 고령자에게 "할머니" 또는 "할아버지"라고 부르며 대화에 참여하였다. 이 과정에서 고령자는 에이전트를 어린아이처럼 대하며 손자녀에게 이야기 하는 듯한 억양으로 발화를 하였다. 이어지는 에이전트의 질문에 고령자는 자신의 경험 혹은 지식들을 가르쳐주기 위해 발화하였으며, 질문하지 않은 추가적인 사항까지도 발화하였다(그림 4, P17).

Fig4.

Conversation like between grandparent and grandchildren

또한 고령자의 발화에 지속적으로 응답하는 과정에서 고령자는 에이전트가 어떤 대답까지 할 수 있는지 알아보기 위해서 질문을 하기도 하였다.

그림 4에서 고령자는 에이전트에게 ‘꿀벌’과 관련한 내용을 에이전트에게 이야기 하는 것을 볼 수 있다. 어린아이에게 고령자는 어떠한 주제든지 발화할 수 있고, 주제의 전환에도 에이전트가 간섭하지 않기 때문에 매우 자유롭고 쉬운 상호작용이 구조적으로 가능하였다.

에이전트는 고령자에게 많은 질문들을 하였는데, 질문의 내용은 사전에 연구자들의 협의를 통해 고령자가 대답하기에 어렵지 않은 내용으로 선정하였다. 고령자들 스스로 충분히 대답할 수 있도록 간단한 단어에 대한 의미부터 과거의 경험, 가족 구성원에 대한 평가를 포함하였다. 보다 심층적인 대화를 위해 간단한 질문으로 시작해서 보다 구체적인 질문으로 이어갔는데, 이 과정에서 고령자들은 대화에 더 적극적으로 참여한 것을 알 수 있었다(그림 5, P19).

Fig. 5.

Expanding conversations with easy and deepening questions

그림 5에서와 같이 에이전트는 닫힌 질문을 통해 경험의 유무를 대답할 수 있도록 질문하였으며, 이 때 고령자는 ‘네’ 라고 쉽게 대답할 수 있었다. 그 이후에 에이전트가 경험에 대한 심층적인 질문을 함으로써 고령자는 자신의 경험을 떠올리며 보다 구체적인 발화를 하는 것을 확인할 수 있었다.

3) 자율성지지

고령자는 에이전트의 발화 의도와 고령자 본인의 발화 수용여부에 따라 다양한 반응을 보였다. 고령자는 에이전트와의 대화 속에서 에이전트의 발화 내용이나 질문에 대해 의도를 궁금해하며 대화에 참여하였다. 그림 6에서 에이전트는 의도가 없는 질문을 하였다. 이 때 고령자는 왜 그러한 질문을 하는지 되질문의 형태로 응대하였다. 여기서 의도가 분명하지 않은 발화는 되질문이라는 대화 참여를 이끌었는데, 이후에 발화의도에 대한 질문의 대답이 이뤄지지 않는 경우 대화가 종료되는 것을 볼 수 있었다. 이처럼 고령자가 대화에 자발적으로 참여해야하는 이유를 제시하지 못하는 것은 질문이라는 발화를 유도할 수 있지만, 대화의 지속을 위한 근거를 제시하지 못함으로써 대화 지속을 위한 자율성지지 실패로 이어지게 되는 것으로 확인하였다.

Fig. 6.

Discontinued conversations after a question and a question after the question.

에이전트는 고령자의 발화 내용에 관계없이 응대하고 수용하는 발화를 하였다. 고령자들이 스스로 시작한 대화주제는 물론, 에이전트가 주도한 대화 주제를 포함하여 발화하는 과정에서 에이전트가 적극적으로 응대하며 맞장구를 쳐주었을 때, 이어지는 고령자들의 발화는 매우 다양한 주제를 띄며 변화하였다. 그림 7에서 에이전트의 질문에 고령자의 대답이 이어지는데, ‘그래?’, ‘정말?’ 등의 맞장구를 에이전트가 이어감에 따라 고령자는 초기 질문에 대한 대답(결혼 시기)에서 ‘시부모 봉양-젊었을 때 고생-금전적 어려움-친구관계’에 이르기까지 스스로 주제를 바꿔가며 발화를 이어가는 것을 볼 수 있었다.

Fig. 7.

Changing theme according to active response

4-2 발화 제한 측면

1) 관여

기술의 초기 수용 과정에서 해당 기술의 목적과 과정에 대한 설명이 제대로 이루어지지 않는 경우 사용자는 해당 기술을 적절히 수용하기 어려워하는 것을 확인할 수 있었다[36]. 본 연구의 에이전트에 대해서 이러한 온보딩 과정으로서 튜토리얼을 진행하지 않은 고령자의 경우 튜토리얼을 진행한 고령자들보다 에이전트와의 대화에 적응하는데 더 오랜 시간이 걸렸다. 특히 튜토리얼에서는 자신이 누구인지를 포함하여 서로를 소개하는 시간을 가졌는데, 서로에 대해 파악한 고령자들이 TV 시청상황에서의 대화에 더 빠르게 적응하고 발화하는 것을 알 수 있었다.

2) 구조

에이전트는 WoZ 상황에서 연구자의 조작에 따라 다양한 질문들을 하였다. 사전에 고령자들이 적절히 응답할 수 있는 수준 및 민감도를 연구자들의 논의를 거쳐 결정하였는데, 실제 연구 환경에서는 고령자가 에이전트의 질문이나 발화에 응대하지 않는 경우들이 발생하였다. 고령자에게는 에이전트와의 대화를 통한 상호작용 자체가 생소할 수 있으며, 에이전트와 친밀감을 충분히 형성하지 않은 상태에서는 자기 노출이 제한될 수 있었다(그림 8, P9)[37].

Fig. 8.

Example of ending a conversation following a series of questions

그림 8에서 에이전트가 고령자에게 ‘고향’과 관련한 질문을 했을 때 고령자는 난색을 표하며 자신의 감정을 표현하였다. 질문에 대한 대답의 측면에서 발화를 유도하기는 했지만, 질문에 대해서 부정적 감정을 느꼈으며 이는 대화의 종결은 물론 연구 참여에 대한 종결까지 이어졌다.

사람은 나이가 드는 과정에서 자연스럽게 노화의 현상을 겪게 되는데, 본 연구의 대화에서 사용된 음성 대화와 관련된 증상은 노인성 난청[38]을 들 수 있다. 본 연구의 에이전트는 음성을 통해 고령자와 대화하였는데, 고령자의 청력 손실에 의해 제한되는 경우가 나타났다. 기기설계에 의한 소리 차폐 및 울림, 스피커의 최대 출력 제한 등 프로토타입 자체의 한계에 의해 발화 내용의 전달이 제한되는 경우가 있었다. 또한 TV소리와 같은 생활소음 및 기타 환경에서 발생하는 소음과 함께 에이전트의 발화 소리가 섞일 때도 내용 전달의 제한이 되었다. 또한, 고령자들이 신조어, 줄임말이나 특정 용어와 같은 잘 모르는 내용이 발화 되는 경우 고령자들은 원래 의도한 대화의 흐름이 아닌 다른 반응을 함으로써 대화에 제한이 되는 상황이 발생했다. 고령자의 청력의 한계점과 기기 출력 제한, 주변 소음에 의한 제한 및 내용의 부적절 상황에서 고령자는 다양한 반응을 보였는데, 듣고 이해한 대로 응대하거나, 잘 못 들어서 되질문 하는 경우, 계속 못 듣게 되어 응대를 포기하는 경우가 나타났다(그림 9). 듣고 이해한 대로 발화하는 경우는 에이전트가 신조어나 줄임말, 특정 용어를 사용할 때 고령자가 본인이 알고 있는 용어로 이해하여 발화하였으며, 현 세대에서는 잘 사용되지 않는 옛 용어를 사용하여 발화하기도 하였다.

Fig. 9.

Restricted dialogue by hearing loss and unfamiliar words

그림 9에서 에이전트의 ‘케토톱’과 관련한 경험에 대한 닫힌 질문에 대해 고령자는 해당 단어를 듣지 못하고 되질문의 형태로 발화를 하였다. 이 경우에도 질문에 대해 되질문이라는 발화를 유도하긴 했지만, 초기 의도에 대한 대화가 이어지지 않고 중단됨으로써 지속적인 발화가 제한되고, 고령자가 대화에 참여하기 어려운 형태가 되었다.

3) 자율성지지

에이전트는 고령자와의 상호작용 속에서 빈번하게 선제적으로 발화하거나 응대하는 발화를 하였다. 에이전트가 주도권을 가지고 발화를 하는 선제발화의 경우, 고령자도 발화를 시도함으로써 주도권의 충돌이 발생하였다. 고령자의 발화에 대한 맞장구나 대화 주제의 전환 시점에서 고령자의 대화가 겹치는 경우가 나타났는데, 그때 고령자는 자신의 발화를 계속 이어가지 않고 에이전트의 발화에 흐름을 맞추는 경향을 보였다(그림 10, P1).

Fig. 10.

Conflicts of initiative and adaptation of the elderly

그림 10에서 고령자는 선제 발화를 하였는데, 에이전트의 질문과 겹치는 상황에서 고령자는 원래의 발화를 중단하고 에이전트의 질문에 대해 응대하는 것을 알 수 있었다. 이 과정에서 고령자가 자발적으로 이야기 하고자 했던 주제는 휘발됨으로써 에이전트가 고령자의 자발성을 저해하는 결과를 가져오는 것으로 판단되었다.

또한, 대화 지속을 위한 전략으로는 에이전트가 지속적으로 선제 발화하는 경우, 대화 주제의 선정이나 주도권이 항상 에이전트에게 있어서 고령자는 수동적으로 응대만 하는 경우도 발생 하였다.


Ⅴ. 논의점

5-1 탐색적 연구에 대한 논의

에이전트의 발화 전략에 따라서 고령자는 대화에 적극적으로 참여하거나 수동적으로 따르기도 하였으며, 때로는 대화 참여를 거부하는 것을 관찰할 수 있었다. 에이전트의 발화 요소가 고령자의 대화참여 동기에 영향을 줄 수 있었음을 현상적으로 살펴볼 수 있었는데, 이는 자기결정이론이 설명하는 바, 개인은 환경적 맥락으로부터 영향받고, 특정 활동참여와 관련해 동기화 된다는 내용과 유사하다.

특히 관여적 측면에서, 발화자가 상대방과의 상호작용에서 충분한 시간을 할애하고, 자신에 대해 흥미와 열정을 보일 때 상대는 관계성을 느끼게 되어 특정 활동에 대해 더 관여함을 볼 수 있었다. 주로 홀로 TV를 시청하는 고령자의 경우 TV에서 일방적으로 제공되는 정보에 노출되어 단 방향적인 소통을 하게 되는데, 대화형 에이전트와 동반 시청 상황시에는 대화할 수 있는 환경이 갖춰지게 된다. 본 연구에서 에이전트는 고령자에게 선제적으로 발화하고, 고령자의 삶에 대해 질문하였으며 이는 실제 1시간 동안 200번정도 발화를 주고받는 등 턴테이킹이 빈번하게 발생하는 현상으로 나타났다. 이는 에이전트의 발화를 통한 관여적 맥락 형성이 고령자의 대화 참여를 이끌어냈다고 볼 수 있으며 기존 연구에서 사람이 관계성을 느끼도록 하는 방법이[21], 사람이 아닌 에이전트를 통해서도 동일하게 적용될 수 있음을 의미한다.

구조적 측면에서, 에이전트의 발화에 따라 고령자는 대화 참여가 구조적으로 참여할 만 하게 느껴짐에 따라 대화에 더 참여하게 됨을 알 수 있었다. 에이전트가 고령자를 ‘할머니’ 또는 ‘할아버지’라고 부르는 행위는 고령자는 에이전트를 어린아이로 인식하고 자신보다 지능의 수준이 낮아 어느 것이든 가르쳐줄만 한 대상으로 여기게 되어 유능성을 느꼈을 것으로 고려된다. 또한 고령자가 발화를 했을 때 어떠한 경우이든 맞장구를 쳐줌으로써 대화가 성공적으로 이뤄지고 있음을 알게 되어 대화에 더 참여할 수 있었다. 또한 에이전트가 고령자의 신체적, 환경적, 지적 한계를 고려하여 적정한 대화를 유도할 때 고령자가 더 대화에 잘 참여할 수 있음을 알 수 있었다. 간단한 질문을 통해 대화를 시작하고 구체적인 질문으로 대화를 이어감에 따라 고령자는 자연스럽게 더 많은 발화를 이어갔다. 에이전트의 발화 내용을 듣기 어렵거나 이해하지 못하는 경우 고령자는 스스로를 탓하거나 엉뚱한 대화를 이어가는 것을 볼 수 있었는데, 고령자가 에이전트의 발화를 잘 수용할 수 있는 매체나 방법을 적용한다면 고령자의 좌절이나 소통의 오류를 완화시키며 적정한 대화를 유도할 수 있을 것이다.

자율성지지 측면에서는, 에이전트가 고령자의 발화에 대해 의미를 부여하고, 발화를 적극적으로 수용할 때 고령자가 더 동기화 되어 대화에 적극적으로 참여함을 볼 수 있었다. 에이전트의 발화 내용에 대해 고령자는 발화의도를 궁금해 했으며 의도에 대한 설명의 부재는 대화의 종결로 이어졌다. 의도가 모호한 발화는 의도에 대한 질문의 발화를 유도할 수 있었지만, 해당 질문에 대해 답을 해줄 수 없게 됨에 따라 일차적으로는 대답 불가로 인해 대화가 중단되고, 이차적으로는 대화의 원천적 목적을 상실하게 되거나 의미없는 대화를 지속한다는 느낌을 주게 되어 에이전트의 정체성에 대한 평가에 영향을 줄 수 있었다. 반면 고령자의 발화에 대해서 에이전트가 적극적으로 맞장구 쳐주며 반응을 해주게 될 때 고령자는 스스로 다양한 주제에 대한 발화를 시도할 수 있게 되어 자율성이 지지됨을 볼 수 있었다. 그러나 에이전트가 맞장구를 포함하여 적극적으로 발화하는 경우 고령자와 에이전트가 동시에 발화 할 수 있는데, 이는 주도권의 충돌을 가져오는 것을 볼 수 있었다. 동시발화의 대부분의 상황에서 고령자들은 에이전트의 발화에 따라서 반응적 발화를 하였는데, 고령자의 자율적인 발화 참여를 위해서는 주도권 충돌상황에서 에이전트가 먼저 고령자에게 주도권을 양보함으로써 자율성을 지지해준다면 고령자가 대화에 더 적극적으로 참여할 수 있을 것으로 판단된다. 탐색적으로 살펴본 본 연구의 결과를 관여, 구조, 자율성 지지의 측면으로 종합해 볼 때, 고령자와의 대화를 통해 세 가지 욕구를 충족시키는 방법과 관련된 발화 요소를 연결시켜보면 <표 2>와 같다.

Methods, Context and Needs to induce elderly conversation with conversational agent

이는 기존에 자기결정이론에서 사람사이에서 특정 활동에 참여를 유도하는 방법들과 제공되는 맥락에 대해서 에이전트와 대화하는 경우로 확장시킨 결과이며, 본 연구에서는 이를 통해 도출된 방법에 따라 향후 고령자를 위한 대화형 에이전트가 갖춰야 할 디자인 가이드라인을 구성해 보았다.

5-2 대화 디자인 가이드 라인에 대한 논의

자기결정이론과 탐색적 연구결과를 바탕으로 도출한 고령자를 위한 대화 에이전트 디자인 요소는 다음과 같다. 자기결정이론의 참여유도와 관련한 관계성, 유능성, 자율성을 각각 충족시키기 위한 관여적 관점, 구조적 관점, 자율성지지 관점으로 각 디자인 요소가 구별되었다.

1) 관여적 관점
- 발화를 통한 관계설정 ; 고령자들은 에이전트가 자신을 부르는 말에 따라 에이전트와의 관계를 지각하며 이를 고려하여 발화하였다. 고령자는 자신보다 더 어린 에이전트에게 자신의 정보를 제공하는데 기꺼이 제공할만한 대상으로 여겼으며, 에이전트에 대한 정보를 대화를 통해 습득한 고령자들은 이후 대화에 더 쉽게 적응을 했다. 따라서 향후 에이전트 개발에서는 에이전트가 ‘할머니, 할아버지’와 같이 고령자를 부르는 호칭을 통해 관계를 설정할 필요가 있으며 사용 초기단계에서 에이전트 자신에 대한 소개와 관심, 목표 등에 대한 내용을 대화의 주제로 삼음으로써 관계설정을 충분히 수행할 필요가 있다.
- 맞장구를 통한 관심표현 ; 참가자들은 에이전트가 자신의 발화에 반응을 보이며 관심을 가질 때 에이전트에게 적극적으로 발화했다. 지속적인 피드백이 있을 때 고령자는 다양한 주제의 발화도 시도했으며, 지속적인 발화를 하였다. 따라서 에이전트는 고령자의 발화에 대한 맞장구를 빈번하게 행할 필요가 있으며, ‘그래요? 정말요?’등의 짧은 맞장구에 대해서도 충분히 활용할 필요가 있다.
2) 구조적 관점
- 적절한 주제가 반영된 대화 디자인 ; 고령자에 따라 대화를 유도할 수 있는 주제가 매우 다양하므로 적절한 대화의 주제를 선정하는 것은 대화유도에 큰 영향을 미칠 수 있다. 따라서, 에이전트와의 대화 주제는 ‘건강, 사회이슈’ 등 고령자가 지속적으로 관심을 갖고 발화할 수 있는 주제이거나, 본 연구의 TV 프로그램과 같이 지속적으로 변화함으로써 관심사를 탐색할 수 있는 주제일 필요가 있다.
- 제한 요소를 고려한 대화 디자인 ; 고령화로 인한 감각기능의 노화로 인해 에이전트와의 대화에 한계가 발생했다. 또한 대화 주제나 표현에 대한 생소함으로 인해 대화가 잘 이뤄지지 않았다. 이러한 한계 상황에서 고령자는 에이전트와의 대화에 어려움을 느끼고 대화를 포기하거나, 자신이 인식한 대로 발화함으로써 올바른 상호작용이 되지 않을 수 있다. 따라서 고령자의 신체적, 환경적 한계를 고려해 음성보다는 시각자극과 같은 고령자가 수용가능한 대화의 모달리티를 적용할 필요가 있으며, 생소한 내용에 대해 다른 말로 표현할 수 있는 융통성 있는 대화 디자인이 필요하다.
3) 자율성지지 관점
- 주도권 양보를 고려한 적극적인 선제발화 ; 참가자들은 에이전트가 먼저 참여자를 호명할 때 매우 빈번하게 대화에 참여했다. 또한 고령자에 대한 개인적인 질문을 통해 흥미를 보일 때 자신에 대해 개방하며 대화에 참여하였다. 하지만, 동시에 발화하는 등 주도권이 충돌할 경우 고령자는 자신의 주도권을 포기하는 경향을 보였다. 따라서, 향후 대화형 에이전트는 고령자에게 선제발화를 적극적으로 하되 대화가 이동하는 과정에서 주도권이 충돌할 때 고령자에게 이를 명시적으로 양보하며 고령자의 발화를 유도할 필요가 있다.
- 분명한 의도가 반영 된 대화 디자인 ; 참가자들은 에이전트의 발화에 대해 어떠한 의도가 있는지 궁금해하며 질문 또는 되질문 했다. 발화에 의도가 명시적이지 않은 경우 고령자가 대화의 목적을 파악하지 못해 참여동기에 부정적인 영향을 미칠 수 있다. 따라서 에이전트는 발화 때에 선제적으로 특정 이유 때문에 발화를 한다고 표현하거나, 고령자의 질문시에 반응적으로 발화의 특정한 의도가 있었음을 표현할 필요가 있다.

Ⅵ. 디자인 요소 기반 대화형 에이전트 개발 : 새미

6-1 치매예방 인지기능 강화 에이전트

연구 결과를 바탕으로 도출한 디자인요소를 반영하여, 치매예방을 위한 인지기능 강화 에이전트 "새미"를 개발하였다. 새미는 고령자와 대화를 통해 인지기능 강화를 위한 콘텐츠를 제공하는 대화형 에이전트이다.

6-2 System overview

새미는 메신저 플랫폼인 카카오톡을 기반으로 하는 챗봇[39]형태의 대화형 에이전트이다. 새미는 카카오톡 플랫폼과 자체 개발한 서버간 통신을 통해 대화의 흐름을 자유롭게 조절하며 사용자와 상호작용한다. 자체 개발한 서버는 Java-script 기반의 Node.js로 구현하였으며 Google의 dialogflow를 연계하여 메시지의 의도를 파악하고 대화의 흐름을 디자인하도록 구현했다. 이를 바탕으로 서버는 사용자가 새미와의 채팅에서 입력한 메시지에 반응하여 응답 메시지를 보내며, 입력방식(버튼, 텍스트)을 설정하여 향후 받고자 하는 응답 구조를 조절한다.

새미는 카카오톡의 챗봇 인터페이스를 기반으로 사용자의 발화를 텍스트나 버튼으로 입력받고 그 내용에 따라 텍스트, 이미지의 형태로 에이전트의 발화를 출력한다(그림 1). 탐색연구 결과 음성 대화를 바탕으로 에이전트가 고령자와 대화하는 경우 고령자의 대화 주제의 전환이 빈번하고, 질문이 많아 모든 대화를 처리하기 어려웠다. 또한 고령자의 신체적 한계와 기기의 한계, 환경적 한계 상황에서 대화를 지속하기 어려운 상황들이 나타나는 등 음성 대화의 한계 극복이 필요했다. 이를 위한 방안으로 GUI 기반의 챗봇으로 대화형 에이전트를 구현하였다. 또한 카카오톡은 고령 사용자가 2017년 기준 521만명(과학기술정보통신부, 2017)으로 개발된 시스템의 미디어 접근성 측면에서도 대화형 에이전트 구현은 챗봇의 형태가 적절할 것으로 판단된다.

Fig. 11.

Example of system operation; (left) Induction of cognitive training through initiative dialogue (right) Cognitive training example and a single message button (yellow oval "Yes" button)

6-3 개선된 대화적 feature

탐색적 연구를 바탕으로 도출된 디자인 가이드라인을 반영하여 구현한 치매예방 에이전트의 대화 특성은 다음과 같다. 참여유도와 관련한 3가지 기본심리욕구를 충족시키기 위한 관여적 관점, 구조적 관점, 자율성지지 관점의 전략들이 적용되었다.

1) 관여적 관점

(1) 견습생 같은 대화

- 새미는 고령자와 함께하며 자주, 오랫동안 함께 인지강화 게임을 할 수 있도록 조르는 견습생과 같은 발화를 하도록 구성하였다. 견습생은 전문적인 지식을 학습하는 단계에서 많은 실습을 필요로 하기 때문에 대화에 참여하는 고령자에게 자신이 습득한 지식을 적극적으로 자랑하거나 전달하고 함께 학습할 것을 제안할 수 있다. 치매예방훈련 측면에서 새미는 고령자에게 게임을 하자고 조르거나 게임 중단의 상황에서도 계속 하자고 조르는 형태의 발화를 통해 고령자가 인지강화 훈련에 보다 적극적으로 참여할 수 있도록 동기부여를 할 수 있다. 또한 견습을 통한 치매예방 정보들을 전달하는 빈번한 발화를 통해 대화를 유도할 수 있다.

(2) 맞장구와 관심표현

- 새미는 고령자의 응답에 대해 맞장구를 치며 관심을 표현하며, 고령자의 발화를 반복하며 응대해줌으로써 공감을 표현한다[40]. 또한 게임 진행시에 대화를 통해 피드백[22]을 줌으로써 관심받고 있다는 경험과 함께 게임에 몰입할 수 있도록 유도한다.
2) 구조적 관점

(1) 메시지 버튼을 활용한 발화 유도

- 새미는 챗봇 인터페이스를 활용하므로 대화의 흐름을 의도에 따라 조절할 수 있다. 특히 메시지 버튼을 활용하여 사용자로부터 제한된 수의 정형화된 응답을 받을 수 있다. 스마트폰 사용에 능숙도가 낮은 고령자가 직접 타이핑하여 자신의 의견을 입력하기보다는 버튼을 눌러 손쉽게 자신의 의사를 표명할 수 있다. 이를 통해 고령자는 자신의 의견을 실시간 또는 지연된 형태로 에이전트와 소통할 수 있다.

(2) 치매 예방 관련 게임 기반 대화

- 새미는 고령자가 치매예방 인지훈련 게임을 수행하도록 도와주는 에이전트로서, 발화의 목적과 의도가 인지훈련게임에 집중되어 있음을 사전에 알린다. 다양한 대화주제를 사용한 필드 스터디와는 달리 새미는 '게임 제안-게임 수행-결과 제시'와 같은 게임의 흐름에 따라 발화를 하고 고령자의 응답과 참여를 유도한다. 새미가 분명한 목적과 흐름을 갖고 발화하기 때문에 고령자는 새미의 발화 의도를 쉽게 파악할 수 있다. 또한 대화에서 몰입[22]을 경험할 수 있도록 새미는 게임 요소들을 대화에 녹여 발화한다. 빈번한 발화 주제로 언급되었던 '건강'에 관한 에이전트로서 고령자가 다른 주제에 비해 수용하기 쉬울 것으로 판단된다.
3) 자율성지지 관점

(1) 언제든지 대화가 가능한 고령자 주도의 상호작용

- 새미는 고령자가 대화를 시작하면 고령자를 부르며 응대하고, 추가적으로 말을 걸며 대화에 적극적으로 참여한다. 60대의 52.5%, 70대의 70.7%가 인스턴트메신저를 하루 평균 5회 미만 사용하는(과학기술정보통신부, 2017) 현 상황에서 언제든지 대화가 가능하며, 대화를 주도하는 에이전트를 통해 사용자는 소통 가능한 존재로서 새미를 경험할 수 있다. 고령자의 대화 개시에 에이전트가 적극적으로 응대해줌으로써, 고령자는 본인이 원할 때 대화를 할 수 있으며, 챗봇 기반의 소통을 통해 대화의 충돌 없이 고령자 각자의 발화속도에 맞춰 대화를 주도할 수 있다.

(2) Onboarding 과정을 통한 목적제시

- 새미는 자기를 먼저 소개하며 고령자와의 대화를 시도한다. 치매예방 게임에 대해서 소개하기 전에 치매와 관련된 경험을 물어보며, 자연스럽게 치매예방을 위한 서비스로 진입하고 함께 목표를 성취하자고 제안한다. 특히 새미는 사용자의 정보를 얻기 전에 자신을 드러내고 질문을 함으로써 사용자의 정보를 원활히 획득[41] 할 수 있으며, 획득된 사용자의 정보를 바탕으로 추후 발화를 함으로써 사용자를 잘 알고 대화한다는 인식을 갖도록 유도할 수 있다.

Ⅶ. 결 론

본 연구에서는 고령자의 대화를 증진시키기 위한 에이전트를 개발하기 위해 고령자를 위한 대화형 에이전트가 가져야 할 대화 디자인 요소를 탐색적 연구를 바탕으로 도출하고, 이를 적용한 대화형 에이전트 ‘새미’를 개발하였다. 65세 이상 고령자 23인의 가정을 직접 방문하여 Wizard of Oz 방법을 통해 고령자의 가정 내에서 대화형 에이전트와 고령자가 대화할 때 어떤 현상들이 나타나는지 관찰하였다. 대화 시 나타나는 현상들로부터 도출된 디자인 요소와 고령자가 관심이 있고 지속적으로 대화할 수 있는 인지훈련 컨탠츠를 접목하여 챗봇 형태의 대화형 에이전트를 제안하였다.

본 연구는 몇 가지 제한점을 가지고 있다. 첫째 서울에 거주하는 23명의 제한된 연구 참여자들로부터 1시간의 대화 내용을 취득하여 현상을 분석하고 에이전트 개발을 위한 디자인 요소를 도출한 점이다. 둘째, 음성 대화에서의 대화적 특징을 챗봇 기반의 대화에 적용했다는 점이다. 대화형 에이전트라는 점에서 음성과 챗봇 기반은 모두 대화 기반의 상호작용을 하지만 탐색적 연구를 음성기반으로 진행했다는 점에서, 도출된 디자인 요소들이 챗봇기반의 에이전트 개발에 적절한 것인지는 추가적인 연구를 통해 검증될 필요가 있다.

따라서 본 연구는 향후, 고령자들이 챗봇 환경에서 새미와 같은 에이전트와 대화할 경우 어떤 현상들이 나타나며 본 연구에서의 음성 에이전트가 제공한 대화유도를 위한 방법이 동일하게 챗봇 상황에서도 유효한지 알아보고자 한다. 또한 챗봇 기반 게임에 대한 고령자의 수용가능여부를 알아봄으로써 인지강화 훈련 컨텐츠가 에이전트와 고령자가 지속적으로 대화하기 적절한 주제인지 살펴보고, 대화와 인지훈련이 고령자의 삶의 질에 상승효과를 나타낼 수 있는가에 대한 가능성을 탐구하고자 한다.

Acknowledgments

이 논문은 과학기술정보통신부의 재원으로 한국연구재단-과학기술인문사회융합연구 사업의 지원을 받아 수행된 연구임(NRF-2017M3C1B6071145, NRF 2017M3C1B6071147)

참고문헌

  • A .P. Dickens, S. H. Rechards, C. J. Greaves, and J. L. Cambell, "Interventions targeting social isolation in older people: a systematic review", BMC public health, 11(1), p647, (2011). [https://doi.org/10.1186/1471-2458-11-647]
  • C. M. Perissinotto, S. C. Irena, and E. C. Kenneth, "Loneliness in older persons: a predictor of functional decline and death", Archives of internal medicine, 172(14), p1078-1084, (2012).
  • S. H. Lee, J. W. Won, H. S. Baek, K. J. Park, B. S. Kim, B. S. Kim, H. L. Choi, & Y. H. Hong, “Influence of Loneliness on Cognitive Decline among Elderly Living Alone in Korea: One Year Prospective Study”, Korean J Fam Med, 29(9), p695-701, (2008).
  • L. A. Peplau, “Perspective on loneliness. Lonelinss: A Sourcebook of Current Theory”, Research and Therapy, (1982).
  • J. de Jong-Gierveld, "Developing and testing a model of loneliness", Journal of personality and social psychology, 53(1), p119, (1987). [https://doi.org/10.1037//0022-3514.53.1.119]
  • R. N. Butler, & M. I. Lewis, Aging & mental health: Positive psychosocial approaches, Oxford, England, C. V. Mosby, (1973).
  • C. H. Solano, & N. H. Koester, "Loneliness and communication problems: Subjective anxiety or objective skills?", Personality and Social Psychology Bulletin, 15(1), p126-133, (1989).
  • Y. Nakanishi, H. Sugisawa, and H. Ishikawa, “User Evaluation of Listening Volunteer for Housebound Elderly People: Examination in the Case of Interviewer”, Bulletin of Institute of Sociology and Social Work, No. 39, p85-96, (2009).
  • C. L. Breazeal, Designing sociable robots, MIT press, (2004). [https://doi.org/10.7551/mitpress/2376.001.0001]
  • E. Broadbent, R. Stafford, & B. MacDonald, "Acceptance of healthcare robots for the older population: Review and future directions", International journal of social robotics, 1(4), p319, (2009). [https://doi.org/10.1007/s12369-009-0030-6]
  • Voice bot.ai, Smart Speaker Consumer Adoption Report 2018, Available: https://voicebot.ai/wp-content/uploads/2018/03/smart_speaker_consumer_adoption_report_2018.pdf.
  • A. Cesta, G. Cortellessa, V. Giuliani, F. Pecora, R. Rasconi, M. Scopelliti, & L. Tiberio, Proactive assistive technology: An empirical study, In IFIP Conference on Human-Computer Interaction, p255-268, Springer, Berlin, Heidelberg, (2007, September). [https://doi.org/10.1007/978-3-540-74796-3_25]
  • L. Ring, L. Shi, K. Totzke, & T. Bickmore, "Social support agents for older adults: longitudinal affective computing in the home", Journal on Multimodal User Interfaces, 9(1), p79-88, (2015). [https://doi.org/10.1007/s12193-014-0157-0]
  • M. Johansson, T. Hori, G. Skantze, A. Höthker, and J. Gustafson, “Making turn-taking decisions for an active listening robot for memory training”, In International Conference on Social Robotics, p940-949, November), (2016.
  • H. Abdollahi, A. Mollahosseini, J. T. Lane, and M. H. Mahoor, “A Pilot Study on Using an Intelligent Life-like Robot as a Companion for Elderly Individuals with Dementia and Depression”, IEEE-RAS 17th International Conference on Humanoid Roboticsw, p541-546, (2017).
  • H. Minami, H. Kawanami, M. Kanbara, and N. Hagita, “Chat robot coupling machine responses and social media comments for continuous conversation”, In 2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), p1-6, July), (2016.
  • S. Nishimura, H. Kawanami, M. Kanbara, and N. Hagita, “A TV Chat Robot with Time-Shifting Function for Daily-Use Communication”, In International Conference on Social Robotics, p516-525, November), (2017.
  • Y. Fernaeus, M. Håkansson, M. Jacobsson, and S. Ljungblad, “How do you play with a robotic toy animal?: a long-term study of pleo”, In Proceedings of the 9th international Conference on interaction Design and Children, p39-48, June), (2010.
  • E. L. Deci, & R. M. Ryan, “Intrinsic motivation”, The corsini encyclopedia of psychology, ch. 1-2, (2010).
  • M. Miserandino, Personality psychology: Foundations and findings, Upper Saddle River, NJ, Pearson, (2012).
  • J. P. Connell, & J. G. Wellborn, “Competence, autonomy, and relatedness: A motivational analysis of self-system processes”, Minnesota Symposia on Child Psychology, (1991).
  • M. Csikszentmihalyi, Finding flow: The psychology of engagement with everyday life, Basic Books, (1997).
  • M. Vansteenkiste, J. Simons, B. Soenens, & W. Lens, “How to become a persevering exerciser? Providing a clear, future intrinsic goal in an autonomy-supportive way”, Journal of Sport and exercise Psychology, 26(2), p232-249, (2004). [https://doi.org/10.1123/jsep.26.2.232]
  • R. Koestner, R. M. Ryan, F. Bernieri, & K. Holt, “Setting limits on children's behavior: The differential effects of controlling vs. informational styles on intrinsic motivation and creativity”, Journal of personality, 52(3), p233-248, (1984). [https://doi.org/10.1111/j.1467-6494.1984.tb00879.x]
  • R. Anderson, S. T. Manoogian, & J. S. Reznick, “The undermining and enhancing of intrinsic motivation in preschool children”, Journal of personality and social psychology, 34(5), p915, (1976). [https://doi.org/10.1037//0022-3514.34.5.915]
  • Institute for Research and Reform in Education, Research Assessment Package for Schools (RAPS) manual, Available : https://morandissertation.files.wordpress.com/2013/01/raps_manual_entire_19981.pdf.
  • B. Hanington, & B. Martin, Universal methods of design: 100 ways to research complex problems, develop innovative ideas, and design effective solutions, Rockport Publishers, (2012).
  • J. Lull, Inside family viewing: Ethnographic research on television's audiences, London, Routledge, (1990).
  • R. M. Krauss, et al., "The role of audible and visible back-channel responses in interpersonal communication", Journal of personality and social psychology, 35(7), p523, (1977). [https://doi.org/10.1037//0022-3514.35.7.523]
  • J. L. Austin, How to do things with words, Oxford university press, Vol. 88, (1975). [https://doi.org/10.1093/acprof:oso/9780198245537.001.0001]
  • J. Allen, Natural language understanding, Pearson, (1995).
  • R. Y. Hirokawa, “A comparative analysis of communication patterns within effective and ineffective decision‐making groups”, Communications Monographs, 47(4), p312-321, (1980). [https://doi.org/10.1080/03637758009376040]
  • K.H. Jang, & S. J. Kim, “Survey of back-channeling performance according to age and gender factors”, Text linguistics, 25, p219-247, (2008).
  • Y. Kim, S. S. Kwak, & M. S. Kim, “Am I acceptable to you? Effect of a robot’s verbal language forms on people’s social distance from robots”, Computers in Human Behavior, 29(3), p1091-1101, (2013). [https://doi.org/10.1016/j.chb.2012.10.001]
  • J. Y. Parl, “A Study on Terrestrial Television Viewing and Preference Characteristics of the Elderly”, Research in Media Science, 13(1), p185-218, (2013).
  • I. Sorensen, Expectations on Chatbots among Novice Users during the Onboarding Process, (2017).
  • M. J. Won-Doornink, “Self-disclosure and reciprocity in conversation: A cross-national study”, Social Psychology Quarterly, p97-107, (1985).
  • G. A. Gates, & J. H. Mills, “Presbycusis”, The Lancet, 366(9491), p1111-1120, (2005). [https://doi.org/10.1016/s0140-6736(05)67423-5]
  • M. L. Mauldin, "Chatterbots, tinymuds, and the turing test: Entering the loebner prize competition", AAAI, Vol. 94, (1994).
  • S. Rollnick, and R. M. William, "What is motivational interviewing?", Behavioural and cognitive Psychotherapy, 23(4), p325-334, (1995).
  • I. Altman, and D. A. Taylor, Social penetration: The development of interpersonal relationships, Holt, Rinehart & Winston, (1973).

저자소개

박중신(Joong-sin Park)

2014년 : 성균관대학교 전자전기공학 (공학 학사)

2016년 : 성균관대학교 휴먼ICT융합학 (공학 석사)

2007년~2014년: 성균관대학교 전자전기공학 (공학 학사)

2014년~2016년: 성균관대학교 휴먼ICT융합학 (공학 석사)

2017년~현재: 연세대학교 기술경영학협동과정 박사과정

※관심분야: Human-Computer Interaction, Companion Technology, Chattbot

윤정미(Jung-mi Yoon)

2017년 : 홍익대학교 커뮤니케이션 디자인전공 (미술 학사)

2012년~2017년: 홍익대학교 커뮤니케이션 디자인 전공 (미술 학사)

2018년~현재: 연세대학교 인지과학협동과정 석사과정

※관심분야: Human-Computer Interaction, Companion Technology, Voice User Interface

황우호(Yuhao Huang)

2016년 : 연변대학 MIS (관리학 학사)

2012년~2016년 : 연변대학 MIS (관리학 학사)

2017년~현재: 연세대학교 경영대학 석사과정

※관심분야: Human-Computer Interaction, Companion Technology, Machine Learning, Chattbot

강윤영(youn-young Kang)

2018년 : 고려대학교 심리학(문학 학사) & 뇌인지융합전공(공학 학사)

2014년 ~ 2018년 : 고려대학교 심리학 (문학 학사)

2015년 ~ 2018년 : 고려대학교 뇌인지융합전공 (공학 학사)

2018년 ~ 현재 : 연세대학교 인지과학협동과정 석사과정

※관심분야 ; Human-Computer Interaction, Cognitive Science

고현정(Hyun-Jeong Ko)

2018년 : 이화여자대학교 영상디자인학 (디자인 학사)

2013년~2018년: 이화여자대학교 영상디자인학 (디자인 학사)

2018년~현재: 연세대학교 인지과학협동과정 석사과정

※관심분야: Human-Computer Interaction, Companion Technology, Chattbot

김보리(Bori Kim)

2015년 : 이화여자대학교 뇌인지과학 (이학 석사)

2018년 : 이화여자대학교 뇌인지과학 (이학 박사)

2018년~2019년: 이화여자대학교 뇌융합과학연구원 박사후연구원

2019년~현재: 이화여자대학교 의과학연구소 박사후연구원

※관심분야: Seniors, Brain imaging,

홍세준 (Se-Joon Hong)

1986년: 서울대학교 국제경제학과 (경제학사)

1999년: Carnegie-Mellon University (경영학 박사)

1991년~1994년: 한국 IBM

1999년~2006년: 홍콩 과학기술대학교 조교수

2006년~현 재: 고려대학교 경영대학 교수

※관심분야:Human Factors, 기술수용, Digital Healthcare

김건하(Geon Ha Kim)

2004년 : 이화여자대학교 의과대학 의학과 (학사)

2009년 : 이화여자대학교 의과대학 의학과 (석사)

2015년 : 이화여자대학교 의과대학 의학과 (박사)

2009년~ 2013년: 삼성서울병원 신경과 임상강사

2013년~2015년: 이대목동병원 신경과 임상조교수

2015년~2018년: 이화여자대학교 뇌융합과학연구원 연구교수

2019년~현재: 이대목동병원 신경과 임상부교수

※관심분야: Dementia, Mild cognitive impairment, Cognitive intervention, Brain imaging,

김진우(Jin-woo Kim)

1986년 : 연세대학교 경영학과 (학사)

1988년 : University of California, Los Angeles (경영학 석사)

1991년 : Carnegi Mellon University (HCI 석사)

1993년 : Carnegi Mellon University (HCI 박사)

1994년~ 현재 : 연세대학교 경영학과 교수

1997~ 현재 : 연세대학교 기술경영학협동과정 주임교수

1998년~현재 : 연세대학교 인지과학협동과정 실무교수

1994년~현재: 연세대학교 HCI Lab 교수

※관심분야: AI Service for Mental Care: Depression, Dementia, & ADHD

Fig. 1.

Fig. 1.
Environment for data collection

Fig. 2.

Fig. 2.
Self-disclosure of elderly people after that of agents

Fig. 3.

Fig. 3.
Speaking in succession in response to a short back-channel

Fig4.

Fig4.
Conversation like between grandparent and grandchildren

Fig. 5.

Fig. 5.
Expanding conversations with easy and deepening questions

Fig. 6.

Fig. 6.
Discontinued conversations after a question and a question after the question.

Fig. 7.

Fig. 7.
Changing theme according to active response

Fig. 8.

Fig. 8.
Example of ending a conversation following a series of questions

Fig. 9.

Fig. 9.
Restricted dialogue by hearing loss and unfamiliar words

Fig. 10.

Fig. 10.
Conflicts of initiative and adaptation of the elderly

Fig. 11.

Fig. 11.
Example of system operation; (left) Induction of cognitive training through initiative dialogue (right) Cognitive training example and a single message button (yellow oval "Yes" button)

Table 1.

Agent's proactive and back channel speech example

Speech Type All Reflecting Vertical Relationship
Proactive Calling
- Grandma!
- Grandpa!

Emotional
- Oops!
- Oh my!
Question - Judgment
(Do you like kimchi?)
- Kimchi joh-a haeyo? (HS)₩
- Kimchi joh-a hae? (FS)
Question – Explanation
(Who is Kim Gun Mo?)
- Gimgeonmoga nugueyo? (HS)
- Gimgeonmoga nuguya? (FS)
Declaration
(I want to go to the island to play)
- Seom-e nolleogago sip-eoyo (HS)
- Seom-e nolleogago sip-eo (FS)
Back-channel Basic
- Ah
- Hmm
- Uh

Emotional
- Wow
- Wonderful
- Amazing!
Positive (yes)
- Ye, Ne (HS) / Eung (FS)
Recognition with confirmation (really?)
- Geulaeyo? Jeongmal-yo? Jinjjayo? (HS)
- Geulae? Jeongmal? Jinjja? (FS)
Recognition with consent (I see.)
- Geuleohgun-yo, Geuleohjiyo, Maj-ayo (HS)
- Geuleohguna, Geuchi, Maj-a (FS)
Substitutional (I know, You did)
- Geuleogeyo, Geuleohjyo, Geuleosyeossguna (HS)
- Geuleoge, Geuleohji, Geulaessguna (FS)
Induction (and then)
- Geulaeseoyo, Geuligoyo, Geundeyo (HS)
- Geulaeseo, Geuligo, Geunde (FS)

Table 2.

Methods, Context and Needs to induce elderly conversation with conversational agent

Methods Context Needs
- Proactive speech (calling, questions, etc.)
- Expressing interest through questions
- Responses to Common Context
- Providing help through answering questions
- Consent and sympathy for utterance
- Self-disclosing
- Set up relationships through tutorials
Involvement Relatedness
- Expression of low intellectual level
- Provide active feedback on elderly speech
- Appropriate questions based on intimacy
- Start a conversation with a simple question
- Deepening conversation with additional questions
- Speaking with physical limitations such as hearing
- Use and change the age-appropriate terms
Structure Competence
- Express the purpose of the question and conversation
- Express sympathy for opinions
- Give the initiative of conversation
- Encouraging self-directed utterance
Autonomy support Autonomy