입시상담 챗봇 설계와 챗봇을 활용한 입시상담 업무 간소화의 효용성 분석

2-1 챗봇 서비스

챗봇이라는 용어는 채팅(chatting)과 로봇(Robot)이 결합한 합성어다. 사람들이 일상적으로 사용하는 언어를 소프트웨어가 이해하고 대화까지 가능한 채팅 로봇을 의미한다. 기능적으로는 사람이 작성한 글이나 음성을 자연어로 인식한 후 연관정보를 제공해주거나 알맞은 답을 줌으로써 기존 상담에서 발생할 수 있는 시간적 혹은 공간적인 제약을 전혀 받지 않고 이용할 수 있어서 대기시간이나 방문시간을 절약하는 장점이 있다. 그리고 지속해서 생성되는 질문들을 자료화하여 분석한 후 논리적인 추론이 가능하도록 적절한 답변을 제시할 수 있게 보완해나간다면 추가적인 프로그램이나 기능을 설치할 필요가 없다. 무엇보다도 현대사회의 필수품인 스마트폰을 사용하여 온라인으로 실시간으로 사용할 수 있으며 사물인터넷과 같은 무선기기들을 연동하여 다양한 디지털기기를 활용할 수 있다. 일상적인 대화에 어려움이 있거나 대화 능력이 떨어지는 사람도 손쉽게 접근하여 이용할 수가 있어 중앙부처와 지방자치단체 그리고 대학교, 기업 등에서 챗봇서비스를 활용하여 민원업무를 수행하기도 하고 어려운 절차나 과정을 거치지 않고 민원을 제기하고 답을 구할 수도 있다. 현재 챗봇서비스는 여러 분야에서 활용되고 있다. 의료지원과 같은 분야에서 챗봇을 활용하게 된다면 예측 진단 또는 예약과 같은 기타 보조 기능을 제공하여 의료 산업을 재편하는 데 중요한 역할을 할 수 있습니다[4]. 인적자원 관리와 같은 분야에서는 인적자원 등록과 관련된 프로파일링을 위하여 딥러닝을 적용한 챗봇 서비스를 사용하고 있다 [5]. 이와 같이 여러 분야에서 챗봇 서비스를 시범도입하고 있지만 입시상담과 같은 분야에서는 챗봇을 도입한 경우를 찾기가 어렵다.

Fig. 1.

Public Chatbot Service [6]* It is impossible to write in english due to the chatbot service example.

2-2 챗봇 서비스 구성요소

챗봇을 구성하는 가장 핵심적인 요소들은 텍스트분석(Text analytics)과 기계학습(Machine learning)이다. 텍스트 분석은 자연어처리, 자연어 이해, 구문 분석, 의미 인식 등으로 세분화할 수 있다. 다시 말해서 사용자가 입력한 질문의 의미를 문장과 그 구성성분을 통해 파악하는 기술을 말하는 것이다.

기계학습 즉, 머신러닝은 챗봇이 사용자의 질문에 자연스럽고 원하는 답변을 제시하기 위해 사용자의 질의를 분석하여 입력된 발화를 바탕으로 유사한 답변을 찾기 위해 활용된다. 그림 2처럼 단순 패턴매칭을 통해 의도를 파악하는 것보다 머신러닝을 통해 문장의 의미를 파악하면 보다 넓은 적용 범위를 가질 수 있다. 예를 들어 사용자의 ‘모집정원 궁금해’라는 발화를 패턴매칭은 단순하게 ‘궁금해’를 ‘궁금하다’라는 패턴을 파악한다면 머신러닝은 그것을 넘어 모집정원 수를 알고 싶다는 문장의 궁극적인 의미를 파악하게 된다. 이렇게 하여 어떤 유형의 발화에 대해서도 보다 정확하게 응대할 수 있도록 도와주게 된다.

Fig. 2.

Understanding intent through pattern matching

2-3 입시상담 게시판 질문분석을 통한 챗봇 활용

무수히 많은 공공기관이나 기업에서는 챗봇을 이용한 상담 업무를 실시하고 있다. 챗봇은 상당히 많은 영역에서 상담원 역할을 대신하고 있다. 그리고 직접 입시상담 게시판에 올라온 질문에 답변을 남기는 입시상담업무를 하면서 느꼈던 점은 질문들이 생각보다 단순하거나 반복된다는 것이었다. 예를 들어 수험생의 지원자격 중에 나이 제한에 관한 내용이 있다. 나이와 관련한 질문은 2021년에 10건으로 반복되었다. 해당 내용은 학생모집 요강에 명시되어 있지만 의외로 반복적으로 질문이 들어왔고 수험생 또는 수험생의 부모님들이 입시요강이 어디에 위치하는지 모르거나 관련 정보에 접근하기가 어렵다는 것을 깨달았다.

또한, 질문이 단순 반복적이므로 해당 정보를 시스템을 활용하여 자동화하여 제공한다면 ‘해당 업무를 수행하는 실무자가 입시 게시판에 답변을 남기는 노력과 시간을 절약할 수 있지 않을까’라는 전제로 출발하였다. 게시판 글에 자동으로 처리하는 시스템을 활용하여 현재 고객상담에 활용하고 있는 챗봇을 사용한다면 실제로 입시상담 게시판에 답변을 남기는 여러 물리적인 소요가 감소할 것으로 예측되었다.

3-1 입시상담 챗봇 기본 메뉴 및 시나리오 설계

본 논문에서 사용한 입시상담 챗봇은 카카오비즈니스 내의 카카오i 오픈빌더 플랫폼을 기반으로 설계하였다. 많은 사람이 사용하고 쉽게 접근할 수 있는 SNS인 카카오톡을 통해 제공되는 서비스로 친구추가를 한 후 바로 사용할 수 있다. 카카오톡 챗봇이 사용자의 질문에 응답하려면 이 플랫폼 안의 시나리오를 작성하고 관련 예상질문인 발화를 미리 입력해야 한다.

수험생이 질문했을 때 실제 챗봇이 응답하는 내용인 입시상담 챗봇 시나리오는 그동안 입시 게시판을 통해 입시상담을 하며 단순 반복적으로 수험생들이 자주 질문했던 내용을 바탕으로 구성하였다. 그러므로 자주 질문했던 내용을 리스트화하였고 그 밖에 질문들은 대학교에 대한 정보를 언제 어디서나 얻을 수 있도록 했다. 챗봇 시나리오를 작성하기에 앞서 실제 입시를 경험한 수험생들과 입시 관련 업무를 하는 학교직원들에게 직접 질문을 하여 수정될 사안들을 파악하여 보완하였다.

학교에 대한 정보를 24시간 제공하고 궁금한 점을 해결할 수 있도록 그림 3처럼 챗봇 시나리오를 기반으로 하는 기본 메뉴를 단계적으로 구성하였다. 기본 메뉴는 학교 캐릭터로 구성된 인사말과 함께 시작하고 학교에 관한 전반적인 정보와 올해 입시정보 그리고 자주 묻는 질문사항들을 제공한다. ‘학교에 대하여’는 ‘학교 혜택’, ‘학교 생활’, ‘졸업 후 Vision’으로 구성하여 학교와 학생에 관한 정보를 제공한다.

Fig. 3.

Chatbot Menu Diagram* It is impossible to write in english because it is actual chatbot service menu.

‘입시관련’은 ‘정시/예비 지원자격’, ‘선발 일정/방법’, ‘모집 요강’으로 구성되어 있으며 각종 입시정보를 수험생들과 학부모들에게 제공할 수 있도록 하였다. ‘자주 묻는 질문’은 여러 질문 중 가장 많이 반복되는 질문하는 10가지를 메뉴로 만들어 바로 정보를 제공할 수 있게 설계하였다.

기본 메뉴 외의 시나리오는 총 45개의 수험생이 주로 묻는 질문들을 분석하여 시나리오로 만들었다. 각 시나리오는 최소 20개에서 최대 100개의 발화(예상질문)가 필요하다. 그림 4는 체력검정에 관한 질문에 답변하기 위해 입력된 관련 발화들과 그 답변을 보여주고 있다. 챗봇은 체력검정과 관련된 발화들을 입력하여 유사한 질문을 받으면 입력된 발화를 머신러닝을 통해 질문의 의도를 파악하여 관련 시나리오를 답변하게 된다. 관련된 답변들을 최대한 많이 입력하는 것은 답변의 정확도를 높이는 좋은 방법이다. 각 답변 별로 약 25개의 발화부터 많게는 80여개의 발화를 입력하였으며 입력된 발화를 통해 챗봇이 사용자 질문에 대한 답변을 반환하게 된다.

Fig. 4.

Q&A about Physical Fitness Test* It is impossible to write in english because it is actual chatbot service menu.

3-2 챗봇 채팅 화면구성과 상담서비스 절차

상담 챗봇의 실행 화면과 상담서비스 절차에 관한 내용은 아래 그림 5와 같다. 첫 화면과 ‘안녕’이라는 인사말을 하면 인사시나리오가 실행되어 인사말과 함께 하단에는 기본 메뉴가 나타나고 기본 메뉴를 통해 학교에 대한 소개와 학생모집에 관련된 자료 및 자주 묻는 질문 10가지를 확인할 수 있다. 상담서비스는 3단계로 나누어진다. 1단계는 기본 메뉴를 통해 먼저 기본으로 제공되는 정보를 확인한다. 원하는 정보가 없는 경우 2단계로 직접 챗봇에 직접 질문을 입력하여 원하는 답변을 얻을 수 있다. 3단계는 사용자가 원하는 답변이 없거나 챗봇이 원하는 답변을 제공하지 못할 경우, 챗봇이 폴백블럭을 호출하는데 이때 입시상담연결(상담원 전화번호)로 직접 통화하여 원하는 정보를 얻을 수 있게 설계되었다.

Fig. 5.

Chatbot Display and counseling service procedure* It is impossible to write in english because it is actual chatbot service menu.

3-3 베타테스트를 통한 시스템 보완

챗봇은 완성품을 만들어 처음부터 완벽한 답변을 내놓는 것이 아니라 사용자가 이용하면 이용할수록 오류를 보완하기 때문에 설계자가 보완한 이후에는 질문에 대한 답변이 정교해지는 방식이다. 오류를 보완하기 위해 카카오톡i 오픈빌더 플랫폼은 관리자 메뉴에서 ‘분석’과 ‘학습’ 메뉴를 통해 챗봇을 보완할 수 있다. ‘분석’은 보고서를 통해 질문별 답변들이 정확하게 매칭되는지 그리고 답변하지 못한 질문들이 2회 이상일 경우 일별로 종합해 볼 수가 있다. 그리고 ‘학습’ 메뉴는 제대로 챗봇이 답변하지 못하는 발화와 빈도수를 보여주며 해당 발화를 관련 답변에 바로 매칭 할 수 있게 하여 챗봇이 답변을 정확하게 할 수 있도록 돕는다.

그리고 챗봇은 개발단계에서는 개발자에 의해 입력된 시나리오만 입력이 되어있는데 이외에도 실제 수험생들이 원하는 정보가 있을 수 있다. 이는 챗봇 사용량이 많으면 많을수록 사용자들이 원하는 답변을 업데이트하여 사용자들의 궁금증을 해결할 수 있다. 챗봇을 보완하기 위한 테스트를 위한 대상자는 실제 입시를 경험한 학생들과 교직원들로 구성하여 약 1,200명을 베타테스터로 정하였다. 베타테스트 기간은 21년 10월 13일부터 21년 10월 14일까지 2일간 실시하였다. 그림 6은 이틀간의 챗봇 사용량을 그래프로 보여주고 있다.

Fig. 6.

Chatbot Display and counseling service procedure

블록은 사용자가 챗봇에 질문했을 때 답변을 블록이라고 한다. 2일간 총 블록 사용량은 총 2,842회로 챗봇이 사용자 질문에 약 2,800회 답변하였다.

그림 7은 21년 10월 13에 답변을 하지 못한 폴백블럭 외에 모든 블록을 보여주고 있다. 이 결과를 통해 발화에 따라 관련 답변(발화에 해당하는 블록)이 정확하게 매칭이 되는지 확인할 수 있다. 이를 통해 발화와 관련 답변이 매칭되지 않으면 해당 시나리오에 발화 매칭을 보고 발화를 수정하거나 업데이트하여 사용자들이 원하는 답변을 할 수 있도록 한다. 배타테스트에서는 발화 매칭에 문제가 없어 따로 업데이트하지 않았다.

Fig. 7.

Beta test Number of calls per block* It is impossible to write in english because it is actual chatbot service results.

물론 챗봇이 답변을 제대로 하지 못한 폴백블럭도 있다. 그림 8은 그중에서도 공통으로 가장 많이 답변을 못 한 폴백블럭을 보여주고 있다. 먼저 면접 관련질문이 13회로 가장 많았으며 학과 관련질문은 5회로 두 번째로 많이 질문하였다. 이를 통해 직접 입시를 겪은 학생들을 통해 실제 수험생들이 궁금해하고 챗봇 시나리오에 반영하지 않은 면접과 학과에 관한 내용들을 시나리오에 추가하여 보완할 수 있었다. 그림 9는 면접과 학과에 관한 시나리오를 추가한 모습이다.

Fig. 8.

Questions about 'interview' and 'department' that are not commonly answered* It is impossible to write in english because it is actual chatbot service results.

Fig. 9.

Add scenario for interview and department* It is impossible to write in english because it is actual chatbot service example.

3-4 챗봇 시범 운영 및 홍보용 배너 설치

베타테스트 이후 문제점과 오류들을 보완을 거쳐 21년 12월 1일에 정식 서비스를 시행하기 전 시범 운영을 하였다. 이때 별도로 외부에 관련된 내용을 홍보를 실시하지 않고 입시상담 게시판에 올라온 질문에 대한 답변에만 챗봇을 활용하여 상담이 이루어진다는 안내를 하였다. 이때 챗봇에 관한 홍보를 하지 않았음에도 불구하고 하루평균 1.4명이 사용하는 것으로 나타났다. 이를 통해 챗봇을 통한 입시상담의 가능성을 확인하고 정식 서비스를 실시하는 21년 12월 1일에 그림 10처럼 입시상담 게시판에 상담을 원하는 학부모나 수험생들이 챗봇을 자유롭게 이용할 수 있도록 배너를 넣었다.

Fig. 10.

Chatbot banner added to the entrance examination board* It is impossible to write in english because it is actual chatbot service menu.

그리고 22년 1월 7일 국방일보와 각종 학교 SNS를 통해 챗봇 서비스를 정식적으로 홍보하고 본격적으로 서비스를 개시하게 되었다.

4-1 챗봇 상담 서비스를 통한 기대효과

챗봇 입시상담 서비스를 정식적으로 도입하며 예상되는 기대 효과는 서비스를 통하여 입시상담 게시판에 답변을 남기는 업무 자체가 감소할 수 있음이었다. 그것을 비교하기 위한 지표는 챗봇 서비스를 시작하기 전의 입시상담 게시판의 질문의 개수가 챗봇 서비스를 시작한 이후 질문의 개수를 비교하였을 때 감소할 것으로 예상했다. 비교하는 기간은 입시 기간으로 상정하였다. 그렇게 산정한 이유는 시기별로 질문의 개수가 달라지는 것이 명확하고 입시 기간에 가장 많은 질문들이 게시판에 들어오기 때문이다. 정확한 비교를 위해서 챗봇을 도입하기 전인 2021년[4. 26(월) ∼ 5. 31(월)]과 챗봇을 도입한 2022년[4. 25(월) ∼ 5. 31(화)] 입시 기간으로 정하여 분석하였다.

4-2 입시 기간별 입시상담 게시판 질문 횟수를 통한 효용성 평가

2021년과 2022년 챗봇 입시상담 서비스를 정식적으로 실시하기 전과 시행한 후의 입시상담 게시판을 비교하였다. 아래 그림 11을 보면 2021년과 2022년에 입시 기간별 입시 게시판 질문 횟수를 비교하면 각각 121회, 83회로 챗봇 서비스를 시작한 이후 해당 기간에 입시상담 게시판 질문 횟수가 38회 감소한 것으로 나타났다. 이는 2021년 기준으로 31.4% 감소한 것이다.

Fig. 11.

Comparison of the number of questions on the entrance examination board during the entrance examination period from 2021 to 2022

이것을 주차 별로 나눠서 살펴보면 전체적으로 비율이 낮아진 것을 확인할 수 있다. 표 1을 보면 주차별 비율을 볼 수 있다. 1주차는 전년도 대비 23회(62%)가 감소하여 가장 많이 감소하였으며 2주차는 2회(17%), 3주차는 3회(14%), 4주차는 10회(45%), 5주차는 1회(4%)가 감소했다. 6주차는 오히려 1회(33%) 증가하였는데 나머지 주차는 일주일 기준이지만 6주차는 전체 기간 중 하루나 이틀이며 22년도가 21년보다 일수가 하루 적어 지표에 영향을 크게 주지 못한다고 판단하였다.

Table. 1.

Number of Questions per weeks