Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 25, No. 3, pp.707-717
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Mar 2024
Received 24 Jan 2024 Revised 26 Feb 2024 Accepted 11 Mar 2024
DOI: https://doi.org/10.9728/dcs.2024.25.3.707

인공지능 기반 진로/진학 서비스 프로토타입 개발 연구

이가영1 ; 지현경2 ; 김명선3 ; 금선영4 ; 최탁5 ; 김제천6 ; 허선영7, *
1백석대학교 특수교육과 조교수
2경희대학교 교수학습개발원 연구교수
3국가임상시험지원재단 팀원
4서울대학교 학습과학연구소 객원연구원
5세종특별자치시교육청 장학관
6세종특별자치시교육청 장학사
7서울신학대학교 디지털원격교육지원센터 조교수
Prototype of Artificial Intelligence-Based Career Education & Guidance Service
Ga-Young Lee1 ; Hyun-Kyung Chee2 ; Myung-Sun Kim3 ; Sun-Young Keum4 ; Tak Choi5 ; Je-Cheon Kim6 ; Sun-Young Huh7, *
1Assistant Professor, Department of Special Education, Bakseok University, Cheonan 31065, Korea
2Research Professor, Center for Teaching and Learning, Kyung Hee University, Seoul 02447, Korea
3Staff, Korea National Enterprise for Clinical Trials, Seoul 04143, Korea
4Researcher, Learning Sciences Research Institute, Seoul National University, Seoul 08826, Korea
5Senior School Supervisor, Sejong City Office of Education, Sejong 30151, Korea
6Junior School Supervisor, Sejong City Office of Education, Sejong 30151, Korea
7Assistant Professor, Center for Digital & Distance Education, Seoul Theological University, Seoul 14754, Korea

Correspondence to: *Sun-Young Huh Tel: +82-32-340-9480 E-mail: sunyounghuh@stu.ac.kr

Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

이 연구의 목적은 인공지능 기반 진로·진학 서비스의 프로토타입을 개발하는 것이다. 개발연구방법론에 따라 요구분석, 사례 및 문헌 분석, 기술 및 환경 분석을 통해 설계원리를 도출하였으며, 이를 적용하여 데이터 기반 맞춤형 서비스의 프로토타입을 개발하였다. 프로토타입은 교사용/학생용으로 개발되었으며, 크게 데이터를 바탕으로 서비스를 하는 부분, 수집된 데이터를 바탕으로 인공지능 기술을 활용해 맞춤형 서비스를 제공하는 부분으로 구성되었다. 누적된 데이터를 바탕으로 서비스하는 부분은 ① 학습자의 학업성취도 변화 추이와 성적 변화 계기를 관리하는 프로그램, ② 역량을 관리하는 프로그램, ③ 교과 관련 산출물/활동을 관리하고 학생 스스로의 성찰을 입력하는 프로그램, ④ 희망 직업/진로 관리 프로그램으로 구성되었다. 그리고 수집된 데이터를 바탕으로 인공지능 기술을 활용해 맞춤형 서비스를 제공하는 부분은 데이터를 기반으로 하는 AI 추천 진로, 맞춤형 진로 정보 부분으로 구성하였다.

Abstract

In this paper, we present the prototype of an artificial intelligence-based career education and guidance service. Following the development research methodology, we conducted a needs analysis, case study, and literature review, considering technological and environmental aspects, to derive design principles. These principles were applied to develop a data-driven, personalized service prototype for both teachers and students. It consists of two components: data-based service and AI-based personalized service based on collected data. The data-based service component includes ① a program to manage the trend of learners' academic achievements and triggers for grade changes, ② a program to manage students' competencies, ③ a program to manage subject-related outputs/activities and for students to enter their own reflections, ④ a career aspiration/trajectory management program. The AI-driven personalized service component is structured around AI-recommended career paths and tailored career information.

Keywords:

AI, Career Education & Guidance Service, Data-driven Personalized Services, Development Research, Prototype

키워드:

인공지능, 진로·진학 서비스, 데이터 기반 맞춤형 서비스, 개발연구, 프로토타입

Ⅰ. 서 론

급변하는 미래 사회에서 자신의 역할을 찾고 행복한 삶을 살기 위해 진로 및 진학에 대한 교육과 지도의 중요성은 점차 증가하고 있다. 이러한 상황에서 학습자가 자신의 적성, 소질, 특기 등을 파악하여 합리적으로 진로 및 진학 선택을 할 수 있도록 학습자 스스로 관련 정보를 적극적으로 탐색하기도 하지만, 학교에서는 담임교사나 진로교사가 진로지도를 제공하고 있다. 진도지도는 진로발달을 촉진하기 위해 상담사, 교사 등과 같은 전문인이 학습자의 진로계획, 의사결정, 적응문제 등을 돕는 것을 의미한다[1]. 이러한 과정을 통해 학습자는 자신에게 적합한 진로를 선택하고 이를 위해 상급학교에 어떻게 진학할 것인지 등에 대한 계획을 세울 수 있다.

그러나 자신에게 적합한 진로와 진학을 계획하는 것은 쉽지 않다. 청소년기에 있는 학습자는 진로/진학을 모색하고 탐색하는 대표적인 시기[2]로 자신의 인지적, 정의적, 사회적 측면을 종합적으로 고려하여 가치판단 하에 진로를 계획하게 된다[3]. 그러나 청소년기의 학습자는 진로의식이 감소하는 경향을 보이고[4], 다양한 직업과 상급학교 중에서 자신의 특성에 맞고 희망하는 진로와 진학을 선택하고 결정하기 어려워할 수 있다. 학습자는 자신의 적성을 객관적으로 파악하기 어려울 뿐 아니라 직업이나 상급학교에 대한 정보를 파악하기 어렵고, 자신의 특성이나 역량을 직업이나 상급학교에 적절한지 연결하기 쉽지 않기 때문이다[5].

이러한 어려움을 지원하기 위한 방법으로 데이터와 인공지능 활용 대한 관심이 높아지고 있다. 인공지능은 인간의 지적 능력과 유사하게 기계에게 인공적으로 지능을 구현하는 분야이다[6]. 인공지능을 활용하여 데이터로부터 패턴을 발견하고, 이를 이용하여 다양한 요소를 예측하고 분류할 수 있다. 이러한 특성을 바탕으로 최근 교육 분야에서도 학습자가 생성하는 데이터를 수집하고 분석하여 개별 학습자의 요구에 맞는 맞춤형 지원을 제공해줄 수 있다는 점에 주목하고, 인공지능 관련 연구가 활발하게 이루어지고 있다. 인공지능은 이러한 데이터를 기반으로 각기 다른 학습 목표 및 경로, 개별 학습자의 성취, 흥미, 속도, 양식 등에 따라 다른 처방을 제공한다[7],[8]. 즉, 학습자의 데이터를 기반으로 인공지능을 활용하는 것을 통해 학습자의 특성을 분석하고 학습자 수준에 기반한 맞춤형 교육을 제공할 수 있다[9]. 이렇듯, 교육 분야에서 맞춤형 교육의 실현을 위해 인공지능의 활용 가능성이 높아지면서, 인공지능이 교육분야에 중요한 영향을 끼칠 것이라는 기대가 증가하고 있다[10].

특히, 진로/진학과 관련된 교육이나 지도 차원에서 데이터와 인공지능을 활용하는 것에 대한 필요성도 나타나고 있다. 교육부는 성인까지 전 생애에 걸친 진로 교육 지원 방안이 포함된 '진로교육 활성화 방안(2023~2027)'를 발표하였는데[11], 진로교육 활성화 방안에는 검사이력, 진로체험 이력, 진로 활동 이력 등의 빅데이터를 바탕으로 직업/진로 체험, 학습 등을 추천해주는 방안이 포함되어 있다. 이러한 진로/진학을 위한 인공지능 기반 시스템은 학습자의 데이터에 기반하여 교과목 추천과 함께 희망 진로를 위한 로드맵을 추천하는 것을 포함한다[12].

이와 관련하여 진로, 진학을 지원하는 시스템이나 모델을 개발하려는 연구가 이어져오고 있다. 노규성과 이주연[5]은 그들의 연구에서 빅데이터와 인공지능을 활용하여 개인의 특성에 부합하는 직업을 제시하고 멘토의 컨설팅 및 현장경험을 기반으로 직업 대안을 설계해 나가도록 하는 9개 모듈(하위시스템)을 제안하였다. 최근에는 정용석, 이홍우, 서혜애[13]의 연구에서 개별 맞춤형 진로지도를 위해 초보 교사도 접근할 수 있는 인공지능 서비스 플랫폼을 개발하고 적용한 바 있다.

현재 진로/진학 관련한 시스템은 서울진로진학정보센터나 인천광역시교육청 사이버진로교육원이 대표적인 사례라고 할 수 있다. 설정된 학습자 데이터에 기반하여 진로 AI 리포트를 제공하거나, 진로/진학 관련 영상 콘텐츠를 추천하기도 한다. 이러한 서비스를 통해 학습자는 진로/진학과 관련된 정보를 얻을 수 있으며, 자신의 적성에 맞는 진로를 탐색할 수 있다.

이러한 연구와 시스템은 학습자가 자신의 진로와 진학을 계획하고, 교사가 진로 및 진학 지도를 보다 정확하게 하도록 도울 수 있다는 점에서 의미가 있으나, 일부 한계점이 존재한다. 기존의 선행연구나 실제 운영하고 있는 시스템의 경우 대체적으로 진로나 적성 관련된 설문조사나 검사 결과를 중심으로 데이터를 분석하고 결과를 제공하고 있으며, 실제 학생들과 교사들이 진로/진학 계획이나 지도에 반영하고 있는 학교에서 수집 가능한 다양한 데이터나 진로/진학 계획 및 진로/진학 지도에 필요한 서비스에 대한 충분한 고려가 이루어지지 않았다는 점이 한계로 나타난다.

이에 본 연구에서는 실제 진로/진학을 위한 교육현장의 요구를 반영하는 동시에 인공지능 등 최신 기술을 반영하여 인공지능 기반의 진로/진학 서비스의 프로토타입을 체계적으로 개발하고자 한다. 이 연구의 구체적인 연구 문제는 다음과 같다.

첫째, 진로/진학을 위한 인공지능 기반의 서비스는 어떻게 설계되고 개발될 수 있는가?

둘째, 진로/진학을 위한 인공지능 기반의 서비스가 현장에 안착하기 위해서 유의해야 하는 점은 무엇인가?


Ⅱ. 연구 방법

이 연구는 개발연구(developmental research) 방법론에 따라 인공지능 기반 진로/진학 서비스 프로토타입을 개발하였다. 개발연구방법론은 유형1과 유형2로 구분할 수 있다. 유형1은 제품과 도구의 설계와 개발 연구이며, 유형2는 모델의 설계 및 개발 연구이다[14]. 이 연구는 최종적으로 서비스를 개발하는 것이 목표임으로 유형1을 채택하였다.

2-1 연구 절차

본 연구에서는 분석, 설계, 개발, 테스트(try-out), 평가의 과정을 포함하는 개발연구방법론의 절차[15]를 활용하였다. 구체적인 연구의 절차와 방법은 아래와 같다.

분석 단계는 사용자가 원하는 인공지능 기반의 진로/진학 서비스의 목적 및 내용을 파악하기 위해 시행되었으며 요구분석, 사례 및 문헌 분석, 기술 및 환경에 대한 분석을 수행하였다. 요구분석의 경우 중·고등학교 교사 12명을 대상으로 실시하였으며, 진로/진학 상담 시 원하는 서비스 모습에 대해 이상적인 형태의 서비스의 모습, 서비스 활용 시 어려운 점, 이유에 대해 질문하였다. 요구분석을 위해 기본적으로 개별 심층 면담을 진행하였고, 대상자의 선택에 따라 면담은 화상 회의시스템(zoom)을 활용하여 비대면으로 이루어졌으며, 면담 내용을 기록하고 전사하여 분석에 활용하였다. 선행 문헌 및 사례분석의 경우에는 인천광역시, 서울특별자치시 등 교육청 단위에서 진로/진학 서비스를 제공하는 사례, 해외 진로/진학 서비스 관련 사례를 분석하였다. 설계의 단계에서는 분석 단계를 통해서 인공지능 기반의 진로/진학 서비스 설계 원리를 도출하였다. 설계 원리를 도출하기 위해 선행 문헌의 검토뿐만 아니라[14], 인천광역시, 서울특별시 등 교육청 단위에서 진로/진학 서비스를 제공하는 사례, 해외 진로/진학 서비스 관련 사례를 분석하였다. 개발의 단계에서는 설계 원리를 바탕으로 학생성장발달데이터 통합관리시스템의 프로토타입을 개발하였다. 테스트(try-out) 및 평가의 단계에서는 세 분야의 전문가(진로 교육, 교육공학, 데이터 사이언스)에게 프로토타입 검토를 요청하였다.


Ⅲ. 연구 결과

이 연구는 개발방법론의 ‘제품과 도구의 설계와 개발연구’인 유형1을 활용하여 데이터를 활용하는 인공지능 기반의 진로/진학 서비스 프로토타입을 개발하는 것을 목적으로 한다. 각 연구 단계에 따른 연구 결과는 다음과 같다.

3-1 진로/진학을 위한 인공지능 서비스 프로토타입 개발

1) 분석(A: Analyze)

설계의 단계에서는 요구분석, 사례 및 문헌 분석, 기술 및 환경에 대한 분석을 시행하였다. 요구분석 결과, 진로/진학 상담 시 필요한 이상적인 서비스의 모습은 중·고등학교의 학업성취도(교과 성적, 모의고사 성적 등), 학업성취도의 변화추이, 변화추이에 대한 교사/학생의 의견(해석)이 포함된 서비스이다. 또한 교과 활동(독서, 프로젝트, 과제 등) 내용과 산출물(탐구보고서, 프로젝트 과제 등), 그리고 동아리 활동, 대외활동(대회 등), 수상 경력 등이 수집되고 분석될 필요가 있다는 의견이 제시되었다. 서비스 운영 시 어려운 점에 대해서는 교원의 업무 부담, 사기업과의 경쟁, 교사, 학생 등 현장 주체의 필요성에 대한 인식 부족 및 새로운 기술 거부감 등에 대한 의견이 제시되었다. 요구분석에서 제시된 구체적인 내용은 아래의 표 1과 같다.

Users’ needs for career education service prototype

사례 및 선행 문헌 단계에서는 성장, 발달 등에 대한 문헌검토 뿐만 아니라[14], 인천광역시 등 교육청 단위에서 진로/진학 서비스를 운영하는 사례를 분석하였다. 서울특별시의 경우에는 서울진로진학정보센터 사이트와 한국 직업방송 사이트 간 오픈 API 방식으로 연계하여 진로 정보 콘텐츠를 제공하고 있으며, 각종 진로 관련 추천 사이트, 진로 정보 및 자료를 게시판 형태로 제공하고 있다. 인천광역시의 경우, 사이버 진로 교육 플랫폼을 통해 진로 검사, 진로상담, 진로 진학 정보, 진로 체험을 제공하고 있으며 인공지능 기술을 활용하여 진로/진학과 관련한 정보를 제공하는 AI리포트 서비스를 제공하고 있다. 인천광역시 교육청에서 제공하는 AI리포트의 경우 각 학교의 진로를 담당하는 교사가 설계 및 개발 단계부터 참여하였기 때문에 현장의 요구를 비교적 잘 반영하고 있으며, 지속적으로 홍보를 병행하여 높은 활용률을 보이고 있다.

Fig. 1.

Seoul Career Guidance Center (https://www.jinhak.or.kr/)*As this is a site for Korean students, it provides services in Korean

Fig. 2.

Incheon Cyber Career Education Institute (https://cyberjinro.ice.go.kr/)*As this is a site for Korean students, it provides services in Korean

인천광역시, 서울특별시 사례의 구체적인 특징은 아래 표 2와 같다.

Examples of AI-based career education system

기술, 환경 분석 단계에서는 주로 데이터 윤리, 법과 데이터 표준화, 데이터 수준에 대해서 분석을 진행하였다. 특히 데이터 수집의 경우, 수집되는 데이터에 정확하지 않은 정보가 포함되어 있거나 오류가 있으면 인공지능 알고리즘의 성능이 저하될 뿐만 아니라 부정확한 서비스를 제공할 가능성이 크기 때문에 신뢰성 있는 데이터를 수집하는 것이 중요하다[16].

따라서 수집된 데이터가 정확한지 검증하는 것이 필요하며, 경우에 따라 데이터 클리닝과 전처리 과정 등을 거쳐야할 필요가 있다[17]. 또한 인공지능의 발달로 인해 다양한 부문에서 발생할 수 있는 윤리적 문제를 해결하기 위한 인공지능의 윤리적, 도덕적 기준 및 대응책이 요구되고 있다. 인공지능 윤리는 모든 이해관계자가 지켜야 할 사회적 규범과 기술 관련 원칙으로 정의될 수 있다[18]. 인공지능의 믿음성을 확보하기 위한 윤리 기준은 다양한 기관에서 제시되고 있다. UNESCO[19]는 'AI 윤리 권고문'을 발표하여 교육, 과학, 문화, 정보통신 영역을 중심으로 연구, 분석, 평가를 위해 인공지능 기술을 개발하고 활용할 때 지켜야 할 사항을 제안하였으며, 특히 교육 분야에서 인공지능을 활용한 학습자 모니터링, 평가, 행동 예측 시 엄격한 관리가 필요하다는 사항을 언급하였다. 또한, EU[20]는 모든 시민이 AI 혜택을 누릴 수 있는 인간 중심의 윤리적 목적 달성을 위한 '신뢰 가능한 AI를 위한 윤리 가이드라인'을 발표하였으며, ‘적법성’, ‘윤리성’, ‘견고성’의 3가지 구성요소와 7개의 원칙을 제안하였다.

국내에서는 과학기술정보통신부[24]가 ‘인간성을 위한 인공지능’을 목표로 국내·외의 주요 인공지능 윤리 원칙을 분석하고 전문가들의 의견을 수렴하여 ‘인공지능 윤리기준’을 마련하였다. ‘인공지능 윤리기준’은 ‘인간의 존엄성’, ‘사회의 공공선’, ‘기술의 합목적성’의 3대 기본원칙을 기반으로 10대 핵심요건으로 구성되어 있다.

Fig. 3.

The AI ethics standards[24]*Quoted the figure exactly as it appears in the report.

교육부[11]는 '사람의 성장을 지원하는 교육분야 인공지능 윤리원칙'을 통해 헌법 제 31조와 교육 기본법 등 기존에 제시된 교육의 가치와 국내·외 인공지능 윤리기준을 기반으로 사람, 공동체, 기술 측면에서 10가지 세부원칙을 제시하고 있다.

2) 설계(D: Design)

분석 단계를 통해서 진로/진학을 돕는 시스템의 설계 원리를 도출하였다. 설계 원리를 도출하기 위해 선행 문헌의 검토뿐만 아니라[14], 인천광역시 등 교육청 단위에서 진로/진학 서비스를 운영하는 사례를 분석하였고, 네 개의 원칙을 도출하였다.

첫째, 진로 및 진학 상담 시 학생 특성에 따라 데이터를 통합 관리해야 한다는 원칙이다. 데이터 통합관리에 대한 원칙은 구체적으로 두 가지 세부 원리로 구성되어 있다. 먼저, 데이터 값, 데이터 값의 변화 추이 등 결과값 제시에 관한 것이다. 결과값을 제시할 때 데이터의 값뿐만 아니라 시계열적으로 데이터 값의 변화추이를 함께 제시하는 것이 필요하다. 두 번째 원칙은 교수자 및 학습자 의견에 관한 것이다. 요구 분석 결과, 학생들의 결과 해석이 진로 계획 수립에 직·간접적인 영향을 미칠 수 있다는 의견이 있어 이를 반영하여 설계 원리를 도출하였다. 둘째로, 희망 진로 및 적성에 기반한 맞춤형 정보를 제공해야 한다. 이는 인공지능 기술을 활용한 알고리즘을 기반으로 하며, 진로 체험 프로그램(직업 탐방, 직업 체험, 직업 역량), 직업 정보(직업 이해 관련 콘텐츠-영상, 책, 사이트 등 연계 멘토링), 학과 정보(계열별 분류) 등을 제공해야 한다. 셋째로, 상급학교 진학을 위한 맞춤형 정보를 제공해야 한다. 이에는 희망하는 학과 별로 수강해야 하는 교과목(일반 선택/진로 선택) 및 해당 과목을 제공하는 학교, 희망 학과의 구체적인 입시 관련 데이터를 제공해야 한다. 마지막으로, 동일한 희망 진로 또는 적성을 가진 학생들 또는 선배들의 데이터를 비교하고 분석하여 결과를 제시하는 것이 필요하다.

Design principles for career education service prototype

3) 프로토타입 개발

프로토타입 도출 단계에서는 앞서 설계단계에서 도출한 설계 원리를 적용하여 학생과 관련된 데이터를 통합적으로 관리하는 부분, 인공지능 기술을 활용한 알고리즘을 바탕으로 학생의 전인적인 데이터 기반의 맞춤형 서비스 제공하는 서비스의 프로토타입을 개발하였으며, 대상에 따라 교사용/학생용으로 개발되었다.

학생과 관련된 데이터를 통합하여 관리하는 시스템에서는 학습자별로 성적, 진로목표, 희망진로, AI추천진로, 역량 정도, 진로체험프로그램 이력, 학습자 진로, 성향 관련 각종 검사 결과 등에 대한 체계적으로 접근할 수 있는 서비스로 구성하였다(그림 4).

Fig. 4.

Dashboard for career education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

또한 교사용의 경우, 학습자의 학업성취도 변화 추이와 성적 변화 계기(해석)를 살펴볼 수 있는 서비스를 구성하였다(그림 5). 요구분석 결과에 의하면 학습자의 현재의 학업성취도 중요하지만 학년별로 변화하는 학업성취도의 변화, 그리고 왜 변화하였는지에 대한 학생의 의견과 당시 학생을 담당하는 교사의 의견이 진로/진학 상담시 필요한 정보라고 응답하였다. 관련 의견을 반영하여 서비스를 구현하였다.

Fig. 5.

Academic achievement management system for career education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

다만, 이를 시스템적으로 구현하기 위해서는 학습자의 학업성취도에 대한 데이터를 수집하는 것이 중요하다. 그러나 기술·환경 분석 결과, 성적 데이터의 경우 현재 교육청 단위에서 나이스(NEIS) 데이터를 직접 가져오는 것(Export)이 어렵기 때문에 이에 대한 데이터는 학생이 스스로 입력할 수 있게 안내할 필요가 있다. 또한 장기적으로 나이스(NEIS) 데이터를 직접 가져오는 것(Export)이 가장 이상적인 상황이기 때문에 교육부와의 긴밀한 협의를 통해 데이터 연동을 도모할 필요가 있다.

그리고 역량에 대한 정도를 누적하고 관리하는 서비스를 구상하였다(그림 6). 역량에 대한 부분은 대학 진학과 직접적으로 연계되는 경우도 있기 때문에, 특히 고등학교에서 진로를 담당하는 교사가 원하는 경우를 확인할 수 있었다. 또한 현재는 역량과 관련된 부분은 학습자가 자신의 역량을 판단하여 기술하는 부분으로 서비스가 구현될 수 있는데, 장기적으로는 각 교육청의 진로교육원에서 운영하는 진로 프로그램에서 측정될 수 있는 학습자 성과, 교과, 비교과 활동 등 객관적인 데이터에 기반하여 역량이 관리될 필요가 있다.

Fig. 6.

Career/Education guidance competency* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

그리고 학습자의 교과 활동 및 교과 산출물을 구체적으로 보여주는 기능이 포함된 시스템을 구상하였다(그림 7). 요구분석 결과, 교과 산출물의 경우 학생들이 수업 중에 산출한 결과물을 학기별, 학년별, 교과별로 성적을 다각적으로 관리하는 것이 진로/진학 지도에 필요하다는 의견이 있었다. 또한 교과 산출물의 경우, 학생들에게 산출물에 대한 전반적인 내용과 이에 대한 자신의 성찰을 학생 스스로 입력하게 하는 것이 필요하며, 이를 질적으로 관리하기 위해서는 학생들에게 입력 방식에 대한 교육을 주기적으로 시행하고, 학생들이 사용하기 편리하게 서비스를 구상하였다.

Fig. 7.

Curriculum-related activity management program for career/education guidance* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

비교과 활동의 경우 진로/진학과 관련한 창의적 체험활동인 수상 경력, 동아리, 봉사활동뿐만 아니라, 나이스(NEIS) 이외의 모든 참여 활동을 보여줄 수 있는 시스템을 구상하였다(그림 8). 구체적으로 진로체험프로그램 참여 이력을 누적하고 보여주는 프로그램을 구상하였으며, 요구분석의 결과를 바탕으로 교과의 경우와 마찬가지로 데이터에 대한 학생들의 성찰을 작성하게 하고 입력할 수 있도록 서비스를 구상하였다.

Fig. 8.

Extracurricular activity management program for career/education guidance* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

그리고 자기 이해 및 탐색을 위해 검사 결과를 누적해서 보여주는 서비스를 구상하였다(그림 9). 검사 결과를 나타내기 위한 검사 도구는 중·고등학생용 심리검사인 커리어넷의 직업적성검사(중, 고), 직업가치관검사, 진로성숙도검사, 직업흥미검사(K, H)(중, 고), 진로개발역량검사가 있다. 워크넷의 경우 직업가치관 검사, 중학생 진로적성검사, 고등학생 적성검사, 청소년 직업흥미검사 등이 있다. 검사 결과에 대한 데이터는 한국직업능력연구원, 한국고용정보원 등 관련 기관과 협약을 통해 제공받을 수 있다. 실제로 사례조사 결과, 인천광역시 사이버진로교육원에서는 커리어넷 및 워크넷과 MOU를 체결하여 검사지의 문항을 오픈 API를 통해 데이터를 제공받고 결과값도 받고 있는 것으로 조사되었다.

Fig. 9.

Career aspiration and assessment results management system for career/education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

또한 희망 직업/진로와 진로 목표 등을 누적해서 관리하는 서비스를 구성하였다. 요구분석 결과 희망 직업/진로의 경우 학부모의 희망 직업/진로와 학생의 희망 직업/진로로 구분하여 관리하는 것이 필요하다는 의견이 있어 학생과 학부모의 희망 대학을 학년별로 다각적으로 보여주는 프로그램을 구상하였으며, 자신의 진로 목표를 학년별로 누적해서 보여주는 서비스를 구상하였다(그림 9).

그리고 상호작용과 관련되어 있는 부분에 대해 확인할 수 있는 시스템을 구상하였다. 상호작용의 경우, 진로/진학과 관련하여 직접적인 것으로 보이는 어렵지만, 요구분석 결과 학생을 이해하는데 있어서 기초적인 자료로 평가되는 경향이 있었다. 이 서비스는 학생간의 네트워크 뿐만 아니라 가정, 학교, 교사 간의 네트워크 정도를 살펴볼 수 있는 내용으로 구성되었다(그림 10).

Fig. 10.

Career/Education guidance network analysis program* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

인공지능 기술을 활용한 알고리즘을 바탕으로 학생의 전인적인 데이터에 기반하여 맞춤형 서비스 제공하는 영역은 크게 AI 추천 진로, 맞춤형 진로 정보 부분으로 구상하였다(그림 11). AI 추천진로의 경우, 자기 이해/탐색 결과에 대한 데이터(직업적성검사(중, 고) 데이터, 직업가치관검사 데이터, 직업성숙도검사 데이터, 직업흥미검사(K, H)(중, 고) 데이터, 진로개발역량검사 데이터를 바탕으로 AI가 진로를 추천해 주는 서비스로 구상하였다. 또한 앞서 데이터 통합관리를 위해 수집되었던 희망 진로 데이터를 종합하여 AI 추천 진로와 희망 진로를 비교하여 보여주는 서비스로 구상하였다. 일치하는 항목의 경우 1순위로 기록되고 그렇지 않은 항목들은 빈도수, 중요도 등에 근거한 알고리즘을 바탕으로 순위를 부여한다.

Fig. 11.

AI Career Recommendation Service* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

맞춤형 진로 정보부분에서는 AI 추천진로 서비스에서 제시하는 추천 진로에 대한 구체적인 정보를 제공해주는 서비스로 구상하였다(그림 12). 구체적으로 해당 진로에 대한 1. 직업 소개, 2. 진로/진학 정보, 3. 직무소개 영상, 4. 직무 관련 자격증, 5. 진로 프로그램, 6. 추천 교과목, 7. 멘토링 신청하기에 대한 내용을 제공해 준다. 진로에 대한 구체적인 정보는 새로 데이터를 만드는 것이 아니라 커리어넷, 직업방송, 세종특별자치시교육청 보인다 시리즈 등 이미 확보하고 있는 데이터를 연결해주는 방식으로 이루어진다.

Fig. 12.

Customized career information service* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

4) 테스트 및 평가

이 연구를 통해 도출된 프로토타입의 타당화를 위해 10년 이상의 관련 연구 및 교육 경험을 가지고 있는 전문가가 참여하였다. 구체적으로 전문가 타당화에는 교육공학 박사 1인, 공학 박사 1인, 현장 교원 경력 30년 이상의 전문가가 참여하였다. 타당화 문항은 도출된 프로토타입과 관련하여 타당성, 설명력, 유용성, 이해도를 4점 척도 만점으로 종합하게 평가하도록 하였고 전문가들이 2점 이하로 평가한 영역에 대해서는 구체적인 의견을 기술하도록 하였다.

전문가 검토 결과는 본 연구의 목적을 달성하고 있는지를 평균과 표준편차, CVI, IRA 등을 구하여 종합적으로 분석하였다. 여기서 CVI(내용 타당도 지수, Content Validity Index)는 각 항목에 대하여 긍정적인 응답을 한 검토자가 얼마나 되는지를 나타낸다. IRA(평가자간 일치도 지수, Inter-Rater Agreement)는 설문지에서 제시한 전체 문항 중 전문가들이 공통적으로 긍정적인 평가를 한 문항이 어느 정도 되는지를 알아볼 수 있는 지수이다. 즉, 검토자 간 일치 정도를 나타내고 있다. 일반적으로 CVI와 IRA는 0.8 이상일 때 양호한 것으로 해석할 수 있다. 검토 결과는 다음 표 2와 같다. 유용성의 경우 4점 만점으로 아주 타당한 것으로 확인되었으며, 설명력, 이해도 영역도 3.75점으로 높게 나타났다. CVI와 IRA 역시 모든 영역에서 1.00이었다. 기타의견으로는 지속적으로 활용되기 위한 프로그램이 되기 위해서는 학습자가 쉽게 데이터를 입력할 수 있고 접근할 수 있는 인터페이스로 설계되어야한다는 의견과 교원의 추가적인 업무가 되지 않도록 서비스가 운영되어야 한다는 의견이 있었다.

Usability evaluation results


Ⅳ. 논 의

데이터를 활용하여 맞춤형 진로/진학 서비스를 제공해야 한다는 사회적 필요성이 커지고 있으며, 인공지능 기반 진로·진학 서비스에 대한 필요성이 커지고 있다. 이 연구의 목적은 중·고등학생의 인공지능 기반 진로·진학 서비스의 프로토타입을 개발하는 것이다. 이를 위해 개발연구방법론을 바탕으로 요구분석, 사례 및 문헌 분석, 기술 및 환경 분석을 실시하였다. 이를 통해 시스템 설계 원리를 도출하였으며, 인공지능을 활용한 학생 데이터 기반 맞춤형 서비스의 프로토타입을 개발하였다. 프로토타입은 교사용/학생용으로 개발되었으며, 학생의 성적 관리, 역량 관리, 교과 관련 산출물/활동 관리 및 희망 직업/진로 관리 프로그램으로 구성되었다.

앞서 도출한 연구 결과를 바탕으로 인공지능 기반의 진로/진학 프로그램 개발을 위해 어떠한 점을 고려해야 하는지 논의해보고자 한다.

첫째, 양질의 데이터를 수집하고 관리하기 위해 민간/기관 협력을 통한 데이터 공유체제 구축이 필요하며 데이터 표준에 대한 논의가 필요하다. 본 연구에서 제안한 인공지능 기반의 진로/진학 서비스는 학습자의 데이터, 각종 검사 도구, 진로 체험 관련 정보, 직업정보 등의 다양한 데이터가 필요하다. 데이터를 신규로 생성하는 것이 아니라 관련 데이터를 이미 확보하고 있는 민간 및 유관 기관과의 협력을 통해 공유하여 안정적으로 양질의 데이터를 확보할 가능성을 축적할 필요가 있다. 사례조사 결과, 서울특별시교육청 교육연구정보원에서는 데이터 기반으로 서비스를 제공하는 뉴쌤3.0 시스템을 개발하고 있으며, 네이버, 구글, 애플, 마이크로소프트 등과 협약하여 데이터를 공유하고 있다. 또한 원활한 데이터 공유 체계를 확보하기 위해서는 데이터 표준화에 대한 구체적인 논의가 필요하다. 교육 영역에서 데이터 표준으로 가장 활발하게 사용되고 있는 것은 xAPI와 IMS Caliper이다. 데이터 표준화를 위해서는 두 표준에 기반한 학생 데이터 수집·저장 아키텍처 설계가 요구되며[21],[22], 각 표준에 따른 장/단점이 있으므로 이를 평가하는 것이 필요하다.

둘째, 데이터를 수집하고 관리할 수 있는 전담 조직체계를 구성하고 마련하는 것이 필요하다. 양질의 인공지능 서비스를 운영하고 지속적으로 고도화하기 위해서는 데이터를 분산하지 않고 효과적으로 관리할 필요가 있는데 이를 위해서는 전담 조직과 관련 인력배치가 필요하다. 데이터 관리를 위한 전담 조직 구조는 집중형 구조, 해당 업무부서에서 직접 데이터 관리를 수행하는 방법, 분산된 조직구조가 있으며[23], 조직의 상황과 인력의 배치 현황 등을 고려하여 이를 선정하고 구성할 필요가 있다.

셋째, 지속적인 서비스, AI 모델의 고도화가 필요하다. 서비스가 사용자에게 최적화되기 위해서는 데이터를 활용하는 모델의 성능을 높일 수 있는 지속적인 고도화 작업이 필요하다. 장기적 관점으로 민간 그리고 유관 기관의 데이터 공유체계를 유지하여 양질의 데이터를 지속적으로 누적하고 축적하여 모델의 정확성을 향상시킬 필요가 있다. 또한 지속적인 업데이트 과정과 신규 기능 추가 및 문제상황 수정 등을 또한 서비스의 안정화가 필요하다.

넷째, 서비스에 대한 지속적인 홍보, 교육이 이루어져야 한다. 서비스가 사용자들에게 지속적으로 활용되기 위해서는 서비스에 대한 이해가 필수적이며 이에 대한 인식을 개선할 필요가 있다. 경상남도 아이톡톡의 경우, 경상남도 교육청 차원에서 아이톡톡 시스템의 활용법에 대한 연수를 지속적으로 운영함으로써 사용자들의 이해를 높이고 있다[16]. 이와 같이, 개발된 서비스가 진로/진학 지도에 어떻게 활용될 수 있을 것인지에 대한 워크숍 및 특강을 개설하고, 체계적으로 실시할 필요가 있다.

다섯째, 데이터 윤리에 대한 자체 규정을 마련해야 한다. 시스템 운영 시 인공지능 신뢰성과 인공지능 윤리 기준을 충족하기 위해 데이터 수집 과정의 적법성, 투명성 점검 및 데이터 이력 관리 방안 등 데이터 신뢰성 문제와 함께 인공지능의 오·남용, 데이터 편향으로 인한 인권 침해 등 다양한 인공지능 윤리 문제를 인식하고 대응할 방안을 강구할 필요가 있다. 특히, 서비스를 운영하고자 하는 기관에서 자체적으로 관련 규정을 마련하고 운영해야 한다. 예컨대 ‘인공지능 신뢰성 확보를 위한 기술적 요구사항’[24], ‘인공지능의 교육적 활용을 위한 윤리 지침’[25]과 같은 기준을 통해 시스템 구축 시 고려해야할 윤리 규정 및 체크리스트를 마련하는 것이 필요하다.

이 연구는 데이터 및 인공지능이 진로/진학 교육 분야에서 어떻게 활용될 수 있을지 주목받는 시점에서 프로토타입을 제시함으로써 구체적인 결과를 제안했다는 점에서 의의가 있다. 다만 데이터의 활용 관점을 중·고등학교에서의 진로/진학으로 범위를 한정지어 전체적인 진로/진학 지도를 설명하지 못한다는 한계가 있으며, 향후 연구에서는 평생교육의 관점에서 데이터의 범위를 확장하여 이를 다룰 필요가 있다. 또한 이후 연구에서는 실제 데이터를 바탕으로 구현하여 프로토타입을 보완하고 사용자 대상의 프로토타입 평가를 추가적으로 실시할 필요가 있다.

Acknowledgments

이 연구는 2023년 세종특별자치시교육청의 지원을 받아 수행된 연구임.

References

  • B. H. Kim, B. S. Kim, and C. Y. Jung, Career Counseling, Seoul: Hakjisa, 2000.
  • S.-Y. Lee and J. Song, “The Structural Relationship among Parent-Child Interaction, Self-Understanding, and Career Planning in Adolescents: Verification of Longitudinal Changes,” Journal of Education & Culture, Vol. 25, No. 4, pp. 27-50, August 2019. [https://doi.org/10.24159/joec.2019.25.4.27]
  • D. E. Super, M. L. Savickas, and C. M. Super, The Life-Span, Life-Space Approach to Careers, in Career Choice and Development, 3rd ed. San Francisco, CA: Jossey-Bass, pp. 121-178, 1996.
  • S.-Y. Lee and J. Song, “The Mediating Effects of Self-Concept on the Relationship between Parental Academic·Emotional Support and Career Maturity: The Longitudinal Changes Over 4 Years,” Studies on Korean Youth, Vol. 28, No. 4, pp. 77-112, November 2017. [https://doi.org/10.14816/sky.2017.28.4.77]
  • K.-S. Noh and J.-Y. Lee, “Convergence Study on Model of Job Design Support Platform Using Big Data and AI,” Journal of Digital Convergence, Vol. 14, No. 7, pp. 167-174, July 2016. [https://doi.org/10.14400/JDC.2016.14.7.167]
  • Y. Kwon, S. Byun, Y. Cho, K. Kim, and M. Kim, Future Education with Artificial Intelligence, Korea Education and Research Information Service, Daegu, RM 2018-16, December 2018.
  • S. Y. Kim, Y. G. Han, and J. Y. Jung, Study on Support Measures for Tailored Educational Services in Intelligent Information Technology, Ministry of Education, Sejong, 2017-27, 2017.
  • C. Lim, “Redirecting the Research and Practice of Educational Technology for Future Society and Education,” Journal of Educational Technology, Vol. 35, No. 2, pp. 253-287, June 2019.
  • C. H. Son, H. S. Chang, E. Y. Kim, S. M. Kim, E. J. Lee, I. H. Jo, and K. S. Chung, Research on Leveraging Learning Analytics to Design Personalized Educational Support in Online Learning Environment, Korean Educational Development Institute, Jincheon, RR-2019-08, December 2019.
  • S. Han and T. Kim, “Research Trends of Artificial Intelligence Education in Korea: Keyword and Topic Analysis focused on LDA,” Journal of Learner-Centered Curriculum and Instruction, Vol. 22, No. 13, pp. 281-294, July 2022. [https://doi.org/10.22251/jlcci.2022.22.13.281]
  • Ministry of Education. Strategies for Activating Career Education(2023~2027) [Internet]. Available: https://eiec.kdi.re.kr/policy/callDownload.do?num=238068&filenum=2&dtime=20230502174022, .
  • P. Kaur, A. Polyzou, and G. Karypis, Causal Inference in Higher Education: Building Better Curriculums. In Proceedings of the Sixth ACM Conference on Learning @ Scale, 1-4, 2019.
  • Y. Jeong, H. Lee, and H.-A. Seo, “Development and Application of Teacher-Friendly AI Service Platform for Individual Customized Career Guidances,” The Journal of Korean Association of Computer Education, Vol. 25, No. 1, pp. 59-71, January 2022. [https://doi.org/10.32431/kace.2022.25.1.006]
  • R. C. Richey and J. D. Klein, Design and Development Research: Methods, Strategies, and Issues, New York, NY: Routledge, 2009.
  • E. Y. Oh, Developmental Research on an Interactive Application through Speech Recognition Technology for Foreign Language Speaking Practice, Ph.D. Dissertation, Seoul National University, Seoul, August 2017.
  • G. Y. Lee, S. Y. Huh, and H. K. Chee, Research on the Establishment Plan of the Sejong City Student Growth and Development Data Integrated Management System, Sejong City Office of Education, Sejong, Sejong Education 2023-115, October 2023.
  • B. Kye, H. Kwon, S. Kim, Y. Kim, H. Kim, J. Park, ... and S. Han, Developmental Guideline for AI Digital Textbook, Korea Education and Research Information Service, Daegu, GM 2023-11, August 2023.
  • J. Y. Lee, D. Kim, and H. Yang, A Prospective Analysis of Artificial Intelligence(AI) Technology and Innovation Policies: Focused on Improving a System for Safe and Ethical AI R&D and Utilization, Science and Technology Policy Institute, Sejong, Policy Research 2019-13, December 2019.
  • UNESCO. Recommendation on the Ethics of Artificial Intelligence [Internet]. Available: https://unesdoc.unesco.org/ark:/48223/pf0000381137, .
  • EU Commission. Ethics Guidelines for Trustworthy AI [Internet]. Available: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai, .
  • J. W. Yoo and J. E. Son, Trends in Standardization of Learning Analytics Data Collection System Ver. 2., Korea Education and Research Information Service, Daegu, RM 2019-9, August 2019.
  • H. Jeong, B. K. Kye, K. J. Ahn, I. S. Yoo, Y. G. Shin, and D. Y. Huh, A Study on the Guidelines for Collecting and Storing Data for Learning Analytics, Korea Education and Research Information Service, Daegu, RR 2022-07, May 2022.
  • Korea Data Agency, The Guide for Advanced Data Analytics Professional, Revised ed., Seoul: Author, 2021.
  • J. H. Lee, Y. S. Park, S. I. Cha, J. H. Shin, J. H. Kwak, M. J. Kim, ... and C. B. Song, 2022 Gudielines for Trustworthy Artificial Intelligence Development, Telecommunications Technology Association, Seongnam, January 2022.
  • Y. Park, J. Jung, S.-Z. Roh, and E. Lee, Ethical Guidelines for Educational Use of AI, Journal of Educational Technology, Vol. 39, No. 4, pp. 1509-1564, December 2023. [https://doi.org/10.17232/KSET.39.4.1509]

저자소개

이가영(Ga-Young Lee)

2013년:서울대학교 대학원 (교육학석사-교육공학전공)

2018년:서울대학교 대학원 (교육학박사-교육공학전공)

2020년~현 재: 백석대학교 조교수

※관심분야:첨단 테크놀로지(AI, VR, AR) 기반 수업 설계, 맞춤형 학습, 인공지능 기반 교육 등

지현경(Hyun-Kyung Chee)

2013년:이화여자대학교 대학원 (문학석사)

2021년:서울대학교 대학원 (교육학박사)

2021년~2022년: 서울대학교 교육연구소

2023년~현 재: 경희대학교 교수학습개발원

※관심분야:교수설계, 인공지능 기반 교육, 교과융합 교육 등

김명선(Myung-Sun Kim)

2017년:서울대학교 대학원 (교육학석사-교육공학전공)

2020년~현 재: 국가임상시험지원재단 팀원

※관심분야:교수설계, HRD, 맞춤형 학습, 인공지능 기반 교육

금선영(Sun-Young Keum)

2024년:서울대학교 대학원 (교육학박사-교육공학전공)

2024년~현 재: 서울대학교 학습과학연구소 객원연구원

※관심분야 : 학습자 중심 교육, 맞춤형 학습, 학습분석, 교사교육

최탁(Tak Choi)

2016년~2020년: 세종특별자치시교육청 장학사

2021년~현 재: 세종특별자치시교육청 장학관

※관심분야:혁신교육, 미래교육, 교육과정, 학생평가

김제천(Je-Cheon Kim)

2021년~현 재: 세종특별자치시교육청 장학사

※관심분야 : 미래교육, 교육과정, 교수학습평가혁신

허선영(Sun-Young Huh)

2020년:서울대학교 대학원 (교육학박사-교육공학전공)

2021년~현 재: 서울신학대학교 조교수

※관심분야:맞춤형 학습지원, 인공지능 기반 교육, 테크놀로지 기반 학습환경 설계

Fig. 1.

Fig. 1.
Seoul Career Guidance Center (https://www.jinhak.or.kr/)*As this is a site for Korean students, it provides services in Korean

Fig. 2.

Fig. 2.
Incheon Cyber Career Education Institute (https://cyberjinro.ice.go.kr/)*As this is a site for Korean students, it provides services in Korean

Fig. 3.

Fig. 3.
The AI ethics standards[24]*Quoted the figure exactly as it appears in the report.

Fig. 4.

Fig. 4.
Dashboard for career education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 5.

Fig. 5.
Academic achievement management system for career education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 6.

Fig. 6.
Career/Education guidance competency* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 7.

Fig. 7.
Curriculum-related activity management program for career/education guidance* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 8.

Fig. 8.
Extracurricular activity management program for career/education guidance* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 9.

Fig. 9.
Career aspiration and assessment results management system for career/education* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 10.

Fig. 10.
Career/Education guidance network analysis program* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 11.

Fig. 11.
AI Career Recommendation Service* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Fig. 12.

Fig. 12.
Customized career information service* This study, supported by the Sejong City Office of Education, developed a prototype that was created in Korean for the teachers and students of Sejong City

Table 1.

Users’ needs for career education service prototype

Category Contents
Academic Achievement Academic achievement in middle and high school (course grades, mock exam scores, etc.), Trajectories in academic achievement, and teacher/student opinions (interpretations) on these trajectories
Academic Activities Academic activities (reading, projects, assignments, etc.) content, academic activities outputs (research reports, project assignments, etc.)
Extra-Curricular Activities Club activities, external activities (competitions, etc.), honors and awards

Table 2.

Examples of AI-based career education system

Category Contents
Seoul Career Guidance Center Platform - Providing career information content linked to the Korea Job Broadcasting site via an open API.
- Offering various career-related recommendation sites, career information, and materials in a bulletin board format.
- For Career Aptitude Tests, licenses are purchased from an external company (RS Edu Consulting) to provide services, which measure and analyze four components constituting individual aptitude (personality, ability, interest, values), and based on the results of the career test, career and educational counseling can be requested.
Incheon Cyber Career Education Institute Platform - Providing career testing, career counseling, career and educational information, and career experience opportunities.
- For career experience, services are provided in conjunction with virtual reality.

- Offering AI report services (including recommended careers, majors, etc.) based on student data.

Table 3.

Design principles for career education service prototype

Category Design Principles
1. Data Integration Management 1.1. Manage data multi-dimensionally by semester, grade level, subject, etc.
1.2. Ask teachers and students to record interpretations of data. And manage these records alongside the data.
2. Customized Information for Career 2.1. Provide information on desired career paths (career experience programs, job information, etc.) based on algorithms utilizing artificial intelligence technology.
3. Customized Information for entering a higher education institution 3.1. Provide information for desired schools (recommended courses, entrance exam information) based on algorithms utilizing artificial intelligence technology.
3.2. Provide information on desired schools (academic and extra-curricular activities) based on algorithms utilizing artificial intelligence technology.
4. Customized Information for Career Education 4.1. Provide comparing data of students with similar career educational goals based on algorithms utilizing artificial intelligence technology.
4.2. Provide comparing data of seniors with similar career educational paths based on artificial intelligence technology.

Table 4.

Usability evaluation results

Contents M SD CVI IRA
Validity 3.75 0.50 1.00 1.00
Explanatory Power 3.75 0.50 1.00
Usefulness 4.00 0.00 1.00
Universality 4.00 0.00 1.00
Comprehension 3.75 0.50 1.00