AI 기반 학습지원 시스템 사례 분석을 통한 통합 설계 프레임워크 도출

2-1 교육에서 AI 활용과 연구 동향

교육에서 AI 활용 연구는 지능형 튜터링 시스템(Intelligent Tutoring Systems, ITS)과 학습분석(Learning Analytics, LA)을 중심으로 시작되었다[1],[19]. VanLehn의 메타분석이 보여주듯이, ITS는 전통적인 교수 방식에 비해 학업성취도 향상에 효과적이며, 학습자의 수행 패턴을 실시간으로 진단하고 적응형 학습 경로를 제시하여 개별화 학습을 지원한다[19]. 연구 범위가 점차 확장되면서, Zawacki-Richter 등은 고등교육에서 AI 활용 연구를 학습자 프로파일링 및 예측, 지능형 튜터링(ITS), 평가 및 측정, 개인화와 적응형 시스템의 네 범주로 분류하며 관련 연구 동향을 체계적으로 정리하였다[1]. 이 분류는 AI 활용 연구가 학습자에 대한 지원에서 출발하여, 교수자 지원, 교육기관의 운영 및 정책 의사결정 지원으로 확장되어 왔음을 파악하는 근거로 활용될 수 있다.

반면, Zawacki-Richter 등이 지적하듯이, 특정 AI 기술의 구현과 효과 입증에 연구가 집중되면서 교육학적 맥락에서의 통합적 설계 논의는 상대적으로 부족하였다. 2023년 이후 대규모언어모델(Large Language Model, LLM)의 등장은 기능과 수준별로 논의되어온 이러한 한계를 더욱 분명히 드러내었다. Kasneci 등은 LLM이 교육적 잠재력을 가지고 있지만, AI 리터러시를 교육과정에 핵심역량으로 통합하고 데이터 프라이버시와 보안정책 수립, 윤리적 거버넌스 구축이 선행되어야 함을 강조하였다[20]. 다만, 이 논의 역시 학습자·교수자·교육기관이 하나의 데이터 순환 구조 안에서 어떻게 연결되는지까지는 다루지 않았다.

국내에서도 유사한 변화가 나타나고 있으나 그 양상은 다소 다르게 나타난다. KCI 등재 학술지 68편 논문을 분석한 이수환과 송기상은 국내 연구가 주로 ChatGPT 활용과 언어교육 분야에 편중되어 있으며, 교육 철학이나 정책 차원의 논의는 상대적으로 부족하다고 보고하였다[21]. 이후 국내 연구는 점차 다양화되고 있다. 학습자 수준에서 설명가능한 AI(XAI) 기반의 학습 진단 시스템과 AI 챗봇 플랫폼 분석이 이루어졌으며, 교수자 수준에서는 AI 코스웨어 적용을 위한 교수설계 가이드라인과 교수자용 대시보드 프로토타입이 개발되었다[22]-[25]. 또한, 홍선주 등은 맞춤형 학습지원 관점에서 AI·에듀테크 기능 분석틀을 개발하여, 제품의 기능을 점검하는 기준을 제시하였다[10].

그럼에도 각 연구는 학습자·교수자·교육기관의 수준 간 연결을 충분히 다루지 못하는 한계가 있다. 김성훈 등의 학습 진단 시스템은 교수자가 학습자의 지식 상태를 해석할 수 있도록 설계되었지만, 그 해석이 수업 재설계로 이어지는 과정은 다루지 않고 있다[22]. 임철일 등의 교수자용 대시보드는 학습 상황을 실시간으로 모니터링하는 기능을 갖추고 있지만, 분석된 학습 패턴이 교육기관 수준의 교육과정 개편이나 자원 배분으로 연결되는 방식은 논의되지 않았다[25]. 한편, 홍선주 등이 개발한 AI·에듀테크 기능 분석틀도 교수학습지원과 학습분석을 체계적으로 정리하였으나, 개별 제품의 기능 구현에 초점이 있어 학습자 데이터가 교수자의 판단이나 기관의 의사결정으로 연결되는 흐름까지 다루지는 않았다[10].

이상의 선행연구 분석 결과에서, 연구는 크게 세 영역에서 수행되었다. 즉, AI 기능의 효과성 검증, 특정 수준(학습자 또는 교수자) 대상의 시스템 개발, AI 기능의 분석 틀 개발이다. 이처럼 각 영역의 연구가 수행되었지만, 이 결과는 서로 연결되지 않고 있다. 다시 말해, 학습자의 데이터가 교수자의 판단에 어떻게 반영되는지, 그 결과가 교육기관의 정책 수립에 어떻게 연결되는지 체계적으로 분석한 연구는 찾아보기 힘들다. 여러 연구결과를 통합 분석하여 연계하려는 시도가 이루어지지 않은 것이다.

2-2 AI 기반 학습지원 시스템 수준별 구조와 설계 원리

AI 기반 학습지원 시스템은 단일 기능을 개별적으로 구현하는 방식만으로는 충분히 설명되기 어렵다. 본 연구에서 말하는 학습지원 시스템은 특정 기능 하나가 아니라, 학습자 지원 기능, 교수자의 판단과 개입, 교육기관 차원의 운영 기능이데이터 기반으로 연동되는 통합구조를 의미한다. 이와 관련해서 선행연구에서는 AI의 교육적 활용을 정리하고 설계에 참고할 수 있는 다양한 프레임워크를 제안해 왔으며, 연구마다 접근 방식과 분석 범위에는 차이가 있다[1],[10],[17],[18],[26]. 주요 프레임워크를 비교하면 표 1과 같다.

Table 1.

Comparison of prior studies’ AI-in-education frameworks

표 1의 프레임워크들은 AI의 교육적 기능을 분류하고 개념화하는데 유용하나, 분류된 기능들이 교육 현장에서 어떤 연결 구조로 결합되는지를 분석의 단위로 다루는 경우는 찾아보기 어렵다. Zawacki-Richter 등의 체계적 문헌고찰은 고등교육 맥락에서 AIEd 연구를 체계적으로 정리했으나[1], 적응형 학습 환경에서 수집된 학습 데이터가 평가 설계나 교수자의 판단 지원으로 어떤 경로로 연계되는지, 그 결과가 다시 학습 경험이나 운영 설계에 있어 어떻게 순환되는지는 논의되지 않았다. Holmes 등은 AIEd의 교육적 함의와 함께 사회 및 윤리적 쟁점을 폭넓게 다룸으로써 논의의 범위를 확장하였으나, 실제 운영 사례에 기반한 구체적 설계 원리 도출하였다고 보기는 어렵다[18]. Baker와 Smith는 AIEd를 학습자 대면(learner-facing), 교수자 대면(teacher-facing), 시스템 대면(system-facing)으로 구분한 직관적인 적용 범주를 제시하였으나, 범주 간의 상호작용, 즉, 학습자 도구에서 생성된 정보가 교수자 또는 시스템 영역의 판단과 개입으로 어떤 절차와 조건에서 연결되는지 설명하는 것에 한계가 있다[17]. 한편, 홍선주 등은 맞춤형 학습지원 관점에서 AI·에듀테크 기능 분석틀을 개발하고 적용 가능성을 점검하였으나, 기능 범주화와 평가에 초점이 있어 학습자–교수자–시스템 영역을 아우르는 환류 구조를 제시했다고 보기는 어렵다[10]. 한편, Vierhauser 등은 학습자, 교수자, 프로그램 운영 책임자를 아우르는 다수준 학습분석 프레임워크의 초기 개념을 제안하였으나, 이해관계자의 요구사항과 우려를 도출하는데 중점을 두고 있으며, 운영 사례에서 산출물이 어떻게 연결되고 환류되는지는 다루지 않았다[26].

이상의 선행연구 검토를 바탕으로, 본 연구는 AI 기반 학습 지원 시스템을 학습자-교수자-시스템의 세 수준(level)으로 구분하되, 기존의 연구에서 상대적으로 논의가 부족한 수준 간의 데이터 흐름과 환류 구조를 분석의 중점에 두었다. 예컨대, 학습자의 학습활동 정보가 교수자의 지도와 피드백으로 연결되고, 교육기관 차원의 예측과 의사결정으로 확장되는 과정을 사례 분석을 통해 비교하고자 한다. 또한, 이러한 연결이 일회성의 전달로 끝나지 않고, 순환적 상호작용으로 작동하기 위해 필요한 조건을 논의하고자 한다.

본 연구에서 학습자-교수자-시스템은 기능의 분류가 아니라, AI 기반 학습지원이 작동하는 단위를 의미하며, 이하에서는 이를 세 수준으로 통일하여 사용한다. 각 수준의 주요 역할과 기능은 표 2에 제시하였다[1],[17],[18],[27]. 표 2는 본 연구의 수준별 분석 틀을 개념적으로 정리한 것으로, 이후 사례 분석에서는 이 틀을 기준으로 기능과 기술, 산출물을 코딩하여 비교하였다. 아울러 실제 운영 환경에서 수준 간 상호작용이 지속적으로 이루어지기 위해 필요한 데이터 표준화와 상호운용성, 책임 및 권한의 배분, 설명가능성 등의 조건을 거버넌스 관점에서 검토하고 그 한계를 함께 제시하고자 한다.

Table 2.

A three-level framework for AI-based learning support

2-3 핵심 기능 범주와 수준 간 환류 관점의 사례 매핑

본 절은 AI 기반 학습지원 사례에 대한 분석 단위와 매핑 규칙을 명확히 제시하는데 목적이 있다. 운영 사례는 기능 중심으로 볼 때 개인화 학습 및 튜터링, 질의응답 기반 학습지원, 평가 및 피드백 지원, 학습분석 기반 운영 및 의사결정 지원의 네 범주로 구분될 수 있다. 다만 이것은 기능 분류를 위한 범주화이며, 실제 운영 환경에서는 하나의 기능이 학습자–교수자–시스템의 여러 수준에 걸쳐 작동하기도 한다. 이에 본 연구는 기능의 명칭을 나열하기 보다는 기능이 산출하는 정보가 어떤 형식으로 기록(로그)되고, 어떤 형태로 재구성(지표 및 리포트)되며, 어떤 경로로 전달(대시보드 및 보고)되고, 어떤 조치와 기록(개입 기록)으로 연결되는지를 사례에 기반하여 분석하였다. 표 3은 대표 사례 6건을 대상으로 기능 범주와 1차 작동 수준을 매핑하고, 수준 간 활용 가능성이 있는 산출물 유형(로그–지표 및 리포트–개입 기록)을 함께 제시한 것이다. Ⅲ장에서는 표 3의 매핑을 분석 프레임으로 두고, 사례 자료 수집 범위와 코딩 체계(기능-기술-수준) 및 분석 절차를 구체화하였다. Ⅳ장에서는 표 3의 매핑을 기반으로, 대표 사례에서 규칙적으로 확인되는 수준 간 환류 구조의 유형과 작동 조건을 도출하였다.

Table 3.

Functional-level mapping of six representative cases

3-1 연구 대상 및 자료 수집

본 연구는 AI 기반 학습지원 시스템의 통합 설계 프레임워크를 도출하기 위해, 실제 교육 맥락에서 운영된 국내·외 사례를 대상으로 기능 구성과 구현 방식에 관한 공개 자료를 수집 및 분석하였다. 분석 대상은 2015년부터 2025년까지 기능과 구현 방식이 문서로 확인이 가능한 AI 기반 학습지원 시스템 사례로 16건(국내 5건, 해외 11건)이다. 분석 기간은 학습분석과 교육용 AI 서비스가 교육현장에 본격적으로 도입되는 시기 이후부터, 2023년 이후 생성형 AI의 확산 시기까지를 포함하였다. 국내·외 비율은 자료 접근성과 기능 및 기술 정보의 공개 수준에 따라 사례가 확보된 결과이며, 이에 따른 편향가능성은 결론에서 한계로 논의하였다.

사례 선정 기준은 먼저, 초·중·고 또는 고등교육 등 교육 맥락에서 실제로 운영되고 있는 것이다. 다음으로, 시스템의 학습 지원 기능이 공개 자료에 비교적 구체적으로 설명되어, 본 연구의 기능 범주(개인화 학습 및 튜터링, 질의응답 기반 학습지원, 평가 및 피드백 지원, 학습분석 기반 운영 및 의사결정 지원)에 따라 분석이 가능한 사례를 포함하였다. 마지막으로, 해당 기능이 어떤 대상(학습자, 교수자, 기관 운영)을 전제로 하는지와 구현 방식의 핵심적 특징(예: 지식상태추적, 자연어처리 및 생성형 AI, 추천 및 예측 모델 등)이 공개 문서에 확인되어, 코드북에 따라 코딩 가능한 사례를 선정하였다. 반면, 공개 자료에서 기능-기술-수준의 분석 단위로 정리하기에 정보가 불충분한 사례는 제외하고, 학교급이나 특정 기능에 편중되지 않도록 사례 구성을 조정하였다. 그 결과로 초기 검토 대상 20건 중에 최종 16건을 분석 대상으로 선정하였으며, 전체 목록은 부록의 표 5에 제시하였다.

자료 수집은 세 단계로 진행되었다. 먼저, 문헌자료를 수집하여 국내·외 AI 기반 학습지원 시스템의 적용 동향과 관련 정책을 탐색하였다. 주로 국내 학술논문과 학위논문, 한국교육학술정보원과 한국교육개발원, 한국교육과정평가원 등의 연구기관의 보고서를 수집하여 검토하였다. 다음으로 해외 자료는 web of science, Scopus, ERIC 등의 데이터베이스에서 ‘AI tutor’, ‘academic advising system’, ‘learning analytics in (higher) education’ 등의 키워드로 검색하여 관련 연구와 사례를 확보하였다. 마지막으로, 각 AI 시스템의 공식 웹사이트, 사용자 메뉴얼, 언론 보도자료 등 공개 자료를 수집하여 구체적인 기능의 작동 방식과 교육적 활용 맥락을 확인하였다. 수집된 자료는 연구진의 공유 드라이브에 사례별로 정리하고, 각 사례에 대해 핵심 기능, 적용상황, 기술 특징을 요약한 메모를 작성하여 초기 코딩의 기초 자료로 활용하였다.

3-2 분석 프레임 및 분석 절차

수집한 자료의 분석은 2-2절의 수준별 분석 틀(학습자-교수자-시스템)과 2-3절의 기능-수준 매핑(표 3)을 기본 기준으로 하여 수행하였다. 본 연구에서 수준(level)은 AI 기반 학습지원이 작동하는 단위를 의미한다. 동일 기능이라도 어느 수준에서 구현되고, 다른 수준의 판단과 개입으로 어떻게 전달되는지에 따라 운영 구조가 달라진다는 점에 중점을 두어 분석하였다. 이처럼 본 연구의 분석은 기능과 기술의 분류보다는 각 기능이 산출하는 정보가 기록-요약-전달-조치의 과정을 거쳐 개입과 의사결정으로 연결되는 방식, 즉 수준 간 환류 구조를 도출하는 방식으로 수행하였다. 여기서 산출물은 학습활동의 기록(로그), 이것에 대한 요약 지표 및 리포트, 전달수단(대시보드 및 보고), 조치와 개입 기록을 포함한다.

분석과정은 세 단계의 코딩 절차를 통해 이루어졌으며, 각 단계의 정의, 판정 기준, 코딩 예시는 부록 표 6에 제시하였다. 첫째, 기능 코딩에서는 AI 시스템이 수행하는 교육적 목적에 따라 기능을 개인화 학습 및 튜터링, 질의응답 기반 학습지원, 평가 및 피드백, 학습분석 기반 운영 및 의사결정 지원 등으로 분류하였다. 하나의 시스템이 두 가지 이상의 기능을 수행하는 경우는 중복 코딩을 적용하였다. 둘째, 기술 코딩에서는 각 기능이 구현되는 방식에 따라 자연어처리(NLP)와 생성형 AI, 지식상태추적(knowledge tracing) 계열, 추천 알고리즘, 예측 모델(머신러닝 모델 기반)로 기술적 특징을 분류하였다. 셋째, 수준 코딩에서는 해당 기능이 주로 작동하는 적용 대상에 따라 학습자-교수자-시스템 수준을 부여하였다. 학습자용 도구를 교수자가 함께 활용하거나, 시스템 수준의 예측 결과가 교수자의 상담 및 지도 절차로 연결되도록 설계된 사례는 중복 코딩하였다.

코딩의 기본 단위는 공개 문서에서 기능과 적용 방식이 비교적 구체적으로 제시된 구간으로 설정하였으며, 서비스 기능 설명, 사용자 흐름, 데이터 처리 방식, 적용대상 및 운영 절차를 중심으로 내용을 추출하였다. 16건 전체를 대상으로 이중코딩을 수행하였다. 연구진은 동일한 코드북을 기준으로 구글 시트에 독립적으로 코딩하고 그 결과를 대조한 결과, 주로 기능과 기술의 경계, 각 수준의 단일 및 중복 판단을 중심으로 약 3건의 불일치 항목이 확인되었다. 결과가 일치하지 않는 부분은 1~2차의 회의를 통해 원문과 코드북의 정의를 재확인하여 합의하였다. 이후에도 합의에 이르지 못한 항목은 보류 코드로 표시한 후 추가 자료를 확인하거나 범주 정의를 보완하는 방식으로 최종 코드를 확정하였다. 이 과정에서 코드북은 기능 범주의 경계, 기술 분류의 기준, 수준 판단의 근거 문구를 중심으로 반복적으로 정교화하였다. 다만, 본 연구의 코딩은 연구진의 합의 기반 절차로 수행되었으며, 코딩 신뢰도 계수(Cohen's κ)는 산출하지 못하였다. 이에 대한 한계와 보완 방향은 Ⅴ장에서 다루었다.

이를 보완하기 위해 교육공학 및 AI 기술 분야의 박사학위자와 교수자로 구성된 전문가 4인에게 자문을 실시하여 분류 체계의 타당성을 점검하였다. 자문은 기능 범주와 기술 범주의 구분이 중첩되거나 모호한 지점, 사례 분류의 타당성, 국내 AIEd 맥락에서 표의 용어와 적합성, 수준 간 연결을 설명하는 핵심 산출물(로그-지표 및 리포트-개입 기록) 명칭의 적절성을 중심으로 검토하였다. 자문 결과는 코드북 문구 보완과 일부 사례의 재분류, 표의 표현 정교화에 반영하였다.

4-1 사례 6건의 개요와 매핑 결과

본 장에서는 2-3절에서 제시한 기능-수준 매핑(표 3)을 기준으로, 대표 사례 6건에서 확인되는 수준 간 환류 구조를 비교하였다. 대표 사례는 학습자 수준 2건(Century Tech, QANDA), 교수자 수준 2건(Gradescope, Turnitin), 시스템 수준 2건(Canvas, Civitas Learning)으로 구성하였다. 이는 특정 기능 범주나 특정 수준에 사례가 편향되지 않도록 하면서, 본 연구의 목적인 서로 다른 기능, 기술, 운영 맥락이 교차하는 지점에서 환류 구조가 어떻게 성립되는지를 분석하기 위한 것이다.

분석 결과, 사례별로 기능과 구현 기술에 차이가 있더라도 공통적으로 발견된 점은 ⅰ)학습활동 또는 운영 데이터가 로그 형태로 축적되고, ⅱ)지표와 리포트로 요약 및 가공되며, ⅲ)대시보드 및 보고의 경로를 통해 전달되고, ⅳ)개입 또는 운영 조치로 이어지며, ⅴ)그 조치가 다시 기록되어 다음 설계와 운영의 근거가 되는 흐름이 확인되었다. 반면, 사례에 따라 이 흐름이 원활하게 순환하며 안정적으로 작동하는 정도에는 차이가 있었다. 특히, 산출물이 교수자 또는 교육기관의 의사결정으로 연결되는 지점에서 해석 기준과 권한배분, 기록 체계가 갖추어지지 않는 경우에는 환류가 제대로 이루어지기 어려운 것으로 나타났다. 이에, 본 연구에서는 표 3의 매핑을 분류결과에서 더 나아가 환류 구조의 유형과 작동 조건을 도출하기 위한 근거로 활용하였다.

4-2 수준 간 환류 구조의 유형 도출

대표 사례 6건을 기능-기술-수준 조합과 산출물 유형(로그-지표 및 리포트-개입 기록) 관점에서 비교한 결과, 수준 간 환류 구조는 세 유형으로 정리된다. 첫째, 학습자 수준에서 생성된 학습활동 로그가 요약 지표로 정리되어 개인화 지원으로 되돌아오는 학습자 중심 환류(유형A)이다. 둘째, 교수자 수준에서 생성되는 평가 및 피드백 기록이 과제 및 수업 설계 개선으로 연결되는 교수자 중심 환류(유형B)이다. 셋째, 시스템 수준에서 산출되는 위험 지표가 상담 및 지원 절차를 통해 개입으로 연결되고, 결과가 운영 개선으로 환류되는 운영 및 의사결정 환류(유형C)이다. 이 구분은 기능 범주의 차이를 다시 설명하는 것이 아니라, 산출물이 어떠한 형식으로 정리되고 어떠한 경로를 따라 다음 수준의 판단과 개입으로 연결되는지를 나타내는 틀로서 제시된다. 각 유형의 대표 사례에서 구성 내용과 취약점을 분석한 결과를 구체적으로 살펴보면 다음과 같다.

4-3 유형별 작동 조건

세 유형을 종합하면, 수준 간 환류 구조가 실제 운영에서 지속적으로 작동하기 위해서는 공통 조건이 요구된다. 무엇보다, 로그, 지표, 리포트, 개입 기록이 수준 간에 이동하려면 데이터 항목과 의미가 정합적으로 연결되어야 하며, 최소한의 표준화와 상호운용성이 갖추어져야 한다[34],[35]. 이는 기술적인 인터페이스 구현과 함께 어떤 항목을 어떤 정의로 기록할 것인지에 관한 합의가 포함된다. 반면, 산출물의 해석과 개입 실행은 자동화된 절차만으로 운영이 어려우므로, 누가 어떤 기준으로 판단하며 책임을 지는지(책임, 권한, 검토 절차)가 명확해야 한다. 특히 교수자 수준과 시스템 수준은 산출물의 민감도가 높아질수록, 판단에 대한 절차적 타당성이 더 중요해지는 경향이 있다. 나아가, 위험 지표나 유사도 리포트와 같이 민감도가 높은 산출물은 설명가능성과 투명성이 확보되지 않으면 사용자의 신뢰가 약화되고 오남용 위험을 높일 수 있다[35]. 결국, 환류 구조는 기술적 구성요소만으로 완성되기 어렵고, 운영 규정과 역할 배분, 검토 절차 등 거버넌스 설계와 결합될 때 실질적인 작동이 가능하다는 점이 분석 결과에서 반복적으로 확인되었다.

4-4 특정 맥락 변수에 따른 차이

대표 사례는 학교급과 국가에 따라 운영 맥락이 다르며, 공개 자료의 범위도 사례마다 차이가 있다. 그럼에도 사례 비교를 통해 몇 가지 맥락적 차이를 정리할 수 있었다. 첫째, 학습자 중심 서비스는 학교급과 무관하게 개인화 및 질의응답을 중심으로 확산되는 경향이 있으나, 교수자 및 기관 수준으로 환류가 확장되는 정도는 교육과정 운영 구조와 데이터 활용 정책에 따라 차이가 나타날 수 있다. 예컨대 학습자 로그가 교수자 수준의 수업 운영에 실제로 활용되려면, 로그가 수업 운영 단위(주차/단원/평가 기준)로 재구성되어야 하는데, 이 과정은 교육과정 편성 및 수업 운영 정책에 의해 영향을 받는다. 둘째, LMS와 학습분석 기반 운영 지원은 교육기관 단위의 데이터 인프라 및 지원 조직(상담, 지도, 학사 운영)을 갖춘 환경에서 개입 절차와의 연결 가능성이 커지는 흐름을 보인다. 즉, 누가 개입을 담당하고 어떻게 기록할 것인지가 제도적으로 마련되어 있지 않으면 환류구조가 작동하기 어렵다. 셋째, 학업 윤리 및 평가 관련 산출물은 전공 분야의 특성과 학사 정책의 제도적 맥락(평가의 공정성, 이의제기 절차, 개인정보 및 윤리 규정)에 따라 활용 방식이 달라질 수 있어, 기능의 존재만으로 운영 효과를 보장하기 어렵다. 이러한 맥락적인 변수를 고려할 때, 본 연구의 통합 설계 프레임워크는 특정 도구의 우수성을 주장하기보다는 환류가 작동하기 위한 조건을 설계 원리 수준에서 정리하는 데 중점을 두었다.

4-5 기능-기술 매트릭스 종합 및 통합 설계 프레임워크 도출

앞선 4-1에서 4-4의 결과를 종합하면, 대표 사례 6건은 기능과 구현 기술이 서로 다름에도 불구하고, 산출물(로그–지표 및 리포트–개입 기록)을 매개로 수준 간 환류가 구성될 수 있다는 공통점을 보여준다. 다만 실제 운영에서 지속적으로 환류가 이루어지기 위해서는, 산출물이 어떤 기준으로 요약 및 정리되어 전달되고, 누가 어떤 절차로 해석 및 개입하며, 그 결과를 어떻게 기록으로 남길 것인지가 함께 설계되어야 한다. 이러한 관점에서 본 연구는 사례 분석 결과를 기능–기술 축으로 재정렬하여, 수준별 주요 기능과 관련 기술 범주, 그리고 환류 연결 지점을 한 눈에 파악할 수 있도록 표 4와 같이 기능–기술 매트릭스를 구성하였다. 표 4는 표 2의 수준별 분석 틀을 대표 사례에 적용하여 도출한 결과를 종합한 것으로, 각 수준에서 관찰된 주요 기능과 관련 기술 범주, 산출물(로그-지표 및 리포트-개입 기록)의 활용 지점을 함께 정리한 결과표이다. 예컨대 학습자 수준에서는 개인화 및 질의응답 기능이 학습활동 로그와 숙달도 지표를 핵심 산출물로 생산하는 경향이 나타났고, 교수자 수준에서는 평가 및 피드백 과정에서 생성되는 채점 기록과 판단 근거(리포트)가 수업 재설계의 자료로 축적되고 있었다. 시스템 수준에서는 이탈 위험 지표와 개입 기록이 운영 개선으로 환류될 때 의미를 갖는데, 이 과정은 데이터 인프라(집계와 대시보드)뿐만 아니라 개입 절차와 책임 배분이 함께 갖추어질 때 안정적으로 작동할 가능성이 커진다. 즉 기능–기술 매트릭스의 의의는 기능을 더 많이 제시하는 데 있지 않고, 수준 간 연결을 가능하게 하는 산출물과 운영 조건을 명확하게 구조화하는데 있다.

Table 4.

A findings-based function-technology matrix by level

이상의 분석 결과를 종합하면, 본 연구가 제안하는 통합 설계 프레임워크는 다음의 네 가지 원리로 정리될 수 있다. 첫째, 산출물 중심 설계이다. 무엇을 로그로 남기고 어떤 지표로 요약할지, 개입 기록을 어떤 형식으로 축적할지의 기준이 먼저 정리되어야 한다. 둘째, 요약 기준과 연계 절차의 명시이다. 로그가 지표와 리포트로 정리되고, 그 리포트가 교수자 및 교육기관의 판단과 개입으로 이어지는 경로(전달 주체, 빈도, 책임)가 구체적으로 설정될 필요가 있다. 셋째, 책임 및 권한과 검토 절차의 내재화이다. 특히 민감 산출물(위험 지표, 유사도 리포트 등)은 해석 기준과 이의제기 절차가 함께 마련되지 않으면 신뢰도가 낮아질 수 있다. 넷째, 표준화 및 상호운용성과 설명가능성에 기반한 거버넌스이다[34]-[36]. 수준 간 연결이 확장될수록 데이터 정의와 접근 권한, 설명의 기준이 함께 정교화되어야 환류가 지속 가능한 구조로 유지될 수 있다. 본 절에서 정리한 통합 설계원리는 다음 장에서 실행 단위의 제언으로 구체화하여 제시하였다.

5-1 연구결과 요약

대표 사례 6건 분석 결과, 수준 간 환류 구조는 학습자 중심(A), 교수자 중심(B), 운영 및 의사결정 중심(C)의 세 유형으로 정리될 수 있었다. 유형 A는 학습활동 로그가 요약 지표로 정리되어 개인화 지원으로 반영되는 흐름이며, 유형 B는 평가 및 피드백 기록이 수업 재설계의 근거로 활용되는 흐름을, 유형 C는 이탈 위험 지표가 지도 활동 절차와 결합되어 개입과 운영 개선으로 이어지는 흐름을 보여준다. 세 유형을 종합하여 환류가 안정적으로 이루어지기 위해서는 데이터 항목과 의미의 정합성을 확보하고 최소한의 표준화와 상호운용성을 갖추는 일이 전제되어야 한다[34],[35]. 또한, 산출물의 해석과 개입 실행이 실제 운영으로 이어지기 위해서는 책임 및 권한과 검토 절차가 명확해야 하며, 위험 지표나 유사도 리포트와 같이 민감도가 높은 산출물은 설명가능성과 투명성 기준을 마련해 둘 필요가 있다[36]. 따라서, 통합 설계에 대한 논의를 할 때에는 기능 목록을 제시하는 수준을 넘어, 산출물과 운영 조건을 함께 다룰 필요가 있음을 확인할 수 있었다.

이상의 결과를 바탕으로 본 연구의 학술적 의미는 다음과 같이 정리될 수 있다. 첫째, 동일 기능이라도 산출물의 정리 방식과 연계 절차에 따라 운영 구조가 달라질 수 있음을 사례 비교를 통해 정리하였다. 둘째, 수준 간 환류 구조를 A~C의 세 유형으로 제시함으로써 후속 연구에서 검토할 지점(요약 기준, 연계 절차, 개입 기록)을 구체화하였다. 셋째, 기능–기술 매트릭스(표 4)는 특정 기술의 우수성을 주장하기보다, 수준 간 연결에 필요한 산출물과 운영 조건을 함께 점검하는 데 중점을 두었다. 다음 절에서는 이러한 학술적 의미를 토대로, 도출된 작동 조건과 설계 원리를 실제 운영 맥락에서 적용하기 위한 실행과제를 제언으로 제시하였다.

5-2 실천적 제언

본 연구의 제언은 AI 활용이 필요하다는 일반론을 반복하는 데 있지 않다. 오히려 환류 구조를 성립시키기 위해 무엇을 먼저 정리하고 어떤 순서로 확장할 것인지가 핵심이다. 이에 세 단계로 구분하여 실행 과제를 제시하였다.

첫 번째 단계에서의 우선 과제는 기능 도입 자체가 아니라, 무엇을 기록으로 남길 것인지를 명시하는 것이다. 기관은 학습활동 로그, 지표 및 리포트, 개입 기록 중 어떤 항목을 어떤 목적에서 수집 및 활용할지 범위를 먼저 정리해야 한다. 교수자 수준에서는 평가 및 피드백 산출물이 자동 판정이 아니라 판단 근거로 활용되는 영역(예: 유사도 리포트)을 구분하고, 검토 및 이의제기 절차의 최소 요건을 마련할 필요가 있다. 학습자 수준에서는 개인화 추천이나 질의응답이 제공될 경우, 결과의 한계와 오류 가능성을 인지할 수 있도록 안내(근거 제시 방식, 참고자료 연결 등)를 포함시키는 것이 바람직하다. 결국, 이 단계에서는 기능 도입 여부보다는 산출물 정의와 책임 경계가 얼마나 분명해졌는가가 성과의 기준이 되어야 한다. 이러한 판단은 본 연구의 사례 분석에서도 확인되었다. 유형 A의 Century Tech와 QANDA에서 학습자 수준의 로그 축적은 확인되었으나 교수자에게 전달하는 기준이 제시되지 않아 수준 간의 확장이 제한되는 패턴이 나타났고, 유형 B의 Turnitin에서는 유사도 리포트가 생성되더라도 검토 기준과 판정 절차가 제시되지 않으면, 결과가 적절하게 활용되기 어려운 점을 확인하였다.

두 번째 단계에서는 산출물이 다른 수준에서 활용 가능한 형태로 작동하도록 요약 기준과 연계 절차를 구체화해야 한다. 학습자 로그가 교수자 수준에서 의미 있는 지표로 제시되려면, 수업 운영 단위(주차, 단원, 평가 기준)에 맞춘 요약 방식이 필요하며, 전달 주체, 빈도, 활용 시점이 함께 정리되어야 한다. 교수자 수준에서는 채점 및 피드백 도구가 업무 부담을 줄이는 데 그치지 않도록, 루브릭 정교화–피드백 제공–개입 기록의 흐름이 실제 수업 운영 절차와 일관되게 결합되어야 한다. 시스템 수준에서는 위험 지표가 생성된 이후의 단계가 중요하다. 알림이 누구에게 전달되고, 어떤 조건에서 상담 및 지도 조치로 연결되며, 그 결과가 어떤 형식으로 기록되는지(알림–담당자 지정–조치–기록)를 운영 규칙으로 명시할 필요가 있다. 정리하면, 두 번째 단계는 수준 간 연결이 원활하도록 설계를 정교화하는 과정으로 이해되어야 한다. 실제로 유형 A에서는 학습자 로그가 수업으로 재구성되지 않는 문제가 관찰되었으나, 유형 C의 Civitas Learning에서는 알림–담당자 지정–조치–기록의 흐름이 설계되어 있었다. 이러한 차이는 연계 절차의 구체화가 환류의 작동에 영향을 미칠 수 있음을 보여준다.

마지막 단계에서는 수준 간 환류 구조가 제도적으로 정착되기 위한 거버넌스 체계가 요구된다. 첫째, 표준화 및 상호운용성은 시스템 연동만의 문제가 아니라 항목 정의, 접근 권한 정책, 기록 품질 관리까지 포함한 운영 규칙의 차원에서 접근할 필요가 있다. 둘째, 위험 지표나 유사도 리포트처럼 교육적 판단에 영향을 미치는 산출물은 설명가능성과 투명성의 기준이 마련되어야 하며, 오류 및 편향 가능성 점검과 책임 주체가 명확해야 한다. 셋째, 개입 기록이 누적될수록 운영 개선의 근거가 풍부해질 수 있으나, 동시에 기록이 낙인이나 과도한 개입으로 이어지지 않도록 수집 목적의 범위를 한정하고 최소 개입 원칙을 병행할 필요가 있다. 마지막 단계의 핵심은 기술 고도화가 아니라, 환류 구조가 왜곡되지 않도록 점검하고 개선하는 체계를 갖추는 데 있다. 실제로 유형 C의 Civitas Learning에서는 데이터 인프라와 지원 조직이 갖추어진 환경에서 환류가 안정적으로 작동하는 경향이 확인되었으며, 이는 거버넌스 체계의 필요성을 뒷받침하는 사례로 볼 수 있다.

5-3 연구의 한계와 후속 연구 과제

본 연구는 공개 자료에 근거한 사례 분석을 통해 AI 기반 학습지원 시스템의 수준 간 환류 구조와 통합 설계 원리를 도출하였으나, 다음의 한계를 가진다. 첫째, 사례 선정은 기능–기술–수준 코딩이 가능한 운영 사례를 확보하기 위한 목적표집의 성격을 지닌다. 따라서 본 연구의 결과는 통계적 일반화라기보다 사례 비교를 통한 분석적 정리에 가깝다. 향후에는 검색 전략과 포함 및 제외 기준을 보다 명확하게 제시하고, 학교급과 운영 맥락을 세분화한 사례 구성으로 외적 타당도를 보완할 필요가 있다. 둘째, 본 연구는 연구진의 독립 코딩과 합의 절차, 전문가 자문을 통해 코딩의 일관성을 확보하고자 했으나, 코딩 신뢰도 계수 κ를 제시하지 못하였다. 후속 연구에서는 동일 코드북을 기반으로 다수 코더가 참여하는 재코딩과 신뢰도 분석을 강화할 필요가 있다. 셋째, 본 연구는 통합 설계 프레임워크를 사례 기반으로 도출하였으나, 프레임워크의 실증적 검증(전문가 타당화, 현장 적용을 통한 유용성 점검)까지는 수행하지 못하였다. 넷째, 국내·외 사례를 함께 포함했지만 문화적·제도적 맥락 차이가 수준 간 환류 구조에 미치는 영향을 분석하지는 못하였다. 향후에는 국가 및 학교급 유형을 기준으로 비교 사례를 구성하거나, 운영 담당자 및 사용자 자료를 활용하여 맥락 변인을 보다 구체적으로 분석할 필요가 있다. 마지막으로, 본 연구가 제안하는 통합 설계 프레임워크는 고정된 하나의 모델이 아니라, 교육기관의 데이터 환경과 조직 여건에 따라 조정 가능한 분석 틀로 이해될 필요가 있다. 다만, 임의적으로 조정되지 않도록, 산출물의 형식과 요약 기준, 연계 절차, 책임 및 권한, 설명가능성은 최소한의 공통 설계 요소로 고려될 필요가 있다.