Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 27, No. 2, pp.449-462
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 28 Feb 2026
Received 02 Jan 2026 Revised 21 Jan 2026 Accepted 30 Jan 2026
DOI: https://doi.org/10.9728/dcs.2026.27.2.449

생성형 AI 기반 프론트엔드 직업훈련 수업의 교육효과 분석: 산출역량·학습 몰입·성취점수를 중심으로

송미선1 ; 배현영2, *
1한국기술교육대학교 IT융합과학경영산업대학원 AI융합교육학과 석사
2한국기술교육대학교 IT융합과학경영산업대학원 AI융합교육학과 겸임교수
Generative AI in Frontend Vocational Training: Effects on Output Competency, Engagement, and Achievement
Mi-Seon Song1 ; Hyun-Young Bae2, *
1M.S. in AI Convergence Education, Graduate School of IT Convergence and Industrial Management, University of Technology and Education (KOREATECH), Cheonan 31253, Korea
2Adjunct Professor, Department of AI Convergence Education, Graduate School of IT Convergence and Industrial Management, Korea University of Technology and Education (KOREATECH), Cheonan 31253, Korea

Correspondence to: *Hyun-Young Bae E-mail: youg989@daum.net

Copyright ⓒ 2026 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구는 프론트엔드 직업훈련에서 생성형 AI 기반 수업의 효과를 전통 수업과 비교·검증하였다. 수도권 직업훈련기관 ‘스마트 웹콘텐츠 UI/UX 디자인 & 프론트엔드(React.js)’ 과정 학습자 100명(전통 50명, AI 50명)을 대상으로 비동등 통제집단 사전–사후 설계를 적용하였다. 산출역량(15문항)과 학습 몰입(8문항)은 사전·사후 설문으로, 성취수준은 디버깅·코드 읽기 및 개념 적용형 문항으로 구성된 성취시험 점수로 측정하였다. 사전 점수를 통제한 분석 결과, AI 기반 수업 집단은 전통 수업 집단 대비 산출역량, 학습 몰입, 성취수준에서 유의하게 높은 성과를 보였다. 인터뷰(n=14)에서는 생성형 AI가 요구사항 정리·디버깅·대안 탐색을 지원해 시행착오를 줄였으나, 검증 부담과 맥락 부적합, 과의존 위험이 제한 요인으로 확인되었다. 본 연구는 생성형 AI 통합 직업훈련에서 활용 규칙·검증 절차·평가 기준의 명확화가 중요함을 시사하며, 후속 연구에서 결과물 기반 지표와 다양한 훈련 맥락의 반복 검증이 필요함을 제안한다.

Abstract

This study compared generative AI-based instruction with a traditional format in frontend vocational training. Using a nonequivalent control-group pretest-posttest design, we analyzed data from 100 trainees enrolled in a “Smart Web Content UI/UX Design & Frontend (React.js)” program (traditional instruction group, N = 50; generative AI–based instruction group, N = 50). Output competency was measured using a 15-item scale and learning engagement using an 8-item scale via pre/post surveys, and achievement was assessed using a performance test covering debugging, code reading, and concept application. Controlling for pretest scores, the generative AI-based class showed significantly higher performance in output competency, engagement, and achievement. Semi-structured interviews with 14 trainees (n = 14) indicated reduced trial-and-error due to support for requirement clarification, debugging, and alternative exploration; however, verification burden, context mismatch, and overreliance risks emerged as constraints. These findings suggest that effective integration of generative AI requires clear usage rules, verification procedures, and assessment criteria. Future research should employ artifact-based indicators and examine whether these patterns hold across diverse training contexts and content domains.

Keywords:

Generative AI, Frontend Education, Vocational Training, Output Competency, Achievement Test Score

키워드:

생성형 인공지능, 프론트엔드 교육, 직업훈련, 산출역량, 성취점수

Ⅰ. 서 론

4차 산업혁명 환경에서 인공지능은 산업과 사회 전반의 생산 방식과 의사결정 구조를 변화시키고 있으며, 교육 역시 이러한 변화의 영향을 직접적으로 받는다. 특히 생성형 인공지능(Generative AI, 이하 생성형 AI)은 단순한 정보 검색·제공을 넘어 텍스트·이미지·코드 등 다양한 형태의 산출물을 생성·변환할 수 있어, 학습자가 아이디어를 구체화하고 문제를 해결하며 결과물을 완성하는 전 과정에서 활용 가능한 도구로 주목받는다[1],[2]. 생성형 AI는 학습자의 질문 의도와 수행 맥락에 맞춘 설명·예시·피드백을 제공하고, 과제 수행에 필요한 자료 구성과 표현을 보조함으로써 학습자 중심의 학습 경험을 확장한다[2].

이러한 특성은 웹 개발·디자인·코딩 등 실습 중심의 프론트엔드 직업훈련에서 더욱 중요하게 작동한다. 프론트엔드 교육은 UI/UX 설계, 기능 구현, 테스트, 배포 가능한 결과물 제작 등 산출물의 완성도가 학습 성과와 밀접하게 연결되는 산출 중심 교육이다. 학습자는 기획–설계–구현–디버깅–개선의 반복 과정을 통해 역량을 축적한다. 그러나 직업훈련 현장에는 비전공 학습자 비율이 높아 문법 오류, 구조 설계의 난이도, 피드백 지연, 반복 작업 부담 등으로 인해 수행 부담이 커지고 학습 몰입이 저하될 가능성이 크다. 즉, 산출 중심 실습교육에서는 즉각적 피드백과 반복 개선을 지속하게 하는 동력이 교육 효과를 좌우하는 핵심 조건이 된다.

최근 ChatGPT, GitHub Copilot과 같은 생성형 AI 기반 도구는 코드 제안, 오류 원인 추론, 수정안 제시, 기능 구현 보조 등을 통해 학습자가 정체되는 구간에서 다음 행동의 단서를 제공하고, 문제 해결과 산출물 개선에 더 많은 시간을 투입하도록 지원할 수 있다[3]. 실제로 Copilot 활용이 과제 수행 속도 및 생산성과 관련된 정량적 결과로 보고된 바 있다[4]. 다만 이러한 효과가 교육 장면, 특히 실무 전이가 중요한 직업훈련에서 학습자의 산출역량과 학습 몰입을 실질적으로 향상시키는지, 그리고 전통적 수업과 비교했을 때 어떤 차이를 만드는지는 비교 기반의 실증 검증이 필요하다.

한편 직업훈련의 성과평가(훈련기관 인증·평가)는 취업률, 수료율, 수요자 만족도 등 훈련성과 지표와의 연계를 강화해 왔다[5]. 그러나 프론트엔드 실습 직업훈련에서는 결과물 완성뿐 아니라 요구사항 정리–구현–디버깅–개선으로 이어지는 수행 과정 자체가 핵심 학습 경험이며, 생성형 AI는 이 산출 사이클에 직접 개입하여 피드백 루프와 수행 부담을 변화시킨다. 따라서 생성형 AI 통합의 교육효과를 설명하기 위해서는 단일 성취지표의 변화뿐 아니라, 산출물 제작을 수행하는 능력(산출역량)과 학습 과정에서의 몰입 경험을 함께 고려할 필요가 있다. 본 연구는 이러한 관점에서 생성형 AI 기반 수업의 효과를 전통 수업과 비교하여 산출역량과 학습 몰입을 중심으로 검증한다.

선행연구는 생성형 AI 기반 수업이 개인화 학습, 프로젝트 기반 산출 활동, 학습 동기 및 몰입과 관련된 긍정적 가능성을 제시해 왔다[6]-[8]. 그러나 기존 연구는 주로 초·중등 또는 대학 교육 맥락에 집중되어 있으며, 직업훈련처럼 산업 수요에 맞춘 실무 중심 환경에서 생성형 AI 기반 수업의 효과를 비교집단 기반으로 검증하면서 산출역량과 학습 몰입을 동시에 다룬 연구는 제한적이다[9]. 직업훈련은 산업 현장으로의 전이가 중요한 영역이므로, 생성형 AI의 통합이 학습 효율을 넘어 산출 역량과 몰입 경험을 실제로 향상시키는지에 대한 근거 제시가 요구된다.

이에 본 연구의 목적은 전통적인 프론트엔드 직업훈련 수업과 생성형 AI 기반 수업을 비교하여, 수업 방식의 차이가 학습자의 산출역량, 학습 몰입, 성취수준(성취점수)에 미치는 영향을 실증적으로 검증하는 데 있다. 이를 위해 동일한 교육 목표와 과제 구조를 전제로 두 집단(전통 수업 집단 vs AI 기반 수업 집단)을 구성하고, 산출역량과 학습 몰입은 수업 전·후 측정을 통해 변화 및 집단 간 차이를 분석한다. 또한 분반 편성 과정에서 사전 성취점수를 참고하여 두 집단의 기초 수준이 과도하게 편중되지 않도록 조정하였다. 본 연구는 직업훈련 맥락에서 생성형 AI 통합 수업의 효과를 비교 검증하고, 산출 중심 직업훈련에서 요구되는 산출역량과 몰입을 핵심 성과로 제시함으로써 생성형 AI 기반 직업훈련 수업 설계·운영의 근거와 실천적 시사점을 제공한다. 나아가 산출 중심 실습교육의 성과를 결과물과 과정 경험 차원에서 설명할 수 있는 성과지표를 확장하는 데 기여하고자 한다.

본 연구는 다음의 가설을 설정한다.

H1. AI 기반 프론트엔드 직업훈련 수업 집단은 전통 수업 집단보다 산출역량의 향상 정도가 더 클 것이다.

H2. AI 기반 프론트엔드 직업훈련 수업 집단은 전통 수업 집단보다 학습 몰입의 향상 정도가 더 클 것이다.

H3. AI 기반 프론트엔드 직업훈련 수업 집단은 전통 수업 집단보다 성취수준(성취점수)의 향상 정도가 더 클 것이다.


Ⅱ. 이론적 배경

2-1 생성형 AI 기반 교육

생성형 인공지능(Generative AI)은 텍스트·이미지·코드·음성 등 다양한 형태의 콘텐츠를 생성할 수 있는 딥러닝 기반 기술로, 기존 인공지능이 주로 분석·분류·예측에 초점을 두었던 것과 달리 산출물 생성과 반복 개선에 강점을 가진다[1],[3]. 또한 생성형 AI는 학습자의 요구와 맥락에 따라 설명, 예시, 피드백, 초안 등을 실시간으로 제공할 수 있어 교육 장면에서 활용이 빠르게 확산되고 있다[2].

생성형 AI 기반 교육은 이러한 도구를 교육 설계와 수업 운영에 통합하여, 학습자의 탐색·표현·문제 해결 과정에서 인지적 부담을 조절하고 산출 활동을 촉진하는 교수·학습 전략으로 정의할 수 있다[6],[7]. 특히 개인화된 학습자료 제공, 즉각적 피드백, 초안 생성 및 수정 지원은 학습자가 과제 수행의 병목을 완화하고 목표 달성에 필요한 반복 시도를 확대하도록 돕는다[2]. 표 1은 생성형 AI 기반 교육의 적용 대상과 적용 방식, 그리고 대표적 특성을 선행연구를 중심으로 요약한 것이다.

Characteristics and prior studies on generative AI-based education

첫째, 생성형 AI는 학습자의 수준과 진도에 맞춘 설명과 피드백을 제공함으로써 개인화 학습 환경을 지원한다. 예컨대 교수체제설계(ADDIE) 기반 프로그램에서 생성형 AI 도구를 활용한 경우, 학습자 수준에 적합한 자료 제공과 단계별 피드백을 통해 수준별 학습 설계의 가능성이 보고되었다[10].

둘째, 생성형 AI는 프로젝트 기반 학습에서 아이디어 구체화, 시각화, 초안 생성 및 개선을 지원함으로써 산출 활동의 효율과 완성도를 높이는 데 기여할 수 있다. 디자인 전공 학습자를 대상으로 Midjourney, Uizard 등을 활용한 수업에서는 산출물 제작 과정에서 참여도와 산출물 품질이 향상되는 경향이 관찰되었다[11]. 이는 생성형 AI가 결과물 중심 학습에서 반복 수정과 피드백 루프를 강화할 수 있음을 시사한다.

셋째, 생성형 AI 기반 활동은 학습자의 흥미와 자기주도적 탐색을 촉진하여 학습 몰입 경험과 연관될 수 있다. 예를 들어 이미지 생성형 AI를 활용한 활동에서 정서적·행동적 몰입이 강화되었다는 보고가 있으며[12], 이는 학습자가 목표를 설정하고 산출물을 반복적으로 개선하는 과정이 몰입을 촉발할 수 있음을 보여준다. 다만 이러한 결과를 직업훈련 맥락에 적용하기 위해서는 과제 구조와 평가 기준이 유사한 조건에서의 추가 검증이 필요하다.

넷째, 생성형 AI의 수업 통합은 교수자의 역할을 지식 전달자에서 학습 경로 설계자, AI 활용 안내자, 산출물 평가자 등으로 확장시킨다. 특히 AI 기반 수업에서는 도구의 허용 범위, 검증 절차, 윤리적 사용 원칙을 포함한 운영 기준이 수업의 효과성과 직결되는 요인으로 논의된다[6],[7].

다섯째, 생성형 AI의 활용은 교육 장면을 넘어 산업 현장에서도 생산성 향상과 관련된 결과로 보고되고 있다. 예컨대 GitHub Copilot 활용이 과제 수행 시간 단축 및 생산성 향상과 연관된다는 결과가 제시되었으며[4], GPT-4 기반 코드 자동화 및 UI 설계 지원이 반복 작업을 줄이고 개발 효율을 높일 가능성도 논의되었다[3]. 이러한 논의는 직업훈련에서 생성형 AI를 통합할 경우 학습자의 산출 경험이 산업 현장 역량으로 전이될 수 있다는 가설적 근거를 제공한다.

마지막으로 생성형 AI 기반 교육은 AI 리터러시와 윤리적 활용 역량을 필수적으로 수반한다. 생성 결과물에는 오류, 편향, 허위 정보가 포함될 수 있으므로 학습자는 산출물을 비판적으로 검토하고 출처와 사실성을 확인하는 절차를 학습해야 한다[1],[6]. 따라서 생성형 AI 활용 교육은 도구 사용법을 넘어 검증·인용·책임 있는 사용을 포함하는 교육 설계가 요구된다. 다만 직업훈련 프론트엔드 교육 맥락에서 생성형 AI 기반 수업의 효과를 전통 수업과 비교·검증한 실증 연구는 제한적이다.

2-2 프론트엔드 실습 교육의 구조와 특성

프론트엔드 실습 교육은 웹 또는 모바일 애플리케이션의 사용자 인터페이스(UI)를 설계·구현하는 데 초점을 둔 실천적 학습 영역이다. 학습은 HTML, CSS, JavaScript 등 기초 문법 습득에서 출발하여 UX 설계, 반응형 웹 구현, 프레임워크 활용, 버전 관리, 협업 프로젝트 수행으로 확장된다. 이 교육은 단순한 이론 전달을 넘어, 학습자가 작동 가능한 웹 산출물을 기획·설계·개발·배포하는 산출 중심(output-oriented) 구조로 운영된다. 또한 실무 도구와 연계된 프로젝트 기반 과제를 통해 문제 해결력과 창의적 표현 역량을 함양하도록 설계된다.

그러나 실습 중심 교육은 높은 현장성과 산출 중심 구조를 갖는 만큼 운영 과정에서 다양한 어려움이 발생한다. 비전공 학습자는 문법 오류, 구조 설계의 추상성, 디버깅 과정의 복잡성으로 인해 진입 장벽을 크게 인식할 수 있다. 아울러 역량 격차가 큰 학습자 집단에서는 개별 피드백의 제공 시점과 질이 학습 경험을 좌우할 수 있다. 실습 난이도가 높아질수록 오류 탐지와 수정, 기능 구현의 반복 과정이 누적되어 인지적 부담과 수행 스트레스가 증가하고, 그 결과 학습 몰입이 저하될 가능성도 제기된다[13].

이러한 한계를 보완하기 위한 접근으로 생성형 AI의 교육적 활용이 논의되고 있다. UX 디자인 전공 학습자를 대상으로 웹 개발 수업에서 생성형 AI를 활용한 연구는 설계 아이디어의 구체화, 산출물 생성 및 반복 수정 과정에서 학습자의 수행 과정이 지원될 수 있음을 보고하였다[13]. 또한 고급 웹 개발 수업에서 학습자가 생성형 AI를 지원 도구로 활용한 사례 연구에서는 코드 제안, 오류 수정, 자동 완성 기능 등이 문제 해결 과정의 병목을 완화하고 과제 수행을 지원하는 방식으로 나타났다[14]. 특히 복잡한 프로젝트 과제에서는 요구사항 해석–구현–디버깅으로 이어지는 반복 과정에서 즉각적인 힌트와 대안 제시가 가능하다는 점이 학습자 경험과 연결될 수 있다[14].

아울러 GPT-4 기반 생성형 AI는 코드 작성, 컴포넌트 구성, 문서화, UI 텍스트 생성, 테스트 보조 등 프론트엔드 실습의 전 과정에 적용될 수 있으며[3], 프롬프트 기반 상호작용은 학습자가 구현 아이디어를 신속히 시도하고 오류를 점검·수정하는 과정에서 학습을 촉진할 수 있다. 종합하면, 프론트엔드 실습 교육은 결과물 제작과 반복 개선이 학습 성과와 직결되는 산출 중심 구조를 가지며, 생성형 AI는 비전공 학습자의 진입 장벽과 수행 부담을 완화하고 산출물 개선을 촉진하는 지원 도구로 활용될 가능성을 제시한다[3],[13],[14].

2-3 학습자 산출역량의 개념과 구성요소

본 연구는 생성형 AI 기반 프론트엔드 실습 교육의 특성과 학습 목표에 부합하도록 ‘산출역량’을 조작적으로 정의한다. 산출역량은 학습자가 교육과정을 통해 실제로 기능하는 산출물을 기획·설계·제작·표현할 수 있는 실천적 능력을 의미한다. 이는 단순한 지식 습득을 넘어 문제 해결, 디지털 도구 활용, 설계, 표현, 산출물 공유 역량이 통합적으로 작동하는 복합적 역량이다.

프론트엔드 실습 교육은 프로젝트 기반 과제를 통해 학습자가 UI/UX 설계부터 구현 및 배포까지 수행하는 과정을 핵심 학습 경험으로 포함한다. 따라서 산출물의 완성도와 산출 과정에서의 수행 능력은 학습 성과를 평가하는 핵심 지표로 기능한다. 특히 생성형 AI 기반 도구는 코드 작성·수정, 설계 아이디어 구체화, 산출물의 반복 개선 과정에 개입함으로써 학습자의 산출 활동과 수행 경험에 영향을 미칠 수 있으므로[13],[14], 생성형 AI 기반 수업 환경에 부합하는 산출역량의 구성요소를 명확히 설정할 필요가 있다.

다만 기존 연구는 생성형 AI 활용 수업에서 산출 활동이나 학습 경험을 보고하더라도, ‘산출역량’의 개념을 직접 정의하거나 구성요소를 체계적으로 제시한 경우가 제한적이다. 이에 본 연구는 포트폴리오, 디지털 산출물, 실천 중심 학습성과를 다룬 선행연구[15]-[17]를 검토하여 산출역량을 실습 중심 교육 현장에 적용 가능한 통합적 능력 개념으로 구성하였다. 예컨대 포트폴리오 기반 학습이 학습자의 자기성찰과 자율성을 강화함을 밝힌 연구[15], e-포트폴리오가 디지털 산출물을 기록·표현하는 수단임을 제시한 연구[16], 포트폴리오를 통해 학습자가 자신의 역량 발달을 인식하고 반영할 수 있음을 보여준 연구[17]는 산출 과정의 문서화와 공유가 학습 성과의 일부로 기능할 수 있음을 뒷받침한다.

이상의 논의를 바탕으로, 생성형 AI 기반 프론트엔드 실습 교육에서 요구되는 산출역량을 다음의 다섯 가지 하위 요소로 구체화하였다. 첫째, UI/UX 설계 역량은 사용자의 요구와 맥락을 분석하여 정보 구조와 인터페이스 흐름을 설계하는 능력이다. 둘째, 프로토타입 구현 역량은 설계 아이디어를 시각적으로 구체화하여 검증하는 능력으로, Figma·Uizard 등 디지털 프로토타이핑 도구 활용을 포함한다. 셋째, 도구 활용 역량은 생성형 AI 도구(ChatGPT, Copilot 등)와 개발 환경(VS Code 등), 버전 관리 및 협업 도구(GitHub 등)를 목적에 맞게 통합하여 과제를 수행하는 능력이다. 넷째, 심미성 및 표현 역량은 색채, 타이포그래피, 여백, 레이아웃 등 디자인 원리를 적용하여 산출물의 시각적 품질과 완성도를 높이는 능력이다. 다섯째, 포트폴리오 구성 및 공유 역량은 산출물 제작 전 과정을 체계적으로 문서화하고 외부에 효과적으로 제시하는 능력으로, 학습 성과를 확장하는 메타 역량이다.

Key components of output-oriented competency in generative AI-integrated front-end education

2-4 몰입의 정의와 개념

학습 몰입(learning engagement)은 학습자가 특정 과제나 활동에 깊이 관여하며 주의와 노력을 집중하는 심리적 상태로, 학습의 질과 지속성에 영향을 미치는 핵심 요인이다. 초기에는 주의 집중과 참여 정도에 초점을 두어 이해되었으나, 이후 행동적·정서적·인지적 요소를 포함하는 다차원적 구조로 확장되었다[18],[19]. 즉, 학습 몰입은 과제 수행에 적극 참여하는 행동적 몰입, 학습 과정에서 흥미·만족·가치를 경험하는 정서적 몰입, 전략적 사고와 자기조절을 통해 학습을 지속하는 인지적 몰입이 결합된 복합적 개념이다. 국내 연구에서도 이러한 구조를 바탕으로 학습 몰입 척도가 개발되었으며, 행동·정서·인지 차원의 구조적 타당성이 보고된 바 있다[20].

학습 몰입은 학습자 개인 특성뿐 아니라 교수자의 피드백 제공 방식, 협동 학습 설계, 과제 중심 수업 운영 등 교수·학습 설계 요인에 따라 달라질 수 있다[21]. 이는 몰입이 수업 설계와 학습 환경의 조건과 밀접하게 연관되는 변인임을 시사한다.

Csikszentmihalyi는 몰입을 개인이 특정 활동에 완전히 몰두하여 시간의 흐름을 잊고 내적 만족을 경험하는 ‘최적 경험(Flow)’ 상태로 정의하였다. 또한 몰입 형성의 조건으로 명확한 목표, 즉각적 피드백, 도전 수준과 능력 간 균형을 제시하였다. 생성형 AI 기반 학습 환경은 수업 설계 방식에 따라 학습자 수준에 맞춘 피드백 제공과 과제 수행 지원을 통해 이러한 조건을 부분적으로 충족할 수 있으며, 그 결과 몰입 경험을 촉진할 가능성이 있다.

한편 Fredricks, Blumenfeld, 및 Paris는 몰입을 행동적·정서적·인지적 차원으로 구분하였다. 이 다차원적 관점은 생성형 AI 기반 학습 맥락에서도 유용하게 적용될 수 있다. 학습자는 AI 도구를 활용하여 과제 수행 과정에 보다 적극적으로 참여함으로써 행동적 몰입이 강화될 수 있고, 즉각적인 피드백과 성취 경험을 통해 정서적 몰입이 촉진될 수 있으며, 문제 해결 과정에서 사고를 심화하고 자기조절 전략을 활용함으로써 인지적 몰입이 강화될 수 있다.

이러한 이론적 논의를 바탕으로 최근 연구들은 생성형 AI 활용이 학습 몰입과 관련될 수 있음을 보고하고 있다. 예를 들어 생성형 AI 기반 데이터 도구 활용 수업에서 정서적·인지적 몰입의 향상이 보고되었고[2], 프로젝트 기반 AI 예술융합 수업에서는 Midjourney와 ChatGPT 활용이 정서적·행동적 몰입과 연관된 결과가 제시되었다[8]. 또한 AI 기반 적응형 학습 설계는 디지털 리터러시 및 자기효능감·자기조절과 같은 학습자 요인을 매개로 몰입이 강화될 가능성을 제시하였다[7]. 생성형 AI 기반 교육에서 학습 몰입 변화를 보고한 주요 연구는 표 3에 요약하였다.

Key prior studies on the effects of generative AI-based education on learning engagement

따라서 Csikszentmihalyi의 Flow Theory와 Fredricks 등의 다차원적 몰입 모형은 생성형 AI 기반 수업이 목표 명료화, 즉각적 피드백, 도전-능력 균형의 조절을 지원함으로써 학습 몰입을 촉진하고, 나아가 이러한 몰입이 산출역량과 연결될 수 있음을 설명하는 본 연구의 핵심 이론적 틀로 기능한다.


Ⅲ. 연구방법

3-1 연구설계

본 연구는 직업훈련 프론트엔드 실습 교육에서 생성형 AI 기반 수업과 전통 수업이 산출역량, 학습 몰입도, 성취수준(성취시험 점수)에 미치는 효과를 비교하기 위해 비동등 통제집단 사전–사후 설계를 적용하였다. 연구는 수도권 소재 직업훈련기관의 ‘스마트 웹콘텐츠 UI/UX 디자인 & 프론트엔드(React.js)’ 과정에서 수행하였고, 연구 참여 동의자 중 전통 수업 집단(n=50)과 AI 기반 수업 집단(n=50)으로 구성하여 총 N=100을 분석하였다. 두 집단은 동일 과정 내 분반으로 운영되었으며, 동일 강사가 동일 기간·시수로 수업을 진행하고 커리큘럼, 과제 요구사항 및 평가 기준을 동일하게 적용하였다. 집단 간 차별 요인은 과제 수행 과정에서 생성형 AI 도구 활용을 허용하는지 여부로 한정하였다.

전통 수업 집단은 생성형 AI 도구 사용을 원칙적으로 제한하였다. AI 기반 수업 집단은 ChatGPT, GitHub Copilot, Uizard 등 생성형 AI 도구를 수업 활동에 통합하였고, 학습의 일관성과 윤리적 사용을 위해 AI 활용 가이드라인(허용·금지 범위, 검증 절차, 제출 규칙)을 제공하였다(부록 참조). AI 제안(코드·설계안)은 적용 전후 실행(빌드)·테스트와 공식 문서 대조를 통해 검증하도록 요구하였으며, 처치 충실도 및 통제집단 오염 가능성 점검을 위해 과제 제출 시 AI 활용 체크리스트(사용 도구, 활용 단계/목적, 사용시간, 활용범위, 검증 수행 여부)를 함께 제출하도록 하였다. 개인정보·프라이버시 보호를 고려하여 전체 대화로그는 수집하지 않았고, 체크리스트 지표를 조작점검 자료로 활용하였다.

측정은 산출역량, 학습 몰입도, 성취수준으로 수행하였고, 자기보고 설문 중심 측정의 한계를 보완하기 위해 과정 종료 산출물(포트폴리오/코드/UX 산출물)에 대한 루브릭 평가를 추가하였다(세부 기준은 부록 B). 산출물은 익명화하여 두 명 이상의 평가자가 독립 평가하였고, 평가자 간 신뢰도는 ICC로 산출하였다. 정량 자료는 기술통계 및 동질성 검증 후 사전점수를 공변량으로 통제한 ANCOVA로 집단 차이를 검증하였으며, 도구 신뢰도는 Cronbach’s α로 확인하였다. 정성 자료는 사후 반구조화 인터뷰(총 14명)를 수집하여 주제분석으로 코딩하고 정량 결과 해석을 보완하였다. 본 연구는 참여자 동의에 기반해 수행되었고, 수집 자료는 연구 목적에 한해 활용하였다.

3-2 연구대상

본 연구의 대상자는 수도권 소재 직업훈련기관에서 운영된 ‘스마트 웹콘텐츠 UI/UX 디자인 & 프론트엔드(React.js)’ 과정을 수강한 학습자 100명이다. 연구 참여자는 과정에 등록한 학습자 중 연구 참여에 동의한 자로 구성되었으며, 수업 운영 방식에 따라 전통 수업 집단 50명과 생성형 AI 기반 수업 집단 50명으로 구분된다. 표본은 직업훈련기관의 과정 운영 특성상 확률표집이 어려워 편의표집(convenience sampling) 방식으로 구성되었다.

모든 참여자는 연구 목적과 절차, 자료 활용 범위를 사전에 고지받은 후 자발적으로 참여에 동의하였다. 연구윤리 준수 절차에 따라 개인정보는 비식별화하여 처리하였고, 수집된 자료는 연구 목적에 한해 사용하였다. 총 100명 전원이 설문조사에 응답하였으며, 전통 수업 집단과 AI 기반 수업 집단 모두에서 사전–사후 설문을 수집하였다.

참여자의 일반적 특성은 표 4와 같다. 성별 분포는 여성 63명(63.0%), 남성 37명(37.0%)이었고, 연령대는 20대 70명(70.0%), 30대 17명(17.0%), 40대 이상 13명(13.0%)이었다. 학력 분포는 고등학교 졸업 30명(30.0%), 전문학사 43명(43.0%), 학사 27명(27.0%)으로 나타났다. 또한 AI 친숙도(AI familiarity)는 자기보고식으로 측정하였으며, ‘Very proficient(3점)’ 13명(13.0%), ‘Moderate(2점)’ 57명(57.0%), ‘Not proficient(1점)’ 30명(30.0%)으로 분류되었다(표4).

General characteristics of the participants

또한 비동등 집단 설계의 특성상 집단 간 초기 차이가 존재할 수 있으므로, 분석에 앞서 집단별 일반적 특성 및 사전 측정값에 대한 동질성 검증을 수행하였다.

3-3 연구도구

1) 설문도구

본 연구에서 사용한 설문지는 총 23문항으로, 생성형 AI 기반 프론트엔드 실습 교육의 학습 경험과 수행 관련 변화를 측정하기 위해 구성하였다. 설문은 두 가지 측정 영역으로 구성된다. 첫째, 학습자 산출역량(15문항)은 UI/UX 설계, 프로토타입 구현, 도구 활용, 심미성 및 표현(완성도), 포트폴리오 구성 및 공유의 5개 하위요소로 구성하였다[21],[22]. 둘째, 학습 몰입(8문항)은 행동적, 정서적, 인지적 몰입의 3개 하위요소로 구성하였다[2],[7].

산출역량 문항은 선행연구에서 논의된 산출 중심 역량과 프론트엔드 실습에서의 도구 활용 요소를 참고하되, 본 연구의 직업훈련 맥락과 과제 수행 특성에 맞게 문항을 개발·개작하여 구성하였다[21],[22]. 또한 학습 몰입 문항은 행동적·정서적·인지적 몰입의 다차원 구조에 근거한 선행연구를 바탕으로 본 연구 맥락에 맞게 문항 표현을 수정·보완하였다[2],[7].

모든 문항은 5점 리커트 척도(1점=전혀 그렇지 않다, 5점=매우 그렇다)로 응답하도록 하였으며, 전통 수업 집단과 AI 기반 수업 집단 모두에서 사전–사후 동일 문항을 사용하여 변화 및 집단 간 차이를 비교할 수 있도록 설계하였다.

문항의 내용타당도는 AI 교육 및 직업훈련 분야 전문가 2인의 검토와 예비조사를 통해 확보하였다. 신뢰도 분석 결과, Cronbach’s α 값은 산출역량(.93), 학습 몰입(.84)로 모두 .70 이상으로 나타나 내적 일관성이 양호한 수준으로 확인되었다(표 5). 구체적인 설문 문항과 하위요소 구성은 부록에 제시하였다.

Reliability analysis results of the survey items

2) 성취시험 도구

본 연구에서 성취수준(성취점수)은 성취시험 점수로 측정하였다. 성취시험은 (1) 디버깅 및 코드 읽기 문항과 (2) 개념 적용형 문항으로 구성되며, 프론트엔드 실습 수업에서 다룬 핵심 학습 내용을 기반으로 개발하였다. 성취시험은 수업 시작 전(사전)과 수업 종료 직후(사후)에 동일한 시험지로 실시하였고, 두 집단 모두 동일한 시간·동일 조건에서 응시하도록 하였다. 시험 응시 중 생성형 AI 도구 사용은 제한하였다. 성취시험의 채점 신뢰성을 확보하기 위해 문항별 채점기준표(루브릭)를 사전에 마련하였다. 디버깅·코드 읽기 문항은 ‘오류 원인 진단의 정확성–수정의 타당성–설명 및 완결성’을 기준으로 채점하였고, 개념 적용형 문항은 ‘핵심 개념의 정확성–상황 적용의 적절성–근거 제시’를 기준으로 채점하였다. 채점은 동일 채점자 1인이 루브릭에 따라 일관되게 수행하였으며, 모호한 응답은 기준표에 따라 재검토하여 채점의 일관성을 유지하였다. 문항 구성 및 대표 예시 문항은 부록에 제시하였다.

3) 인터뷰 도구

인터뷰는 설문 결과를 보완하고 학습자의 경험과 인식을 심층적으로 탐색하기 위해 반구조화 형식으로 진행하였다. 인터뷰 참여자는 사후 설문 응답자 중 인터뷰 참여에 동의한 학습자를 대상으로 모집하였으며, 전통 수업 집단 7명과 AI 기반 수업 집단 7명으로 총 14명을 선정하였다. 질문지는 생성형 AI 도구 활용 경험, 학습 몰입의 촉진·방해 요인, 산출물 제작 과정에서의 변화, 수업 운영의 강점 및 개선점 등을 중심으로 구성하였다. 인터뷰는 참여자 1인당 약 20~30분 내외로 실시하였으며, 참여자의 동의를 얻어 전 과정을 녹음한 후 전사하였다. 전사 자료는 주제분석 절차에 따라 코딩하여 주요 주제와 패턴을 도출하는 데 활용하였다. 분석 과정에서는 코드북을 구성하고 전사 자료를 반복 검토하여 코딩의 일관성을 확보하였다. 연구윤리 준수 절차에 따라 참여자의 개인정보는 비식별 처리하였고, 자료는 연구 목적에 한해 사용하였다. 구체적인 인터뷰 질문 문항은 부록에 제시하였다.


Ⅳ. 연구결과

4-1 사전 동질성 검증 및 조작점검

1) 조작점검(AI 사용량)

본 연구에서는 처치 충실도(조작점검)를 확인하기 위해 과제 제출 시 수집한 AI 활용 체크리스트를 바탕으로 집단별 기술통계를 제시하였다(표 6). 체크리스트는 AI 사용시간(분), AI 활용 범위(미사용/부분/중간/대부분), 검증 절차 수행 여부(Yes/No)로 구성하였다. 분석 결과, AI 기반 수업 집단은 전통 수업 집단에 비해 AI 사용시간이 현저히 길고 활용 범위도 넓게 나타났으며, 검증 절차 수행 비율 또한 높게 나타났다(표 6).

AI usage metrics based on the AI checklist

2) 사전 동질성 검증

본 절에서는 전통 수업 집단(n=50)과 AI 기반 수업 집단(n=50)의 사전 수준이 비교 가능한지 확인하기 위해 주요 변수(성취수준[성취점수], 산출역량, 학습 몰입)의 사전 점수에 대해 동질성 검증을 실시하였다. 각 변수의 사전 점수는 집단별 평균과 표준편차로 제시하였으며, 집단 간 차이는 독립표본 t-검정으로 검증하였다.

표 7에 제시한 바와 같이, 성취수준(성취점수)의 사전 점수는 전통 집단 M=62.0(SD=10.0), AI 집단 M=62.1(SD=9.8)로 나타났으며, 집단 간 차이는 유의하지 않았다(t=0.06, p=.95). 산출역량의 사전 점수 역시 전통 집단 M=3.50(SD=0.68), AI 집단 M=3.51(SD=0.69)로 유의한 차이가 확인되지 않았고(t=0.07, p=.94), 학습 몰입 또한 전통 집단 M=3.20(SD=0.66), AI 집단 M=3.21(SD=0.65)로 유의한 차이가 나타나지 않았다(t=0.08, p=.94). 따라서 주요 변수의 사전 점수 기준으로 두 집단은 통계적으로 유사한 수준으로 나타났다. 주요 변수의 집단별 사전–사후 평균과 표준편차는 표 8에 제시하였다.

Pre-test scores and homogeneity tests by group

Descriptive statistics of main variables by group and time

4-2 ANCOVA 결과(산출역량·학습 몰입·성취수준)

본 절에서는 전통 수업 집단과 AI 기반 수업 집단 간 사후 성과 차이를 검증하기 위해, 각 변수의 사전 점수를 공변량으로 통제한 공분산분석(ANCOVA)을 실시하였다. 사후 산출역량, 사후 학습 몰입, 사후 성취수준(성취점수)을 각각 종속변수로 설정하고, 집단(전통 수업 vs AI 기반 수업)을 독립변수로 투입하였다.

분석에 앞서 회귀기울기 동질성(집단×사전점수 상호작용)과 등분산성 등 주요 가정을 점검하였으며, 유의한 위반은 확인되지 않았다. 또한 등분산성은 Levene 검정으로 확인하였으며, 유의한 위반은 없었다(ps>.05). 분석 결과는 표 8에 제시하였다.

첫째, 산출역량에서 사전 산출역량(공변량)은 사후 산출역량에 유의한 영향을 미쳤으며(F(1,97)=59.20, p<.001, ηp²=.38), 사전 점수를 통제한 후에도 집단의 주효과가 유의하였다(F(1,97)=10.78, p=.001, ηp²=.10). 조정평균(Adj.M) 기준으로 AI 집단이 전통 집단보다 높은 산출역량을 보였다(표 9).

ANCOVA results and adjusted posttest means (controlling for pretest scores)

둘째, 학습 몰입에서 사전 몰입(공변량)은 사후 몰입에 유의한 영향을 미쳤고(F(1,97)=36.90, p<.001, ηp²=.28), 사전 점수를 통제한 후에도 집단의 주효과가 유의하게 나타났다(F(1,97)=6.42, p=.013, ηp²=.06). 조정평균 기준으로 AI 집단이 전통 집단보다 높은 학습 몰입을 보였다(표 9).

셋째, 성취수준은 성취시험 점수로 조작화하여 분석하였다. 사전 성취점수(공변량)는 사후 성취점수에 유의한 영향을 미쳤으며(F(1,97)=41.30, p<.001, ηp²=.30), 사전 점수를 통제한 후에도 집단의 주효과가 유의하였다(F(1,97)=5.02, p=.027, ηp²=.05). 즉, 본 연구의 성취수준(성취시험 점수)은 시험 응시 중 생성형 AI 도구 사용을 제한한 조건에서 측정되었으며, 조정평균 기준으로 AI 집단이 전통 집단보다 높은 성취수준을 보였다(표 9).

4-3 산출물 루브릭 평가(ICC)

설문 기반 산출역량 결과를 보완하기 위해, 과정 종료 시점의 산출물(포트폴리오/코드/UX 산출물)을 대상으로 루브릭 기반 평가를 실시하였다. 산출물은 익명화한 후 2명의 평가자가 독립적으로 점수화하였으며, 최종 점수는 평가자 점수의 평균으로 산출하였다.

루브릭 채점의 평가자 간 신뢰도는 항목별 ICC가 .79~.86 범위로 나타났으며, 총점의 ICC는 .88(95% CI [.83, .92])로 확인되어 산출물 평가의 일관성이 양호한 수준임을 보여준다(Table 10). 이어서 루브릭 총점을 집단별로 비교한 결과, AI 집단의 평균은 19.6점(SD=2.9), 전통 집단의 평균은 16.8점(SD=3.4)로 AI 집단이 더 높게 나타났고, 집단 간 차이는 통계적으로 유의하였다(t=4.37, p<.001; Table 11). 이는 설문 기반 산출역량 결과를 결과물 기반 지표로 보완했을 때에도, 생성형 AI 기반 수업 집단이 전통 수업 집단보다 더 높은 산출물 수준을 보였음을 시사한다. 다만 본 비교는 총점 중심 분석이므로, 후속 분석에서는 항목별 점수 패턴 및 과제 난이도/선행역량에 따른 차이를 추가로 검토할 필요가 있다.

Inter-rater reliability of the product rubric (ICC)

Group comparison of total product rubric score (traditional vs. AI)

4-4 인터뷰 결과

본 절에서는 설문 기반 정량 분석 결과를 보완하기 위해 실시한 반구조화 인터뷰 자료를 주제분석 절차에 따라 분석하였다. 인터뷰는 전통 수업 집단 7명(A, D, G, J, K, M, N)과 AI 기반 수업 집단 7명(B, C, E, F, H, I, L)(총 14명)을 대상으로 수행하였다. 전사 자료를 기반으로 초기 코딩을 수행한 뒤, 유사 코드를 범주화하여 핵심 주제를 도출하였다. 분석 결과, 학습 경험은 (1) 산출 과정에서의 지원 경험, (2) 몰입의 촉진·저해 요인, (3) 학습 지원 도구 활용의 양면성, (4) 수업 운영 및 평가 개선 요구의 네 가지 주제로 요약된다.

Interview participant characteristics and group assignment

1) 산출 과정에서의 지원 경험

참여자들은 요구사항 해석, 기능 구현, 오류 수정, UI 구성 단계에서 난이도와 부담이 집중된다고 진술하였다. AI 기반 수업 집단에서는 병목 구간에서 학습 지원 도구를 활용하여 문제를 구체화하거나 해결 방향을 탐색하는 방식이 반복적으로 언급되었다. 예를 들어 AI 집단 H는 오류 원인 파악과 수정 방향 설정에서 지원 도구가 “첫 실마리”를 제공해 시행착오 시간을 줄였다고 설명하였고, AI 집단 F는 과제의 요구사항을 단계로 분해하고 작업 순서를 정리하는 과정에서 수행 부담이 완화되었다고 언급하였다. 또한 AI 집단 E는 프로토타입/화면 구성 방향을 잡는 데 도움이 되었다고 진술하였다.

반면 전통 수업 집단은 문서·검색·튜토리얼 및 강사 피드백을 통해 해결하는 과정이 강조되었다. 전통 집단 D는 문서와 검색을 통해 문제 원인을 추적하며 해결하는 과정이 길었지만 학습에 남는 경험이었다고 말했으며, 전통 집단 K는 피드백을 기다리거나 반복 실험을 통해 오류를 해결했다고 설명하였다. 이 주제는 정량 분석에서 산출역량의 집단 차이가 확인된 결과(표 9)를 해석하는 데 보완적 근거로 활용될 수 있다.

2) 몰입의 촉진·저해 요인

몰입 경험은 ‘결과물이 눈에 보이기 시작하는 순간’, ‘문제가 해결되며 과제가 진전되는 순간’에 강화되는 경향이 나타났다. AI 집단 B는 화면이 실제로 동작하기 시작할 때 흥미가 상승하며 몰입이 강화되었다고 언급하였고, 전통 집단 J도 기능이 구현되어 진전이 보이는 시점에 몰입이 높아졌다고 진술하였다.

반면 몰입 저해 요인으로는 과제 난이도의 급격한 상승, 시간 압박, 오류의 연쇄 발생, 피드백 지연, 도구 사용 혼란 등이 언급되었다. 전통 집단 N은 오류가 반복되거나 해결이 지연될 때 집중이 끊긴다고 설명하였고, AI 집단 L은 시간 압박 상황에서 해결 전략을 정교화할 여유가 부족해 몰입이 저하되는 경험을 언급하였다. 특히 AI 기반 수업 집단에서는 즉각적인 힌트/대안 제시가 몰입 유지에 기여했다는 진술이 나타난 반면(AI, B; AI, F), 전통 수업 집단에서는 피드백 타이밍과 협업 구조가 몰입 경험에 영향을 준다는 진술이 상대적으로 두드러졌다(전통, D; 전통, K). 이는 정량 분석에서 학습 몰입의 집단 차이가 확인된 결과(표 8)를 보완적으로 설명한다.

3) 학습 지원 도구 활용의 양면성

참여자들은 학습 지원 도구가 과제 수행을 촉진할 수 있으나, 결과물의 정확성과 적합성을 판단하고 수정하는 과정이 필요하다고 인식하였다. AI 기반 수업 집단 C는 제안된 해결책이 맥락에 맞지 않거나 오류를 유발할 수 있어 검증·수정이 필요하다고 언급하였고, AI 기반 수업 집단 I는 빠른 해결이 가능해지는 만큼 원리 이해가 약해질 수 있다는 우려를 제기하였다.

전통 수업 집단에서도 검색/문서 활용 과정에서 정보의 신뢰성 판단과 적용의 어려움이 언급되었다. 전통 수업 집단 G는 검색 결과가 다양해 선택과 적용이 어렵다고 말했으며, 전통 수업 집단 A는 문서 이해가 어려워 예제 기반으로 반복 검증하는 과정을 강조하였다. 즉, 두 집단 모두 지원 자원 활용 과정에서 검증·판단이 필수적이라는 공통점이 확인되었다.

4) 수업 운영 및 평가 개선 요구

참여자들은 학습 효과를 높이기 위한 개선점으로 단계별 과제 설계와 난이도 조절, 피드백의 적시성 강화, 결과물 평가 기준의 명확화(루브릭), 협업 과정에서의 역할/코드리뷰 지원 등을 제안하였다. 전통 수업 집단 M은 과제 난이도가 급격히 상승할 때 학습 지속이 어려워진다고 언급하며 단계적 설계를 요구하였고, AI 기반 수업 집단 L은 피드백이 지연되면 학습 흐름이 끊긴다고 진술하였다. 또한 전통 수업 집단 D는 평가 기준이 명확할수록 개선 방향이 분명해진다고 언급하였다.

특히 AI 기반 수업의 경우, 도구 활용이 학습에 기여하도록 하기 위해 활용 범위, 검증 절차, 산출물 표현/출처 표기 등 운영 규칙이 명확할수록 혼란이 줄어든다는 진술이 나타났다(AI, E; AI, C). 이러한 결과는 정량 분석에서 성취점수(성취수준)의 차이가 확인된 결과(표 8)를 해석하는 데 보조적 근거로 활용될 수 있다.


Ⅴ. 결론 및 논의

본 연구는 직업훈련 맥락의 프론트엔드 실습 교육에서 생성형 AI 기반 수업과 전통 수업의 차이가 학습자의 산출역량, 학습 몰입, 성취수준(성취시험 점수)에 미치는 영향을 비동등 통제집단 사전–사후 설계를 통해 비교·검증하였다. 사전 동질성 검증 결과, 주요 변수의 사전 점수에서 집단 간 유의한 차이가 확인되지 않아 두 집단의 초기 수준은 통계적으로 유사한 것으로 나타났다.

정량 분석에서는 사전 점수를 공변량으로 통제한 공분산분석(ANCOVA)을 실시하였다. 분석에 앞서 회귀기울기 동질성(집단×사전점수 상호작용)과 등분산성(Levene) 등 주요 가정을 점검하였으며, 집단×사전점수 상호작용은 모든 종속변수에서 유의하지 않았고(ps>.05), 등분산성 위반도 확인되지 않았다(ps>.05). 분석 결과, 산출역량은 집단 간 유의한 차이가 확인되었다(F(1,97)=10.78, p=.001, ηp²=.10)(표 9 참조). 학습 몰입에서도 집단의 주효과가 유의하였다(F(1,97)=6.42, p=.013, ηp²=.06)(표 9 참조). 성취수준은 성취시험 점수로 조작화하였으며, 사전 성취점수를 통제한 후에도 집단의 주효과가 유의하게 나타났다(F(1,97)=5.02, p=.027, ηp²=.05)(표 9 참조). 성취시험은 응시 중 생성형 AI 사용을 제한한 조건에서 실시되었으며, 그럼에도 생성형 AI 기반 수업 집단은 전통 수업 집단에 비해 산출역량, 학습 몰입, 성취수준에서 모두 유의하게 높은 수준을 보였다.

정량 결과에서 생성형 AI 기반 수업 집단은 산출역량과 학습 몰입이 동시에 향상되었다. 이는 생성형 AI가 제공하는 즉각적 피드백과 대안 제시가 과제 수행의 ‘정체 구간’을 단축시키고, 과제 진전감을 강화함으로써 몰입 조건을 촉진했을 가능성을 시사한다. 그 결과 반복 시도·수정·디버깅·개선과 같은 산출 활동이 활성화되면서 산출역량 향상으로 연결되었을 수 있다. 또한 성취시험이 AI 사용을 제한한 조건에서도 집단 차이가 확인된 점은, AI 기반 수업에서 형성된 문제 해결 전략과 개념 적용이 단순한 도구 의존에 그치지 않고 일정 부분 학습 성과로 내재화되었을 가능성을 뒷받침한다. 다만 본 연구는 산출역량과 학습 몰입 간 관계를 상관 또는 매개 모형으로 직접 검증하지 않았으므로, 정성 분석은 정량 결과의 작동 메커니즘과 조건을 보완적으로 설명하는 근거로 제시한다.

정성 분석 결과, 인터뷰에서는 요구사항 해석–기능 구현–오류 수정–UI 구성 단계에 부담이 집중된다는 진술이 반복적으로 나타났다. 생성형 AI 기반 수업에서는 학습 지원 도구가 문제를 구체화하고 해결 방향을 탐색하는 과정에서 시행착오를 줄이는 방식으로 활용되는 경향이 보고되었다. 반면 전통 수업에서는 문서·검색·튜토리얼 및 강사 피드백을 통해 원인을 추적하고 해결하는 과정이 상대적으로 강조되었다. 이러한 차이는 산출역량에서 집단 간 차이가 확인된 정량 결과를 보완적으로 설명한다.

몰입 경험은 결과물이 가시화되거나 문제가 해결되어 과제가 진전되는 순간 강화되었으며, 과제 난이도의 급상승, 시간 압박, 오류의 연쇄 발생, 피드백 지연, 도구 사용 혼란 등은 몰입을 저해하는 요인으로 도출되었다. 생성형 AI 기반 수업에서는 즉각적인 힌트·대안 제시가 몰입 유지와 과제 진전에 도움이 된다는 진술이 나타났으나, 제안된 해결책을 학습자가 검증·수정해야 하는 부담도 함께 보고되었다. 따라서 효과는 과제 난이도, 시간 압박, 학습자의 검증 역량 등에 따라 조건적으로 나타날 수 있으며, AI 제안의 타당성을 판단·수정하는 과정이 추가 인지적 부담으로 작용할 가능성이 있음을 시사한다. 한편 두 집단 모두 ‘검증·판단’이 필수적이라는 공통점이 확인되어, 생성형 AI는 학습을 자동화하기보다 학습자의 통제와 책임을 전제로 작동하는 지원 도구로 기능함을 보여준다. 이러한 몰입의 증감은 과제에 투입되는 시도 횟수와 개선 행동(디버깅, UI 조정, 구조 재설계 등)을 좌우할 수 있으며, 결과적으로 산출역량의 차이로 이어질 가능성이 있다.

종합하면, 생성형 AI 통합 수업은 피드백의 즉시성과 다음 행동의 단서를 제공함으로써 몰입 조건을 촉진할 수 있다. 동시에 결과물 가시화와 성취 경험은 정서적 몰입을 강화하는 반면, 검증 부담과 의사결정 책임이 커지는 상황에서는 인지적 부담이 증가하여 몰입이 저해될 수 있다. 따라서 생성형 AI 기반 수업의 효과는 도구 제공 여부 자체보다, 도구 활용이 학습 경험으로 전환되도록 하는 과제 설계, 피드백 구조, 평가 기준, 활용 규칙의 명확성에 의해 좌우될 가능성이 크다.

본 연구의 기여는 다음과 같다. 학술적으로, 첫째 직업훈련 맥락의 프론트엔드 실습 교육에서 생성형 AI 기반 수업의 효과를 전통 수업과 비교·검증함으로써, 생성형 AI 교육효과 논의를 실무 전이 중심의 직업훈련 영역으로 확장하였다. 둘째 산출 중심 실습교육에서의 효과를 단일 성취지표로 환원하지 않고 산출역량과 학습 몰입을 핵심 성과변인으로 설정하여, 생성형 AI 통합 수업의 효과를 보다 과정·경험 차원에서 설명할 근거를 제시하였다. 셋째 정량(ANCOVA)과 정성(인터뷰) 결과를 결합하여 즉각 피드백과 대안 제시(촉진 요인) 및 검증 부담과 시간 압박(경계조건)을 함께 제시함으로써, 효과가 나타나는 조건을 보다 명시적으로 논의하였다. 실천적으로, 생성형 AI 통합 직업훈련에서 핵심은 ‘도구 제공’ 자체가 아니라, 학습자의 검증·판단을 전제로 한 운영 규칙과 평가 기준의 명확화 및 피드백 구조 설계임을 시사한다. 구체적 운영 원칙과 적용 방안은 Ⅵ장 제언에서 제시하였다.

본 연구는 다음의 한계를 가진다.

첫째, 준실험(비동등 집단) 설계로 교란변수를 완전히 통제하기 어렵다.

둘째, 산출역량·학습 몰입은 자기보고 설문을 포함하고, AI 사용량은 체크리스트 기반으로 수집되어 시스템 로그(대화 턴 수, 실제 사용시간, 수정·디버깅 시간 등) 수준의 객관 지표가 제한적이다. 후속 연구에서는 산출물 루브릭과 수행 로그를 결합하고, 산출역량–몰입 관계의 매개·조절효과를 직접 검증할 필요가 있다.

셋째, 성취시험은 문항 범위·난이도 제약과 동일 문항 사전·사후 적용에 따른 연습효과 가능성이 있다.

넷째, 통제집단의 비공식적 AI 활용을 완전히 배제하기 어려우므로 로그 기반 통제와 처치 충실도 관리를 강화할 필요가 있다.

다섯째, 단일 기관·과정 표본이어서 일반화에 한계가 있으며, 다양한 직업훈련 환경과 학습자 특성에 따른 조건부 효과를 반복 검증할 필요가 있다.


Ⅵ. 제 언

본 연구 결과를 토대로 직업훈련 프론트엔드 실습 교육에서 생성형 AI를 효과적으로 통합하기 위한 운영 원칙과 후속 연구 방향을 다음과 같이 제언한다.

첫째, AI 활용을 ‘운영 규칙(프로토콜+체크리스트)’으로 표준화할 필요가 있다. 요구사항 정의–UI/UX 설계–구현–디버깅–문서화 단계별로 AI 활용 목표와 산출물 형태, 제출 기준을 명확히 제시한다. 또한 허용·금지 범위, 적용 전·후 검증 항목, 표기 기준, 과의존 방지 기준을 체크리스트로 운영하여 학습자의 통제와 책임이 학습 과정에 내재화되도록 설계한다.

둘째, 평가 체계를 ‘성과(결과물) + 성취(시험)’로 이원화할 필요가 있다. 결과물 평가는 기능 완성도, UI/UX 적합성, 코드 품질, 디버깅·테스트, 문서화 항목을 포함한 루브릭으로 수행한다. 성취 평가는 생성형 AI 사용을 제한한 조건에서 코드 읽기·디버깅·개념 적용 중심의 성취시험으로 실시하며, 두 기준은 수업 초기에 공개하여 학습자의 개선 목표와 수행 기준을 명확히 한다.

셋째, 피드백과 협업은 ‘최소 규칙 기반 품질관리’로 운영할 필요가 있다. 주차별 공통 오류 TOP-N을 기반으로 재현 방법–원인 가설–검증 절차–수정 기준을 템플릿으로 제공하여 피드백의 적시성을 확보한다. 협업 과제에서는 역할 분담(기획/구현/테스트/문서화), 커밋 규칙, 코드리뷰 기준, UI 컴포넌트 규격, 문서 템플릿 등 최소 규칙을 적용하여 통합 과정의 충돌과 품질 편차를 줄인다.

넷째, 후속 연구에서는 효과의 경계조건과 재현성을 강화할 필요가 있다. AI 친숙도와 선행역량을 층화하여 조건부 효과를 검증하고, 과제 난이도 수준 및 AI 활용 단계(설계/구현/디버깅/문서화)별 효과 차이를 분석해야 한다. 또한 과제 설명서, 루브릭, AI 활용 체크리스트, 성취시험 문항 구성, 설문 문항, 인터뷰 질문지의 공개 범위를 명확히 하여 반복 검증과 현장 확산에 기여할 필요가 있다.

References

  • W. Holmes, M. Bialik, and C. Fadel, Artificial Intelligence in Education: Promises and Implications for Teaching and Learning, Boston, MA: Center for Curriculum Redesign, 2023. (Originally published by Center for Curriculum Redesign, 2019)
  • S. Ahn, J. Lee, J. Park, S. Jung, and J. Song, “A Scoping Review on the Educational Applications of Generative AI in Primary and Secondary Education,” Journal of the Korean Association of Computer Education, Vol. 27, No. 6, pp. 11-24, 2024. [https://doi.org/10.32431/kace.2024.27.6.002]
  • M. H. Alikhani, “Generative AI for Front-End Development: Automating Design and Code with GPT-4 and Beyond,” SSRN Electronic Journal, 2025. [https://doi.org/10.2139/ssrn.5117742]
  • S. Peng, E. Kalliamvakou, P. Cihon, and M. Demirer, “The Impact of AI on Developer Productivity: Evidence from GitHub Copilot,” arXiv:2302.06590, , February 2023. [https://doi.org/10.48550/arXiv.2302.06590]
  • A. Kim, The Effects of AI-Based Data Tool Utilization Education on High School Students' Learning Engagement and Convergent Thinking, Master’s Thesis, Graduate School of Education, Chung-Ang University, Seoul, February 2023. [https://doi.org/10.23169/cau.000000238942.11052.0000477]
  • S.-W. Hwang and M.-H. Park, “The Impact of AI-based Adaptive Learning on Learning Flow and Academic Self-efficacy: Mediating Effects of Digital Literacy and Self-directed Learning Ability,” Journal of Practical Engineering Education, Vol. 17, No. 1, pp. 127-138, 2025. [https://doi.org/10.14702/JPEE.2025.127]
  • S. Lim, The Effects of Project-Based AI-Integrated Arts Education on Elementary School Students’ Learning Engagement and Motivation, Master’s Thesis, Graduate School of Education, Chung-Ang University, Seoul, February 2023. [https://doi.org/10.23169/cau.000000238859.11052.0000478]
  • M. I. H. Shihab, C. Hundhausen, A. Tariq, S. Haque, Y. Qiao, and B. W. Mulanda, “The Effects of GitHub Copilot on Computing Students’ Programming Effectiveness, Efficiency, and Processes in Brownfield Coding Tasks,” in Proceedings of the 2025 ACM Conference on International Computing Education Research V.1, Charlottesville, VA, pp. 407-420, August 2025. [https://doi.org/10.1145/3702652.3744219]
  • S. H. Jung and H. J. Park, “Development of an Educational Program Utilizing Generative AI Based on Instructional Systems Design,” Journal of the Korea Society of Digital Industry and Information Management, Vol. 21, No. 1, pp. 75-89, 2025. [https://doi.org/10.17662/ksdim.2025.21.1.075]
  • J. Kim, “A Study on the Use of Generative AI Tools and the Transformation of Teaching-Learning Structures in Design Education: Focusing on Case Analysis and Experimental Research in Korea,” A Treatise on the Plastic Media, Vol. 28, No. 2, pp. 260-268, 2025. [https://doi.org/10.35280/KOTPM.2025.28.2.27]
  • H. Kim, “Development and Implementation of Art-Centered Integrated Education Program Using Generative AI,” Journal of Art Education, Vol. 76, pp. 71-97, 2024. [https://doi.org/10.35657/jae.2024.76.004]
  • F. Buendía-García and J. Piris-Ruano, “Using Generative AI to Support UX Design Students in Web Development Courses,” Applied Sciences, Vol. 15, No. 13, 7389, 2025. [https://doi.org/10.3390/app15137389]
  • I. Alpízar-Chacón and H. Keuning, “Student’s Use of Generative AI as a Support Tool in an Advanced Web Development Course,” in Proceedings of the 30th ACM Conference on Innovation and Technology in Computer Science Education, Nijmegen: Netherlands, pp. 312-318, 2025. [https://doi.org/10.1145/3724363.3729106]
  • S. Hwang and G. Choi, “The Effects of Learning Portfolios in General Education Courses on Undergraduates’ Self-Regulated Learning Ability, Ego-Resilience, and Self-Directed Learning Readiness,” Korean Journal of General Education, Vol. 17, No. 5, pp. 161-183, 2023. [https://doi.org/10.46392/kjge.2023.17.5.161]
  • D. Park, Y. Lee, and J. Kim, “A Case Study on the Development of K-Folio Based on an E-Portfolio Framework for Enhancing University Students' Learning Competencies,” Journal of The Korean Association of Computer Education, Vol. 17, No. 2, pp. 87-95, 2014. [https://doi.org/10.32431/kace.2014.17.2.009]
  • E. Choi and M. Choi, “Design and Development of an e-Portfolio System for University Students' Learning Competence and Career Development,” Journal of Educational Technology, Vol. 30, No. 3, pp. 493-523, 2014. [https://doi.org/10.17232/KSET.30.3.493]
  • M. Csikszentmihalyi, Flow: The Psychology of Optimal Experience, New York, NY: Harper and Row, 1990.
  • J. A. Fredricks, P. C. Blumenfeld, and A. H. Paris, “School Engagement: Potential of the Concept, State of the Evidence,” Review of Educational Research, Vol. 74, No. 1, pp. 59-109, 2004. [https://doi.org/10.3102/00346543074001059]
  • G. Cho and H. Bang, “Development and Validation of the Learning Flow Scale for Adolescents,” Journal of Learner-Centered Curriculum and Instruction, Vol. 18, No. 22, pp. 515-535, 2018. [https://doi.org/10.22251/jlcci.2018.18.22.515]
  • S. Park and H. Song, “A Study on Practical Teaching Competence Affecting Learning Engagement of High School Students,” The Korean Journal of Educational Research, Vol. 56, No. 2, pp. 33-58, June 2018. [https://doi.org/10.30916/KERA.56.2.33]
  • A. Cheon, “A Study on Visual Convergence Design Curriculum Using Generative AI: Focusing on the AI Information Design Course,” A Treatise on the Plastic Media, Vol. 28, No. 1, pp. 180-191, 2025. [https://doi.org/10.35280/KOTPM.2025.28.1.18]
  • L. Abrusci, K. Dabaghi, S. D’Urso, and F. Sciarrone, “AI4Design: A Generative AI-based System to Improve Creativity in Design–A Field Evaluation,” Computers & Education: Artificial Intelligence, Vol. 8, 100401, 2025. [https://doi.org/10.1016/j.caeai.2025.100401]

Appendix

부 록

Survey items

Achievement test items

Interview questions

AI Use Guidelines (Protocol + Checklist)

저자소개

송미선(Mi-Seon Song)

2025년:한국기술교육대학교 IT융합과학경영산업대학원 (공학석사 - AI융합교육학과)

2017년~현 재: 이젠컴퓨터학원

※관심분야:AI, 에듀테크, 데이터 사이언스, 풀스택 웹, 클라우드 개발 플랫폼 등

배현영(Hyun-Young Bae)

2024년:한국기술교육대학교 IT융합과학경영산업대학원 (공학석사 - AI융합교육학과)

2024년~현 재: 서강대학교 메타버스전문대학원 박사수료

2025년~현 재: 한국기술교육대학교 IT융합과학경영산업대학원 AI융합교육학과 겸임교수

※관심분야:AI, AI융합교육, 가상융합, 디지털트윈 등

Table 1.

Characteristics and prior studies on generative AI-based education

Target Group Application Method Key Characteristics Reference
General learners AI literacy integration Verification; bias awareness; ethical use [5]
High school students ISD/ADDIE-based program using generative AI Personalized scaffolding; real-time feedback [9]
University design majors Visual output tasks using Midjourney & Uizard Project-based learning; output quality improvement [10]
K–12 students (arts) Image-generative AI activities Iterative revision; expressive scaffolding; immersion [11]

Table 2.

Key components of output-oriented competency in generative AI-integrated front-end education

Competency Area Definition Example tools or practices
UI/UX Design Competency Ability to design information structures and interface flows tailored to user needs Figma; user flow design tools
Prototype Competency Ability to visually and concretely implement ideas Uizard; prototyping tools
Tool Use Competency Ability to effectively use generation and development tools to complete results ChatGPT; GitHub
Aesthetic Competency Ability to apply design principles to compose and complete results aesthetically Design principles (color, layout, typography)
Portfolio & Sharing Competency Ability to document the production process and effectively share results externally Organizing tools; portfolio platforms

Table 3.

Key prior studies on the effects of generative AI-based education on learning engagement

Target Group Application Method Main Effects on Engagement References
Middle & high school students In-class use of AI-based data tools Reported increases in emotional/cognitive engagement [2]
Elementary school students Project-based AI art–integrated lessons (Midjourney, ChatGPT) Reported increases in emotional/behavioral engagement and motivation [8]
Adult learners
(pre-service teachers)
AI-based adaptive learning design Reported higher engagement via self-efficacy and digital literacy [7]

Table 4.

General characteristics of the participants

Category Subcategory Frequency (n) Percentage (%)
Gender Female 63 63.0
Male 37 37.0
Age Group 20s 70 70.0
30s 17 17.0
40s and above 13 13.0
Educational Level High school diploma 30 30.0
Associate degree 43 43.0
Bachelor's degree 27 27.0
AI Familiarity Very proficient 13 13.0
Moderate 57 57.0
Not proficient 30 30.0

Table 5.

Reliability analysis results of the survey items

Variable Number of Items Cronbach’s α
Learner Output Competency 15 0.93
Learning Engagement 8 0.84

Table 6.

AI usage metrics based on the AI checklist

Metric Traditional Group (n=50) AI Group (n=50)
AI use time (min), Mean (SD) 3.1 (7.9) 114.6 (48.2)
AI usage scope (None), n (%) 46 (92%) 0 (0%)
AI usage scope (Partial), n (%) 3 (6%) 9 (18%)
AI usage scope (Moderate), n (%) 1 (2%) 25 (50%)
AI usage scope (Mostly), n (%) 0 (0%) 16 (32%)
Verification procedure performed (Yes), n (%) 2 (4%) 42 (84%)

Table 7.

Pre-test scores and homogeneity tests by group

Variable Traditional (n=50) M (SD) AI-based (n=50) M (SD) t p
Achievement test score 62.0 (10.0) 62.1 (9.8) 0.06 .95
Output competency 3.50 (0.68) 3.51 (0.69) 0.07 .94
Learning engagement 3.20 (0.66) 3.21 (0.65) 0.08 .94

Table 8.

Descriptive statistics of main variables by group and time

Variable Traditional Pre M (SD) Traditional Post M (SD) AI-based Pre M (SD) AI-based Post M (SD)
Achievement test score 62.0 (10.0) 70.1 (9.2) 62.1 (9.8) 74.1 (8.9)
Output competency 3.50 (0.68) 3.75 (0.65) 3.51 (0.69) 4.15 (0.62)
Learning engagement 3.20 (0.66) 3.35 (0.63) 3.21 (0.65) 3.65 (0.60)

Table 9.

ANCOVA results and adjusted posttest means (controlling for pretest scores)

Outcome (Posttest) Traditional Group Adj.M (SE) [95% CI] AI Group Adj.M (SE) [95% CI] F(1, 97) p ηp²
Output competency 3.76 (0.07) [3.62, 3.90] 4.12 (0.07) [3.98, 4.26] 10.78 .001 .10
Learning engagement 3.37 (0.08) [3.21, 3.53] 3.63 (0.08) [3.47, 3.79] 6.42 .013 .06
Achievement level (achievement test score) 70.30 (0.90) [68.51, 72.09] 73.80 (0.90) [72.01, 75.59] 5.02 .027 .05

Table 10.

Inter-rater reliability of the product rubric (ICC)

Rubric Criterion ICC 95% CI
Note. ICCs were computed based on N = 100 artifacts (two raters)
Functional Completeness .86 [.80, .91]
UI/UX Appropriateness .83 [.75, .89]
Code Quality (Readability & Structure) .81 [.73, .88]
Debugging & Testing .79 [.70, .86]
Documentation .84 [.77, .90]
Total Score .88 [.83, .92]

Table 11.

Group comparison of total product rubric score (traditional vs. AI)

Metric Traditional Group (n=50) Mean (SD) AI Group (n=50) Mean (SD) t p
Total rubric score (5–25) 16.8 (3.4) 19.6 (2.9) 4.37 < .001

Table 12.

Interview participant characteristics and group assignment

Participant Group Gender Age Group Education Level AI Familiarity
A Traditional F 20s High school diploma Moderate
B AI-based F 20s High school diploma Moderate
C AI-based F 40s or older Associate degree Moderate
D Traditional M 20s Associate degree Moderate
E AI-based F 20s High school diploma Moderate
F AI-based F 20s Associate degree Moderate
G Traditional M 20s Associate degree Not proficient
H AI-based M 20s Bachelor’s degree Very proficient
I AI-based F 40s or older Associate degree Not proficient
J Traditional F 20s Associate degree Moderate
K Traditional M 30s Bachelor’s degree Moderate
L AI-based M 30s Associate degree Moderate
M Traditional F 30s Bachelor’s degree Very proficient
N Traditional M 40s or older High school diploma Not proficient

Table 13.

Survey items

Variable Sub-Factor Measurement Items References
Learner Output Competency UI/UX Design Competency 1. I designed the interface to support the user’s goals and tasks based on user needs/requirements. [21]
[22]
2. I maintained a consistent layout structure throughout the interface screens.
3. I organized information architecture (navigation/content hierarchy) in a user-centered way.
Prototype Implementation Competency 4. I created a prototype (wireframe/mockup) using prototyping tools (e.g., Figma).
5. I expressed key interactions or screen transitions in the prototype (e.g., storyboard/user flow).
6. I iterated the prototype based on feedback or self-review.
Tool Utilization Competency 7. I appropriately combined multiple resources/tools to address implementation challenges.
8. I used development tools effectively during the project (e.g., IDE, Git, browser devtools).
9. I resolved errors/issues by testing and debugging with appropriate tools.
Aesthetic Completion Competency 10. I applied a consistent visual style (colors/typography/components) across the interface.
11. I improved visual readability and spacing (alignment, margins, hierarchy).
12. I checked and corrected visual/functional issues before final submission.
Portfolio Construction & Sharing Competency 13. I documented the project process (requirements, design, implementation, revisions).
14. I organized the final outputs so others can review them (links, screenshots, and documentation; source code(if applicable).
15. I explained my design and implementation decisions clearly in the portfolio.
Engagement Behavioral Engagement 1. I set up my own learning plan and tried to implement it consistently. [2]
[7]
2. I adjusted or changed my learning methods to perform better.
3. I made an effort to complete the given tasks or projects.
Emotional Engagement 4. I felt interested in the learning process itself.
5. I felt that I was growing through the learning content.
6. I enjoyed learning.
Cognitive Engagement 7. When I focused on learning, I rarely had other distracting thoughts.
8. When concentrating on learning, I often lost track of time.

Table 14.

Achievement test items

Domain Task
Debugging & Code Reading 1. Identify why styles are not applied in the provided HTML/CSS code (e.g., selector mismatch, typos, specificity) and fix the code.
2. Identify why elements are not aligned as intended in the provided flex layout and write the corrected CSS.
3. Identify why a button click event does not work in the provided JavaScript code (e.g., addEventListener, selector, execution timing) and fix the code.
4. Identify why the output is incorrect due to errors in a conditional statement or loop in the provided JavaScript code and fix the code.
5. Explain why the page reloads on form submission in the provided code and write code to prevent the reload.
6. Identify and fix errors caused by variable/function scope (global vs. local) or declaration/execution order in the provided code.
Concept Application 7. Explain the procedure for implementing a feature that displays user input on the screen (input → event handling → storing a value → updating the UI).
8. Explain how to apply iteration (e.g., for, forEach, map) to render array data as a list on the screen.
9. Explain how to implement a show/hide (toggle) feature for a specific section when a button is clicked (e.g., conditions, class toggling).
10. Explain how to apply responsive design principles (e.g., media queries) to make the page easy to view on mobile devices.

Table 15.

Interview questions

Interview Questions
1. What was your prior experience with front-end development before taking this course? (e.g., related courses, projects)
2. During the course, what resources or tools did you use to support your work? (For the AI-based class: generative AI tools such as ChatGPT/Copilot; for the traditional class: documentation, search, tutorials, etc.) How did you use them across stages (planning/design/implementation/debugging/documentation)?
3. In what ways did your output-related competencies (UI/UX design, prototyping, tool utilization, aesthetics/completeness, and portfolio construction) change through the course? Please provide one concrete example of improvement (or difficulty).
4. At what point did you feel the highest level of engagement during the class? Please describe it in terms of behavioral, emotional, and cognitive aspects.
5. What factors enhanced or hindered your learning engagement? (e.g., task difficulty, feedback, time constraints, collaboration, tool-related issues)
6. Beyond tools, how did the instructor’s feedback, collaboration activities, or other class factors influence your engagement and output competency?
7. What improvements should be made in future similar courses (e.g., AI-use guidelines, feedback processes, assessment)? How transferable do you think what you learned is to real job settings?

Table 16.

AI Use Guidelines (Protocol + Checklist)

AI Usage Protocol
This study applies an AI Usage Guideline (allowed/prohibited scope by week/task, verification procedures, and submission rules) to ensure instructional consistency and ethical use of AI. AI tools may be used only as support in the output-production process (e.g., organizing requirements, design support, referencing code drafts, exploring error causes and proposing fixes, drafting documentation). The Traditional Instruction Group is expected to refrain from using generative AI, and if AI is used unavoidably, it must be recorded using the same checklist.
1) Allowed/Prohibited Scope
Allowed (support use):
Organizing requirements / design support
Referencing AI-generated code drafts/examples
Identifying error causes and proposing alternative fixes
Drafting documentation (e.g., README)
Comparing alternatives for iterative improvement
Prohibited (unacceptable use):
Generating/copying and submitting a complete solution or “answer” as-is
Requesting answers for assessments (tests/quizzes)
Entering personal data or sensitive information
Using code/materials without verifying source or license (copyright issues)
2) Verification Procedures (Required)
Any AI-generated or AI-suggested code/design must be verified before and after application through the following:
Performing execution (build) and tests
Cross-checking with official documentation (framework/library references)
3) Submission Rules
Submit the AI Usage Checklist together with the assignment deliverable.
Full conversation logs are not collected in consideration of privacy and personal data protection; instead, checklist-based indicators are used to quantify task-level AI usage (treatment fidelity / manipulation check).
AI outputs must not be submitted as-is; the learner must revise and integrate them based on their own understanding.
AI Usage Checklist
Participant ID
Group ☐ Traditional Instruction Group
☐ AI-Based Instruction Group
Assignment (Week/Task)
Tools Used □ ChatGPT □ GitHub Copilot □ Uizard □ Other
Usage Stage/Purpose ☐ Requirements organization ☐ Design support
☐ Referencing AI-generated code drafts/examples
☐ Error cause exploration ☐ Alternative fix proposals ☐ Documentation draft writing
☐ Iterative improvement
AI Use Time (minutes) ____ minutes
Usage Scope ☐ None ☐ Partial ☐ Moderate ☐ Mostly
Verification Performed □ Yes □ No
Verification Items ☐ Execution (Build/Test)
☐ Official documentation cross-check (framework/library)
Example Prompts
“Explain three possible causes of the following error log.”
“For each cause, provide step-by-step procedures to verify it through execution (build/test).”
“Given the requirements below, propose two implementation alternatives and compare the pros and cons of each.”
“For each alternative, provide verification checkpoints (test items and official documentation cross-check points).”