Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 26, No. 8, pp.2281-2292
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Aug 2025
Received 30 Jul 2025 Revised 18 Aug 2025 Accepted 21 Aug 2025
DOI: https://doi.org/10.9728/dcs.2025.26.8.2281

대규모 언어모델(LLM) 사용 빈도가 자기주도적 학습역량에 미치는 영향과 AI 리터러시의 조절효과: 구조방정식모형 분석

배현영1 ; 조재희2, *
1서강대학교 메타버스전문대학원 박사과정
2서강대학교 지식융합미디어학부 교수
Large Language Model Usage Frequency and Self-Directed Learning Competence: Moderating of AI Literacy (SEM Analysis)
Hyun-Young Bae1 ; Jaehee Cho2, *
1Ph.D. Course, Graduate School of Metaverse, Sogang University, Seoul 04107, Korea
2Professor, School of Media, Arts & Science, Sogang University, Seoul 04107, Korea

Correspondence to: *Jaehee Cho Tel: +82-2-705-7875 E-mail: jcho76@sogang.ac.kr

Copyright ⓒ 2025 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구는 생성형 AI 기반 학습환경에서 대학생의 대규모 언어모델(LLM) 사용 빈도가 학업 자기효능감과 자기주도적 학습역량에 미치는 영향을 분석하였다. 이를 위해 대학생 201명을 대상으로 온라인 설문조사를 실시하고, 구조방정식모형(SEM)과 부트스트래핑 기법을 활용하여 변인 간 인과관계를 검증하였다. 분석 결과, LLM 사용 빈도는 학업 자기효능감과 자기주도적 학습역량에 모두 유의한 정(+)의 영향을 미쳤으며, 학업 자기효능감은 LLM 사용과 자기주도적 학습역량 간 관계에서 매개효과를 나타냈다. 반면 AI 리터러시의 조절효과는 통계적으로 유의하지 않아, 일정 수준 이상의 LLM 활용 경험을 가진 학습자에게는 조절 기능이 제한될 수 있음을 보여주었다. 이러한 결과는 LLM 사용이 학습자의 자기효능감과 자기주도성을 강화하는 데 긍정적으로 기여할 수 있음을 보여주는 동시에, 과도한 의존으로 인한 부정적 가능성을 예방하고 비판적 AI 리터러시 교육을 병행할 필요성을 시사한다.

Abstract

This study probed into how large language model (LLM) usage frequency affects university students’ academic self-efficacy and self-directed learning (SDL) competence within generative artificial intelligence (AI)-based learning environments. A total of 201 students participated in an online survey, with causal relationships among the variables being analyzed using structural equation modeling with bootstrapping. Results showed that LLM usage frequency significantly positively influenced both academic self-efficacy and SDL competence, while academic self-efficacy mediated the relation between LLM usage frequency and SDL competence. The moderating effect of AI literacy was nonsignificant, indicating that the influence of this form of literacy may be limited among learners with relatively high exposure to LLM. It is suggested that LLM use can enhance learner confidence and self-directed learning competence, and that there is a need to balance LLM usage frequency with strategies that foster critical artificial intelligence literacy to prevent over-reliance on LLMs and ensure effective learning outcomes.

Keywords:

Large Language Model (LLM), SEM, AI Literacy, Self-Directed Learning Competence, Generative AI

키워드:

대규모 언어모델(LLM), 구조방정식모형, AI 리터러시, 자기주도적 학습역량, 생성형 인공지능

Ⅰ. 서 론

2022년 말 OpenAI가 공개한 GPT는 대규모 언어모델(Large Language Model, LLM)을 기반으로 인간의 언어를 이해하고 생성하는 생성형 인공지능(Generative AI) 기술로, 이후 교육, 미디어, 콘텐츠 산업 전반에 걸쳐 빠르게 확산되었다. 특히 대학 교육 현장에서는 LLM 를 활용한 과제 작성, 자료 탐색, 글쓰기, 개념 정리 등 다양한 학습 활동이 활발히 이루어지고 있으며, 이에 따라 생성형 AI 기반 학습환경은 새로운 학습 패러다임으로 부상하고 있다[1],[2]. 이러한 변화는 단순한 도구 사용을 넘어, 학습자의 정보 탐색 방식, 사고 구조, 학습 전략 등 행동적 특성 전반에 영향을 미치고 있다.

LLM 기반 학습환경의 확산은 학습자의 기술 활용 능력뿐 아니라, AI를 비판적으로 이해하고 전략적으로 활용할 수 있는 능력의 중요성을 함께 부각시키고 있다. 이에 따라 최근 교육 분야에서는 생성형 인공지능에 대한 이해와 활용 능력을 포함한 고차원적 역량인 AI 리터러시(AI Literacy)가 핵심 학습 역량으로 주목받고 있다. 기존의 디지털 리터러시가 정보 탐색, 이해, 평가 및 윤리적 활용 등 실용적 능력에 초점을 두었다면, AI 리터러시는 인공지능 기술의 작동 원리에 대한 이해, 산출물의 신뢰성과 편향성에 대한 비판적 해석, AI와의 상호작용 역량, 사회적 영향에 대한 인식을 포괄하는 통합적 개념으로 정의된다[3]-[6]. 특히 UNESCO를 비롯한 주요 국제 교육 프레임워크에서도 AI 리터러시는 기술적 이해, 실천적 응용, 비판적 평가, 윤리적 판단의 네 영역으로 구성된다고 제시하고 있다[7].

AI 리터러시가 높은 학습자는 LLM의 응답을 무비판적으로 수용하기보다, 정보를 선별·분석하고 전략적으로 재구성하는 능동적 학습 경향을 보인다[5],[8]. 이는 단순한 정보 처리 능력을 넘어 학업 자기효능감, 자기조절 전략과 같은 심리적·행동적 요소에 영향을 미치며, 학습의 질, 몰입도, 성취 수준과도 밀접한 관련이 있음이 다수의 연구에서 보고되고 있다[3],[9],[10].

그러나 기존 연구들은 LLM 활용 경험이나 태도 등 정성적 요소에 주로 초점을 두었으며, 사용 빈도와 같은 정량적 지표가 자기주도적 학습역량에 미치는 영향을 실증적으로 분석한 사례는 드물다. 또한, AI 리터러시를 조절변수로 설정하여 LLM 사용과 학습성과 간 관계를 통합적으로 검토한 연구도 부족하다. 이에 따라 LLM 사용 행태가 학습자의 행동적·심리적 역량에 어떤 영향을 미치는지, 그리고 이 과정에서 AI 리터러시가 어떤 조절 역할을 수행하는지에 대한 구조적 분석이 요구된다.

이에 본 연구는 LLM 기반 학습환경에서 LLM 사용 빈도가 대학생의 자기주도적 학습역량에 미치는 영향을 구조방정식모형(Structural Equation Modeling, SEM)을 통해 실증적으로 분석하고, 이 관계에서 AI 리터러시의 조절 효과를 검증하고자 한다. 본 연구는 생성형 AI의 교육적 활용 가능성과 AI 리터러시의 기능적 역할을 구조적으로 규명함으로써, 향후 맞춤형 학습 인터페이스 설계, AI 리터러시 교육 프로그램 개발, 자기주도적 학습 역량 향상 전략 수립 등에 실천적 시사점을 제공하고자 한다.


Ⅱ. 이론적 배경

2-1 GPT 기반 학습환경과 사용 행태

GPT(Generative Pre-trained Transformer)는 OpenAI에서 개발한 대규모 언어모델(Large Language Model, LLM)로, 자연어를 이해하고 생성하는 생성형 인공지능 기술이다. 특히 GPT-3.5와 GPT-4는 텍스트뿐만 아니라 이미지, 음성 등 다양한 멀티모달 입력을 처리할 수 있어, 상호작용 중심의 교육 환경에서의 활용 가능성이 한층 확대되고 있다[11].

최근 대학 교육 현장에서는 LLM을 학습 지원 도구로 활용하려는 시도가 빠르게 확산되고 있다. 대학생들은 GPT를 통해 과제 주제 도출, 개념 정리, 글쓰기 피드백, 요약, 코딩 보조, 질의응답 등 다양한 학습 활동을 수행하며, 이를 단순한 정보 검색 도구가 아닌 ‘지식 탐색 파트너’로 인식하는 경향을 보이고 있다. 특히 ‘역할 기반 질의응답(Prompting)’ 전략을 활용하여 GPT에게 교수자, 동료 학습자, 멘토 등의 역할을 부여하고, 상황에 맞는 피드백을 유도하려는 시도가 활발히 이루어지고 있다[12],[8].

이러한 LLM 기반 학습활동은 학습자의 고차 사고력, 자기 점검 능력, 자기조절 전략 사용 등 행동적·인지적 특성에 긍정적인 영향을 미칠 수 있다. 예를 들어, GPT-4를 활용한 과학 탐구 보고서의 자동 채점 결과가 인간 평가 기준과 높은 일치도를 보였다는 연구는 LLM 사용이 가설 설정, 논리 구조화, 자기 표현력 등 고차 사고 기반 학습 행동에 효과적임을 시사한다[13]. 실제로 LLM의 피드백을 통해 학습자는 탐색적·비판적 사고를 수행하고 문제 해결 전략을 강화하며, 학습 동기를 유발하는 등 단순한 정보 처리 이상의 학습 경험을 획득하게 된다[13],[14].

또한, LLM 사용 경험이 많은 학습자일수록 디지털 자기효능감이 높고, AI 기반 피드백에 대한 수용성과 신뢰도 또한 높은 경향을 보인다[9],[10]. 이러한 인지적 신념은 학업 자기효능감과 자기조절 전략과 밀접하게 연관되며, LLM이 학습자의 심리적 요인과 자기주도적 학습역량에 영향을 미치는 간접적 매개요인으로 작용할 가능성이 제기되고 있다. 반면, GPT의 응답은 항상 정확하거나 객관적인 정보를 제공하지 않기 때문에, 이를 효과적으로 활용하기 위해서는 비판적 정보 해석력과 윤리적 활용 능력 또한 병행되어야 한다는 점이 지속적으로 강조되고 있다[11].

본 연구에서는 이러한 LLM 기반 학습환경에서의 사용 행태 중 ‘사용 빈도(Frequency of Use)’에 주목하여 이를 핵심 독립변인으로 설정하였다. LLM 사용 빈도는 학습자가 해당 기술을 얼마나 자주, 일상적으로 활용하는지를 나타내는 지표로, 자기주도적 학습역량 및 학업 자기효능감과 같은 학습 관련 심리·행동적 요인에 영향을 미치는 주요 요인으로 기능할 수 있다. 물론 LLM 사용의 ‘빈도’는 기술 활용의 양적 수준은 잘 포착할 수 있으나, 학습 목적이나 전략적 활용 방식과 같은 질적 요소는 반영하지 못하는 한계도 존재한다. 그럼에도 불구하고, LLM 활용이 개인의 학습 활동에 얼마나 깊숙이 통합되어 있는지를 파악하는 데 있어 사용 빈도는 유의미한 지표로 작용할 수 있다.

따라서 본 절에서는 LLM 기반 학습환경에서의 주요 사용 양상과 함께 사용 빈도의 개념적 정의와 그 인지적·행동적 영향력을 이론적으로 고찰하고, 이후 제시될 연구모형 구성의 기초 이론을 제시하고자 한다.

2-2 자기주도적 학습역량과 학업 자기효능감

자기주도적 학습(Self-Directed Learning, SDL)은 학습자가 학습 목표를 스스로 설정하고, 전략을 수립·실행하며, 학습 결과를 자율적으로 점검하고 조절하는 일련의 과정을 의미한다[15]. 특히 고등교육 환경에서는 이러한 자기주도성이 학업 성취와 학습 지속성을 결정짓는 핵심 역량으로 간주되며, 학습 동기, 자기조절, 목표 지향성과 밀접하게 관련된다[15].

최근 GPT와 같은 생성형 인공지능 기반 학습환경이 확산되면서, 이 기술이 학습자의 자기주도적 학습역량에 미치는 영향에 대한 관심도 높아지고 있다[1]. GPT는 자연어 기반 상호작용을 통해 학습자의 질문에 실시간으로 응답하고 반복적인 피드백을 제공함으로써, 탐색적 사고력, 자기 점검, 문제 해결 과정에의 참여를 유도한다. 이러한 상호작용은 학습자의 자기주도적 학습 행동을 촉진하며, GPT는 점차 단순한 정보 제공 도구를 넘어 ‘상호작용 기반 교육 파트너’로 인식되고 있다[1].

GPT 기반 질의응답 환경에서는 학습자가 스스로 질문을 구성하고, 답변을 평가하거나 수정하며, 필요한 경우 추가 정보를 요청하는 과정을 반복하게 된다. 이 과정은 자기 점검, 자기조절, 목표 재구성과 같은 전략적 학습 활동을 자연스럽게 유도하며, 생성형 인공지능이 학습자의 능동적 참여를 자극하는 효과적인 학습 도구로 기능할 수 있음을 시사한다.

자기주도적 학습이 효과적으로 이루어지기 위해서는 인지적 전략뿐 아니라 정서적·심리적 요인인 학업 자기효능감(Academic Self-Efficacy) 또한 함께 고려되어야 한다. 학업 자기효능감은 자기효능감 이론[16]에서 파생된 개념으로, 학습자가 특정 과제를 성공적으로 수행할 수 있다는 자신의 능력에 대한 신념을 의미한다. 이는 학습 동기 유발, 전략 실행, 자기조절 행동, 학습 지속성 등에 긍정적인 영향을 미치는 핵심 심리 요인으로 간주된다[17].

나아가, 학업 자기효능감은 자기주도적 학습역량의 형성에 중요한 인지·정서적 기반으로 작용한다. 자기효능감이 높은 학습자는 학습 목표에 대한 책임감을 갖고 과업을 자발적으로 계획하고 조절하며, 실패에 대한 인내력을 바탕으로 전략적 학습 행동을 지속하는 경향이 있다. 따라서 학업 자기효능감은 자기주도적 학습역량을 설명하는 핵심 선행 요인으로서 이론적 타당성을 지닌다[17].

GPT 기반 학습환경에서도 학업 자기효능감은 중요한 매개 변수로 작용한다. GPT 리터러시가 높은 학습자는 생성형 인공지능과의 상호작용에서 보다 능동적으로 질문을 구성하고, 피드백을 전략적으로 수용·조절하는 경향을 보이며, 이는 학업 자기효능감 향상으로 이어진다[18]. GPT 리터러시는 GPT의 작동 원리와 응답 신뢰성에 대한 이해를 바탕으로, 상황에 맞게 질문을 조정하거나 응답을 활용할 수 있는 능력을 의미한다. 이는 고차원적 디지털 리터러시로 간주된다. 반복적인 GPT 사용은 학습자에게 자신의 학습 능력에 대한 인식과 확신을 강화하고, 이는 자기주도적 학습 전략 실행으로 이어질 수 있다. 실제로 GPT 리터러시, 학업 자기효능감, 학습 몰입 간 관계를 분석한 연구에서는 GPT 사용 경험이 학업 자기효능감을 매개로 학습 몰입을 유의미하게 예측함이 확인된 바 있다[18].

이러한 이론적 배경을 바탕으로, 본 연구는 GPT 사용 빈도와 자기주도적 학습역량 간의 관계에서 학업 자기효능감이 매개 변수로 작용할 수 있음을 가정한다. 생성형 인공지능과의 반복적인 상호작용은 학습자의 자기 효능감 인식을 강화하고, 이는 전략적 자기조절 행동과 학습 몰입으로 이어지는 인지·정서적 메커니즘을 형성한다. 학업 자기효능감은 GPT 기반 학습환경의 효과를 설명하는 핵심 심리 요인으로 기능하며, 생성형 인공지능의 교육적 활용 가능성을 구조적으로 이해하는 데 중요한 이론적 토대를 제공한다.

한편, GPT 외에도 다양한 디지털 기반 학습 전략이나 기술 중심 학습 환경 또한 자기주도적 학습역량과 학업 자기효능감에 긍정적인 영향을 미치는 것으로 보고되고 있다. 예를 들어, 한 연구에서는 간호대학생의 가상 시뮬레이션 학습 참여 경험이 자기주도적 학습역량 향상에 유의미한 효과를 보였다고 보고하였다[19]. 이는 GPT와 같은 기술 기반 상호작용 외에도 다양한 디지털 학습 경험이 학습자의 정서적·인지적 역량을 강화하는 데 기여할 수 있음을 시사한다. 이러한 선행연구들을 표 1에 정리하였다.

Prior studies on technology-based factors related to self-directed learning and academic self-efficacy

이상의 이론과 선행연구를 바탕으로 본 연구는 LLM 사용 빈도와 자기주도적 학습역량 간의 인과적 경로를 구조방정식모형을 통해 분석하고, 그 과정에서 학업 자기효능감이 매개 요인으로 작용하는지를 실증적으로 검토하고자 한다.

2-3 AI 리터러시 개념과 조절 효과

AI 리터러시는 인공지능 시대의 핵심 역량으로 부각되며, 단순한 기술 이해를 넘어 비판적 사고력과 윤리적 활용 능력을 포함하는 고차원적 개념으로 정의된다[5]. 구체적으로는 AI 기술의 작동 원리와 알고리즘에 대한 이해, 생성물의 신뢰성과 편향성에 대한 비판적 해석, 사회적 영향에 대한 성찰과 윤리적 판단 등으로 구성된다[6],[7]. 이러한 정의는 정보 탐색과 디지털 기기 활용 중심의 기존 디지털 리터러시와 차별화되며, 대규모 언어모델(LLM)과의 상호작용이 빈번한 학습환경에서는 더욱 중요한 통합적 역량으로 간주된다.

AI 리터러시 수준은 생성형 AI 기반 학습환경에서 학습자의 전략적 반응에 실질적인 영향을 미치는 주요 요인으로 기능할 수 있다. 예를 들어, AI 리터러시가 높은 학습자는 LLM의 응답을 비판적으로 평가하고, 맥락에 맞게 재구성하며, 필요한 경우 새로운 질의를 생성하는 등 능동적 학습 전략을 수행한다[3]. 이러한 전략은 자기주도적 학습역량 향상뿐만 아니라, 학습 상황에서의 자기효능감 고양에도 기여할 수 있다.

이와 관련해 사회인지이론(Social Cognitive Theory)은 개인의 인지적 특성이 자극과 반응 간 관계를 조절하는 핵심 요소임을 강조한다[16]. 즉, 동일한 외부 자극(LLM 사용 빈도)이 주어지더라도, 학습자의 AI 리터러시 수준에 따라 그 자극에 대한 해석과 반응 방식은 달라질 수 있으며, 이에 따라 학업 자기효 능감 및 자기주도적 학습역량에 미치는 영향도 상이할 수 있다.

이처럼 AI 리터러시는 독립변인과 종속변인 간의 인과 경로를 조절하는 조절변수(Moderator)로 작용할 수 있는 이론적 가능성을 지닌다. 이는 학습자가 생성형 AI의 정보를 단순히 수용하는 것이 아니라, AI의 특성과 한계를 이해한 바탕 위에서 정보를 비판적으로 평가하고 학습 목표에 맞게 선택적으로 수용하거나 재구성하는 인지적 조절 전략을 수행하기 때문이다. 다시 말해, AI 리터러시가 높은 학습자는 LLM의 출력을 전략적으로 활용하며, 이 과정에서 더 높은 자기효능감과 자기조절 학습 행동을 발휘할 수 있다.

실제로 디지털 리터러시 및 AI 리터러시를 조절변수로 설정한 선행연구에서는, 학습자의 기술 활용 경험과 학습성과 간의 관계에서 해당 인지적 역량이 조절 효과를 보인다는 결과가 다수 보고되었다. 예를 들어, 대학생을 대상으로 한 연구에서는 ChatGPT 사용 경험이 학업 몰입에 미치는 영향에서 AI 리터러시가 조절 역할을 수행한 바 있으며[18], 고등학생을 대상으로 한 연구에서도 디지털 기기 사용 시간과 자기조절 학습 간의 관계에서 디지털 리터러시의 조절 효과가 입증되었다[20]. 또 다른 연구에서는 원격 수업 경험과 학습 만족도 간의 관계에서 디지털 리터러시가 유의미한 조절변수로 작용함이 확인되었다[21]. 이처럼 AI 리터러시 및 디지털 리터러시는 기술 활용 행동과 학습성과 간의 관계에서 인지적 자원을 활성화하거나 제한하는 핵심 요인으로 기능한다.

AI 리터러시 혹은 디지털 리터러시를 조절변인으로 활용한 주요 선행연구 사례는 표 2에 정리하였다.

Representative prior studies on the moderating effects of ai or digital literacy


Ⅲ. 연구모형 및 연구가설

1) 연구모형

본 연구는 LLM 사용 빈도가 대학생의 자기주도적 학습역량에 미치는 영향을 분석하고자 한다. 이를 위해 구조방정식모형을 활용하며, 학업 자기효능감은 매개변수, AI 리터러시는 조절변수로 설정하였다.

LLM 사용 빈도는 자기주도적 학습역량에 직접적인 영향을 줄 수 있으며, 동시에 학업 자기효능감을 매개로 한 간접 경로도 존재할 수 있다. 아울러 AI 리터러시 수준에 따라 이들 변수 간 관계의 강도나 방향이 달라질 수 있다. 이러한 가설적 구조를 그림 1에 제시하였다.

Fig. 1.

Research model

2) 연구가설

본 연구는 다음과 같은 연구가설을 설정하였다.

H1. LLM 사용 빈도가 학업 자기효능감에 긍정적인 영향을 미칠 것이다.

H2. LLM 사용 빈도가 자기주도적 학습역량에 긍정적인 영향을 미칠 것이다.

H3. AI 리터러시는 LLM 사용 빈도와 학업 자기효능감 간의 관계를 조절할 것이다.

H4. AI 리터러시는 LLM 사용 빈도와 자기주도적 학습역량 간의 관계를 조절할 것이다.

H5. 학업 자기효능감은 자기주도적 학습역량에 긍정적인 영향을 미칠 것이다.

H6. LLM 사용 빈도는 학업 자기효능감을 매개로 자기주도적 학습역량에 간접적인 영향을 미칠 것이다.


Ⅳ. 실증분석

4-1 연구설계

본 연구는 대규모 언어모델(LLM) 사용 빈도가 대학생의 자기주도적 학습역량에 미치는 영향을 실증적으로 분석하기 위해 양적 연구 설계를 적용하였다. 연구모형은 선행연구를 기반으로 설정된 구조적 관계를 바탕으로 하며, 변수 간 인과관계를 검증하기 위해 구조방정식모형(SEM)을 활용하였다. SEM은 잠재변수 간 다중 경로를 동시에 추정하고, 매개 및 조절 효과를 통합적으로 분석할 수 있다는 점에서 본 연구 목적에 적합하다.

연구가설(H1~H6)은 Zimmerman[17], Bandura[16]의 자기주도적 학습과 자기효능감 관련 연구, 그리고 AI 리터러시가 학습성과에 미치는 영향을 검증한 최근 연구들[8],[18],[22]에 근거하여 설정되었다.

본 모형에서 LLM 사용 빈도는 독립변인, 자기주도적 학습역량은 종속변인으로 설정되었으며, 학업 자기효능감은 매개변인, AI 리터러시는 조절변인으로 포함되었다. 자기주도적 학습역량은 목표 설정, 전략 실행, 자기점검, 자기조절, 동기 부여의 다섯 하위요소를 포함하여 측정하였다.

LLM 사용 빈도는 주당 사용 횟수(주 1회 이하, 주 2–3회, 주 4회 이상)로 측정하여, 단순한 양적 수준의 차이를 반영하도록 하였다.

모형 검증을 위해 2025년 6월 23일부터 6월 29일까지 1주일 동안 편의표집 방식으로 대학생을 대상으로 온라인 설문조사를 실시하였다. 수집된 자료는 역문항 삽입, 응답 시간 검토, 동일 응답 패턴 제거 등을 통해 성실성을 검증한 후 분석에 활용하였다. 이후 신뢰도 및 타당도 검증, 기술통계, 확인적 요인분석(CFA), 경로분석, 매개·조절효과 검증을 수행하였으며, 분석은 SPSS 27.0과 AMOS 24.0 프로그램을 활용하였다.

4-2 연구대상

본 연구는 생성형 인공지능(예: GPT 등 LLM) 기반 학습 경험이 있는 대학생을 대상으로 온라인 설문조사를 실시하였다. 연구자의 편의표집 방식에 따라 총 201명의 데이터를 수집하였으며, 이 중 성실하게 응답한 201부를 최종 분석에 활용하였다.

참여자의 인구통계학 및 LLM 관련 특성은 표 3에 제시되어 있다. 성별은 남성이 114명(56.7%), 여성이 87명(43.3%)으로 나타났다. 전공 계열은 이공계열이 108명(54.5%)으로 가장 많았으며, 인문사회계열은 79명(39.9%), 기타 전공은 11명(5.6%)이었다. LLM 익숙함 수준은 ‘매우 익숙하다’가 130명(64.7%)으로 가장 많았고, ‘익숙하다’는 60명(29.9%), ‘익숙하지 않다’는 11명(5.5%)로 확인되었다.

Demographic and LLM-related characteristics

이러한 결과는 대다수의 참여자가 LLM 사용에 일정 수준 이상의 친숙함을 가지고 있으며, 다양한 전공 배경에서 참여자가 고르게 분포했음을 시사한다.

4-3 측정도구 및 변수정의

본 연구의 설문지는 총 23문항으로 구성되었으며, 모든 항목은 5점 리커트 척도(1 = 전혀 그렇지 않다, 5 = 매우 그렇다)로 측정되었다.

LLM 사용 빈도는 학습 맥락에서의 활용을 구체적으로 파악하기 위해 주당 사용 횟수(예: 주 1회 이하, 주 2–3회, 주 4회 이상)로 측정하였다. 이를 통해 단순한 사용량뿐만 아니라 개인별 활용 수준의 차이가 반영되도록 하였다.

학업 자기효능감은 자기효능감 이론에 근거한 기존 척도[16]를 기반으로, 학습 중 문제 해결에 대한 자신감과 실행 의지를 측정하는 6문항으로 구성하였다. 예시 문항은 “나는 학습 중 어려움이 생겨도 극복할 수 있다고 생각한다.”이다.

자기주도적 학습역량은 학습자의 목표 설정, 전략 실행, 자기점검, 자기조절, 동기 부여 등 다차원적 요소를 반영하여 관련 이론모형[15]에 따라 총 6문항으로 설계되었다. 구체적으로는 목표 설정(예: “나는 학습 목표를 스스로 세우고 실천하려고 노력한다”), △전략 실행(예: “나는 학습 중 필요한 자원을 선택하여 활용할 수 있다”), 자기점검(예: “나는 학습 결과를 점검하고 부족한 부분을 보완한다”), 자기조절(예: “나는 상황에 따라 학습 전략을 조정한다”), 동기 부여(예: “나는 어려움이 있어도 끝까지 학습하려는 의지를 갖는다”)의 다섯 범주를 포함한다. 이러한 하위요소별 분류를 통해 자기주도적 학습역량의 다차원성을 반영하였다.

AI 리터러시는 LLM과 같은 생성형 인공지능을 비판적으로 이해하고 활용하는 역량을 측정하기 위해, 기술 이해, 신뢰성 평가, 윤리적 판단 등의 요소를 포함하였다. 기존 AI 리터러시 구성틀[3],[7]을 바탕으로 총 6문항으로 구성되었으며, 예시 문항은 “나는 AI가 제시한 정보의 신뢰성을 평가할 수 있다.”이다.

각 변수별 전체 문항은 표 6에 제시하였다.


Ⅴ. 연구결과

5-1 기술통계 및 정규성 검토

본 연구에서 사용된 주요 변수들의 기술통계량 및 정규성 검토 결과는 표 4와 같다. LLM 사용빈도, AI 리터러시, 학업 자기효능감, 자기주도적 학습역량의 평균은 각각 3.83, 3.80, 3.79, 3.85 수준으로 나타났으며, 전반적으로 중간값 이상으로 응답 경향이 확인되었다.

Descriptive statistics and normality of main variables(N=201)

정규성 검토를 위해 왜도(Skewness) 및 첨도(Kurtosis)를 분석한 결과, 모든 변수의 왜도는 –1.065에서 -0.985 사이, 첨도는 0.328에서 0.546 사이로 나타났다. 이는 왜도 절대값이 2 미만, 첨도 절대값이 7 미만이라는 기준[23]에 부합하므로, 모든 변수는 정규성을 만족하는 것으로 판단된다.

5-2 신뢰도 분석

본 연구에서는 각 측정 도구의 내적 일관성을 검토하기 위해 신뢰도 분석을 실시하였으며, 그 결과는 표 5에 제시하였다. 분석 결과, LLM 사용빈도(.760), AI 리터러시(.824), 학업 자기효능감(.818), 자기주도적 학습역량(.817)의 신뢰도 계수(Cronbach’s α)가 모두 .70 이상으로 나타났다. 이는 일반적으로 신뢰도 계수가 .70 이상이면 수용 가능하다는 기준[24]을 충족하는 수치로, 본 연구에서 사용한 모든 척도가 신뢰할 수 있는 수준의 내적 일관성을 확보하고 있음을 시사한다.

Reliability analysis of measurement instruments

5-3 확인적 요인 분석(CFA)

본 연구에서는 LLM 사용빈도, 학업 자기효능감, 자기주도적 학습역량의 측정 타당성을 검토하기 위해 확인적 요인 분석(CFA)을 수행하였다. 각 잠재변수는 5개 또는 6개의 측정 문항으로 구성되었으며, 모든 문항의 요인부하량은 통계적으로 유의한 것으로 나타났다(p < .001).

LLM 사용빈도 문항의 요인부하량은 0.69~1.03, 학업 자기효능감 문항은 0.69~1.00, 자기주도적 학습역량 문항은 0.94~1.40으로 나타나 대부분 0.50 이상의 기준을 충족하였다. 이는 각 문항이 해당 구성개념을 적절히 설명하고 있음을 시사한다(표 6 참조).

Summary of confirmatory factor analysis results

모형의 전반적인 적합도 지수를 살펴보면, χ2 = 255.05(df = 117, p < .001), CMIN/DF = 2.18로 기준(≤ 3.00)을 충족하였다. 또한 GFI = 0.88, AGFI = 0.84, CFI = 0.91, TLI = 0.90, RMSEA = 0.08로 나타나 주요 적합도 지표들이 일반적으로 제시되는 기준(GFI ≥ 0.90, CFI ≥ 0.90, RMSEA ≤ 0.08 등)을 대부분 충족하거나 근접하였다.

5-4 구조방정식 경로분석

본 연구에서는 LLM 사용빈도, 학업 자기효능감, 자기주도적 학습역량 간의 구조적 관계를 분석하기 위해 구조방정식 경로분석(SEM)을 실시하였다. 분석 결과, LLM 사용빈도는 학업 자기효능감에 유의한 정(+)의 영향을 미쳤으며(β = .68, p < .001), 학업 자기효능감은 자기주도적 학습역량에 유의한 정(+)의 영향을 나타냈다(β = .46, p < .001). 또한, LLM 사용빈도는 자기주도적 학습역량에 직접적으로도 유의한 영향을 미쳤다(β = .41, p < .001).

이러한 결과는 LLM 사용빈도가 학업 자기효능감을 매개로 자기주도적 학습역량에 영향을 미치는 유의미한 간접효과와 직접효과를 동시에 갖고 있음을 시사한다.

설명력(R2)을 살펴보면, LLM 사용빈도는 학업 자기효능감 변량의 약 46.8%를, 학업 자기효능감과 LLM 사용빈도를 포함한 전체 모형은 자기주도적 학습역량 변량의 약 67.0%를 설명하는 것으로 나타났다. 이는 본 모형이 주요 학습 변인에 대해 높은 수준의 설명력을 갖고 있음을 보여준다.

또한 매개효과의 통계적 유의성을 확인하기 위해 PROCESS macro를 이용한 부트스트래핑 분석을 추가로 실시한 결과, LLM 사용빈도가 자기주도적 학습역량에 미치는 간접효과(Effect = .4452)의 95% 신뢰구간 [BootLLCI = .3003, BootULCI = .6007]가 0을 포함하지 않아 통계적으로 유의한 것으로 나타났다. 이는 LLM 사용빈도가 학업 자기효능감을 통해 자기주도적 학습역량에 영향을 미치는 매개효과가 존재함을 실증적으로 뒷받침한다.

이러한 결과는 LLM 활용이 학습자의 정서적 신념(자기효능감)을 강화하고, 이를 통해 자기주도적 학습역량까지 촉진할 수 있음을 시사한다. 또한, LLM 사용이 학습 태도와 역량 향상에 긍정적 영향을 미친다는 선행연구들[10],[13]과도 일치하는 경향을 보인다.

5-5 조절효과 검증

본 연구에서는 LLM 사용빈도가 자기주도적 학습역량에 미치는 영향에서 학업 자기효능감의 매개효과와 AI 리터러시의 조절효과를 검증하였다.

먼저, AI 리터러시의 조절효과를 확인하기 위해 위계적 회귀분석(Hierarchical Regression Analysis) 을 실시하였다. LLM 사용빈도 평균과 AI 리터러시 평균을 독립변수로 투입한 후, 이들의 곱(product term)을 상호작용 항으로 추가하여 종속변수를 각각 자기주도적 학습역량 및 학업 자기효능감으로 설정하고 분석을 수행하였다.

그 결과, LLM 사용빈도와 AI 리터러시는 모두 자기주도적 학습역량에 유의미한 정(+)의 영향을 미친 것으로 나타났으나, 상호작용항은 통계적으로 유의하지 않았다(β = –0.01, p = .910). 이는 AI 리터러시가 LLM 사용빈도와 자기주도적 학습역량 간의 관계를 조절하지 않음을 시사한다. 즉, AI 리터러시의 수준이 높거나 낮더라도 LLM 사용빈도가 자기주도적 학습역량에 미치는 영향력의 강도는 유의미하게 달라지지 않았다. 다만, 그림 2에서 확인되듯이 AI 리터러시 수준이 높은 집단은 사용 빈도가 증가할수록 자기주도적 학습역량이 상대적으로 높게 유지되는 경향을 보였고, 리터러시 수준이 낮은 집단은 사용 빈도의 증가가 학습역량 향상으로 충분히 이어지지 않는 모습이 나타났다. 이는 비록 통계적으로 유의하지는 않았지만, 교육 현장에서 LLM 사용 빈도뿐 아니라 학습자의 AI 리터러시 수준을 함께 고려할 필요성을 시사한다.

Fig. 2.

Interaction between LLM use frequency and AI literacy on self-directed learning competency

또한, 동일한 분석을 학업 자기효능감을 종속변수로 하여 실시한 결과, LLM 사용빈도(β = .61, p < .001)와 AI 리터러시(β = .33, p < .001)는 모두 학업 자기효능감에 유의미한 영향을 미쳤으나, 이들의 상호작용항 역시 통계적으로 유의하지 않은 것으로 나타났다(β = .06, p = .140). 모형의 설명력 또한 유의미하게 증가하지 않아(ΔR2 = .002, p > .05), AI 리터러시가 LLM 사용빈도와 학업 자기효능감 간 관계를 조절하지 않음을 확인할 수 있었다. 분석 결과는 표 7에 제시하였다.

Hierarchical regression analysis for the moderating effect of AI literacy

이러한 결과는 LLM 사용 경험이 일정 수준 이상일 경우, 개인의 AI 리터러시 수준에 관계없이 학습자의 학업 자기효능감 및 자기주도적 학습역량 향상에 일관된 영향을 미칠 수 있음을 시사한다. 즉, LLM 사용 자체가 학습 효과에 긍정적으로 기여하는 핵심 요인으로 기능할 수 있으며, AI 리터러시가 이에 추가적인 조절적 영향을 미치지 않는 상황도 존재함을 보여준다.

한편, 조절효과에 대한 분석을 보다 정교하게 수행하기 위하여, 성별, 전공, LLM 친숙도를 더미변수로 변환하여 통제변수로 투입한 보완적 위계적 회귀모형(Model 1~3) 을 추가로 구축하였다. 그러나 해당 모형에서도 LLM 사용빈도와 AI 리터러시 간 상호작용항은 통계적으로 유의하지 않았으며(β = .023, p = .933), 모형의 설명력 또한 유의미하게 증가하지 않았다(ΔR2 = .000). 해당 결과는 표 8에 제시하였다.

Hierarchical regression analysis for the moderating effect of AI literacy controlling for gender, major, and LLM familiarity

이로써 AI 리터러시는 본 연구모형 내에서 조절변수로서의 기능을 하지 않는 것으로 판단된다.


Ⅵ. 결론 및 논의

본 연구는 생성형 AI 도구인 LLM의 사용 빈도가 학습자의 학업 자기효능감과 자기주도적 학습역량에 어떠한 영향을 미치는지를 구조방정식모형을 통해 분석하였으며, 이 과정에서 학업 자기효능감의 매개효과와 AI 리터러시의 조절효과를 함께 검증하였다. 주요 분석 결과와 해석은 다음과 같다.

첫째, LLM 사용 빈도는 학업 자기효능감에 유의미한 정(+)의 영향을 미쳤고, 학업 자기효능감은 자기주도적 학습역량에 긍정적인 영향을 주는 것으로 나타났다. 또한 LLM 사용 빈도는 자기주도적 학습역량에 직접적으로도 유의한 영향을 미쳐, 학업 자기효능감을 매개로 한 간접효과와 직접효과가 동시에 존재함이 확인되었다. 이는 LLM 사용이 학습자의 인지적·정서적 태도와 행동에 모두 긍정적 영향을 줄 수 있음을 시사하며, 특히 학습 과정에 대한 자신감을 높이고 자기주도성을 강화한다는 점에서 실천적 의의가 크다.

둘째, 설명력(R²) 분석 결과 LLM 사용 빈도는 학업 자기효능감 변량의 약 46.8%를 설명하였고, LLM 사용 빈도와 학업 자기효능감을 모두 포함한 모형은 자기주도적 학습역량 변량의 약 67.0%를 설명하는 것으로 나타났다. 이는 LLM 기반 학습환경이 학습자 역량의 핵심 설명변수로 기능할 수 있음을 보여준다.

셋째, AI 리터러시의 조절효과를 검증한 결과, LLM 사용 빈도와 AI 리터러시는 각각 학업 자기효능감과 자기주도적 학습역량에 유의한 영향을 미쳤으나, 상호작용항은 통계적으로 유의하지 않았다. 이는 대학생 집단에서 기본적인 AI 활용 역량이 이미 일정 수준 확보되어 있어 리터러시 수준의 차이가 효과의 강도를 좌우하지 않았을 가능성을 시사한다. 따라서 향후 연구에서는 초·중등 학습자나 성인 직업교육 집단 등 다양한 학습 집단을 대상으로 조절효과를 재검증할 필요가 있다.

그러나 본 연구가 주로 LLM 사용의 긍정적 효과를 강조하고 있다는 점에서, 과도한 사용이 초래할 수 있는 부정적 가능성도 고려해야 한다. 최근 연구에서는 LLM을 빈번하게 활용하는 학습자가 자기 점검이나 비판적 사고 과정을 생략하는 경향을 보이며, 결과적으로 기술 의존성이 심화되고 학습 효율성이 저하될 수 있음이 지적되었다[7],[22]. 무비판적 수용이나 단순 반복적 활용은 학습자의 전략적 사고와 메타인지적 성찰을 약화시킬 수 있으며, 이는 자기주도적 학습역량의 질적 저하로 이어질 수 있다. 따라서 교육 현장에서는 LLM 활용 교육을 설계할 때 긍정적 활용 촉진과 더불어 의존 예방을 위한 자기 점검 기제와 비판적 활용 가이드라인을 병행해야 한다.

또한, 2025년의 최신 연구는 LLM과 AI 리터러시의 관계를 보다 정교하게 보여준다. 예를 들어, 대학생 대상 실험 연구에서 LLM 기반 글쓰기 활동이 단기적으로는 몰입과 자기효능감을 높였으나[22], 장기적으로는 AI 리터러시가 낮은 학습자에게 피상적 이해와 기계적 답습을 유발할 수 있음을 보고하였다. UNESCO[7] 역시 최신 지침에서 단순한 기술 활용을 넘어 비판적 평가와 윤리적 활용을 포함하는 ‘비판적 AI 리터러시’를 핵심 교육 요소로 제시하였다. 이는 본 연구 결과와 결합하여, 향후 교육적 실천에서 LLM 활용을 무조건 장려하기보다는 학습자의 디지털 주체성, 비판적 검토 능력, 윤리적 활용 역량을 병행 강화해야 함을 뒷받침한다.

연구의 한계 또한 존재한다. 첫째, 본 연구는 횡단적 설계에 기반한 분석이므로 인과관계를 단정하기에는 한계가 있다. 향후에는 종단 연구나 실험 설계를 통해 LLM 사용이 학습성과에 미치는 장기적 효과를 규명할 필요가 있다. 둘째, 자기보고식 설문에 기반한 데이터는 응답자의 인식 왜곡이나 사회적 바람직성 편향에서 완전히 자유롭지 못하다. 향후 연구에서는 로그 데이터나 행동 기반 분석을 결합하는 보완적 접근이 요구된다. 셋째, 본 연구에서는 대학생 집단을 중심으로 분석이 이루어졌으나, 전공, 학습 유형, AI 활용 경험 수준에 따른 집단 간 차이가 존재할 수 있다. 특히 표본이 이공계 학생(54.5%)에 편중되어 있어 연구 결과를 모든 전공 집단으로 일반화하는 데에는 제약이 있다. 따라서 향후 연구에서는 다양한 전공 배경을 포함한 비교 분석이 필요하다. 넷째, 본 연구는 LLM 사용 빈도를 주당 사용 횟수를 중심으로 분석하였다. 그러나 SRL을 목표 설정, 전략 실행, 자기점검, 자기조절의 네 가지 핵심 요소로 구분하여 측정함으로써 자기주도적 학습역량의 다차원적 특성을 반영하였다. 향후 연구에서는 이러한 하위 요소별 차이를 더 정밀하게 규명하는 분석이 필요하다.

결론적으로, 본 연구는 LLM 사용이 학습자의 자기효능감과 자기주도적 학습역량을 강화하는 긍정적 효과를 실증적으로 제시하는 동시에, 과도한 의존과 비효율적 사용의 위험을 경계해야 한다는 균형 잡힌 시사점을 제공한다. 이는 향후 LLM 활용 교육 프로그램이 빈도와 질적 경험을 균형 있게 설계하고, 2025년 이후 국제 논의에서 강조되는 ‘비판적 AI 리터러시 교육’을 적극 반영할 필요가 있음을 보여준다.

Acknowledgments

이 논문은 2025년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구입니다.(NRF-2022S1A3A2A02089938)

References

  • A. Tlili, B. Shehata, M. A. Adarkwah, A. Bozkurt, D. T. Hickey, R. Huang, and B. Agyemang, “What If the Devil is My Guardian Angel: ChatGPT as a Case Study of Using Chatbots in Education,” Smart Learning Environments, Vol. 10, 15, pp. 1-24, 2023. [https://doi.org/10.1186/s40561-023-00237-x]
  • S. Krause, B. H. Panchal, and N. Ubhe, “The Evolution of Learning: Assessing the Transformative Impact of Generative AI on Higher Education,” Frontiers of Digital Education, Vol. 2, 21, 2025. [https://doi.org/10.1007/s44366-025-0058-7]
  • D. Long and B. Magerko, “What is AI Literacy? Competencies and Design Considerations,” in Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Honolulu: HI, pp. 1-16, 2020. [https://doi.org/10.1145/3313831.3376727]
  • D. T. K. Ng, J. K. L. Leung, S. K. W. Chu, and M. S. Qiao, “Conceptualizing AI Literacy: An Exploratory Review,” Computers and Education: Artificial Intelligence, Vol. 2, 100041, 2021. [https://doi.org/10.1016/j.caeai.2021.100041]
  • H. Hwang, Y. Hwang, J. Park, M. Shin, and H. Lee, “A Study on the Development and Validity Verification of Measurement Tool for AI Literacy,” The Korean Journal of Literacy Research, Vol. 15, No. 2, pp. 247-278, 2024. [https://doi.org/10.37736/KJLR.2024.04.15.2.09]
  • H. S. Hwang, L. C. Zhu, and Q. Cui, “Development and Validation of a Digital Literacy Scale in the Artificial Intelligence Era for College Students,” Journal of Internet Information Systems, Vol. 17, No. 8, pp. 2241-2258, 2023. [https://doi.org/10.3837/tiis.2023.08.016]
  • F. Miao, W. Holmes, R. Huang, and H. Zhang, Artificial Intelligence and Education: Guidance for Policy‑Makers, Paris, France: UNESCO Publishing, 2021. [https://doi.org/10.54675/PCSP7350]
  • Y. H. Song, “The Effects of Self-Directed Learning Ability and Computational Thinking on AI Literacy among College Students: A Case Study of K Theological University,” Journal of Christian Education in Korea, Vol. 80, pp. 245-261, 2024. [https://doi.org/10.17968/jcek.2024..80.011]
  • H. J. Hwang, Y. S. Hwang, J. S. Park, M. H. Shin, and H. J. Lee, “A Study on the Development and Validity Verification of Measurement Tool for AI Literacy,” The Korean Journal of Literacy Research, Vol. 15, No. 2, pp. 247-278, 2024. [https://doi.org/10.37736/KJLR.2024.04.15.2.09]
  • Y.-J. Ko, “The Effect of AI Literacy Improvement on Self-Efficacy,” Journal of Knowledge Information Technology and Systems, Vol. 17, No. 5, pp. 1017-1028, 2022. [https://doi.org/10.34163/jkits.2022.17.5.022]
  • E. Hahm, S. Y. Park, B. Y. Lee, S. H. Lee, Y. K. Lee, and Y. J. Hong, “Characteristics of GPT-4 Automated Scoring of Scientific Inquiry Competency,” Journal of Korean Association for Educational Information and Media, Vol. 30, No. 3, pp. 713-742, 2024. [https://doi.org/10.15833/KAFEIAM.30.3.713]
  • D. H. Kwon, S. Y. Koo, J. I. Kim, J. W. Park, and M. H. Lee, “A Case Study of Classical Narrative Retelling Using ChatGPT: Focusing on Learner-AI Interaction,” Journal of International Language and Literature, No. 99, pp. 167-195, 2023. [https://doi.org/10.31147/IALL.99.06]
  • G. L. Lee, “Change in University Students’ Perceptions and Self-Directed Learning Competencies after Using ChatGPT in Class,” Journal of Teaching & Learning Research, Vol. 16, No. 3, pp. 71-94, 2023. [https://doi.org/10.23122/kactl.2023.16.3.003]
  • B. Koo, “AI Literacy as a Core Competency in the Age of ChatGPT,” Korea Internet Self-Governance Organization Journal, 2023, No. 50, pp. 36-39.
  • D. R. Garrison, “Self‑Directed Learning: Toward a Comprehensive Model,” Adult Education Quarterly, Vol. 48, No. 1, pp. 18-33, 1997. [https://doi.org/10.1177/074171369704800103]
  • A. Bandura, Self‑Efficacy: The Exercise of Control, New York, NY: Worth Publishers, 1997.
  • B. J. Zimmerman, “Self‑Efficacy: An Essential Motive to Learn,” Contemporary Educational Psychology, Vol. 25, No. 1, pp. 82-91, 2000. [https://doi.org/10.1006/ceps.1999.1016]
  • E. S. Lee and Y. C. Jeon, “The Influence of ChatGPT Literacy on Academic Engagement : Focusing on the Serial Mediation Effect of Academic Confidence and Perceived Academic Competence,” The Journal of the Convergence on Culture Technology, Vol. 10, No. 2, pp. 567-576, 2024.
  • M. J. Kim, J. H. Park, and H. J. Lee, “The Effects of Utact Havruta Learning Method on Communication Ability, Learning Flow, and Self-Confidence of Learning of Nursing Students,” Journal of the Korea Society of Wellness, Vol. 17, No. 3, pp. 47-53, 2022. [https://doi.org/10.21097/ksw.2022.8.17.3.47]
  • P. Joshi, “Cell Phone Use Distracts Young Adults from Academic Work: The Role of Self-Regulated Learning Behavior,” Current Psychology, Vol. 42, pp. 27071-27087, 2023. [https://doi.org/10.1007/s12144-022-03830-4]
  • X. Z. Liu, J. X. Wu, L. J. Guo, B. B. Li, and B. J. Ye, “Digital Literacy and Online Learning Satisfaction among Junior High School Students in the Context of COVID-19: The Mediating Role of Online Learning Engagement and the Moderating Role of Parents’ Educational Expectations,” South African Journal of Education, Vol. 44, No. 4, 2562, 2024.
  • S. Bećirović, E. Polz, and I. Tinkel, “Exploring Students' AI Literacy and Its Effects on Their AI Output Quality, Self-Efficacy, and Academic Performance,” Smart Learning Environments, Vol. 12, 29, 2025. [https://doi.org/10.1186/s40561-025-00384-3]
  • S. G. West, J. F. Finch, and P. J. Curran, “Structural Equation Models with Nonnormal Variables: Problems and Remedies,” in Structural Equation Modeling: Concepts, Issues, and Applications, Thousand Oaks, CA: Sage Publications, pp. 56-75, 1995.
  • J. Y. Na, “A Study on Influence of Digital Literacy on Intention of Non-Contact Service Continuous Use -Focusing on Satisfaction and Self-Efficacy as a Mediator Variable and Age as a Moderating Variable-,” Journal of Digital Convergence, Vol. 20, No. 5, pp. 187-195, 2022. [https://doi.org/10.14400/JDC.2022.20.5.187]
  • N. Kim and N. Park, “Research on the Methods of Promoting Digital Literacy and Operating High-Tech Classroom Lessons Using ChatGPT,” in Proceedings of the 2023 Summer Conference of the Korean Institute of Information Technology, pp. 13-15, 2023.

Appendix

부 록

Measurement items and references for each construct

저자소개

배현영(Hyun-Young Bae)

2024년:한국기술교육대학교 IT융합과학산업대학원 (공학석사 - AI융합교육학과)

2024년~현 재: 서강대학교 메타버스전문대학원 박사과정

※관심분야:AI, AI융합교육, 가상융합, 디지털트윈 등

조재희(Jaehee Cho)

2003년:서강대학교 (신문방송학 학사)

2006년:University of Texas at Austin (커뮤니케이션학 석사)

2011년:University of Texas at Austin (커뮤니케이션학 박사)

2011년~2013년: University of North Carolina at Charlotte

2013년~2018년: 중앙대학교

2018년~현 재: 서강대학교 지식융합미디어대학 교수

※관심분야:건강커뮤니케이션, 조직커뮤니케이션, 미디어 리터러시 교육 등

Fig. 1.

Fig. 1.
Research model

Fig. 2.

Fig. 2.
Interaction between LLM use frequency and AI literacy on self-directed learning competency

Table 1.

Prior studies on technology-based factors related to self-directed learning and academic self-efficacy

Independent variable Target group Research model Path model Reference
Frequency of GPT use University students GPT Use → Self-directed learning Self-disclosure intention ↔ Trust/disclosure toward chatbot [1]
GPT literacy University students Anonymous interaction model Chatbot interface ↔ Immersion and emotional expression [18]
Virtual simulation learning Nursing students TAM Self-congruity/expectation ↔ Continued use intention for GPT [19]

Table 2.

Representative prior studies on the moderating effects of ai or digital literacy

Independent variable Target group Research model Path model Reference
ChatGPT usage experience University students Moderated mediation model ChatGPT Literacy → Academic Engagement [18]
Digital literacy University students Structural equation model Digital Literacy → Self-efficacy → Learning Competence [20]
Digital literacy Junior high schoolers Moderated mediation model Digital Literacy × Parent Expectation → Engagement → Satisfaction [21]

Table 3.

Demographic and LLM-related characteristics

Category Item Frequency (n) Percentage (%)
Gender Male 114 56.7
Female 87 43.3
Major Humanities and social sciences 79 39.9
Science and engineering 108 54.5
Other 11 5.6
LLM Familiarity Very familiar 130 64.7%
Somewhat familiar 60 29.9%
Not familiar 11 5.5%

Table 4.

Descriptive statistics and normality of main variables(N=201)

Variable Min Max Mean (M) Standard deviation (SD) Skewness Kurtosis
LLM usage frequency 1.60 5.00 3.83 0.78 -1.06 0.40
AI literacy 1.50 5.00 3.80 0.80 -0.99 0.33
Academic self-efficacy 1.33 5.00 3.80 0.80 -1.06 0.41
Self-directed learning competency 1.17 5.00 3.85 0.80 -1.07 0.55

Table 5.

Reliability analysis of measurement instruments

Variable Number of items Cronbach’s α
LLM usage frequency 5 .760
AI literacy 6 .824
Academic self-efficacy 6 .818
Self-directed learning competency 6 .817

Table 6.

Summary of confirmatory factor analysis results

Latent variable Factor loading range Significance
LLM usage frequency 0.69 ~ 1.03 p < .001
Academic self-efficacy 0.69 ~ 1.00 p < .001
Self-directed learning competency 0.94 ~ 1.40 p < .001

Table 7.

Hierarchical regression analysis for the moderating effect of AI literacy

Dependent variable Model Variable B T Β
Self-directed learning Model 1 LLM usage frequency 0.65 12.17 0.65
AI literacy 0.30 5.69 0.30
Model 2 LLM usage frequency 0.45 7.15 0.45
AI literacy 0.42 5.59 0.42
LLM usage × AI literacy -0.01 -0.20 -0.01
Academic self-efficacy Model 1 LLM usage frequency 0.57 10.05 0.61
AI literacy 0.32 6.03 0.33
Model 2 LLM usage frequency 0.50 2.82 0.41
AI literacy 0.38 2.36 0.38
LLM usage × AI literacy 0.06 1.48 0.06

Table 8.

Hierarchical regression analysis for the moderating effect of AI literacy controlling for gender, major, and LLM familiarity

Dependent variable Model Variable B t β
Self-directed learning Model 1 Gender (dummy) -0.561 -5.222 -0.350
Major (dummy) 0.023 0.209 0.014
LLM familiarity (dummy) 0.853 10.201 0.636
Model 2 LLM usage frequency 0.559 9.429 0.540
AI literacy 0.398 7.291 0.400
Model 3 LLM usage × AI literacy 0.004 -0.096 0.027
Academic self-efficacy Model 1 Gender (dummy) -0.045 -0.445 -0.028
Major (dummy) 0.061 1.131 0.037
LLM familiarity (dummy) 0.109 1.761 0.068
Model 2 LLM usage frequency 0.478 7.452 0.467
AI literacy 0.394 7.360 0.396
Model 3 LLM usage × AI literacy 0.003 0.084 0.023

Table 9.

Measurement items and references for each construct

Category Construct Measurement Items References
Independent LLM usage intensity 1. I actively use LLM(e.g., GPT) to support my learning. [8]
2. I often use LLM(e.g., GPT) to complete assignments. [12]
3. I frequently use LLM(e.g., GPT) during my free time. [2]
4. I use LLM(e.g., GPT) to search for information on specific concepts or terms. [26]
5. I use LLM(e.g., GPT) to support my learning by asking various questions. [2]
Moderating AI literacy 1. I can judge whether LLM(e.g., GPT)'s responses are reliable information. [2], [25]
2. I understand how LLM(e.g., GPT)'s algorithms and mechanisms work. [3], [5]
3. I can apply LLM(e.g., GPT)'s responses appropriately according to learning goals and contexts. [2], [3]
4. I have thought about the impact of LLM(e.g., GPT) and similar AI technologies on society. [7]
5. I recognize that LLM(e.g., GPT)'s responses may be biased depending on the data they are trained on. [3], [4]
6. When using LLM(e.g., GPT), I consider ethical issues such as copyright and responsibility. [7]
Mediating Learning self-efficacy 1. I believe I can successfully solve given academic tasks. [16]
2. I think I can overcome difficulties that may arise during learning. [12]
3. I am confident that I can express and present what I have learned. [16]
4. I think I can understand the content I study. [16]
5. I believe I can solve problems well when preparing for assessments. [16]
6. I am confident that I can achieve my learning goals by setting specific plans. [16]
Self-directed learning 1.I try to set my own learning goals and plan accordingly. [15]
2. I adjust my learning strategies depending on the situation. [12]
3. Even when difficulties arise, I have the will to continue learning until the end. [8]
4. When implementing a learning plan, I can select and use appropriate learning resources. [15]
5. I review my learning results and supplement them when necessary. [15]
6. I plan and prepare in advance for learning tasks based on the given materials and topics. [15]