멀티모달 생성형 AI의 메타인지 연구: 디자인 학습자를 중심으로

1-1 연구 배경

생성형 AI(Generative Artificial Intelligence)는 기존 데이터의 패턴을 학습하여 텍스트, 이미지, 음악, 비디오, 프로그래밍 코드 등 다양한 형식의 창작물을 생성하는 인공지능이다[1]. 새로운 것을 창작 혹은 기존의 것에 대한 비판적 접근으로 더 나은 결과물을 만들어야 하는 디자인 학습자에게 생성형 AI 활용에 대한 메타인지가 디자인 작업에 어떠한 영향을 미치는지 연구하고자 한다.

생성형 AI 도구의 자동화 특성과 높은 생성성은 학습자에게 수동적 소비자 역할을 부여할 위험성도 내포하고 있다. 이에 따라, 단순한 사용 여부가 아닌 학습자 중심의 능동적 AI 활용 방식, 특히 AI 결과물에 대한 비판적 수용과 조정 능력, 즉 메타인지적 태도가 디자인 교육에서 점점 더 중요하게 논의되고 있다.

본 연구는 이러한 관점에서, 생성형 AI가 단순한 시각적 도구를 넘어 학습자의 사고를 자극하고 자기 주도성을 증진시키는 ‘인지적 촉진 파트너(cognitive catalyst)’로 작용할 수 있다는 가능성에 주목한다. 본 연구에서 인지적 촉진 파트너란, 학습자가 문제 해결 과정에서 사고를 점검·이확장할 수 있도록 돕는 AI도구를 의미한다. 이를 위해 영국 디자인위원회의 더블 다이아몬드 디자인 사고 모델(Discover–Define–Develop–Deliver)을 이론적 프레임으로 적용하였으며[2], 각 단계에서의 AI 활용과 학습자의 반응을 정성적 및 정량적 방식으로 통합 분석하였다.

1-2 연구 문제

본 연구는 멀티모달 생성형 AI 활용 수업이 다지인 학습자의 메타인지에 미치는 영향을 검증하기 위해 다음과 같이 연구 문제를 설정하였다:

RQ1) 15주간의 더블 다이아몬드 프로세스의 각 단계에서 멀티모달 생성형 AI활용이 디자인 학습자의 메타인지에 어떤 변화를 가져오는가?

RQ2) 생성형 AI 사용 경험이 누적됨에 따라 학습자의 비판적 사고 능력과 AI 한계 인식은 어떻게 발달하는가?

2-1 멀티모달 생성형 AI와 AI의 할루시네이션

멀티모달(Multi Modal) AI는 텍스트, 이미지, 음성 등 여러 데이터 유형을 통합하여 처리하고 생성하는 인공지능 기술을 의미한다. 이는 단일모달(UniModal) AI가 하나의 데이터 유형만을 다루는 것과 대비된다[3].

단일모달은 텍스트 대 텍스트, 텍스트 대 이미지, 텍스트 대 음성 등 그 인풋 데이트와 아웃풋데이터가 하나의 유형으로만 이루어지는 반면, 멀티모달은 다양한 형태의 데이터를 상호 작용으로 학습하고 그 결과를 보다 종합적이고 다각도로 생성한다. 밀티모달의 등장은 생성형 AI 발전에 있어서 자연스러운 발전 방향이며 더 방대한 데이터학습과 결과로 이어진다.

생성형 AI의 생성을 의미하는 제너러티비티(Generativity)는 새로운 것의 재창조 혹은 재조합의 과정을 통해 새로운 것을 생산하는 것으로 특히 혁신적인 방향이나 창의적인 아이디어를 생성하는 역량이 강조된다[4]. 이를 위해 가장 중요한 프롬프트는 생성형 AI의 자연어 처리 모델을 조작하고 모델에게 지시를 제공하기 위한 중요한 수단으로서 특정 작업을 요청하기 위한 사용자의 의도와 목적을 알려주는 텍스트 입력 행위이다. 또한 모델에게 정확하게 의도한 생각을 전달하기 위해 프롬프트를 연구하고 설계하고 조정해 가는 과정을 프롬프트 엔지니어링이라고 한다[5]. 프롬프트의 사전적 의미는 “(사람에게 어떤 결정을 내리도록·어떤 일이 일어나도록) 하다[촉발하다]”, “(질문·힌트 등을 주어 말을 하도록) 유도하다”,“(배우가 대사를 잊었을 때) 대사를 상기시켜 주는 말”이다[6]. 생성형 AI 환경에서는 자연어로 된 프롬프트로 내용을 기술하기 때문에 누구나 쉽게 시작할 수 있지만, 결과는 프롬프트의 질에 따라 크게 달라진다.

특히 2022년 11월 OpenAI(OpenAI, 2022)에서 발표한 ChatGPT를 비롯해 Bing Chat, Bard, Llama, Stable Diffusion, Midjourney, DALL-E 등 생성형 AI의 등장은 언젠가였던 AI와 개인의 일상적 교류를 현재로 만들었다. 생성형 AI는 언어 생성, 이미지 생성, 음성 인식 및 자연어 이해 분야에서 확장된 역할을 하면서 개인의 창의적 생산 능력을 높이는 데 활용할 수 있는 강력한 도구이자 동반자가 되고 있다.

Table 1.

Multimodal generative AI classification by modal

멀티모달의 등장은 생성형 AI 발전에 있어서 자연스로운 발전 방향이며 더 방대한 데이터의 학습과 결과로 이어진다.

그러나 이러한 강력한 생성 능력은 동시에 할루시네이션(Hallucination) 문제를 수반한다. 할루시네이션이란 AI가 사실이 아닌 정보를 실제처럼 생성하거나, 존재하지 않는 데이터 및 이미지 등을 마치 근거가 있는 것처럼 제시하는 현상을 말한다. 이는 모델이 학습 과정에 확률적으로 가장 그럴듯한 답변을 생성하는 방식 때문에 발생하며, 멀티모달 환경에서는 텍스트뿐 아니라 이미지 및 음성 등 복합적인 결과물에서도 나타날 수 있다. 예를 들어, 실제로 존재하지 않는 인물의 이미지를 생성하거나, 텍스트 설명과 시각 자료가 불일치 하는 상황 등이 이에 해당한다. 이러한 할루시네이션은 사용자가 AI를 신뢰할 경우 잘못된 정보 확산이나 오해를 초래할 수 있기 때문에, 생성형 AI 활용에서는 출력 검증과 비판적 수용 능력이 필수적으로 요구된다.

따라서 멀티모달 생성형 AI 환경에서 효과적인 결과를 얻기 위해서는 단순히 정교한 프롬프트 설계뿐만 아니라, AI의 할루시네이션을 인지하고 감별할 수 있는 사용자 측 메타인지 전략이 함께 구축되어야 한다. 이는 교육과 디자인, 정책 등 다양한 분야에서 신뢰성 있는 AI 활용의 핵심 기반이 된다.

2-2 더블다이아몬드 모델

더블 다이아몬드(Double Diamond) 모델은 영국 디자인위원회(Design Council)가 제안한 대표적인 디자인 사고 프레임워크로, 창의적 문제 해결 과정을 문제 인식부터 해결안 도출까지의 전개를 구조화한 이론이다. 이 모델은 두 개의 다이아몬드 형태를 통해 디자인 사고의 확산(divergent)과 수렴(convergent) 구조를 시각화하며, 전 프로세스를 Discover(탐색), Define(정의), Develop(개발), Deliver(전달) 4단계로 구분한다.

Fig. 1.

Double diamond process

첫번째, Discover(문제탐색) 단계이다. 이 단계는 디자인 과제나 사용자의 문제를 이해하고, 폭넓은 관찰과 리서치를 통해 인사이트를 발굴하는 확산적 사고 영역이다. 본 연구에서는 ChatGPT, Bing AI 등 텍스트 기반 생성형 AI를 활용하여 사용자 조사, 트렌드 리서치, 경쟁 사례 탐색 등을 수행하였다.

두번째, 문제정의(Define) 단계이다. 탐색한 정보를 분석하고 핵심 문제를 명확히 규정하는 수렴적 사고 단계이다. 학습자들은 Gemini, Claude 등 AI 도구를 활용하여 사용자 페르소나를 정의하고, 인터뷰 결과를 요약 및 구조화하였다. 이는 디자인 방향성 설정에 결정적인 역할을 하였다.

세번째, 디자인개발(Develop) 단계이다. 정의된 문제를 바탕으로 다양한 해결책을 아이디어로 발전시키는 확산적 창의 과정이다. Midjourney, DALL-E, Adobe Firefly 등 이미지 기반 AI를 사용해 서비스 이미지, 아이콘, 인터페이스 스타일을 실험하고 반복 생성하여 시각적 다양성을 확보하였다.

마지막 네번째, 결과물 전달(Deliver) 단계이다. 선택된 해결안을 구현하고 실제 사용자에게 전달하는 단계로, 프로토타이핑, 피드백, 개선 등이 포함된다. 이 연구에서는 Canva, Figma와 같은 플랫폼과 AI 플러그인을 활용해 최종 UI 구성 및 발표자료 제작이 이루어졌으며, 결과물의 완성도를 스스로 평가하고 피드백을 반영하는 과정을 통해 작업 효능감이 증진되었다.

본 연구는 디자인 교육 내에서 생성형 AI 활용이 어떤 인지적･정서적 변화를 유발하는지 구조적으로 이해하기 위해, 디자인 사고의 대표적 프레임워크인 더블 다이아몬드 모델을 이론적 기반으로 채택하였다. 이는 단순한 순차적 단계가 아니라, 문제 발견에서 결과물 도출까지 사고의 확산과 수렴을 반복하는 디자인 사고의 본질을 설명하며, 생성형 AI의 활용 효과를 단계별로 정교하게 관찰할 수 있는 구조를 제공한다.

2-3 메타인지

메타인지는 ‘인지에 대한 인지’, ‘인식에 대한 인식’이다. 즉, 인지와 인지의 제어에 대한 지식으로, 자신의 인지 과정을 관찰하고 이해하며 조절하는 능력이다[7]. 이는 심리 자극을 인식하고 기억하며 추출하는 일련의 정신적 과정인 인지의 지각, 기억, 상상, 개념 형성, 판단, 추론과 같은 다양한 기능[8]에 대한 지식으로 자신이 어느 정도의 지적능력을 가졌는지를 파악하고 자신이 이해하는 정도를 알고, 자신이 지식을 습득하기 위해 어떤 방법을 선택해야 하는지 아는 능력과 관계가 있다.

메타인지 경험은 학습자의 학습과정에서의 인지적, 정서적 상태를 인식하고 평가하는 것을 말한다. 예를 들어, 학습자가 어떤 학습 과제에 대해 자신의 능력을 판단하고 그에 대해 느끼는 어려움이나 자신감과 같은 감정이 메타인지 경험의 한 예이다. 또한, 학습자가 학습 중에 자신의 이해도를 평가하거나 학습 방법을 조절하는 과정도 메타인지 경험에 해당한다. 이러한 경험들은 학습자가 학습을 규제하고 조절하는 데 중요한 역할을 한다[9].

본 연구에서의 메타인지는 생성형 AI를 활용한 디자인 수업을 진행하기 전에 생성형 AI에 대한 메타인지를 측정하고 디자인 수업에서의 과제와 수업 실습에서 적용할 생성형 AI의 정도를 판단하는 기준이 된다. 송주연[10]은 “창의적 문제 해결력 지향 수업에 메타인지 활용을 강화하면 어떠한 변화가 일어나는가?”라는 연구 문제로 서울특별시에 소재한 사범 대학의 과학교육과 1학년을 대상으로 9주에 걸쳐 비교 집단에는 창의적 문제해결 능력 지향 수업 전략을 시행하고, 실험 집단에는 창의적 문제해결 능력 지향 수업 전략에 메타인지를 강화한 수업 전략을 시행한 후, 비교 집단과 실험 집단 간의 차이를 분석한 결과 메타인지가 창의적 문제해결능력과 비판적 사고능력을 향상시키는 데 긍정적인 영향을 미친 것으로 나타났다고 보고하였다.

메타인지를 강화한 수업 전략은 학생들이 문제 해결 과정에서 자신의 사고 과정을 인지하고, 이를 조절하며, 문제 해결 과정에서 발생하는 문제를 해결하는 데 도움을 주었으며, 나아가 학생들이 미래에 직면할 문제를 해결하는 데 도움을 줄 것이라고 주장하였다

특히 생성형 AI의 메타인지는 생성형 AI기술을 적극적으로 디자인 작업물에 활용할수 있는가에 가장 큰 동기로서 작용한다. 예를 들어, 생성형 AI의 결과물이 내가 의도한 디자인 작업물과 일치하거나 불일치할 때 혹은 내가 작업하는 예상보다 더 뛰어난 작업물이 생성형 AI의 결과물로 나올 때 이후 디자인 작업에 미치는 영향까지 예상해 볼 수 있다. 자기효능감이 높은 디자인 학습자는 해당 생성형 AI사용에 더 적극적으로 반영할 것이고 반대로 낮은 메타인지를 가지고 있다면 생성형 AI의 활용은 더 낮아질 것이다.

이성혜∙한정윤은 AI 메타인지과 AI 학습 지속 의사 간의 관계를 연구한 결과에서 AI 자기 효능감은 AI 학습 지속 의사에 긍정적인 영향을 미친다고 보았다[11].

이러한 연구들은 생성형 AI가 디자인 교육에서 유의미한 학습 도구로 작용할 수 있음을 시사하나, 학습자의 메타인지 변화를 단계별로 추적한 연구는 부족한 실정이다.

3-1 연구 설계

본 연구의 검증을 위해 대학교 UI/UX디자인, 인터랙션 디자인과목을 수강하고 있는 62명의 학생에게 더블다이아몬드의 프로세스로 강의를 진행하며 UI/UX디자인 리서치 및 비주얼 에셋 제작 및 프로토타이핑 작업 시 생성형 AI를 자유롭게 활용할 수 있도록 하였고 기존의 생성형 AI 경험에 대해서도 조사하였다.

메타인지 측정은 Schraw와 Dennision이 1994년 개발한 성인용 메타인지 검사인 Metacognitive Awareness Inventry(MAI)를 디자인 교육 맥락에 맞게 수정하여 사용하였다. 측정 도구는 메타인지적 지식(8문항)과 메타인지적 조절(9문항)로 구성된 5점 Likert 척도이다. 신뢰도 분석 결과 Cronbach’s α는 0.89로 높은 내적 일관성을 보였다. 비판적 사고 능력은 Cronbach’s α는 0.86으로 나타났으며 AI 한계 인식률과 상호 검증률은 학생들의 과제 수행 과정에서 AI 결과물에 대한 오류 발견 빈도와 다른 AI 도구를 사용한 검증 빈도를 백분율로 산출하였다.

측정은 각 단계별 과제 제출 시점(1단계: 3주차, 2단계: 7주차, 3단계: 11주차, 4단계: 14주차)에 실시하였으며, 분석 단위는 개인이다. 결측치는 전체 데이터의 2.3%로 평균 대체 방법을 사용하여 처리하였다.

연구 참여 전 모든 참여자에게 연구 목적과 절차, 방법, 개인정보 보호 방침을 고지하고 서면 동의를 받았다. 참여하고자 하는 대상자를 대상으로 구조화된 설문지를 제공하였다. 설문지에는 대상자의 신원이 드러날 수 있는 개인정보는 전혀 포함되지 않아 익명성이 확보되었으며, 수집된 자료수집된 데이터는 연구 목적 외에는 사용하지 않았다.

3-2 인구 통계적 특성

본 연구의 조사 대상 표본은 대학교 2학년, 3학년, 4학년 학생이 수강하는 디자인 정규 수업이며 성별은 남성 7명 여성 55명으로 디자인학과 특성상 여성이 남성보다 월등히 많은 편이다. 연령은 모두 20대이며 19세 이상~25세 미만 51명, 25세 이상~29세 미만 11명이다. 기존의 생성형 AI경험과 기초 능력에 관해서는 디자인 작업 이전에 문답형으로 설문조사를 실시하였다. Chat GPT의 기존 사용 경험은 100%였으며 텍스트-이미지 멀티모달 AI형식보다는 텍스트-텍스트의 단일모달의 기존 경험이 더 많이 조사되었다.

3-3 실험 설계

본 연구의 실험은 대학 디자인 과목에서 디자인 프로젝트를 실행할 때 멀티모달 생성형 AI를 활용한 실제 디자인 프로젝트를 학생들에게 부여하였고, 자율성과 창의성을 위해서 자율적으로 디자인 프로젝트를 수행하도록 유도하였다.

멀티모달 생성형 AI를 활용한 디자인 수업의 학습 경험을 더블 다이아몬드(Double Diamond) 디자인 프로세스 이론에 기반하여 설계하였다. 더블 다이아몬드는 디자인 사고의 핵심 프레임워크로, 문제의 탐색(Discover), 문제의 정의(Define), 해결안의 개발(Develop), 결과 전달(Deliver)의 네 단계로 구성된다. 생성형 AI가 각 단계에서 학습자의 메타인지 및 자기효능감에 어떻게 기여하는지 분석하고자 실험을 구성하였다.

예를 들어, 생성형 AI를 통해 아이디어를 발전시키거나 창의적인 요소를 추가하는 단계에서 AI의 도움을 받아도 되고 사전 조사때도 생성형 AI를 활용하되 상호검증으로 생성형AI에 대한 비판적이고 논리적인 접근과 사용을 권장하였다.

더블다이아몬드 프로세스 단계별로 생성형 AI의 활용 목적은 각 다이아몬드 단계에 대응하도록 설정되었으며 각 단계별 사용된 멀티모달 생성형 AI와 디자인 방법론은 아래와 같다.

15주로 구성된 한 학기 동안 진행되는 UI/UX 디자인 수업에서 생성형 AI 활용 능력과 메타인지 변화를 체계적으로 측정하기 위해 4단계 실험을 설계하였다.

실험 1단계는 기초 데스크 리서치 및 아이디어 발굴, 실험 2단계는 시각적 콘텐츠 생성을 위한 퍼소나 이미지 생성 및 컨셉 시각화 실험, 3단계는 인터랙티브 프로토타이핑을 위한 UI 컴퍼넌트 디자인 및 아이콘 세트 제작, 4단계는 최종 프로젝트 프로토타입 제작 및 사용성 평가 보고서 작성으로 각 단계별로 2주차씩 진행되었다.

Table 2.

Tools, tasks and measurement time for each week in the four-stage experimental design

측정도구는 다음과 같이 구성되었다. 1) 비판적 사고 점수: 5점 리커트 척도로 측정하며, AI 결과물에 대한 분석적 평가 능력을 측정한다. 2) 할루시네이션/이미지 결함 인식률: 학습자가 AI 생성 결과물의 오류를 인식한 비율(%). 3) 과제완성도: 100점 만점으로 교수자가 평가한 과제 품질 점수. 4) 프롬프트 수정 횟수: 원하는 결과를 얻기 위해 프롬프트를 수정한 평균 횟수, 분석 단위는 개인이며, 각 단계별 과제 제출 시점에 측정을 실시하였다. 결측치는 발생하지 않았으며, 모든 참여자가 4단계 과제를 완료하였다.

3-4 실험

15주로 구성된 한 학기 동안 진행되는 UI/UX디자인 수업에서 생성형 AI를 체계적으로 활용하기 위해 더블다이아몬드 프로세스의 각 단계에 맞춰 구체적인 주차별 학습 계획을 수립하였다.

첫째, 2, 3주차에는 Discover 단계로 디자인 프로젝트의 기초가 되는 주 타켓 사용자 리서치, 경쟁 서비스 분석, 시장 트랜드 조사 등을 수행하며 주로 ChatGPT와 Gemini 등의 텍스트 기반 생성형 AI를 활용하여 폭넓은 정보 수집과 인사이트 도출을 진행하였다. 둘째, 6, 7주차에는 Define단계로 리서치 결과를 바탕으로 타겟 사용자를 명확히 규정한느 서비스 퍼소나 설계 작업을 진행하였으며, 이 과정에서 DALL-E, Midjourney, Adob Firefly등 텍스트-이미지 멀티 모달 생성형 AI를 활용하여 퍼소나의 시각적 표현과 사용자 시나리오 이미지를 생성하였다. 셋쩨, 9, 10주차에는 Develop 단계로 정의된 문제를 해결하기 위한 구체적 서비스 디자인 작업을 수행하였으며 UI 컴퍼넌트, 아이콘 세트, 키 비주얼 등의 그래픽 에셋을 생성형 AI를 통해 시안을 생성하였고 이를 반복적으로 수정 및 개선하는 과정을 거쳤다.

Table 3.

Multimodal generative AI used in design projects

학생들에게 모두 텍스트-텍스트의 단일모달 생성형 AI와 텍스트-이미지, 이미지-영상의 멀티모달 생성형 AI를 사용하도록 하였다. 15주의 한 학기 수업에서 총 3번의 생성형 AI를 활용한 디자인 과제를 부여하였고 첫번째 과제보다 이후 2번의 과제에서 더 많은 멀티모달 생성형 사용율을 보였다.

또한 이후로 갈수록 생성형 AI의 할루시네이션이나 그림의 디테일한 결함에 대해 말하는 빈도가 늘어났다. 첫번째 과제에서는 3명의 학생만이 생성형 AI의 비판적 사고로 사용하였으나 두 번째 과제는 9명, 세 번째 과제는 15명의 학생이 상호 검증 등을 통해 결함을 확인하였다.

A학생은 더블다이아몬드 프로세스의 4단계 중 처음 단계(Discover) 과제에서 ChatGPT의 할루시네이션을 발견한 유일한 학생이었다.

A학생의 사례는 메타인지 이론의 모니터링(Monitoring)기능을 보여준다. 메타인지적 모니터링은 자신의 인지 활동을 점검하고 평가하는 과정이다. A학생은 AI가 제공한 정보와 자신의 기존 지식을 비교하며 불일치를 감지했고, 이는 능동적인 메타인지적 조절 전략으로 이어졌다.

“Chat GPT에서 디자인 리서치에 관해 검색을 해보았는데 내가 아는 내용과 다른 내용이 있어 Gemini로 상호검증을 진행하였고 역시나 Chat GPT가 잘못 알려준 걸로 알게 되었으니 하마터면 깜박 속아 잘못된 것을 사실인 양 과제로 낼 뻔 했어요”

B학생은 두 번째 과제에서 퍼소나 사진을 만들기 위해 텍스트-이미지의 생성형 AI를 여러 개 생성하는 과정에서 결함을 발견했다.

B학생의 경험은 메타인지의 평가(Valuation)기능을 나타낸다. 메타인지적 평가가 결과물의 질을 판단하고 목표 달성 여부를 확인하는 과정이라고 설명했다. B학생은 생성된 이미지가 의도한 ‘한국 시장’의 맥락과 맞지 않음을 인식하고, 프롬프트를 수정하는 메타인지적 조절 전략을 사용했다.

“Adobe Firrfly에서 퍼소나로 50대 여성을 프롬프트에 입력하고 이미지를 생성하였는데 미묘하게 중국느낌의 여성만 생성이 되어서 다른 텍스트로 프롬프트를 작성하니 더 중국스러운 배경에 한자까지 배경 간판등에 있는 이미지가 생성되어 당황스러웠어요.”

C학생처럼 좀 더 디테일한 결함을 찾아내는 학생도 있었다.

C학생의 사례는 메타인지의 정교화(Elaboration) 수준을 보여준다. 표면적 수용을 넘어 세밀한 관찰을 통해 AI의 한계를 파악한 것은 높은 수준의 메타인지적 인식을 의미한다. 이는 학습자가 AI를 맹목적으로 신뢰하지 않고 비판적 파트너로 인식하기 시작했음을 시사한다.

“퍼소나 사진으로 카페에서 커피 마시는 여자를 입력하니 자연스럽고 만족할 만한 그림이 생성되었으나 자세히 보니 커피컵을 들고 있는 한손의 손가락이 7개로 그려서 있어서 좀 징그러운 느낌이 들었어요”

3-5 실험 결과

본 연구의 실험결과는 총 4개의 단계로 구성되어 있으며, 1단계부터 4단계까지 순차적으로 제시 되었다. 각 단계별 표에 수록된 측정 결과는 백분율(%), 리커트 척도(Likert scale), 그리고 100점 만점 기준의 세가지 방식으로 각각 표현하였다. 여기서 백분율로 나타낸 수치 뒤에 함께 표기된 괄호 안의 숫자들은 두 가지 의미를 담고 있는데, 첫 번째 숫자는 본 실험에 참여한 전체 학생의 수를 나타내며, 두 번째 숫자는 해당하는 특정 측정 결과값에 응답한 개별 학생의 수를 의미한다. 이러한 표기 방식을 통해 전체 참여자 대비 각 응답 항목별 분포를 명확하게 파악할 수 있도록 하였으며 실험 데이터를 보다 직관적이고 체계적으로 이해할 수 있도록 구성하였다.

1) 실험 1단계 결과 : 기초 데스크 리서치 및 아이디어 발굴

1단계에서 학생들의 생성형 AI에 대한 메타인지 수준은 상대적으로 낮은 상태였으며, 할루시네이션 인식률이 12.9%에 불과해 AI 결과물에 대한 비판적 분석 능력이 제한적이었다. 상호검증을 실시한 학생은 19.4%로 소수에 그쳤으며, 비판적 사고 점수도 2.8점으로 보통 수준 이하를 기록했다.

Table 4.

Step 1: Metacognition and hallucination cross-validation

특히 데스크 리서치 단계에서 할루시네이션에 대한 상호검증은 거의 이루어지지 않았다. 생성형 AI를 이용한 데스크 리서치 단계에서 상호검증을 사전 권고하였으나 그림 2처럼 지금 존재하지 않는 서비스를 지금 존재하는 서비스로 리서치 결과물로 제출한 학생들이 전체 학생 중 87.1%에 이르렀다.

Fig. 2.

Generative hallucination of desk research step *Elements such as icons applied as GUI elements during the prototyping phase, created using generative AI. Created in Korean, targeting Korean services.

그러나 과제 완성도는 78.5점으로 양호한 편이었고, AI 활용에 대한 자신감은 3.6점으로 중간 수준을 보였다. 특히 향후 생성형 AI 사용 의향이 95.2%로 매우 높게 나타나, 학생들이 AI 도구에 대한 높은 관심과 활용 의지를 가지고 있음을 확인할 수 있었다.

2) 실험 2단계 결과: 시각적 콘텐츠 생성

2단계에서 학생들의 메타인지 능력이 상당한 향상을 보였으며, 이미지 결함 인식률이 35.5%로 1단계 대비 22.6%p 증가하여 시각적 결과물에 대한 비판적 분석 능력이 크게 개선되었다. 학생들은 원하는 결과를 얻기 위해 평균 4.2회의 프롬프트 수정을 시도하며 적극적으로 도구를 활용했다. 비판적 사고 점수는 3.4점으로 1단계보다 0.6점 상승했으며, 과제 완성도도 82.3점으로 3.8점 향상되었다.

Table 5.

Step 2 metacognition and prompt modification measurement results

특히 주목할 점은 74.2%의 학생들이 AI를 통해 창의성이 향상되었다고 인식하여, 시각적 생성 AI가 창의적 작업에 긍정적 영향을 미치고 있음을 확인할 수 있었다.

그림 3처럼 퍼소나와 사용자 이용 시나리오에서 퍼소나 설계와 각 시나리오 단계에서 이미지를 모든 학생이 생성형 AI를 사용하여 제작하였다.

Fig. 3.

Student-built persona using generative AI*A persona for a service created in Korean targeting the Korean market using generative AI by a student.

Fig. 4.

Storyboard of generative AI where English character and Chinese character, not Korean, are mainly inserted in the image*Elements applied as graphic illustrations in the scenario stage were created using generative AI.

3) 실험 3단계 결과: 시각적 콘텐츠 생성

3단계에서 학생들의 메타인지 능력이 더욱 성숙해졌으며, AI 한계 인식률이 58.1%로 2단계 대비 22.6%p 증가하여 AI 도구의 제약사항을 명확히 파악하게 되었다. 82.3%의 학생이 AI 생성 결과물에 대해 수정 및 보완 작업을 수행하여, 단순한 사용을 넘어 능동적인 개선 작업을 진행했다.

Table 6.

Step 3 metacognition and critical thinking scores

Fig. 5.

A mood board in the production stage of graphic assets made of generative AI

비판적 사고 점수는 4.0점으로 지속적인 상승세를 보였으며, 과제 완성도도 85.7점으로 향상되었다. AI 활용 자신감은 4.2점으로 높은 수준을 유지했으며, 독립적 문제해결 능력도 3.8점으로 양호한 수준을 보여 학생들이 AI를 도구로 활용하면서도 자율적 사고력을 키워가고 있음을 확인할 수 있었다.

4) 실험 4단계 결과: 프로토타입의 사용성 검증

4단계 최종 프로젝트에서 학생들의 종합적 AI 활용 성과가 전반적으로 우수한 수준으로 나타났다. AI 활용 효율성이 4.1점으로 가장 높았으며, 71.0%의 학생이 4점 이상의 우수한 성과를 보였다. 비판적 사고 적용 능력이 4.3점으로 가장 높은 점수를 기록하여, 단순한 AI 사용을 넘어 분석적 활용이 가능해졌음을 보여주었다.

Table 7.

Step 4 metacognition and AI limitations: Accurate recognition rate

창의적 문제해결 능력은 3.9점으로 양호한 수준을 유지했으며, 최종 결과물의 품질도 4.0점으로 만족스러운 결과를 얻었다. 특히 비판적 사고 적용에서 77.4%의 학생이 우수한 성과를 보인 것은 실험 과정을 통해 학생들이 AI를 맹목적으로 수용하지 않고 비판적으로 활용하는 능력을 키웠음을 시사한다.

3-6 단계별 변화 추이 분석 계별 변화 추이 분석

메타인지 발달 추이 분석에서 학생들의 비판적 사고 능력이 4단계에 걸쳐 지속적으로 향상되어 1단계 2.8점에서 4단계 4.5점으로 60.7%의 증가를 보였다. 특히 주목할 점은 AI 한계 인식률이 12.9%에서 87.1%로 574%의 극적인 증가를 기록하여, 학생들이 AI의 제약사항을 명확히 파악하게 되었음을 보여준다. 상호 검증률도 19.4%에서 91.9%로 373% 증가하여 학생들이 AI 결과물에 대해 능동적인 검증 작업을 수행하는 습관을 형성했다. 이러한 결과는 단계별 교육과정이 학생들의 메타인지 능력 향상에 매우 효과적이었음을 입증한다. 각 단계마다 일정한 증가 폭을 보인 것은 체계적인 학습 과정의 중요성을 시사한다.

Table 8.

Stage-by-stage metacognitive development trends

전반적으로 메타인지의 모든 지표가 일관된 상승세를 보여 학생들이 AI 활용에 대한 자신감과 성취감을 지속적으로 축적해 나갔음을 확인할 수 있다.

15주로 구성된 한 학기 동안 진행되는 UI/UX디자인 수업에서 생성형 AI를 활용하여 진행하는 주차는 2, 3주차 때 디자인 프로젝트 리서치, 6주차 때 진행되는 서비스 퍼소나 설계 및 이미지 생성, 8,9주차 때 디자인하는 서비스 디자인과 아이콘 등의 그래픽 제작으로 설계하였다.

생성형 AI에 대한 메타인지는 그 사용 빈도가 높아질수록 비례해서 높아지는 것을 알 수 있었다. 디자인 프로젝트의 후반부에 해당하는 UX 프로토타이핑제작 과정에서는 생성형 AI의 디테일한 활용을 볼 수 있었다. 프로토타이핑의 요소는 흔히 그리드 같은 레이아웃요소와 아이콘등의 그래픽 요소로 크게 나눌 수 있는데 아이콘이나 서비스 로고 같은 것은 생성형 AI의 활용도가 높지만 레이아웃의 다양한 배치는 학생들이 직접 하는 경우가 대부분이었다.

Fig. 6.

Generative AI utilized in graphical elements during prototyping phase*Elements such as icons applied as GUI elements during the prototyping phase, created using generative AI. Created in Korean, targeting Korean services.

그래서 레이아웃은 그 다양성의 범위가 넓은 반면 서비스의 그래픽 요소나 아이콘의 스타일은 매우 비슷한 경우가 많았고 같은 아이콘을 공유해서 쓰는 것 같은 착각이 들정도로 매우 유사한 이미지들이 주로 사용되었다.

기존에 사용경험이 있는 텍스트-텍스트 단일 모달 생성형 AI의 학생들의 메타인지는 높아져서 비판적인 사고를 할 수있어고 텍스트-이미지, 이미지-이미지의 멀티모달 생성형 AI는 처음 사용에는 결과가 도출되는 그 자체에 긍정적인 피드백을 주는 학생이 많았으나 과제가 더 진행될 수록 텍스트-텍스트 단일 모달 생성형 AI와 동일하게 비판적 관점에서 분석하는 비율이 높아졌다.

기존에 사용경험이 있는 텍스트-텍스트 단일 모달 생성형 AI의 학생들의 메타인지는 높아져서 비판적인 사고를 할 수있어고 텍스트-이미지, 이미지-이미지의 멀티모달 생성형 AI는 처음 사용에는 결과가 도출되는 그 자체에 긍정적인 피드백을 주는 학생이 많았으나 과제가 더 진행될 수록 텍스트-텍스트 단일 모달 생성형 AI와 동일하게 비판적 관점에서 분석하는 비율이 높아졌다.하지만 이미지-동영상이나 텍스트-동영상 형태의 생성형 AI는 학기 초반이나 후반 거의 동일한 비율로 부정적 피드백이 거의 없었다.

이는 동영상 생성형 AI에 대한 사용자의 기대감 자체가 크지 않은 것도 있겠지만 생성되는 동영상이 짧은 분량이므로 논리적이며 비판적인 관점에서 분석하기에는 데이터 자체의 양이 적다고 볼 수 있다. 이후 생성형 AI에서 동영상에 대한 데이터가 늘어난다면 이에 대한 비판적 사고 또한 같이 증가할 것을 예상할 수 있다.