생성형 AI 기반 무인항공기 GCS 인터페이스 디자인 지원: 도메인 특화 GPTs의 개발 및 적용

무인항공시스템(UAS; Unmanned Aircraft System)은 무인항공기(UA; Unmanned Aircraft)와 지상통제소(GCS)로 구성되는 복합 시스템이다[1]. GCS는 단순한 원격 조종 장치가 아니라, 임무 계획, 실시간 운용, 데이터 수집 및 분석까지 지원하는 종합적인 운용 플랫폼이다(그림 1). 특히 최근 UAS 자동화가 빠르게 발전하면서, GCS의 역할이 더욱 중요해지고 있다. GCS는 비행 제어, 임무 관리, 센서 운용이라는 세 가지 핵심 기능을 수행하며, 각각의 기능은 높은 신뢰성과 직관성을 갖춘 인터페이스를 필요로 한다.

Fig. 1.

Components of Unmanned Aerial System (UAS)[2]

① 비행 제어 시스템은 항공기의 이륙, 순항, 착륙 등 모든 비행 단계에서 정밀한 제어를 담당하며, 실시간 비행 데이터 처리와 자동/수동 제어 모드 전환을 포함한다. ②임무 관리 시스템은 임무 계획 수립, 실시간 임무 수정, 비상상황 대응 등을 담당한다. ③센서 관리 시스템은 다양한 탑재 센서의 제어와 데이터 처리를 수행한다.

이러한 핵심 기능들은 임무 통제 디스플레이(MCD; Mission Control Display), 비행 제어 디스플레이(PCD; Pilot Control Display), 실시간 제어 패널(RTC; Realtime Control)을 통해 구현된다[1],[2]. 각 화면은 사용자 인터페이스 (UI; User Interface)를 통해 운용할 수 있으며, MCD는 전술 지도를 기반으로 임무 계획을 지원하고, PCD는 조종사의 비행 상황 인식을 도우며, RTC는 신속한 명령 실행을 가능하게 한다.

각 기능은 고유한 설계 요구사항을 가진다. 비행 제어 기능은 실시간성과 신뢰성을 보장해야 하며, 제어 시스템의 이중화를 통해 어떠한 상황에서도 항공기에 대한 제어권을 유지할 수 있어야 한다. 임무 관리 기능은 임무의 복잡성과 다양성을 고려한 유연한 설계가 요구되며, 실시간 임무 수정과 우선순위 관리가 가능해야 한다. 센서 운용 기능은 다양한 센서 데이터의 통합적 처리와 효과적인 시각화가 핵심이다.

GCS 인터페이스 설계는 안전성, 실시간성, 사용자 인지 부하 최소화를 고려해야 하며, 특히 자동화 시스템과 운용자의 상호작용을 최적화하는 것이 중요하다[3].

GCS 인터페이스는 일반적인 상업용 UI와 근본적으로 다른 설계 철학과 요구사항을 가진다. 특히 군용 GCS는 상업용 시스템과 달리 안전성과 효율성이 최우선이며, 다양한 운용자가 협업하는 특수성이 있다(표 1).

Table 1.

Comparison of GCS interface designers and general interface designers

NASA Human Factors Handbook (NASA-HDBK-8709 .25)에서는 안전성 중심의 설계 원칙을 강조하며, 운용자의 상황 인식과 신속한 대응을 위한 직관적 인터페이스가 필수적이라고 제시한다[4]. GCS 인터페이스는 다음과 같은 다섯 가지 핵심 설계 원칙을 따른다:

• ① 안전성(Safety-Critical System): 인터페이스 오류가 항공기 추락과 같은 치명적 사고로 이어질 수 있으므로, 정보의 우선순위를 명확히 하고 경고 시스템을 체계적으로 설계해야 한다.
• ② 협업 시스템(Collaborative System): 다중 운용자가 각자의 역할에 맞춰 정보를 공유하고 협력할 수 있도록 맞춤형 인터페이스를 제공해야 한다.
• ③ 실시간 상황 인식(Real-time Monitoring): 다양한 센서 데이터를 통합하여 운용자가 즉각적인 상황 판단을 할 수 있도록 시각화 기능을 강화해야 한다.
• ④ 표준 준수(Standardization & Regulation): 군사 및 항공 표준(MIL-STD, STANAG 등)을 준수해야 하며, 특히 MIL-STD-1472는 인간공학적 설계를 강조한다[5].
• ⑤ 자동화와 인간 제어의 균형: 과도한 자동화는 운용자의 상황 인식을 저하시킬 위험이 있으므로, 인간의 개입이 필요한 영역을 명확히 구분하고 직관적인 인터페이스를 제공해야 한다.

이러한 특수성은 무인항공기 운용의 안전성과 효율성을 보장하는 핵심 요소로서, GCS 인터페이스 설계에 차별화된 접근이 필요함을 보여준다.

본 연구는 GCS 인터페이스의 문제점을 분석하기 위해 원종윤의 스마트 무인기 사례 연구 데이터(그림 2)를 활용하였다[2]. 동일한 환경에서 실험을 재수행하기 어려운 현실적 제약을 고려할 때, 과거 데이터를 재해석하는 접근 방식은 연구의 타당성을 높이는 데 기여하였다.

Fig. 2.

Analysis of GCS UX using previous study data*The experimental data was conducted during domestic drone simulations, so the experimental data from that time is all in Korean. An image showing what materials are currently being preserved and utilized

연구는 운용자 관찰, 이해관계자 인터뷰, 문제점 분석의 세 단계로 진행되었다. 운용자들이 시뮬레이션 환경에서 비행 시험을 수행하는 전 과정을 관찰하고, 이륙 전 점검부터 착륙까지의 주요 운용 단계별 사용자 행동과 시스템 상호작용을 상세히 기록하였다. 인터뷰와 관찰에서 수집된 데이터는 친화도법을 활용하여 분석되었으며, Pilot Control Display(PCD)의 문제점을 다음 표 2와 같이 정리하였다.

Table 2.

Key issues and limitations of the GCS interface

연구 결과, GCS 인터페이스의 여러 문제점들 중 상당수가 사용성과 사용자 경험 영역과 관련이 있었다. 이는 UX 디자이너의 관점에서 진행된 연구이기에 사용성 관련 문제점들이 더 부각되었을 수 있다. 그러나 인터페이스의 사용자 경험은 운용자의 작업 부담을 증가시키고, 조작 오류 가능성을 높여 GCS 시스템의 효율성과 안전성에도 영향을 미칠 수 있는 중요한 문제이다.

이러한 분석을 바탕으로 2015년 연구에서는 GCS GUI 디자인 가이드라인을 개발하였다. 가이드라인은 디자인 원칙, 문제 패턴, 체크리스트 등을 포함하여 디자이너들이 실제 개발 과정에서 참고할 수 있도록 구성되었다. 그러나 이번 연구에서는 이전 가이드라인이 실제 GCS 설계에 적용되는 과정에서 드러난 한계점들을 진단하였다. 첫째, 각 GCS 개발 프로젝트마다 요구사항과 개발 환경이 달라 가이드라인을 일관되게 적용하기 어려웠다.

둘째, 연구 결과물이 실무 디자이너들에게 효과적으로 배포되고 활용되는 데 제약이 있었다. 셋째, 정적인 문서 형태의 가이드라인은 빠르게 변화하는 개발 현장의 다양한 상황에 유연하게 대응하기 어려웠다. 이러한 한계점들은 보다 동적이고 상호작용적인 형태의 디자인 지원 도구의 필요성을 시사한다

2021년 연구는 2015년 가이드라인 개발 이후에도 지속되는 문제점들의 근본 원인을 파악하기 위해, GCS 개발에 참여하는 디자이너와 개발자들의 실제 경험을 심층적으로 분석하였다. GCS 디자이너 2명과 개발자 5명을 대상으로 심층 인터뷰를 진행한 결과, 가이드라인의 존재에도 불구하고 효과적인 UX 개선이 어려운 세 가지 구조적 한계가 확인되었다[6].

첫째, 운용 맥락의 이해 부족이 가장 큰 문제점으로 나타났다. GCS 개발 기간(약 1년) 동안 운용자와의 직접 접촉 기회는 1~2회에 불과했으며, 대부분의 요구사항은 연구원을 통해 간접적으로 전달되었다. 이는 군용 및 연구용 무인기 개발 체계의 특성 때문이다. 특히, 군 무인기의 운용자는 공군 파일럿으로, 개발 단계에서 세밀한 사용성 평가를 진행하기 어렵다. 이러한 제한으로 인해 디자이너들은 실제 운용 환경과 작업 절차를 충분히 이해하지 못했고, 운용자의 실질적인 요구와 문제점을 파악하는 데 한계를 느꼈다(표 3).

Table 3.

Limitations of UX design participation in the GCS development process

한 디자이너는 "운용자가 실제로 어떤 상황에서 어떤 어려움을 겪는지 직접 관찰할 기회가 거의 없다, 운용자를 만나기 위해 양구, 고흥까지 갔다 왔다"라고 언급했다.

둘째, 기존 시스템의 경직성이 혁신을 저해하고 있었다. 운용자들은 기존 시스템에 익숙해져 있어, 인터페이스 변경에 따른 학습 비용 증가를 우려하며 변화를 꺼리는 경향이 있다. 이로 인해 UI의 구조적 개선이 지연되거나, 색상 변경이나 버튼 디자인 조정과 같은 피상적 수정에 그치는 경우가 많다. 이러한 제한적인 접근 방식은 UX 개선 기회를 저해하고, 결과적으로 시스템의 직관성과 사용 편의성을 저하시킨다.

개발자들 역시 "기존 시스템을 크게 변경하면 운용자 재교육에 많은 시간과 비용이 소요된다"라는 점을 우려하며, 대대적인 개편보다는 기존 구조를 유지하는 방안을 선호하는 경향이 있다. 그러나 이러한 방식은 단기적으로 안정성을 유지할 수 있으나, 장기적으로는 시스템의 효율성과 유연성을 저하시켜 운용자의 작업 부담을 증가시키고, 오히려 안전성을 저해할 수 있다.

이에 대한 대안으로, 사용성을 고려한 혁신적인 설계는 학습 곡선을 완화하고, 시스템 적응 시간을 줄이며, 결과적으로 유지 보수 비용을 절감할 수 있다(UAS GCS HMI 가이드, 2012). 따라서 인터페이스 개선 시, 단순한 시각적 변화가 아니라 사용성 중심의 설계 전략이 필요하다. 또한 연구 개발 단계의 시스템이 상용화 될 경우를 대비해야 한다.

Fig. 3.

System development process and designers' involvement stage[6]

셋째, 의사결정 과정에서 디자이너의 제한된 참여가 문제점으로 드러났다. 디자이너들은 요구사항을 단순히 구현하는 역할에 머물러 있었으며, 디자인 의사결정 과정에서 제한적인 역할만을 수행했다. 이러한 제한된 참여 구조는 UX 설계의 초기 단계에서 사용자의 요구를 반영할 기회를 감소시키며, 결과적으로 직관적이지 않은 UI와 복잡한 작업 흐름을 초래할 가능성이 크다. 한 디자이너는 "창의적인 설계 제안을 하더라도 기술적 제약이나 일정 문제를 이유로 받아들여지지 않는 경우가 많다"라고 토로했다. 이는 디자이너의 전문성과 창의성이 충분히 발휘되지 못하는 결과로 이어졌다.

이러한 문제들은 단순히 개별 디자이너나 조직의 문제가 아닌, GCS 개발 프로세스 자체에 내재된 구조적 한계에서 비롯된 것으로 분석되었다. 특히 무기체계 개발 프로세스(그림 2)에서 소프트웨어 개발은 시스템 요구사항 검토회의(SRR; System Requirements Review)부터 제품 규격 검토회의(PCA; Physical Configuration Audit)까지 정해진 절차를 따르며, UX 설계가 독립적으로 반복 개선되기 어려운 구조를 가지고 있다. UX 디자인은 사용자의 피드백을 반영하여 지속적으로 개선하는 과정이 필수적이지만, PDR(Preliminary Design Review)과 CDR(Critical Design Review) 사이에서 한 번에 완료되는 방식으로 진행되기 때문에 사용자 중심의 점진적 개선이 어렵다. 이는 가이드라인과 같은 정적인 도구만으로는 해결하기 어려운 문제임을 시사한다[1].

이러한 상황에서 디자이너들이 GCS 인터페이스 설계에 필요한 모든 규정과 가이드를 개별적으로 학습하고 적용하는 것은 현실적으로 어려운 일이다. 군용 시스템의 설계 기준인 MIL-STD, STANAG, NASA 가이드라인 등은 엔지니어와 시스템 설계자를 주요 독자로 설정하고 있어, 디자이너가 실무에서 바로 활용할 수 있는 정보로 정리되어 있지 않다. 따라서 디자이너들은 방대한 기술 문서에서 필요한 내용을 빠르게 추출하고 설계에 적용하는 과정에서 상당한 어려움을 겪는다.

상업용 시스템에서는 사용자 경험을 개선하기 위해 빈번한 업데이트와 지속적인 UX 개선이 이루어지는 반면, 군용 GCS 개발에서는 이러한 유연한 접근이 어렵다. 이러한 구조적 한계를 극복하기 위한 새로운 접근으로, 생성형 AI 기술이 주목받고 있다. AI는 방대한 기술 문서를 신속히 분석하고, 디자이너가 필요로 하는 핵심 정보를 추출하여 제공할 수 있다. 특히 반복적인 피드백과 점진적 개선이 요구되는 UX 설계 과정에서, AI 기반 시스템은 실시간으로 디자이너와 대화를 나누며 가이드라인을 해석하고 적용 방안을 제안하는 역할을 수행할 수 있다.

대규모 언어 모델(LLM; Large Language Model)은 방대한 데이터를 기반으로 자연어를 이해하고 생성하는 강력한 도구이지만, GCS 인터페이스 디자이너의 맥락 이해를 돕는 보조 도구로 활용할 때는 몇 가지 중요한 한계점이 있다. 2장에서 살펴본 바와 같이, GCS 설계는 항공우주 전문가, 시스템 엔지니어, 안전 전문가 등 다양한 분야의 전문가들이 참여하는 복잡한 과정이다. 디자이너는 이러한 전문가들이 제시하는 설계 요구사항의 맥락을 깊이 이해하고 디자인에 반영해야 한다.

일반 LLM 챗봇을 사용할 때는 '긴꼬리 문제(Long-tail Problem)'가 발생한다. 이는 머신러닝 분야의 선구자인 앤드류 응(Andrew Ng)이 지적한 개념으로, AI 시스템이 일반적인 사례에서는 높은 성능을 보이지만, 드물게 발생하는 특수한 경우에서는 실패하는 현상을 의미한다[7]. GCS 디자인 맥락에서 이는 일반적인 UI/UX 개념에는 강하지만, "왜 이 화면에서는 반드시 두 번의 확인 절차가 필요한지" 또는 "특정 정보의 표시 순서가 왜 중요한지"와 같은 도메인 특화된 맥락 이해에는 한계를 보이는 현상으로 나타난다.

2022년에 본격적으로 활용되기 시작한 생성형 AI가 산업에 정착하기 시작하자 긴꼬리 문제를 해결하기 위한 대안으로 도메인 특화 AI가 주목받고 있다. 이를 개발하기 위해 다양한 LLM 보완 기술이 연구되고 있다(표 4). 대표적으로 Full Fine-Tuning(전체 미세 조정), PEFT (Parameter-Efficient Fine-Tuning: 부분 미세 조정), Prompt Engineering(프롬프트 엔지니어링), Retrieval-Augmented Generation(RAG: 검색 증강 생성) 기술이 있다. 각 기술은 LLM의 한계를 보완하기 위해 설계되었으며, 목적과 상황에 따라 적합한 방식을 선택하여 활용할 수 있다[8].

Table 4.

Domain-Specific Learning Methods and Characteristics of Generative AI Models

이러한 도메인 특화 접근 방식들은 각각의 장단점을 가지고 있다. 실제 산업 현장에서는 다양한 연구자들이 각 기술의 효과와 한계점을 검증하며, 최적의 적용 방안을 모색하고 있다.

도메인 특화 AI의 실제 적용 사례를 살펴보기 위해 최근의 주요 선행연구들을 분석하였다. 분석 대상이 된 연구들은 금융, 안전 관리 등 각기 다른 도메인에서 서로 다른 접근 방식을 시도했으며, 각 기술의 특성과 적용 가능성을 확인할 수 있었다. 이를 통해 도출된 결과는 기술 선택의 중요성을 보여준다(표 5).

Table 5.

Domain-specific learning methods of generative AI models and their applications

김희석, 설상훈는 전문 지능 보조 서비스(IEA; Intelligent Expert Assistant)와 규칙 기반 챗봇을 비교하는 연구를 수행하였다. 연구 결과, 프롬프트 엔지니어링(Prompt Engineering)은 별도의 모델 훈련 없이도 특정 사용자의 요구에 맞춰 AI 응답을 조정할 수 있는 방법임이 확인되었다. 하지만 프롬프트 구조에 따라 성능 편차가 발생하며, 도메인에 따라 최적화에 한계가 존재하는 점이 지적되었다[9].

정천수, 박민수는 부분미세조정(PEFT) 기반 파인튜닝 기법 중 하나인 LoRA(Low-Rank Adaptation) 방식을 사용하여 금융 데이터 기반의 도메인 특화 LLM을 구축하였다. 연구를 통해 금융 산업의 복잡한 요구사항을 충족할 수 있는 정밀하고 신뢰성 높은 LLM을 개발하는 데 성공하였다. 그러나 타 도메인으로 확장하려면 추가적인 데이터 확보와 모델 최적화가 필요하다는 점이 한계로 지적되었다[10].

손종욱 외는 RAG(Retrieval-Augmented Generation) 기술을 활용하여 GPT 기반 안전 권고 시스템을 개발하였다[11]. 연구 결과, RAG는 실시간 데이터베이스 검색을 결합하여 최신 정보를 반영하며, AI의 신뢰성을 높이는 데 효과적임이 밝혀졌다. 특히 AI의 할루시네이션(환각) 문제를 줄이는 데 강점을 보였으나, 데이터베이스 통합의 기술적 복잡성과 실시간 데이터 품질 유지가 과제로 남아 있다는 점이 지적되었다.

이 연구들을 통해 도출된 중요한 시사점은 도메인 특화 AI를 구축할 때 사용하는 기술이 작업의 특성과 요구 사항에 따라 달라져야 한다는 것이다. 프롬프트 엔지니어링은 단순한 구현과 빠른 결과가 필요한 작업에 적합하며, PEFT 기반 파인튜닝은 높은 정밀도와 신뢰성이 요구되는 금융 산업과 같은 도메인에 강점을 가진다. RAG는 실시간 정보 반영과 데이터 검색이 중요한 작업에서 효과적이며, 특히 GCS 설계 과정에서 방대한 기술 문서를 빠르게 검색하고 이해하는 기능을 제공할 수 있다.

앞서 분석한 도메인 특화 AI 연구와 GCS 설계 과정의 복잡성을 고려할 때, RAG 기반 GPTs는 GCS 설계 과정에서 활용 가능성이 높으며, 실시간 데이터 검색과 문서 분석을 지원하는 강점을 가진다. GPTs는 도메인별 데이터를 반영하여 ChatGPT를 맞춤형으로 조정(Fine-Tuning 또는 RAG 적용)할 수 있는 서비스다. GCS 설계 과정에서는 디자이너가 MIL-STD, STANAG, NASA 가이드라인 등 방대한 기술 문서를 참조해야 하지만, 현실적으로 이를 개발 일정 내에 충분히 숙지하고 적용하는 것은 어렵다. 이에 따라 GPTs 기반 대화형 시스템이 적절한 가이드라인을 자동으로 검색하고, 인터페이스 설계에 필요한 주요 정보를 실시간으로 제공하는 역할을 수행할 수 있다.

이러한 GPTs 기반 대화형 인터페이스는 복잡한 설계 가이드라인과 기술 문서를 쉽게 검색하고 이해할 수 있도록 돕는다. 특히 ChatGPT는 이미 일반 사용자 대상으로 널리 활용되고 있으며, 이를 기반으로 디자이너들도 필요한 설계 지침을 쉽게 찾아보고 적용할 수 있을 것으로 기대된다. 이에 본 연구는 GCS 설계 과정에서 디자이너를 보조하는 대화형 에이전트로 RAG 기반 GPTs를 활용하는 가능성을 검토하였다.

대규모 언어 모델(LLM)은 학습된 데이터에 기반하여 답변을 생성하는 강력한 도구이지만, 최신 정보 반영이 어렵고 도메인 특화 맥락을 정확히 이해하는 데 한계가 있다. 이를 보완하기 위해 검색 시스템과 생성 모델을 결합한 검색 증강 생성(RAG, Retrieval-Augmented Generation) 기술이 개발되었다[8].

RAG는 LLM과 달리 외부 데이터베이스나 문서 저장소에서 관련 정보를 검색한 후, 이를 기반으로 보다 정확하고 신뢰성 높은 응답을 생성할 수 있다.

RAG의 주요 특징은 다음과 같다[8]:

• 1) 실시간 정보 반영 – 정적인 LLM 모델과 달리, RAG는 최신 데이터를 검색하여 응답을 생성하므로 최신 기술 문서, 기업 데이터, 정책 변경 사항 등을 반영할 수 있다. 예를 들어 항공 관련 규정 개정 시, GCS 설계자가 즉시 업데이트된 정보를 확인 가능하다.
• 2) 정확성 및 신뢰성 향상 – RAG는 학습된 데이터 외에도 검색된 문서를 기반으로 답변을 생성하기 때문에, 할루시네이션(잘못된 정보 생성) 문제를 줄이고 보다 신뢰성 높은 정보를 제공할 수 있다.
• 3) 도메인 특화 응답 제공 – 특정 산업 또는 기업 내부 데이터에 특화된 검색 시스템을 구축할 수 있어, 사용자의 요구에 맞는 정밀한 답변을 제공할 수 있다. 예를 들어, 기업 내부 문서를 검색하여 고객 서비스 응답을 자동화하거나, 제품 사양 문서를 기반으로 기술 지원을 제공하는 챗봇을 개발할 수 있다.
• 4) 비용 효율성 – Fine-Tuning과 달리, RAG는 기존 LLM을 그대로 유지하면서 검색 시스템을 추가하는 방식이므로, 추가적인 모델 훈련 없이도 원하는 성능을 얻을 수 있다. 이는 컴퓨팅 자원과 비용을 절감하는 데 기여한다.

이러한 RAG의 특징들은 GPTs(Custom GPT)와 결합했을 때 더욱 효과적으로 활용될 수 있다. GPTs는 OpenAI가 제공하는 맞춤형 AI 개발 플랫폼으로, RAG를 손쉽게 구현할 수 있는 인프라를 제공하며, 디자이너들이 방대한 가이드라인과 기술 문서를 효율적으로 탐색하고 활용할 수 있도록 돕는다.

본 연구에서는 RAG 기반 GPTs 시스템을 활용하여 GCS 디자이너가 실시간으로 관련 자료를 탐색하고, 설계 기준을 충족하며, 인터페이스 품질을 향상시키는 방안을 제안한다. 다음 장에서는 이를 위한 데이터베이스 구축 방안과 시스템 개발 프로세스를 구체적으로 다룬다.

본 연구에서는 GCS(Ground Control Station) 디자인에 RAG를 활용하기로 하였다. 이를 위해 도메인 특화 데이터베이스를 두 가지 트랙으로 구성하였다(표 6). 첫 번째 트랙은 NASA 기술 보고서, MIL-STD 표준, NATO STANAG 규정, IEEE 학술 자료 등을 포함하며, GCS 설계의 기술적 안정성과 국제 표준 준수를 지원한다[1]-[5],[12],[13]

Table 6.

Domain-specific database configuration for GCS design

이를 통해 디자이너가 방대한 기술 자료를 손쉽게 활용할 수 있다. 예를 들어 미 국방성의 HMI 가이드를 반영하여 표준화된 GCS 인터페이스를 설계하는 데 활용 가능하다.

두 번째 트랙은 사용자 경험(UX) 중심 데이터베이스로, GCS의 사용자 인터페이스 설계와 관련된 다양한 UX 디자인 가이드라인과 디자인 시스템 자료를 포함한다. Google Material Design, Apple Human Interface Guidelines (HIG)와 같은 성공적인 디자인 사례들이 여기에 해당한다. 이 데이터베이스는 GCS UI의 직관성과 사용성을 향상시키고, 운용자의 작업 효율성을 극대화하는 데 기여한다. 예를 들어, Apple HIG의 접근성 원칙을 적용하여 색맹 운용자를 위한 인터페이스를 개선하거나, Google Material Design을 활용하여 일관된 UI 요소와 반응형 디자인을 적용할 수 있다[14],[15].

본 연구에서는 GCS 설계 지원을 위한 도메인 특화 GPTs를 개발하기 위해 ChatGPT Plus의 GPTs 제작 도구를 활용하였다. GPTs는 생성(Create) 탭과 구성(Configure) 탭을 통해 설정할 수 있으며, 각각 다른 방식으로 AI의 기능을 정의하고 조정할 수 있다.

생성 탭은 대화형 설정 방식을 제공하여 연구자가 자연어로 GPT와 대화하면서 AI의 역할과 응답 방식을 정의할 수 있다. 이 과정에서 실시간 피드백을 받으며 AI의 동작을 반복적으로 개선할 수 있다는 장점이 있다. 구성 탭은 보다 상세한 텍스트 입력을 통해 AI의 동작 방식과 응답 형식을 세부적으로 조정할 수 있다. 특히 RAG 구현에 필요한 기술 문서 업로드와 지식 베이스 통합 작업이 이 단계에서 이루어진다.

이렇게 생성된 설정 정보는 구성 탭의 지시(instruction) 항목에 자동으로 반영되며, 연구자는 이를 바탕으로 GPTs의 세부 기능을 조정할 수 있다. 두 가지 접근 방식을 조합하여 활용함으로써, 직관적인 초기 설정과 세밀한 기능 조정이 모두 가능한 개발 환경을 구축할 수 있다.

본 연구는 GCS 설계를 지원하는 AI 챗봇을 만드는 과정을 체계적으로 기록하고 평가하여, 도메인 특화 데이터를 학습한 AI가 실제 설계 지원 도구로서 어떤 역할을 할 수 있는지를 분석하고자 한다. 이를 위해, 동일한 GPT 모델을 기반으로 하지만 제공된 데이터가 점진적으로 확장되는 세 가지 챗봇을 개발하여 비교 분석하였다(표 7)[16].

Table 7.

GCS chatbot models and data configuration for design support

첫 번째 버전인 GPT-Domain1(이하 GPT-D1)은 GCS 설계의 특수성, 운용 환경, UI 디자인 차이점 등 기본적인 도메인 지식을 학습하였다. 두 번째 버전인 GPT-Domain2(이하 GPT-D2)는 GPT-D1의 데이터에 MIL-STD, STANAG, NASA 가이드라인, IEEE 학술 자료 등 기술 문서를 추가하여 전문성을 강화하였다. 마지막으로 GPT-Domain3(이하 GPT-D3)는 GPT-D2의 데이터에 Google Material Design, Apple iOS 디자인 가이드라인을 참고하도록 하여 UX 관점을 보강하였다.

GPT-D3의 경우 PDF 데이터를 직접 추가한 것이 아니라, OpenAI GPTs의 지시(Instruction) 기능을 활용하여 특정 UX/UI 가이드라인을 참고하도록 설정하였다. 이는 최신 UX 가이드라인이 보통 PDF가 아닌 인터랙티브한 링크 형태로 제공되기 때문이며, 이를 통해 챗봇이 UX/UI 디자인 관점에서 보다 실용적인 조언을 제공할 수 있을 것으로 기대된다.

이러한 챗봇들은 제공된 정보가 확장됨에 따라 답변의 품질과 신뢰성에 어떤 차이가 발생하는지를 탐색하기 위한 조작적 정의를 반영한 것이다. 기본적으로 모든 챗봇은 GPT 모델이므로 UX 디자인 관련 질문에 대해 일반적인 검색을 통해 답변할 수 있지만, 특정 데이터를 사전에 제공받은 챗봇이 더 정확하고 실용적인 답변을 제공할 가능성이 높다는 점을 살펴보고자 했다. 비교 기준으로 도메인 특화 데이터가 없는 기본 GPT 모델(이하 GPT-B)을 포함하여 총 네 가지 버전을 비교 분석하였다[17]-[20].

본 연구에서는 앞서 개발한 세 가지 GPTs 모델이 실제 GCS 설계 지원 도구로서 얼마나 효과적으로 작용하는지 확인하고자 하였다. 그러나 GCS 개발 프로젝트는 보안상의 이유로 비공개로 진행되는 경우가 많아, 실제 GCS 디자인이 진행 중인 디자이너를 직접 만나 챗봇의 성능을 테스트하는 데 한계가 있었다. 또한, 과거 GCS 설계 경험이 있는 디자이너라 하더라도 실시간으로 디자인을 수행하는 환경이 아니면, 챗봇을 활용하여 현장감 있는 질문을 던지기가 어려웠다.

이에 따라, 원종윤 연구에서 개발된 GCS 가이드라인을 인공지능 챗봇 Claude에 입력하여, GCS 설계 과정에서 디자이너가 할 가능성이 높은 다섯 가지 질문을 추출하였다. 이후, 이 중 세 가지 핵심 질문을 선정하여 네 가지 모델(GPT-B, GPT-D1, GPT-D2, GPT-D3)에 동일한 질문을 제시하고, 각 챗봇의 응답을 그대로 다운로드하여 보고서로 다운로드했다.

• 테스트 질문

• ① "GCS 디자인에서 비상 경고 메시지는 어떻게 표시하는 것이 가장 효과적인가?"
• ② "자동비행 모드와 수동 모드의 전환을 시각적으로 어떻게 표현하는 것이 좋은가?"
• ③ "비행 상태 정보(고도, 속도, 방향 등)를 화면의 어느 위치에 배치하는 것이 좋은가?“

각 질문에 대해 네 가지 GPT 모델(GPT-B, GPT-D1, GPT-D2, GPT-D3)가 생성한 응답을 비교하고, 이를 각각 A4 1~2페이지 분량의 보고서로 정리하였다. 최종적으로 총 12개의 보고서(3개 질문 × 4개 모델)를 생성하고, 이 보고서를 바탕으로 챗봇의 성능을 평가하였다(그림 4).

Fig. 4.

Materials used for in-depth interviews: Chatbot-generated reports

• 챗봇 평가 방법

평가는 ChatGPT를 활용하여 자동 평가를 진행한 후, 전문가 및 초심자 인터뷰를 통해 검증하는 방식으로 이루어졌다. 평가 기준으로는 다음 네 가지 항목을 사용하였다.

• ① 내용의 사실성과 오류 여부: 답변 내용이 신뢰할 만한 근거를 기반으로 하고 있는가?
• ② 논리적 흐름과 개념의 연결: 응답이 명확하고 일관성 있게 연결되는가?
• ③ 분석의 수준과 구체적인 설명: 구체적인 사례와 논리적 근거가 포함되어 있는가?
• ④ 디자이너가 실제 활용 가능 여부: 실무에서 직접 사용할 수 있는 정보와 구조를 제공하는가?

본 연구에서는 평가 과정에서 전문가와 초심자를 구분하였다. 전문가는 GCS 분야에서 17년 이상의 인터페이스 디자인 실무 경험을 보유하고, 현재 실제 프로젝트에서 설계 업무를 수행 중인 인물로 선정하였다. 초심자는 학부 시절 2년간 무인항공기 디자인 관련 연구에 참여하여 GCS에 대한 기본적인 개념과 이해는 있지만 실제 설계 프로젝트에 직접 참여한 경험이 없는 석사 1년 차 대학원생으로 설정하였다. 초심자를 평가에 포함한 이유는, 최근 무인항공기 및 항공우주 분야의 상용화와 발전으로 새로운 분야로 진입하는 디자이너가 증가하고 있어, 이들의 초기 설계 학습 과정에서 생성형 AI의 역할과 효용성을 탐색할 필요성이 있었기 때문이다. 인터뷰는 총 6시간(전문가 3시간, 초심자 3시간)에 걸쳐 진행되었으며, 각 질문별로 보고서를 검토하고 챗GPT의 평가를 리뷰하며 대화형 인터뷰를 진행하는 방식으로 평가가 이루어졌다.

본 실험의 주된 목적은 GCS 설계를 지원하는 챗봇을 보완하고 발전시키는 과정을 탐색하는 것이며, 특정 가설의 검증이 아니다. 이를 통해, 도메인 특화 데이터를 학습한 AI가 실제 설계 지원 도구로 활용될 수 있는 가능성과 한계를 분석하고, 향후 AI 기반 도구를 보다 효과적으로 적용하는 방안을 모색하고자 한다.

본 연구에서 개발한 GCS 설계 지원 챗봇들의 답변 품질과 신뢰성을 검토하기 위해, 도메인 특화 데이터를 점진적으로 추가한 GPT-D1, GPT-D2, GPT-D3 모델과 기본 ChatGPT 모델(GPT-B)을 비교하였다. 심층 인터뷰에 앞서 생성된 보고서들은 챗GPT를 활용해 사전에 설정된 평가 루브릭을 바탕으로 평가하였으며, 그 결과 GPT-D1과 GPT-D3 모델이 모든 평가 항목에서 100점으로 높은 점수를 기록하였다. 반면, 기술 문서 중심으로 학습된 GPT-D2는 87.5점, 기본 ChatGPT 모델(GPT-B)은 75점으로 가장 낮은 점수를 기록하였다.

그러나 이러한 점수 평가는 챗GPT가 자체적으로 수행한 것이다. 실제 사용자(전문가 및 초심자) 인터뷰는 별도의 점수 부여 없이 보고서를 직접 검토하고 평가하며 심층 인터뷰를 시작한 뒤 의견을 나누는 중간에 챗GPT의 평가 결과를 공개하여 비교하며 인터뷰를 진행하였다. 이를 통해 AI의 평가 기준과 사용자의 실제 경험이 어떻게 차이가 있는지 확인하고 이를 토대로 더욱 심층적인 대화를 하고자 하였다.

인터뷰 결과, 전문가와 초심자를 대상으로 한 심층 인터뷰에서는 사용자 그룹별로 뚜렷한 평가 기준의 차이를 보였다.

전문가는 챗봇이 제공하는 답변이 정확한지부터 확인하였고, 실무 활용 가능성을 중요한 기준으로 삼았다. "GPT-B는 내용이 구체적이지 않고 틀린 내용들이 있다. 하지만 다른 세 개의 보고서는 대체적으로 일관되고, 내용도 정확한 편이다. 개발자나 관련 연구자들과 회의할 때 도움이 될 것 같다"는 의견이 제시되었다. 챗봇이 잘못된 내용을 제공하더라도 아이디어가 신선하면 도움이 될 것 같다는 의견을 전했다. 특히 GPT-D1에 관심을 보이며 전문가로서 충분한 경험과 지식이 있으니 틀린 부분은 무시하고 넘어갈 수 있으니 긴 경력을 이어오면서 빠진 매너리즘에서 벗어나게 해줄 신선한 아이디어가 재미있게 여겨진다는 것이다.

반면 초심자는 챗봇의 답변 결과의 진위 여부를 판단할 지식이 부족하기 때문에 챗봇이 제공하는 답변이 명확하게 정리되어 있고, 학습을 위한 단계별 안내가 제공되는지를 중점적으로 평가하였다. 한 초심자는 "초보자 입장에서는 정보의 출처가 명확히 표시되고, 설명이 체계적으로 정리되어 있어야 신뢰할 수 있다"고 언급하며, 챗봇의 답변이 쉽게 이해되고 활용될 수 있도록 구조화되는 것이 중요하다고 보았다(표 8).

Table 8.

GCS chatbot models and data configuration for design support

도메인 특화 챗봇의 활용 방식에 대해서도 전문가와 초심자의 의견 차이가 뚜렷하게 나타났다. 전문가들은 챗봇이 단순한 정보 검색 도구를 넘어 디자인 아이디어를 발상하는 도구로 활용될 수 있다고 보았다. 특히, 챗봇을 활용하여 제안서나 보고서를 작성하거나, 이해관계자를 설득하기 위한 근거 자료를 마련하는 데 도움이 될 것이라는 의견이 제시되었다. 전문가는 "회의에서 GCS UI를 설명할 때, 챗봇을 통해 논리적으로 정리된 설명을 보충 자료로 활용하면 유용할 것 같다"라고 말했다.

반면, 초심자들은 챗봇이 기본적인 개념을 익히고, 실수를 방지하는 가이드 역할을 수행하는 것이 중요하다고 보았다. 한 초심자는 "디자인 원칙을 세우고, 레이아웃을 최적화하는 과정에서 챗봇이 단계별로 가이드를 제공하면 좋겠다"는 의견을 제시하며, 학습과 실수 방지를 위한 도구로 챗봇이 활용될 수 있는 가능성을 강조했다.

전문가와 초심자 모두 공통적으로 몇 가지 핵심적인 개선사항을 제시했다.

• 1) 용어 설명 체계화의 필요성: 전문가는 "우리 분야에서 쓰는 약어에 대한 정리가 필요하다"고 했으며, 초심자는 "GCS 쳤는데 구글 클라우드 서비스가 나온다"라며 도메인 특화 용어 정리의 중요성을 언급했다.
• 2) 서식 개선의 필요성: "서식이 다 살아있으면 좋겠다"라는 의견이 공통적으로 제시되었으며, 출력한 보고서 별로 중요한 내용은 굵은 글씨체로 표시되거나 제목이 크게 쓰여있고 구분선 또는 표가 제공되기도 했는데, 문서의 가독성과 정보 전달력 향상을 위해 중요한 것으로 나타났다.
• 3) 예시 보강의 필요성: 시각적 예시와 구체적인 적용 사례에 대한 요구가 공통적으로 있었다. 특히 글로만 설명하는 것보다 시각적 자료를 통한 이해를 선호하는 것으로 나타났다.
• 4) 기대효과 제시의 필요성: 다만 기대효과를 필요로 하는 이유는 경력에 따라 달랐다. 전문가는 "이 내용은 전문가는 모르는 건 아니지만 문서작성할 때나 누군가에게 설명할 때 이렇게 잘 정리되어 있으면 유용할 것같다." 라며 실무적 활용성을 언급했고, 초심자는 "마지막에 기대효과가 나와있으면 내가 가이드를 참고해서 디자인할 때 구체적인 목표가 될 수 있는 것 같아요"라며 목표 설정의 관점에서 접근했다.

전문가는 프로젝트의 특성과 상황의 반영이 더 필요하다고 요구하였다. “요즘 다양한 화면의 GCS를 하나의 이동형 장치를 활용해서 보는 프로젝트가 더 많은데, 지금 이 챗봇에서는 두세 개의 화면을 동시에 보는 디스플레이 위주로 설명하는 것 같다”라고 하였다. 챗봇과 대화하기 전 프로젝트의 성격과 하드웨어 스펙을 사전 설정할 수 있으면 더 유용한 답변이 나올 것으로 기대한다는 의견이 있었다.

초심자는 또한 도메인의 기본 개념에 대한 상세한 설명을 필요로 했다. "비행 드론 비행에 대해 전혀 알지 못하는 사람은 이게 있으면 도움이 되지 않을까"라는 언급에서 볼 수 있듯이, 기초적인 개념 이해부터 시작하는 접근을 원했다.

이러한 차별화된 요구사항과 의견들은 도메인 특화 챗봇이 경력 수준에 따라 다른 방식으로 접근해야 함을 시사한다. 전문가들에게는 실무 적용성과 설득력 있는 논리 제공에 초점을 맞추고, 초심자들에게는 체계적인 학습 경로와 기초 개념의 이해를 돕는 방향으로 설정해야 할 것이다.