자율주행 차량 내 사용자 경험 향상을 위한 컨텍스트 인식 기반 멀티모달 인터랙션 프레임워크 개발

멀티모달 인터랙션(Multimodal Interaction)은 여러 가지 입력 방식과 피드백을 결합하여 사용자가 시스템과 인터랙션할 수 있게 하는 기술을 말한다. 사용자는 음성, 제스처, 터치, 시선 추적 등 다양한 모달리티를 통해 시스템과 의사소통할 수 있으며, 이러한 방식들은 사용자 경험을 보다 자연스럽고 효율적으로 제공할 수 있다. 특히 멀티모달 인터랙션은 사용자가 다양한 감각을 통해 시스템과 인터랙션하고 피드백을 받는 통합된 방식으로 볼 수 있다[10]. 멀티모달 인터랙션의 구성 요소는 일반적으로 입력 모달리티, 처리 엔진, 출력 모달리티로 구성할 수 있으며, 표 3과 같다.

Table 3.

Components of multimodal interaction

입력 모달리티(Input Modality)는 음성 명령, 제스처, 터치 스크린, 시선 추적 등 다양한 방식으로 사용자 의도를 입력하는 모달리티이다. 처리 엔진(Processing engine)은 입력된 데이터를 해석하고, 사용자 의도에 따라 적절한 반응을 생성하는 역할을 한다. 마지막으로 출력 모달리티(Output Modality)는 시스템이 사용자에게 피드백을 제공하는 방식으로 시각 디스플레이, 오디오 사운드 및 음성 피드백, 햅틱 피드백 등이 포함된다[10], [11]. 이러한 구성요소를 바탕으로 고려할 때, 멀티모달 인터랙션은 사용자 편의성과 접근성을 극대화하며 여러 모달리티를 조합하여 사용자 경험을 직관적으로 제공하는 것을 목적으로 한다.

자율주행 차량 환경에서는 운전자 및 탑승자가 시스템과의 인터랙션을 통해 편의성 및 안전성을 높일 수 있도록 다양한 멀티모달 인터랙션이 제공되어야 한다. 특히 컨텍스트에 적합한 입력 방식을 적용하는 것이 중요하다. 예를 들어, 주행 중에는 음성 명령, 시선 추적, 터치 스크린 등을 상황에 따라 적절하게 조합하여 제공하는 것이다. 이러한 내용을 바탕으로 볼 때, 자율주행 차량에서 멀티모달 인터랙션은 사용자 신뢰를 증대시키고, 안전성을 높이며 운전자의 인지적 부담을 줄이는데 기여한다. 이는 자율주행 환경에서 멀티모달 인터페이스가 신뢰감 형성 및 사용자 경험에 긍정적인 영향을 미친다[12]. 이를 바탕으로 정리한 자율주행 차량 내 멀티모달 인터랙션의 적용 예는 아래 표 4와 같다.

Table 4.

Application examples of multimodal interactions in autonomous vechicles

이와 같이 멀티모달 인터랙션은 자율주행 차량에서의 사용자 경험을 풍부하게 하며, 안전성 및 편의성을 높이기 위해 필수적인 요소로 자리잡고 있다. 자율주행 차량에서의 멀티모달 인터랙션은 사용자 경험과 안전성 향상에 중요한 역할을 한다. Mehr et al.은 자율주행 차량에서 음성, 제스처, 시선 추적 등 다양한 입력 방식을 결합한 멀티모달 인터랙션은 사용자 경험을 크게 개선할 수 있다고 하였다[2]. Koo et al.은 자율주행 차량의 행동과 의도를 사용자가 이해할 수 있도록 설명을 제공하는 것이 중요하다고 강조했다[9]. 이는 사용자의 신뢰와 이해를 촉진하여 차량을 더 안전하게 이용할 수 있도록 한다. 또한 Gold et al.은 자율주행 차량에서 운전자와 시스템 간 인터랙션, 특히 제어권 전환 과정이 사용자 반응과 신뢰 형성에 중요한 영향을 미친다고 지적하며, 시스템 설계의 일관성과 직관성이 사용자 경험의 핵심 요소임을 밝혔다[14].

그러나 본 연구는 자율주행 단계별 사용자 역할 및 컨텍스트 인식에 기반한 멀티모달 인터랙션 프레임워크를 설계하고, 전문가 평가를 통해 이를 개념적으로 검증한 점에서 차별성을 갖는다. 특히, 실시간 컨텍스트 인식을 활용해 동적으로 인터랙션을 조정함으로써 단계별 사용자 경험 최적화를 목표로 삼고자 한다.

적응형 시스템(Adaptive System)은 자율주행 차량 내에서 사용자의 상태나 외부 환경을 실시간으로 모니터링하여 상황에 맞는 피드백을 제공하는 중요한 인터랙션 요소로써, 사용자와의 인터랙션 방식을 결정하는 중요한 요소 중 하나이다. 특히 이러한 시스템은 사용자의 상태 변화를 감지하여 피로 또는 주의 분산과 같은 상태가 발생할 경우 경고 알림을 제공하거나, 차량 주변의 교통 상황을 바탕으로 피드백을 조정하여 인터랙션을 최적화한다. 즉 운전자가 주행 상황에 집중할 수 있도록 돕고 자율주행 차량의 안전성을 향상시키는 역할을 한다. 또한 적응형 시스템은 사용자가 차량 시스템의 반응을 예측 가능하게 함으로써 신뢰성을 높일 수 있다. 일관성 있는 피드백은 운전자가 시스템의 반응을 쉽게 예측하고 그에 따라 행동할 수 있게 함으로써 신뢰를 형성하는데 기여한다. 이러한 시스템의 일관성은 사용자가 각 상황에서 제공되는 피드백을 인식하고 이해하는 데 중요한 역할을 한다. Stsebakhova에 의하면, 적응형 시스템은 사용자 경험을 향상시키고, 사용자 상태에 따라 실시간으로 피드백을 조정하여 사용자 및 시스템 간의 인터랙션 안전성과 효율성을 높이는데 기여한다고 하였다[13]. 이처럼 사용자 상태에 따른 실시간 적응형 피드백을 제공하는 시스템은 단순한 경고 제공을 넘어서 사용자와 차량 시스템 간의 인터랙션을 보다 안전하게 하고 신뢰성을 부여한다. 실시간 데이터에 기반하여 사용자 상태를 모니터링하고, 컨텍스트에 적절한 개인화된 피드백을 제공하여 운전자가 차량의 시스템을 신뢰하고 더욱 안전하게 사용할 수 있도록 지원한다.

적응형 멀티모달 인터랙션 시스템은 사용자 상태와 외부 컨텍스트를 기반으로 상황에 따라 적절히 반응할 수 있도록 설계된 5단계 계층 구조를 기반으로 한다. 레이어 1은 데이터 수집 및 전처리에 해당하는 단계로, 차량 내, 외부 센서 등을 통해 수집하는 데이터가 이에 해당한다. 내부 수집 데이터는 사용자의 행동(눈 깜박임, 음성 명령, 손동작) 및 상태(주의 분산, 피로) 모니터링이 해당되며, 외부 수집 데이터로는 차량의 주행 환경(날씨, 도로 상태, 교통 흐름)을 수집한다.

이 때, 유효하지 않은 데이터를 제거함과 동시에 다중 사용자에 대한 명령 우선순위를 설정한다. 레이어 2는 컨텍스트 인식 및 분석에 해당하는 것으로 사용자 상태 및 환경 데이터를 기반으로 상황을 분류하고 우선순위를 설정하는 과정이 해당된다. 레이어 3은 입력 방식 통합 및 설정으로 음성 명령, 제스처, 시선 추적 등 다양한 입력 방식을 통합하고, 유효성 검증을 통해 신뢰할 수 있는 입력만 처리한 다음 적합한 피드백 방식을 설정한다. 레이어 4는 실시간 피드백 및 사용자-시스템 인터랙션으로 사용자 상태와 외부 상황에 따라 실시간으로 피드백을 제공한다. 마지막으로 레이어 5는 자동 학습 및 적용으로 고도화 단계를 의미한다. 사용자 행동 데이터를 학습하고 반복적 패턴을 기반으로 시스템 성능을 지속적으로 개선하며, 학습 결과를 하위 레이어로 전달하여 시스템의 전반적인 적응성을 강화한다.

이러한 계층 구조는 사용자 상태 및 외부 컨텍스트 데이터를 단계적으로 처리하며, 각 레이어 간 체계적인 연결을 통해 사용자 경험의 일관성 및 시스템 신뢰성을 확보할 수 있다.

컨텍스트 인식 시스템은 사용자의 상태와 차량 외부 환경을 실시간으로 분석하여 상황에 맞는 반응을 제공하는 시스템의 핵심 요소이다.

내부 컨텍스트 인식에 해당하는 부분은 사용자 상태로 주의 집중, 피로, 스트레스 등을 모니터링하여 시스템 반응을 조정하는 것을 말한다. 예를 들어, 운전자의 주의가 분산되는 것이 감지되면 음성 경고를 제공하는 방식이다. 외부 컨텍스트 인식은 주행 환경인 날씨, 도로 상태, 주변 차량 위치 등을 실시간으로 분석하는 것으로, 비 오는 날에는 제동 거리 증가 경고를 제공하는 식으로 작동한다.

이러한 컨텍스트 분류 및 우선순위 산정은 긴급 상황과 비긴급 상황으로 분류할 수 있는데, 긴급 상황은 비상 경고와 같이 즉각적으로 사용자 개입이 필요한 상황을 뜻한다. 이에 비해 비긴급 상황은 탑승자에게 주변 관광 정보를 제공하는 등 상황 중요도 자체가 낮은 상황이 해당된다. 컨텍스트 인식 시스템은 사용자의 상태와 외부 환경 데이터를 결합하여 상황에 따라 적절한 피드백 제공을 위한 판단 근거를 마련하기 위한 시스템으로 볼 수 있다.

피드백 매커니즘은 사용자에게 정보를 전달하고 시스템과의 인터랙션을 유도하는 요소로 피드백의 세기와 형태는 사용자 상태 및 외부 컨텍스트에 따라 다르게 적용된다. 피드백 방식으로는 청각 피드백(운전자 주의 집중 및 경고음을 통한 위험 상황 알림 제공), 시각 피드백(제한된 환경에서 시각적 정보를 제공하여 탑승자 편의 향상), 촉각 피드백(운전자 주의가 분산된 상황에서 물리적 자극을 통해 즉각적인 반응 유도)으로 구성되며, 사용자 상태와 외부 컨텍스트를 반영하여 피드백 강도를 동적으로 조정하는 매커니즘이다. 피드백을 제공하는 것에서 그치지 않고, 피드백 제공 후 사용자의 반응 데이터를 수집하여 시스템 성능을 개선하는 것으로, 단순한 정보 전달을 넘어 사용자 신뢰성과 안전성을 확보하기 위한 인터랙션의 중요한 요소 중 하나이다.

평가에 앞서 프레임워크의 체계적인 검증을 위해 평가 지표를 도출하였다. 이를 위해 자율주행 차량의 멀티모달 인터랙션 시스템 설계와 사용자 중심의 인터랙션 설계에 대한 선행 연구[19],[20]을 바탕으로 평가 기준을 설정하였다. 평가는 크게 두 가지 축으로 나누어서 진행하였다. 첫 번째 평가로 자율주행 단계에 따른 멀티모달 인터랙션 시스템 분류의 적합성을 평가하였고, 두 번째 평가로 적응형 멀티모달 인터랙션 프레임워크의 구조적 적합성 및 실용성을 검증하였다. 첫 번째 평가의 평가 지표는 아래 표 6과 같다.

Table 6.

Primary expert evaluation metrics - A classification of multimodal interaction systems based on autonomous driving level

자율주행 단계에 따른 멀티모달 인터랙션 시스템 분류(평가 1)는 자율주행 단계별 사용자 역할 및 시스템 제공 피드백 간의 적합성을 검토하기 위해 설계되었다. 이를 위해 객관식 및 주관식 평가 방식을 진행하였다. 객관식 평가 항목은 자율주행 단계별 인터랙션 방식의 적합성, 멀티모달 인터랙션의 변화, 단계별 피드백의 적합성, 사용자 경험의 단계별 차별성으로 구성되었다. 각 항목은 자율주행 단계에 따른 시스템 설계의 논리성과 유효성을 평가하기 위한 것이다. 주관식 평가는 자율주행 단계별 인터랙션 방식의 적합성과 단계별 피드백 제공 방식에 있어 개선이 필요한 방향에 대해 의견을 수집하였다.

Table 7.

Primary expert evaluation metrics - Adaptive multimodal interaction framework

적응형 멀티모달 인터랙션 프레임워크(평가 2)는 프레임워크의 구조적 적합성 및 실용성을 검토하는데 중점을 두었다. 평가 항목은 구조적 일관성 및 논리성, 피드백의 타당성 및 명확성, 유연성 및 적응성, 시스템 안정성 및 안전성, 사용자 중심으로 구성되었다. 각 평가 항목은 자율주행 차량 내 시스템 설계의 논리적 체계성과 적합성을 평가하기 위해 설정되었으며, 이를 통해 프레임워크의 완성도를 높이고자 하였다. 주관식 평가는 프레임워크의 개념적 이해도, 구성 요소의 적절성, 확장 가능성, 실용성, 개선 방향에 대한 전문가의 정성적 의견을 수집하는 방식으로 이루어졌다.

1차 전문가 평가 결과 분석을 위해 정량 분석과 동시에 수집한 전문가 의견을 정리하였다. 총 34개의 객관식 평가 문항을 대상으로 기술통계를 포함하여 안정, 합의도, 수렴도를 포함하여 내용 타당도 값을 도출하였다. 특히 내용타당도 비율(CVR: Content Validity Ratio)을 활용하여 평가 항목에 대한 타당성을 검증하였다. 객관식 평가에서는 리커트 5점 척도와 더불어 전문가 의견을 추가적으로 수집하였고, 주관식 평가를 통해 수집한 응답과 조합하여 전체 평가 결과 리포트를 작성하였다.

• 자율주행 단계에 따른 멀티모달 인터랙션 시스템 적용 분류

자율주행 단계별 사용자 맞춤형 피드백 제공의 필요성이 강조되었는데, 사용자의 연령과 운전 숙련도를 고려한 초보 운전자와 고령 운전자를 위한 맞춤형 피드백 설계가 필요하다고 제안하였다. 특히 초보 운전자의 경우 직관적이고 명확한 피드백이 필요하며, 고급 운전자의 경우 불필요한 피드백을 최소화하여 자율성을 보장하는 방식으로 개선해야 한다고 지적하였다. 또한, 자율주행 단계에 따른 멀티모달 피드백의 구분과 일관성을 확보하는 것이 중요하다고 제안하였다. 시각, 청각, 촉각 피드백이 자율주행 단계별로 적절히 구분되고, 일관된 방식으로 제공되어야 사용자 경험이 향상될 수 있다는 의견이 도출되었다.

프레임워크의 구조적 타당성 측면에서는 레이어별 역할과 자율주행 단계별 사용자 역할 및 피드백 방식의 구체적인 구분이 필요하다고 평가되었다. 특히 레이어 3과 같은 특정 레이어의 역할을 구체화하여 각 자율주행 단계에 적합한 피드백을 체계적으로 설계해야 한다는 의견이 제시되었다. 또한, 안전성과 편의성 간의 균형이 중요하다고 강조하며, 완전자율주행 단계에서는 과도한 피드백이 사용자 편의성을 저해하지 않도록 피드백 빈도와 강도를 조절해야 한다고 평가하였다.

• 적응형 멀티모달 인터랙션 프레임워크

적응형 멀티모달 인터랙션 프레임워크에 대한 평가에서는 피드백의 세부 정의와 적용 예시가 부족하다는 지적이 있었다. 다양한 상황에서 피드백이 작동하는 방식을 구체적인 시나리오로 제시할 필요가 있다고 강조하였다. 또한, 사용자 특성에 따라 피드백 타이밍과 강도를 조정할 수 있는 구조가 필요하며, 시스템이 사용자 피드백 반응 패턴을 학습하여 장기적으로 최적화된 피드백을 제공하는 것이 중요하다고 평가하였다.

프레임워크의 단계별 시뮬레이션과 검증이 필요하다는 의견도 제시되었으며, 시뮬레이션을 통해 피드백이 사용자에게 미치는 영향을 분석하고 이를 바탕으로 프레임워크를 개선하는 절차가 필수적이라고 평가하였다. 피드백이 시스템 신뢰도에 미치는 영향을 고려하여, 과도하거나 비일관적인 피드백이 혼란을 유발하지 않도록 설계해야 한다는 의견도 제시되었다. 전문가들은 피드백의 빈도, 강도, 타이밍을 유연하게 조정하여 사용자와 시스템 간 신뢰를 강화할 필요성을 언급하였다.

마지막으로, 프레임워크의 레이어 구조를 세분화하여 실시간 피드백과 사용자-시스템 간 상호작용 기능을 강화하고, 사용자 반응을 실시간으로 추적하여 피드백 개선에 활용하는 방안을 제안하였다. 이를 통해 프레임워크의 적용 가능성을 높이고, 구체적인 시나리오와 조건 설정을 통해 사용자 경험 기반의 평가를 진행해야 한다는 점이 강조되었다.

• 사용자 역할 및 접근 가능한 시스템

1차 평가에서 제시된 의견을 반영하여 자율주행 단계별 사용자 역할에 따른 시스템 접근 권한을 재정의하였다.

Level 2~3에서는 운전자가 차량 제어 및 경고 모니터링 시스템을 주로 사용하는 상황으로, 주행 제어 및 경고 모니터링 시스템에 대한 접근 권한을 강화하며, 비상 연락 시스템을 추가 적용하였다. Level 4에서는 주행 제어 역할이 시스템으로 넘어가는 단계이므로 운전자의 시스템 접근 범위를 축소하고자 접근 가능 시스템에서 기능적 제약 사항 및 조건을 점진적으로 줄여 Level 5는 기능적 제약이 없도록 하였다. 탑승자의 경우 Level 2~4에서 엔터테인먼트 시스템 및 정보 제공, 환경 제어, 비상 연락 시스템에 접근 가능하되, 기능적 제약을 점차 줄여 편의성을 향상시켰다. 다만, Level 4~5에서도 주행 제어 시스템에는 접근하지 못하도록 하여 안전성을 확보하였다.

사용자 역할에 따라 접근 가능 시스템을 차별화함으로써 각 자율주행 단계에서의 역할을 명확히 하고, 시스템 사용 경험의 혼란을 방지하였다.

• 멀티모달 인터랙션 구성

멀티모달 인터랙션 방식은 전체 자율주행 단계에서 최대한 동일하게 구성하였고, 약간의 조작 방식의 차이와 기능적 제약 및 조건을 두어 차별화하였다.

운전자의 경우, Level 2~3에서는 음성 제어 및 시선 추적만 제공하여 운전자 주의 분산을 최소화하고 직관적인 조작을 가능하게 하였다. Level 4~5에서는 운전자의 역할이 축소되므로 제스처 조작을 추가하였다. 탑승자는 Level 2~3에서 음성 제어와 시선 추적, 간단한 제스처를 통해 조작할 수 있도록 하였고, Level 4~5에서는 시각 피드백을 포함한 직관적인 인터랙션 방식과 제약없는 제스처를 통해 자유로운 인터랙션 환경을 제공하였다.

이러한 멀티모달 인터랙션 방식의 구성은 사용자 역할에 맞춰 제공함으로써 시스템의 직관성을 높이고 사용자 경험을 강화할 수 있도록 설계되었다.

• 피드백 제공 방식 및 제약 조건

사용자 상태 및 외부 컨텍스트를 반영하여 자율주행 단계별로 피드백 강도와 빈도를 차별화하였다. 피드백 제공 기준은 상황 중요도에 따라 분류되며, 사용자 경험과 안전성을 균형적으로 고려해 설계한 것이다. 자율주행 단계가 높아질수록 사용자는 차량 내부에서 시스템에 대한 주의가 줄어들고, 다른 행동을 할 가능성이 증가한다. 따라서 피드백 방식은 점차 단순하고 비침해적인 구조로 전환되어 몰입과 편안함을 방해하지 않도록 해야 한다. 먼저 시스템이 상황 중요도에 따른 피드백을 자체적으로분류하여, 긴급 상황에서는 강도 높은 피드백을 멀티모달로 제공하고 비긴급항황에서는 단일 모달리티를 활용하여 간결하게 전달한다. 또한 사용자 상태와 상황 중요도에 따라 피드백의 강도 및 빈도를 조정하였다. 예를 들어, 긴급 상황에서는 시각, 청각, 촉각 피드백을 동시에 제공하며, 일반 상황에서는 시각 피드백만을 활용한다.

사용자 특성 및 상황에 따라 세분화하였으며, 연령, 운전 숙련도, 개인 선호도 등을 반영하여 피드백 유형 및 강도를 분류한 것이다.

예를 들어, 고령 사용자의 경우 시각 피드백의 가시성을 강화하고, 청각 피드백의 음량을 조절하도록 설계하였다. 마지막으로 피드백 유형과 피드백 강도를 상황 중요도에 따라 명확하게 정의하였다. 이를 통해 일관된 피드백을 제공하고자 하였다.

• 레이어 간 연결성 보완

1차 평가에서 제기되었던 레이어 간의 연결 부족 문제를 해결하기 위해 데이터 흐름과 피드백 전달 경로를 구체화하여 설계하였다.

먼저, 레이어 1에서 레이어 2의 연결로 차량 내부 및 외부 데이터의 전처리 결과가 컨텍스트 분석 단계로 명확하게 전달될 수 있도록 데이터 구조를 정비하였다. 레이어 4에서 레이어 5의 연결은 사용자 피드백 제공 후 사용자의 반응 데이터를 수집하여 학습 결과로 통합하는 경로를 명확히 정의하였다. 이 과정에서 학습된 데이터는 레이어 3 및 레이어 4로 재전달되어, 피드백과 입력 방식 통합에 반영되는 구조이다.

• 레이어별 주요 변경 사항

레이어 1: 데이터 수집 및 전처리에서는 외부 환경 데이터의 수집 범위를 확대하고, 차량 주변 상황 데이터를 포함한 컨텍스트를 통합적으로 처리할 수 있도록 설계하였다.

Fig. 4.

Adpative multimodal interaction framework (improvement ver)

또한 데이터 유효성 검증 단계에서 오류를 식별하고, 이를 제거할 수 있는 프로세스를 강화하였다.

레이어 2: 컨텍스트 인식 및 분석은 컨텍스트 인식 엔진 처리 프로세스로 사용자 상태와 외부 상황을 종합적으로 분석하여 시스템이 상황에 적합한 대응을 할 수 있도록 지원하는 핵심 단계라고 볼 수 있다. 복합적으로 수집한 데이터를 분류하고 상황을 구조화하고 상황을 정밀하게 인식하여 다차원적으로 분석한다. 예측 모델 기반의 잠재적인 위험 상황을 판단하며, 위험 발생 가능성을 미리 식별하여 예방적 조치를 취한다. 이러한 프로세스는 이전 단계에서 수집된 데이터를 기반으로 작동하며, 컨텍스트 인식 정확성을 높이는 데 중점을 두고 있다.

레이어 3: 입력 방식 통합 및 설정에서는 다양한 입력 방식을 수집, 통합, 검증하여 사용자 명령을 해석하는 단계이다. 사용자가 제공하는 음성, 시선, 제스처, 터치 등의 입력 신호를 실시간으로 인식하고 분류한 다음, 다양한 입력 신호를 조합하여 사용자의 의도를 해석하며, 멀티모달 인터랙션의 직관성과 유연성을 강화한다. 이후 수집된 입력 신호의 신뢰도를 검토하여 오류나 부적절한 입력을 제거한다.

레이어 4: 실시간 피드백 및 사용자-시스템 인터랙션은 피드백 제공에 따라 사용자 상태뿐만 아니라 외부 컨텍스트를 반영하여 피드백 강도를 입체적으로 조정하도록 설계하였다. 또한 컨텍스트 변화에 따라 피드백 빈도와 내용을 즉시 조정할 수 있도록 실시간 피드백 구조를 개선하였다.

레이어 5: 자동 학습 및 적용에서는 학습된 데이터를 기반으로 레이어 3 및 레이어 4에 피드백을 제공하여 시스템의 적응성과 유연성을 강화하였다. 이를 통해 사용자 행동 패턴과 외부 컨텍스트를 동시에 고려하는 피드백 조정이 가능하다.

본 연구에서 제안한 프레임워크의 이해를 돕기 위해 자율주행 Level 3 환경에서의 사용자 시나리오를 구성하였다. 해당 시나리오는 고속도로 주행 중 운전자가 피로로 인해 주의가 분산된 상태에서, 주변 차량이 갑작스럽게 끼어들기를 시도하며 위험 상황이 발생한 상황을 가정한 것이다.

이러한 상황에서 시스템의 대응 프로세스는 먼저 차량 내부 센서를 통해 운전자의 피로 상태를 감지하고, 외부 센서를 통해 끼어들기를 시도하는 차량의 움직임을 인지한다. 이를 바탕으로 컨텍스트 인식 엔진은 운전자의 주의 분산 상태와 주변 환경의 위험도를 결합하려 이를 긴급 상황으로 분류한다. 이후 시스템은 피드백 제공을 위해 헤드업 디스플레이(HUD)에 차량 간 거리 축소 경고를 표시하고, 음성 안내를 제공하며, 스티어링 휠의 진동을 통해 위험 상황을 알린다.

이러한 시나리오를 통해 제안된 프레임워크의 단계별 작동 과정을 구체적으로 설명하고, 긴급 상황에서 멀티모달 인터랙션 및 피드백 제공 방식의 적합성을 확인하는 것에 있다.

1차 전문가 평가의 정량적 분석 결과를 바탕으로, 개선된 평가 지표를 도출하였다. 총 27개의 객관식 평가 문항 중 CVR 값이 0.6 미만으로 나타난 문항은 평가에서 제외하였고, 최종적으로 17개의 객관식 평가 문항으로 구성하였다. 이를 통해 평가 항목의 타당성 및 적합성을 강화하였다.

첫 번째 평가인 자율주행 단계에 따른 멀티모달 인터랙션 시스템 분류는 자율주행 단계별 인터랙션 방식과 사용자 경험의 차별성을 평가하기 위한 것으로, 1차 전문가 평가에서 도출된 결과를 바탕으로 재구성되었다. 특히 단계별 멀티모달 인터랙션의 변화와 피드백의 적합성 항목은 CVR값이 기준치에 미달하여 2차 전문가 평가 문항에서 삭제하였다. 이로 인해 자율주행 단계별 시스템 분류의 적합성에 초점을 맞추는 방향으로 객관식 문항을 구성하였다. 또한, 주관식 평가 문항은 1차 평가에서 제안된 개선 사항이 2차 평가 대상 프레임워크에 적절히 반영되었는지 확인하는 것에 중점을 두었다. 이를 위해 전문가들에게 추가적인 보완이나 수정이 필요한 부분에 대한 의견을 작성하도록 요청하였다.

Fig. 5.

Application user scenario example

두 번째 평가인 적응형 멀티모달 인터랙션 프레임워크에 대한 평가는 프레임워크의 구조적 타당성 및 실용성을 검토하기 위한 것으로, 표 8과 같다. 1차 전문가 평가 결과를 바탕으로, 객관식 평가 문항 중 일부 평가 지표 및 하위 항목은 삭제하였다. CVR값이 기준치에 미달한 지표(단계별 멀티모달 인터랙션의 변화, 단계별 피드백 적합성, 확장 가능성, 시스템 안전성, 데이터 관리 및 처리의 효율성) 및 항목은 최종 문항에서 제외되었으며, 수정된 문항은 프레임워크의 구조적 일관성, 피드백의 명확성 및 적응성, 시스템 안정성 등을 보다 명확히 검토할 수 있도록 재설계되었다. 주관식 평가 문항은 첫 번째 평가와 동일하게 구성하였다.

Table 8.

Secondary expert evaluation metrics - A classification of multimodal interaction systems based on autonomous driving level

Table 9.

Secondary expert evaluation metrics - Adaptive multimodal interaction framework

2차 전문가 평가는 1차 전문가 평가에서 수정 의견과 개선 방향을 토대로 재구성한 프레임워크를 제공한 다음, 이에 대한 의견을 수집하는 방식으로 진행되었다. 1차 전문가 평가와 동일하게 정량 분석을 통해 전문가 의견 일치도 및 합의 수준을 파악하였다. 분석 결과, 전문가들의 의견이 대체로 일치되었으며, 일관성 있는 답변으로 판단되어 2차 전문가 평가에서 본 연구의 평가를 종료하였다.

평가 분석 결과, 제안된 프레임워크는 사용자 맞춤형 피드백 제공, 상황 중요도 기반의 피드백 설계, 시스템 안정성, 그리고 장기적 학습 가능성 측면에서 긍정적인 평가를 받았다.

첫째, 사용자 맞춤형 피드백 제공이 프레임워크의 주요 강점으로 언급되었다. 초기 설정 단계에서 사용자의 연령, 운전 숙련도, 선호도 등 기본 데이터를 수집하여 피드백 강도와 유형을 조정하는 개인화 구조가 사용자 경험을 향상시키는 것에 효과적일 것으로 평가되었다. 또한 사용자의 행동 패턴을 기반으로 학습이 누적됨에 따라 피드백이 점차 정교화되어지는 구조가 긍정적으로 작용할 것으로 보인다고 하였다.

“사용자 반응 및 운전 패턴의 데이터를 통해서 연령대, 운전 숙련도 등의 여러 변수에 반응할 수 있도록 피드백 세기를 세밀하게 조정할 수 있는 점에서 매우 긍정적일 것이라 예측한다.” (전문가 2)

둘째, 피드백 제공 방식은 상황 중요도에 따라 강도 및 빈도를 조정하며, 자율주행 단계별로 차별화된 설계를 통해 사용자 집중도와 안전성을 동시에 고려한 구조로 평가되었다. 특히 자율주행 Level 2와 Level 3에서는 운전자의 인지 부하를 최소화하고, Level 4와 Level 5에서는 비상 상황에 대해 필요한 수준의 경고를 제공하는 구조가 적절하다는 의견이 제시되었다.

“특히 상황 중요도에 따른 피드백 유형 분류는 자율주행 단계에 따른 사용자 역할 별 멀티모달 인터랙션 시스템 설계 시 실질적인 도움이 될 것으로 판단됩니다. 피드백 분류 기준은 매우 구체적이어서 개선 사항이 적절히 구현되었다 생각합니다.” (전문가 4)

셋째, 시스템 안정성 측면에서는 레이어 간 연결성 및 오류 처리 방안이 체계적으로 설계되어 데이터 유효성 검증과 오류 발생 시 하위 레이어로 회귀하여 재처리하는 과정이 신뢰도를 높일 수 있는 구조로 평가되었다. 또한 반복 학습과 검증하는 과정을 통해 장기적으로 시스템의 정확도와 적응성이 강화될 것으로 기대되었다.

“단계별 데이터 흐름과 상호작용 방식에 대한 설명이 보완되어 피드백까지의 처리 과정이 논리적으로 연결되어 있다. 또한 오류 발생 시 해당 레이어로 이동/재실행하여 상위 레이어로 전파되는 것을 제지한 점에서 일관성을 높일 수 있을 것으로 보인다.” (전문가 7)

마지막으로, 다중 사용자 환경에서 사용자 전환 옵션 적용의 필요성이 제기되었고, 상황별 피드백 적용의 시나리오와 오류 처리 반복 시의 대처 방안 등의 추가 개선 사항이 제안되었다. 특히 렌터카와 같은 공유 차량 환경에서의 사용자 맞춤형 인터랙션 제공 방식에 대한 고려가 필요하다는 의견도 제시되었다.

이러한 결과를 바탕으로 본 연구에서 제안한 프레임워크는 사용자 중심의 멀티모달 인터랙션 설계와 피드백 제공 방식에서 높은 평가를 받았으며, 지속적인 학습 및 개선을 통해 자율주행 차량 환경에서 사용자 신뢰성과 편의성을 더욱 향상시킬 가능성을 확인하였다.