Current Issue

사용자의 실제 조작 행태와 보안 요원의 역할 차이를 확인하기 위해, 2025년 4월부터 5월까지 세 기관(김해공항, 국회의사당, 특허청)을 대상으로 현장 관찰을 실시하였다. 각 기관의 검색 절차, X-ray 장비 운용 방식, 사용자 행동을 구조화된 관찰지표에 따라 기록하였으며, 보안 검색의 전 과정에 대한 분업 구조 및 인터페이스 활용 차이를 분석하였다(그림 1).

Fig. 1. 
Field observation sites and security screening procedures

^*Korean text appears because the onsite signage is in Korean.

현장 관찰 결과, 기관별 보안 검색 절차는 대체로 ‘입장 → 소지품 분리 → 검색 → 수거 → 퇴장’의 유사한 순서로 이루어졌으나, 운영 방식과 보안 요원의 역할에는 뚜렷한 차이가 있었다.

김해공항은 모든 탑승객이 검색대를 반드시 통과해야 하므로 보안검색대 앞에 항상 줄이 길다. 따라서 검색 절차 전반에 걸쳐 5명의 보안 요원이 배치되어 X-ray 검색대가 설치된 게이트마다 분업 체계를 갖추고 있었다. 반면, 국회 의사당은 관람 출입문에 2명의 보안 요원이, 특허청은 4개의 출입구 마다 각각 1명의 보안 요원이 한 대의 X-ray 검색대를 방문 신청 및 출입 확인을 거친 방문객을 대상으로 보안 검색이 이루어졌으며, 방문객이 직접 검색대에 진입하고 보안 요원은 이상 상황에만 개입하거나 도움이 필요할 때에만 보조 역할에 집중하였다. 특허청은 민원동(출입증 발급 센터)센터에서 1번째 검색을 거쳐 본청 출입 시 2번째 추가 보안검색을 실시하였다. 개인 방문자는 셀프로 검색대에 진입하고, 화물 방문 예약 확인 및 개봉 검사를 보안요원이 진행하였다.

이러한 차이는 공항, 공공기관, 기업, 행사 등 다양한 환경에서 보안 검색 운영 방식과 이에 따른 사용자 경험이 서로 다르게 나타날 수 있음을 보여준다(그림 2).

Fig. 2. 
Operational status of security X-ray screening equipment by institution

2023년부터 2024년까지 서비스 개발 과정에서 개발팀과 협업하며, 애자일 프로세스의 일환으로 총 세 차례 사용성 평가를 수행하였다. 모든 평가는 프로토타입 UI를 대상으로 휴리스틱 평가 지표와 Think-Aloud 기법을 적용하여 진행되었으며, 참가자의 발화와 조작 과정을 영상·음성으로 기록해 분석 자료로 활용하였다. 세부 절차는 동일하였다.

세 차례 평가 결과는 아래와 요약된다. 1차(2023.8, 국제치안산업대전(KPEX 2023)는 일반인과 업계 종사자를 대상으로 하였으며, UI 조작법 이해 부족과 직관적 아이콘 설계 필요성이 확인되었다. 2차(2024.5, 위더스제약 2024 민속씨름 유성온천장사씨름대회)에서는 공무원 및 업계 종사자들이 버튼 용어·레이아웃의 비직관성을 지적하였고, ROI 기능 개선 요구가 나타났다. 3차(2024.6, 2024년 실용인공지능 컨퍼런스(AAiCON 2024))에서는 디자인 전공 학생들이 색상·필터 기능 조작의 어려움을 지적하며 간단한 매뉴얼과 온보딩 절차의 필요성을 강조하였다.

세 차례 평가에서 공통적으로 확인된 문제는 아이콘과 용어의 직관성 부족, 사용자 가이드의 부재, 조작법 난이도였으며, 이에 따라 UI 단순화·명확화 및 학습 지원 장치의 필요성이 도출되었다(표 1).

그림 3은 2023년부터 2024년까지 진행된 1·2·3차 평가의 현장 모습을 단계별로 정리한 것으로, 연구의 반복적 개선 과정을 시각적으로 보여준다.

Fig. 3. 
Three iterative usability evaluations (2023–2024)

^*The UI during the first usability test used Korean labels, and the booth and guides were bilingual.

본 단계는 개선된 프로토타입의 현장 적용 가능성과 AI 기능 수용성을 검증하기 위해 실시되었다. 2025년 5월 30일, 개선된 프로토타입 UI를 대상으로 세관 판독 전문가 5인을 초청하여 심층 사용성 평가를 진행하였다(그림 4).

Fig. 4. 
Fourth usability evaluation (May 2025)

^*The UI in the usability test included both Korean and English.

참가자는 모두 10년 이상(최대 39년)의 실무 및 교관 경력을 보유한 고경력자들로, 실제 현장 경험을 바탕으로 한 의견을 수집할 수 있었다. 실험은 약 3시간 동안 독립된 공간에서 개별적으로 이루어졌으며, 사전 매뉴얼 학습, 프로토타입 조작을 통한 사용성 평가, 설문조사, 심층 인터뷰의 순서로 구성되었다. 본 연구는 생명윤리법상 IRB(생명윤리심의위원회) 심의 대상에는 해당하지 않는 비침습적 사용자 경험 분석 연구로, 연구 참여자들에게는 사전에 연구 목적과 절차를 충분히 설명하고, 개인정보 활용, 촬영 및 녹음에 대한 동의를 서면으로 받은 후 진행하였다.

실험은 사전 매뉴얼 학습 → 프로토타입 조작을 통한 사용성 평가 → 설문조사 → 심층 인터뷰의 순서로 진행되었으며, 전 과정은 발화 분석 기법을 적용하여 참가자의 언어적·행동적 반응을 기록·분석하였다. 이를 통해 단순한 조작성 피드백을 넘어 인지적·정서적 장벽과 현장 적용상의 한계를 파악할 수 있었다.

평가는 물질 분석, 정제, ROI 필터의 세 가지 핵심 기능(그림 5)을 중심으로 이루어졌으며, 발화 분석 기법을 적용하여 참가자의 언어적·행동적 반응을 기록·분석하였다. 본 연구의 발화 분석은 데이터 기반의 새로운 주제를 도출하는 귀납적 내용 분석(Inductive Content Analysis) 절차를 따랐다. 2인의 연구자가 독립적 분석 후 협의를 통해 주제의 타당성 및 신뢰도를 확보하였으며, 이 과정은 어피니티 다이어그램에 기반한다. 도출된 4개의 설계 방향은 발화 분석뿐만 아니라 현장 관찰, 반복적 사용성 평가, 전문가 심층 인터뷰의 결과를 상호 검토(Triangulation)하여 도출되었으므로, 데이터 해석의 타당성을 높였다. 이를 통해 기존 판독 방식을 고수하려는 경향, AI 기능에 대한 신뢰성 부족, 매뉴얼 복잡성과 UI 직관성 한계가 반복적으로 확인되었다. 동시에 액체 분석과 ROI 필터와 같은 신기능은 판독 난제를 해결할 잠재력이 있다는 점에서 긍정적으로 평가되었다.

Fig. 5. 
Three core functions (tasks) of the security X-ray scanner AIXAC-RX

이러한 결과는 AI 기반 기능이 즉각적으로 현장에 수용되기에는 여전히 장벽이 존재함을 보여준다. 그러나 신뢰성 확보와 학습 부담 완화가 병행된다면, 전문가들도 새로운 기능을 보조 도구로 활용할 가능성이 크다는 점이 확인되었다. 따라서 온보딩 절차 강화, 간결한 매뉴얼 제공, 기능 버튼 재배치와 같은 구체적 개선이 요구되며, 이는 AI 전환기에 적합한 협업형 UI 설계의 근거가 된다.

본 연구는 보안검색기의 사용자 인터페이스(UI) 개선을 위해, 실무 경험이 풍부한 현장 전문가를 대상으로 제한된 환경에서 심층 사용성 평가를 실시하였다. 이를 통해 실제 운영 현장에서의 문제점과 개선 요구를 보다 구체적이고 현실적으로 도출하고자 하였다.

발화 분석은 사용자의 언어적 반응을 통해 경험 속 인지적, 정서적, 절차적 문제를 정성적으로 도출하는 질적 연구 방법이다. 특히, 시스템을 조작하는 과정에서 나타나는 자연스러운 언어 표현은 복잡한 작업 환경에서의 불편 요소나 학습 곤란 지점을 구체적으로 밝혀내는 데 효과적이다.

본 연구에서는 이러한 발화 분석의 특성을 반영하여, 무인 시스템 운용자의 사용성을 발화 기반으로 분석한 원종윤, 이현진의 선행연구를 참고하였다[12]. 또한, 진종현, 연명흠이 진행한 발화 분석 절차를 바탕으로 본 연구의 목적과 실험 맥락에 맞게 일부 절차를 변형·적용하였다[13]. 이를 통해 판독 전문가 5인의 사용성 평가 및 인터뷰 과정에서 나타난 주요 발화 내용을 구조화하고, 인지적·절차적 문제를 도출하였다(그림 6).

Fig. 6. 
Usability evaluation and expert in-depth interviews

^*Onsite materials are presented in Korean.

수집된 발화는 어피니티 다이어그램(Affinity Diagram) 기법을 활용하여 의미 단위로 분류·통합하였으며, 주제별로 재구성하여 총 4개의 핵심 영역을 도출하였다. 총 149개의 발화 내용을 분석하였으며, 참여한 5명의 전문가는 A, B, C, D, E로 식별하고, 각 발화는 [A:2](A는 발화자 / 2는 발화 내용을 번호로 코딩한 것)와 같이 표기하였다(표 2).

5명의 참가자 모두 물질 분석 기능을 사용하는데 어려움을 겪었다(표 3, No 1). 이들은 검색 전문가지만 물질 분석 기능은 AI 기술로 새롭게 도입된 기능으로 참가자는 AI 기능을 사용하지 않고, 기존 판독 방식을 고수하였다(표 3, No 2). 또한 AI 기능인 물질 분석 기능이 기존 방식에 비해 시간이 오래 걸린다고 지적하였다(표 3, No 3).

기존 판독 방식은 전문가가 육안으로 판독했기 때문에 별도의 기능을 활용하는 절차가 없었기 때문에 오히려 번거롭게 인식되었다. 하지만, 물질 분석 기능의 필요성에 공감하며 기능에 대한 추가 문의를 하는 등 관심을 보였다. 기능이 정확히 잘 작동할 경우 매우 유용할 것이라는 의견을 보였다(표 3, No 4, No 5). 그리고 기능을 보완하기 위한 개인적인 노하우와 사례를 공유하기도 하였다(표 3, No 6).

정제 기능에서도 사용법을 이해하기 어려워 기존 판독 방식을 고수하거나 기존 판독 방식보다 AI 기능 사용이 오히려 시간이 더 걸린다며 실무 적용의 한계를 언급하였다(표 4, No 1, No 2, No 3).

정제 기능은 이상을 감지한 순간에 오식별 된 것을 재판독하고 라벨링 할 수 있는 기능으로 데이터 클리닝에 속하는 기능이다. 이 기능을 누적 사용하면 AI 식별의 오답 데이터가 쌓여 이를 개선하여 AI 기능의 정확도를 향상시킬 수 있어 AI 기능을 안정적으로 도입하기 위해 꼭 필요한 기능이다. 하지만 실제 상황에서 인간 판독자가 AI의 오식별을 육안으로 감지한 상황이라면 이는 비상상황일 수 있다. 예를 들어 AI가 감지하지 못한 총을 인간 판독자가 감지했다면 정제기능을 사용하는 대신 비상 대응을 해야 한다. 따라서 이상 징후 발견에 대한 짧은 표식 정도만 남기고 정확한 데이터 라벨링은 검색 절차와 구분하여 별도로 진행할 필요가 있다.

ROI 필터 기능에서도 사용자들은 ROI 필터 기능의 사용법을 이해하는데 어려움을 겪었으며(표 5, No1), 기존 판독 방식을 고수하며 공항과 같은 실무 환경에서 해당 기능의 실효성에 의문을 제기하였다(표 5, No 2). 그럼에도 불구하고 판독이 어려운 고밀도 영상에서는 판독 정확도 향상에 기여할 수 있는 기능으로 평가되었으며(표 5, No 3), 향후 사용방법 안내와 UI 개선을 통해 활용 가능성이 있는 기능으로 평가하였다.

기존 매뉴얼에 대한 전문가 의견 분석 결과, 복잡하고 장황한 설명으로 인해 전체 내용을 숙지하기 어렵고, 전문가조차 조작법을 이해하는 데 어려움을 겪는 것으로 나타났다. 특히 정보 전달 방식이 텍스트 중심으로 구성되어 있어 핵심 내용을 직관적으로 파악하기 어려우며, 한눈에 이해 가능한 간결한 요약 매뉴얼의 필요성이 제기되었다(표 6, No 1).

또한, 매뉴얼 내 일부 페이지의 내용이 현장성과 일치하지 않거나 설명이 현실과 맞지 않는 부분이 존재하였다. 예를 들어, 화약·마약·총기류 등 위험물의 색상 표현이 포장 상태에 따라 달라질 수 있음에도 불구하고, 매뉴얼에서는 색상으로 식별이 가능하다는 방식으로 기술되어 있어 실효성에 대한 의문이 제기되었다. 이에 따라, 기존 매뉴얼의 내용 수정 및 시각적 직관성을 높인 재구성이 요구되었다(표 6, No 2).

AI 기능이 탑재된 보안 검색 장비 사용 전 AI 기능을 숙지해야 한다. 몇몇 기능의 배치나 조작방식 변경을 제안하기도 하였다(표 6, No 1). 또한 참가자들은 3가지 과제(Task)의 기능에 대해서도 전문가로서의 제안을 하기도 하고 관심 있는 기능에 대해 문의하기도 하였다. 또한, 은닉한 물질들 – 금을 납으로 코팅한다거나 화학처리해서 들여오는 물질들 – 을 AI가 어떻게 식별하는지에 대해 문의하기도 하였다(표 7, No 2).

본 연구에서는 발화 분석을 통해 AI가 도입된 보안용 X-ray 검색기AIXAC-RX UI 개선을 위한 세 가지 핵심 영역이 도출되었다(그림 7).

Fig. 7. 
Usability evaluation results of the security X-ray scanner AIXAC-RX

첫째, 사용빈도와 주요도에 따른 효율적 화면 구성이 필요하다. 전문가들은 기존 판독 과정에서 사용되던 ‘확대’, ‘컬러’, ‘필터(진하기)’, ‘콘트라스트’, ‘샤프니스’, ‘상하·좌우 반전’ 등의 기능을 우선 활용하였으며, 이들 기능은 기초 판독 정확도를 높이기 위한 필수 도구로 인식되었다.

둘째, 운용자가 믿을 수 있는 인터페이스를 제공해야 한다. 이를 위해 정제기능을 강조하고, 사용 맥락에 따라 절차를 재구성 하였다. AI 기반 신기능에 대한 수용성은 전반적으로 낮았으며, 오식별, 미식별 등 오류 발생 가능성에 대한 우려가 컸다. 특히, 화학 처리 및 은닉된 물품·액체의 경우 AI의 판독 한계가 지적되었다. 이러한 상황에서 정제 기능의 보완적 역할이 중요하다는 의견이 강조되었다. AI의 판단 결과는 신뢰도를 기반으로 보조 기능 형태로 제공되어, 판독자가 쉽게 확인하고 교차 검토할 수 있어야 한다는 제안이 있었다. 판독 시 실시간 정제는 불가능하나 전문가가 육안으로 이상 징후 발견 후 짧은 표식을 하고 검색 절차와 구분하여 라벨링을 진행할 수 있는 절차를 제안하였다.

셋째, 기능이 정확히 잘 작동할 경우 실제 판독 업무에서 가장 높은 요구도가 확인된 기능인 물질 분석(액체 분석)과 판독이 어려운 고밀도 물질 상세 분석이 가능한 ROI 필터 기능은 유용한 기능으로 평가되었으며, 현장 실무에서 긍정적으로 평가되었다.

AI 자동 판독 기능은 보안 인력의 부담을 경감할 수 있다는 점에서 기대를 모았으나, 신뢰성 확보를 위한 추가 보완이 필요하다는 지적도 있었다. 특히, 중첩 시 물체를 판독할 때는 다각도 영상 제공이 정확도 향상에 필수적이라는 의견과, 일부 기능 버튼의 위치가 직관적이지 않아 사용 시 어려움이 있다는 점도 문제로 제기되었다.

이러한 전문가들의 의견은 보안검색기 인터페이스의 사용성 개선뿐만 아니라, AI 기능의 신뢰성 확보, 사용자 교육 및 안내 체계 구축의 중요성을 함께 시사한다.