시선추적장비를 활용한 항해사들의 AOI 분석을 위한 항해 시뮬레이션 실험

Ⅰ. 서 론

S-Mode는 항해장비에 있어 표준화된 디스플레이, 기능 및 공통 인터페이스를 사용자에게 제공하여 항해기능의 사용자 친화를 도모함으로써 항해안전성을 향상시키는 것을 목적으로 UN산하 해양 분야의 표준을 제정하는 국제해사기구(IMO, International Maritime Organization)에서 e-navigation의 일환으로 현재 논의 중인 개념이다. 2008년, 국제선장협회에서 그 필요성을 제기한 이래로 선박 항해 장비의 인터페이스 개선을 위한 가이드라인을 정의해오고 있다[1]. e-navigation의 기본 개념은 선박의 전체 항해에 걸쳐 편리하고 효율적인 정보의 제공을 지향하고 있다[2][3].

본 연구는 항해장비의 인터페이스 개선을 위해 항해사가 주로 바라보는 영역과 기능, 즉 AOI(Area of Interest)를 조사하기 위해 항해 시뮬레이션 장비에서 실험한 결과를 설명한다. 항해 시뮬레이션 장비는 실제 선박에서 항해하는 상황을 연출하여 항해사들이 해당 장비가 탑재된 선박을 승선하기 이전 훈련을 하는 데 활용된다.

본 연구의 실험은 2명의 항해사를 대상으로 고글형 시선추적장비를 착용하고 20분가량의 시나리오 기반의 항해 시뮬레이션을 수행한 결과를 분석했다. 항해 시나리오는 크게 충돌 피항, 대각도 변침, 일반 모니터링으로 실제 항해에서 주로 수행하는 세 가지 과업을 수행하도록 구성되었다.

시선추적장비는 항공 분야와 철도 분야 등 다양한 분야에서 사용자들의 작업환경을 개선하기 위해 활용되고 있다[4][5]. 사용자의 시선을 분석하는 것은 인적요인을 고려한 설계에 주요 지표로 활용되고 있으며, 이를 기준으로 사용성 평가에 활용하고 있다[6][7].

시선추적장비를 이용해 실험의 과정이 영상파일로 저장 되었고, 이를 분석하여 항해 중 사용되는 필수정보 및 기능 그룹을 도출하였다. 이러한 필수정보 및 기능은 사용자가 신속하고 쉽게 이용가능 하도록 화면상 배치 또는 접근 도구를 제공하여 사용자 친화적인 장비 개발에 도움을 줄 수 있다.

Ⅱ. 관련 연구

2-1 S-Mode 가이드라인 개발현황

2017년 한국, 호주 등이 참여중인 IMO S-Mode 작업반에서 S-mode 가이드라인의 초안을 발표했다. 표 1과 같은 항해장비 표준화 설계 원칙을 포함한 본 문서와 S-mode에서 제시하는 항해 장비의 사용자 친화를 달성하는 데에 참고할 수 있는 부속서가 포함되었다. 부속서의 종류는 표 2와 같다[8].

Table 1.

Standardization design principles of navigational equipment

Table 2.

Appendices and contents of S-mode guideline

2-2 시선추적장비를 활용한 해군 AOI 분석 사례

항해사의 작업 환경에서 선교의 배치 및 항해장비의 GUI의 사용성과 관련된 특정 문제를 식별하고 이를 개선하기 위한 방법을 찾기 위한 목적으로 본 논문에서 제안하는 실험과 유사한 실험이 노르웨이에서 있었다.

노르웨이 해군의 코르벳함에서 수행한 실험으로 항해사에게 고글형 시선추적장비를 착용하도록 한 후 시선 데이터를 얻어 항해 중의 AOI를 분석했다[9].

특정 영역에 시선이 머문 시간을 측정하고, 어떤 영역을 더 많이 바라보는지 그 빈도를 확인한 후, 시간 경과에 따른 시선의 경로를 확인했다.

시선이동에 따른 경로를 확인하는 것은 시선이 움직였다가 기존에 바라보던 것으로 되돌아오는 시선의 경로를 파악하고 분석하기 위함이다. 되돌아오는 시선은 해당 영역이 중요한 정보이기 때문에 재확인하는 것일 수도 있고, 이해하는 데에 어려움이 있어서 재확인하는 것일 수도 있다. 그림 1은 그 결과를 보여준다. 돌아오는 시선의 50% 정도가 외부와 ECDIS(Electronic Chart Display and Information System)를 오간 시선으로, 이는 항해사가 ECDIS에서 제공된 정보를 해석하거나 이해하고 암기하는 데 어려움을 겪는 것을 보여준다.

Fig. 1.

Chart of backtracks

이 실험을 통해 항해장비 내에서 정보를 해석하는 데에 어려움을 겪는 영역, 기능의 조작을 위한 버튼이 비슷하게 생긴 것으로 일어날 수 있는 혼동의 문제, 관심영역임에도 불구하고 화면의 가장 모서리에 위치하며 글자 크기가 작아서 계속해서 재확인을 하는 영역 등을 파악하여 해당 부분에 대한 개선을 제안했다.

Ⅲ. 항해사들의 AOI 분석을 위한 실험

본 실험은 항해장비의 사용성 개선을 위해 현재 실제 항해 업무 수행 시 항해사들이 어떤 장비 또는 작업 영역에 주로 시선이 머무르고 어떤 기능을 더 자주 응시하는지 파악하는 것을 목적으로 수행되었다. 항해사들은 시선추적장비를 착용한 상태에서 항해 시뮬레이터 장비에서 주어진 항해 시나리오의 요구에 따라 항해를 했다.

충돌 피항, 대각도 변침, 일반 모니터링의 주요 세 과업을 포함한 실험 시나리오와 시험에 대한 상세 내용 및 그 결과는 다음과 같다.

3-1 실험 시나리오

계획된 항해 시나리오는 20분으로 구성되며 각 시간당 항해 상황 및 의도되는 동작은 그림 2와 같다.

Fig. 2.

Test scenario

영국 도버해협에서 운항하는 것을 가정한 가상 항해로써 320도에서 코스가 시작된다. 시작부터 약 8분까지는 본선 우현에서 교차상태의 선박이 접근하는 상황을 세워 항해사가 선박과 충돌을 피하기 위한 동작을 수행하도록 한다. 8분에서 17분 사이에는 항구에 입항하기 위한 상황을 세워 항해사가 245도로 대각도 변침을 수행하도록 한다. 17분에서 20분까지는 특별히 의도하는 동작 없이 일반적인 항해 모니터링을 수행하도록 한다.

3-2 실험 방법

1) 실험 개요

실험에는 현직 항해사 2명이 실험에 참여했으며 같은 제조사의 선박 조종 시뮬레이션 장비에서 실시되었다. 실험대상 선박 조종 시뮬레이션 장비는 전 세계적으로 많은 비중을 차지하고 있는 A사 장비이다.

선박 조종 장비는 복잡한 기능을 포함하고 있어 항해경험이 많은 항해사이더라도 특정 장비를 사용한 경험이 적거나 최근 사용하지 않은 경우 장비를 신속하게 다루는 데는 어려움이 있다. 이러한 이유로 실제 선박에서도 승선하는 항해사들에게 장비 친화를 위한 교육을 정기 또는 비정기적으로 실시하고 있다.

본 실험에서도 실험 전 해당 장비에 대한 친화 교육을 실시했다. 실험은 실험 진행자와 피험자인 항해사로 구성되어 이루어졌다. 피험자는 시선추적기 장비를 착용한 채 항해 시나리오에 따라 의도된 동작을 수행하고, 실험 진행자는 조타수로서 대각도 변침을 도왔다. 그림 3은 실험의 일부 장면이며, 표 3은 실험에 참여한 피험자 항해사들의 프로파일이다.

Fig. 3.

Test scene

Table 3.

Testee profile

2) 실험 장비

항해사의 AOI 분석을 위해 고글형 시선추적장비를 활용했다. 본 실험에 도입한 고글형 시선추적장비는 토비 테크놀로지의 Tobii Pro Glasses 2 제품이다. 이는 착용자의 시선을 수집하기 위한 고글형 시선추적장비와 시선 데이터를 저장하기 위한 컨트롤 유닛으로 구성되어 있다.

시선추적장비 활용을 위해서는 시선 추적을 위한 컨트롤러 소프트웨어를 컴퓨터에 설치해야 한다. 컨트롤 유닛에 SD카드를 장착하고 시선추적장비와 HDMI 케이블로 연결한 후 소프트웨어를 구동하여 해당 장비를 연결하면 시선 데이터 저장 및 관리가 가능하다. 시선추적장비는 전용 배터리를 사용하며 이는 충전형으로 배터리 하나당 최대 1시간 반 정도 사용이 가능하다. 시선 추적을 위한 컨트롤러 소프트웨어는 Windows 7, 8, 8.1 and 10 (32/64 bit 운영체제), Intel Core i5 이상의 CPU, 1024x768 이상의 해상도, 메모리 2GB이상일 때 구동가능하다. 그림 4는 고글형 시선추적장비를 착용한 모습이다.

Fig. 4.

Wearing the eye tracker

3-3 실험 결과

항해사들의 항해 업무 중 선교 내의 AOI와 레이더(RADAR), ECDIS 화면상의 주요 사용 정보 및 기능을 분석한 결과는 다음과 같다. 선교는 선박 조종 장치가 있고 외부 견시를 할 수 있는 선박의 항해 조종실이다.

1) 선교 AOI 분석

그림 5는 실험을 진행한 선박 조종 시뮬레이터의 선교 파노라마 사진이며 그림 6은 선교의 히트 맵(Heat map)을 보여준다. 히트 맵은 사용자의 시선 데이터를 그래픽화 한 것으로 많이 본 곳일수록 붉은색, 적게 본 곳일수록 초록색에 가깝게 표시된다.

Fig. 5.

Bridge of simulator

Fig. 6.

AOI analysis of the bridge

히트 맵은 실험을 통해 얻은 시각적 데이터를 각 프레임을 기준으로 복사하고 수동으로 각 시선 포인트를 원래 파노라마 샷에 배치하여 아래에 표시된 히트 맵을 작성했다.

그 결과 항해사는 항해 중 선교 내에서 레이더, ECDIS, 외부 견시, 계기판, 그 외 운항에 필요한 정보를 보여주는 코닝 디스플레이(Conning display)순으로 많이 바라보는 것을 파악했다.

2) 레이더 및 ECDIS화면에 대한 AOI 분석

그림 7과 그림 8은 시뮬레이터 실험 결과 레이더 및 ECDIS 화면 내에서의 AOI를 보여주는 히트 맵이다.

Fig. 7.

Heat map of RADAR

Fig. 8.

Heat map of ECDIS

이 두 그림으로 레이더 및 ECDIS에서 텍스트 정보보다 그래픽 화면을 더 많이 보고 있는 것을 알 수 있다. 텍스트 정보 중 주로 확인하는 것은 항해중인 본선의 코스, 라인, CPA(Closet Point of Approach)등이다. 이처럼 히트 맵을 통해 단순히 장비 내에서 많이 바라보는 영역을 확인할 수도 있고, 영상과 함께 확인하면 해당 영역에서 어떤 기능을 수행하는 지 확인할 수도 있다.

(1) 자주 사용하는 기능 분석

그림 9는 히트 맵과 시선추적장비로 녹화된 영상을 분석하여 레이더 및 ECDIS 장비에서 주로 사용하는 기능의 빈도를 분석한 결과이다. 이는 시선 추적 비디오 프레임을 초 단위로 분석했다. 항해용 장비에서 제공하는 ‘기능(function)’은 버튼 혹은 트랙볼 등의 형태로 존재하며, 항해사가 이를 조작하여 지시된 항해 과업을 수행한다.

Fig. 9.

Frequency of used function during ship navigation simulation(%)

레이더 및 ECDIS의 많은 기능 중 충돌 피항, 대각도 변침 및 경로 모니터링 작업을 수행 할 때 각 장비에서 사용된 기능 목록은 레이더의 경우 8개, ECDIS의 경우 5개로 이 표에 표시된 단 몇 가지 기능만 사용 된 것을 확인할 수 있다.

ECDIS에서 빈번하게 사용한 기능의 용도는 다음과 같다.

- AIS(Auto Identification System), Radar overlay: AIS는 선박을 식별하고 그 위치를 파악하기 위해 배의 항적을 기록하는 자동 추적 시스템이며 AIS, Radar overlay 기능은 각각 ECDIS 화면에 AIS 선박을 나타내고 레이더 화면을 중첩시키기 위함
- VRM(Variable Range Marker) 및 EBL(Electronic Bearing Line): 각각 가변 거리 측정기 및 전자 방위선으로 타 선박 및 육지까지의 거리와 방위를 측정하기 위해 사용
- Zoom in/out: ECDIS 화면의 확대/축소
- Target information of AIS: AIS로 타선의 정보를 확인하기 위함

레이더에서 빈번하게 사용한 기능의 용도는 다음과 같다.

- VRM및 EBL: 각각 가변 거리 측정기 및 전자 방위선으로 타 선박 및 육지까지의 거리와 방위를 측정하기 위해 사용
- Alarm off: 경고 알람을 끄기 위함
- Target del: 목표선박 삭제
- Target ack: 목표선박 인지
- Target data: 목표선박 정보
- Off center: 자선의 위치를 화면의 중심이 아닌 다른 곳으로 이동시킬 수 있는 기능
- Zoom in/out: 레이더 화면의 확대/축소

(2) 자주 사용하는 정보 분석

한편, 기능 버튼 혹은 트랙볼의 조작 없이 디스플레이에 표시된 내용을 확인하는 경우가 있다. 이를 항해용 장비에서 ‘정보(information)’의 용어로 기능과 구분해서 표현한다. 본 실험에서 정보에 대한 빈도를 별도로 분석했다.

그림 10은 레이더 및 ECDIS 화면에 표시된 정보 중에서 항해사가 자주 응시한 정보를 추출하고 자주 응시한 정보들 중 상대적으로 빈번한 정도를 비교한 결과이다.

Fig. 10.

Frequency of used information during ship navigation simulation(%)

레이더의 정보 중 자주 사용하는 정보의 의미는 다음과 같다.

• - 자선(ownship)
  ● Heading: 선수방향
  ● Speed: 선속
  ● Heading line: 선박의 진행방향 표시선
• - 목표선박(target ship)
  ● COG(Course over the Ground): 대지침로
  ● Speed: 선속
  ● CPA: 목표 선박과의 최근접점
  ● TCPA:(Time to Closet Point of Approach): 최근접점까지의 시간
  ● VRM 및 EBL: 가변 거리 측정기 및 전자 방위선

ECDIS의 정보 중 자주 사용하는 정보의 의미는 다음과 같다.

• - 자선(ownship)
  ● Position on display: 현재 자선 위치
  ● Heading: 선수방향
  ● COG&SOG(Speed over the Ground):대지침로 및 대지속력
  ● Speed: 선속
• - 선박자동식별장치(AIS)
  ● Ship name, speed: 선박의 이름 및 속도
  ● Targetships on display: 화면상의 목표 선박
• - 레이더 항법장치(ARPA)
  ● CPA: 목표 선박과의 최근접점
  ● TCPA: 최근접점까지의 시간
• - 경로 정보(Route Info)
  ● Route on Display: 화면상의 항해 경로
  ● Distance to Waypoint: 다음 변침점까지의 거리
  ● XTD(Cross Track Distance): 항로 폭
  ● GPS Position: GPS기반의 자선위치
  ● VRM 및 EBL: 가변 거리 측정기 및 전자 방위선

Ⅳ. 실험 결과 고찰

본 논문에서는 선박의 항해 업무에 사용되는 주요 항해장비인 레이더와 ECDIS에 포함된 기능과 화면에 표시되는 정보 중 빈번하게 사용되는 기능과 정보를 도출하기 위해 선박 조종 시뮬레이터에서 시선추적장비를 이용해 실험했다.

본 실험을 통해 도출한 정보 및 기능들은 안전한 항해를 위해 항해장비에서 사용되는 필수적인 정보 및 기능으로, 이를 쉽게 찾고 편리하게 이용할 수 있도록 관련된 항목을 기반으로 그룹화 할 때 사용자들이 장비 친화에 들이는 시간을 줄일 수 있다.

또한 필수 정보 세트를 디스플레이상 사용자가 파악하기 좋은 곳에 위치시키고 정보의 그룹화 및 필수 기능 세트와 관련하여 편리한 접근 방법(키보드의 버튼, 디스플레이의 아이콘 등)을 제공하면 더 빠른 의사결정을 할 수 있도록 도움으로써 안전한 항해를 유도할 수 있다.

Ⅴ. 결 론

본 연구는 항해장비의 인터페이스 개선을 위해 항해사의 항해당직 중 AOI를 조사하고자 항해 시뮬레이션 장비에서 실험한 결과를 다루었다. 이는 2명의 항해사를 대상으로 고글형 시선추적장비를 착용하도록 하고 20분가량의 시나리오 기반 항해 시뮬레이션을 수행한 결과를 분석한 것이다.

항해 시나리오는 영국 도버해협을 운항하는 선박에서 충돌 피항, 대각도 변침, 일반 모니터링의 업무를 수행하는 것을 포함하며 이는 실제 항해에서 주로 수행하는 세 가지 과업이다.

실험의 분석은 항해 중 항해사가 바라보는 선교 전체 대상의 AOI와 레이더 및 ECDIS 장비 내의 AOI로 구분하여 실시했으며, 그 결과 자주 사용하는 기능과 정보를 파악할 수 있었다.

이 결과는 상당히 많은 기능과 정보표시가 장비에서 제공되고 있으나 항해사들이 사용하기에 편리하게 배치되어 있는지에 대한 연구를 위한 기초 자료로 활용될 수 있으며 UN산하 국제해사기구에 보고될 예정이다.

Acknowledgments

이 논문은 해양수산부 재원으로 해양수산과학기술진흥원과 한국형 e-Navigation 사업단의 지원을 받아 수행된 "IMO 차세대 해양안전 종합관리체계 기술개발” 연구 결과 중 일부이다.

References

• IMO, The concept of S-Mode for onboard navigation displays, submitted by the International Federation Of Shipmasters’ Associations(IFSMA), International Maritime Organization, London, IMO NAV 54/13/1 p1-4, April), (2008.
• H. Kim, C. Mun, S. Lee, “Analysis and Experiment of Portrayal Process based on S-100 Standard of Marine Safety Information”, Journal of Digital Contents Society, 19(7), p1289-1296, July), (2018.
• H. Kim, C. Mun, S. Lee, “A Design of Data Model for Marine casualty based on S-100”, Journal of Digital Contents Society, 18(4), p769-775, July), (2017.
• F. D. Nocera, M. Camilli, M. Terenzi, “A Random Glance at the Flight Deck: Pilots' Scanning Strategies and the Real-Time Assessment of Mental Workload”, Journal of Cognitive Engineering and Decision Making, 1(3), p271-285, September), (2007.
• Y. Horiguchi, T. Sawaragi, H. Nakanishi, T. Nakamura, T. Takimoto, H. Nishimoto, “Comparison of Train Drivers’ Eye-Gaze Movement Patterns Using Sequence Alignment”, SICE Journal of Control, Measurement, and System Integration, 8(2), p114-121, March), (2015. [https://doi.org/10.9746/jcmsi.8.114]
• A. Poole, L. J. Ball, Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects. Chapter in C. Ghaoui (Ed.): Encyclopedia of Human-Computer Interaction, Idea Group, (2004).
• IMO, Guideline on Software Quality Assurance and Human-Centred Design for e-Navigation, International Maritime Organization, London, MSC.1/Circ.1512 July), (2013.
• IMO, Guideline on standardized mode of operation, International Maritime Organization, London, NCSR 5/7 p1-5, November), (2017.
• O. S. Hareide, R. Ostnes, “Maritime Usability Study by Analysing Eye Tracking Data”, THE JOURNAL OF NAVIGATION, 70(5), p927-943, September), (2017. [https://doi.org/10.1017/s0373463317000182]