항해장비 사용성 개선을 위한 여객선 항해사 시선분석 실험

Ⅰ. 서 론

자동차, 항공기, 의료장비 및 각종 산업용 장비에 이르기까지 장비 사용 시 사용자의 편의를 개선하기 위해 시선추적기반의 다양한 연구가 진행되어 왔다. 특히, 항공분야에서는 조종실 근무환경의 개선을 위해 항공기 조종사들이 주로 사용하는 기능과 영역을 분석하여 장비 설계 개발에 반영하고 있다.

해양 분야에서는 선박 운항 시 항해사들의 업무환경 개선을 위해 최근 UN(United Nations) 산하 국제해사기구에서 항해장비의 사용자 편의를 개선하기 위한 노력이 진행되고 있다. 선박의 선교에는 이미 레이더(RADAR)나 전자해도표시시스템(ECDIS, Electronic Chart Display Information systems)과 같은 안전 항해를 지원하는 전자항해설비가 사용되고 있으나 제조사 별로 디자인이 상이하여 항해사들이 동일한 기능에 대해서 각 장비마다 새롭게 적응해야 하는 어려움이 있다. 이러한 불편을 해소하고 새로운 장비에 대한 친숙화 시간을 줄이기 위해 표준화가 필요한 기능에 대해 S-mode(Standardized mode)라는 개념으로 논의 중에 있다.[1][2].

S-mode 가이드라인에 포함될 기본 기능을 파악하기 위해서는 현재 항해 당직업무 중 항해사들이 주로 응시하는 영역과 기능에 대한 분석이 필요하다. 본 연구는 시선추적장비를 실제 항해 당직업무에 도입한 실험과 이를 토대로 항해 중 관심영역(AOI, Area of Interests)을 분석한 결과에 대해 설명한다. 부산-오사카를 오고가는 여객선에서 선장, 1등 항해사, 2등 항해사를 대상으로 각각 실험했으며 항해 중 선교 내의 AOI와 주요 항해장비인 레이더 내의 AOI를 분석했다.

Ⅱ. 시선 추적 활용 연구

인적 요인을 고려한 사용자 인터페이스 설계 및 근무 환경의 개선에 대한 관심이 높아지면서, 다양한 분야에서 시선 추적(Eye tracking)으로 작업자의 시선을 추적함으로써 작업자의 행동을 관찰하고 업무 환경 및 작업의 실적에 영향을 미치는 요소를 확인하는 연구를 수행하고 있다[3][4].

현재까지 시선 추적을 이용한 해양 분야에서의 실험은 거의 없는 실정이다. 본 실험을 설계하기 위해 타 분야에서 수행한 방법과 결과를 다수 참고했다. 본 절에서는 본 연구를 위해 참고했던 시선 추적을 이용한 연구와 실험 중 대표적인 몇 가지를 소개한다.

Ⅲ. 여객선에서 수행된 항해사 시선분석 실험

3-1 실험 개요

본 실험은 2018년 4월 19일, 4월 20일 양일간 부산과 오사카를 오고가는 로로 카페리 선박에서 선장과 2명의 항해사가 고글형 시선추적장비를 착용한 상태로 항해 당직업무를 수행하도록 한 것이다. 그림 2는 당시 실험 수행 장면으로 항해사가 항해 중 선교에서 시선추적장비를 착용하고 선교 바깥을 견시하고 있는 모습이다 .

Fig. 1.

Car manufacturing and eye tracking[10]

Fig. 2.

Picture of seagoing test

그림 3은 항해사들이 항해 업무를 수행한 경로이다. 이 때 상세 당직 항로, 해상 상황, 당시 항해를 수행한 항해사의 승선 경력은 표 1과 같다.

Fig. 3.

Route of voyage

Table 1.

Situation of seagoing test

그림 3에서 2항사의 시선을 녹화한 구간은 2/O’s route, 1항사와 선장의 시선을 녹화한 구간은 Captain, C/O’s route로 표시한 부분이다. 1항사와 선장은 같은 구간에서 항해했으나 1항사는 부산에서 오사카 항으로 향하는 경로에서 4월 20일 오전, 선장은 오사카 항에서 부산으로 향하는 경로에서 4월 20일 오후에 실험한 별개의 상황이다.

시선추적장비 활용을 위해서는 시선 추적을 위한 컨트롤러 소프트웨어를 컴퓨터에 설치해야 한다. 컨트롤 유닛에 SD카드를 장착하고 시선추적장비와 HDMI 케이블로 연결한다. 그 다음, 컨트롤 유닛과 컴퓨터를 연결하고 컨트롤러 소프트웨어를 구동하면 시선 데이터 저장 및 관리가 가능하다. 시선추적장비는 전용 배터리를 사용하며 이는 충전형으로 배터리 하나당 최대 1시간 반 정도 사용이 가능하다. 컨트롤러 소프트웨어는 Windows 7, 8, 8.1 and 10 (32/64 bit 운영체제), Intel Core i5 이상의 CPU, 1024x768 이상의 해상도, 메모리 2GB이상일 때 구동 가능하다. 그림 4는 선교에서 고글형 시선추적장비를 착용하고 장비를 조작하는 모습이다.

Fig. 4.

Wearing the eye tracker for experiment

3-2 시선 데이터 기록 및 추출

1) 시선 데이터 기록

항해사들의 시선 데이터는 시선추적장비와 연결된 컨트롤 유닛의 SD(Secure Digital)카드에 저장된다. 저장된 시선 데이터는 전용 분석 소프트웨어인 Tobii Pro Lab을 이용해서 분석할 수 있다. 그림 5는 Tobii Pro Lab으로 시선 데이터를 불러온 일부분을 보여준다.

Fig. 5.

Eye tracking data analysis software

녹화된 항해 영상과 및 시선 데이터를 Tobii Pro Lab에 불러오면 그림 6과 같이 시선이 녹화된 결과를 확인할 수 있다. 녹화된 시간과 장면을 목적에 따라 추출할 수 있고, 또한 특정 시점의 장면에서 사용자의 시선이 고정된 것인지 이동 중인지 구별할 수 있다.

Fig. 6.

Derive analysis target using software(Tobii pro lab)

2) 분석 대상 데이터 추출

각 항해사별로 얻은 항해사 시점의 시선 경로 영상과 시선데이터의 샘플을 분석해서 그 중 의미 있는, 즉 분석 대상이 되는 부분을 추출했다.

그림 6에 표시된 부분은 시선추적장비를 착용한 선장의 항해 당직업무를 녹화한 전체 40분 영상의 검토 결과, 시선 데이터가 잘 쌓여있으며 항해경로를 변경하는 주요 항해 당직업무를 수행중인 약 18분의 영상을 찾은 것이다. 본 실험에서는 이 18분의 실험 영상 및 시선 데이터를 분석한다.

그림 6에서 찾은 전체 40분 중 유의미한 부분 외에 시선 데이터가 명확히 쌓이지 않은 처음 20분간을 분석한 결과 두 가지 이유를 확인할 수 있었다.

그림 7은 항해사가 착용하고 있던 시선추적장비를 벗고 손에 들고 있는 장면이 녹화된 것이다. 이 때 항해사는 시선추적장비 대신 망원경을 사용하여 먼 곳을 견시하는 것을 확인했다.

Fig. 7.

Not wearing the eye tracking equipment

그림 8은 실험 당시 시선추적장비를 착용한 항해사 일인칭 관점의 영상으로, 빨간 선이 시선 경로를 나타내는 것이다. 시선추적장비를 착용한 항해사는 정상적으로 실험에 임하고 있으나 당시 실험 시간이 일몰이 시작되는 오후로, 강한 햇빛에 의해 시선 경로가 명확하게 추적되지 않는 것으로 분석되었다.

Fig. 8.

Sunlight at the time of experiment

Ⅳ. 항해사 시선분석 실험 결과

본 실험은 실제 선박에서의 항해 당직업무 시 항해사들의 시선 데이터를 얻어 선교 내부 및 항해장비 내의 AOI를 분석하여 항해 시 주로 응시하는 영역 및 기능, 관련 항해 정보를 파악하고자 수행한 것이다. AOI는 사용자의 관심도가 높은 영역으로 시선이 많이 머무는 영역이 곧 AOI가 된다.

고글형 시선추적장비를 사용하면 피험자 일인칭 관점의 시선 경로가 나타나는 영상과 원시 시선 데이터를 얻을 수 있다. 원시 데이터와 전용 분석 소프트웨어인 Tobii Pro Lab을 활용하면 특정 스냅 샷에 데이터를 매핑할 수 있고 이를 토대로 실험 중 특정 장면에서의 AOI를 파악 및 시각화할 수 있다. 이는 장비 내 AOI를 분석하는 데에 활용 될 수 있다. 전체 선교 내부의 AOI 분석은 전용 소프트웨어를 활용하여 파악하기에는 어려우며 이는 피험자 일인칭 관점의 시선 경로 영상을 분석해서 알 수 있다.

4-1 선교 내의 AOI 분석 결과

항해 중 선교 내의 AOI를 파악하기 위해 실험을 통해 수집된 항해사 관점의 시선 경로 영상을 초 단위로 분석하여 시간마다 어떤 지점을 확인하는 지와, 해당 시각에서 보인 특이사항 등을 그림 9와 같이 문서로 기록했다.

Fig. 9.

Analysis of seeing spot during voyage

그림 9의 문서는 그림 6에서 파악한 선장이 항해하는 18분 동안의 영상을 분석한 문서의 일부로, 영상 시작부터 1분까지의 기록이다.

전체 영상을 재생한 결과 크게 여섯 곳의 지점을 바라보는 것을 파악했다. 이는 a부터 f로 구분하여 기록했으며, 그 영역은 각각 다음과 같다.

• - a: 타선
• - b: 타선이 아닌 외부
• - c: 레이더
• - d: 컨트롤 패널
• - e: ECDIS
• - f: VHF통신장비

전체 18분의 영상에 대해 그림 9의 방법대로 기록한 결과, 전체 125번의 지점 이동이 있었으며 시선은 짧게는 1초 간격으로 이동하고 길게는 1분가량 한 영역에 시선이 고정되기도 했다. 분석 결과 바깥 견시와 장비 내 간략한 정보 확인 간의 시선 이동이 주로 1초 간격으로 이어졌으며 장비를 조작하며 장비의 기능을 수행하는 경우는 약 1분가량 장비에 시선이 머물렀다.

같은 방법으로 1항사의 44분가량의 항해 영상에 대해서도 조사한 결과 전체 44분의 영상동안 520번의 지점 이동이 있었으며 마찬가지로 시선은 짧게는 1초 간격으로 이동하고 길게는 1분가량 한 장비에 시선이 고정되었다.

본 실험에서 항해사의 시선 이동 분석을 통해 항해 당직 업무 중 선교 내부의 AOI를 도출한 결과는 그림 10과 같다. 전체 시선의 49퍼센트는 선교 바깥의 타선을 견시하고 있었으며 46퍼센트는 레이더 및 ECDIS에 시선이 머물렀다. 특히, 전자해도가 오버레이된 레이더를 바라보는 비율이 높았다. 그 외에는 타선이 아닌 바깥 상황을 견시하는 시선이 4퍼센트, 항해 중 무전을 위해 무전기를 바라보는 시선이 0.4퍼센트, 컨트롤 패널을 보는 시선이 0.1퍼센트로 파악되었다.

Fig. 10.

AOI of bridge during voyage

4-2 레이더 장비에 대한 AOI 분석 결과

항해 중 전자해도가 오버레이된 레이더 장비를 가장 많이 활용하는 것을 선교 내 AOI 분석으로 확인했으며, 이 레이더 장비 내에서의 AOI를 도출한 결과는 그림 11과 같다.

이는 원시 데이터와 전용 분석 소프트웨어인 Tobii Pro Lab을 활용하여 레이더의 스냅 샷에 시선 데이터를 매핑한 것으로 히트 맵(Heat map)이라고 불린다. 색이 붉을수록 해당 지점에 시선이 많이 머무른 곳이며, 색이 초록에 가까울수록 시선이 많이 머무르지 않은 영역이다.

Fig. 11.

AOI of RADAR

그림 11의 붉은 영역, 즉 시선이 많이 머무른 구역과 레이더 장비의 사용자 인터페이스를 비교하고 항해사 관점의 영상을 통해 당시 항해상황을 확인하여 항해 중 레이더로 확인하는 주요 정보를 도출한 결과는 표 2와 같다.

Table 2.

Frequently used information of RADAR

표 2와 같이 항해사들이 실제 항해 중 주로 확인하는 본선(own ship)의 정보로는 HDG(Heading), SPD(Speed), COG(Course over ground), SOG(Speed over ground)에 시선이 많이 머무르는 것으로 파악되었다.

타선에 대해서는 ARPA(Automatic Radar Plotting Aid)로 수집된 정보와 AIS(Automatic Identification System)로 수집된 정보를 확인하는 것을 파악했다. ARPA 로 수집된 정보 중에서는 선박고유번호, COG, SOG, CPA(Closest Point of Approach) 및 TCPA(Time to CPA)가 주요 AOI로 분석되었고, AIS로 수집된 정보 중에서는 선박명과 현재 위치를 많이 확인하는 것으로 파악되었다. 항로와 관련해서는 EBL(Electronic Bearing Line)의 값을 주로 확인하는 것이 파악되었다.

Ⅴ. 결 론

본 실험에서는 실제 선박에서의 항해 당직업무 시 항해사들의 시선 데이터를 얻어 선교 내부 및 각 장비 내의 AOI를 분석하여 항해 시 많이 확인하는 필수 정보를 알아냈다.

이 실험은 항해사가 새로운 장비를 탑재한 선박에 승선했을 때에도 장비에 익숙해지는 데 걸리는 시간을 줄이기 위해, 기존 장비에서 자주 사용하는 기능 및 정보를 파악하는 데에 목적이 있다.

본 실험은 해양 분야 UN산하 국제해사기구에서 사용자 편의를 고려하는 표준화의 일환으로 수행되었으며, 이 결과를 국제 워킹그룹에 제안할 계획이다. 또한 이 실험으로 얻은 결과를 활용하여 항해장비의 인터페이스 개선 혹은 개발에 적용하고 그 효과에 대한 시험을 수행할 계획이다.

Acknowledgments

이 논문은 해양수산부 재원으로 해양수산과학기술진흥원과 한국형 e-Navigation 사업단의 지원을 받아 수행된 "IMO 차세대 해양안전 종합관리체계 기술개발” 연구 결과 중 일부이다.

References

• IMO, Guideline on standardized mode of operation, International Maritime Organization, London, NCSR 5/7 p1-5, November), (2017.
• The Nautical Institute, (2012, November), Industry Recommendations for ECDIS Familiarisation [Online], http://www.nautinst.org/ECDIS.
• N. Stanton, K. Brookhuis, A. Hedge, E. Salas (ed), H. W. Hendrick, Handbook of Human Factors and Ergonomics Methods, Taylor & Francis, p66-153, (2005).
• S. Lee, “A Study on the Optimization of the Digital Media Service Menu Structure based on the Differentiations of User Experience with : special reference to Eye Tracking Test”, The Journal of Digital Contents Society, 11(4), p445-452, December), (2010.
• A. Gegenfurtner, E. Leftinen, R. Säljö, “Expertise Differences in the Comprehension of Visualizations: a Meta-Analysis of Eye-Tracking Research in Professional Domains”, Educational Psychology Review, 23(4), p523-552, December), (2011. [https://doi.org/10.1007/s10648-011-9174-7]
• National Oceanic and Atmospheric Agency, Eye-tracking technology proves useful for weather research[Internet], Available:https://www.noaa.gov/video/video-eye-tracking-technology-proves-useful-for-weather-research.
• C. M. Björklund, J. Alfredson, S. W. A. Dekker, “Mode Monitoring and Call-Outs: An Eye-Tracking Study of Two-Crew Automated Flight Deck Operations”, The International Journal of Aviation Psychology, 16(3), p263-275, November), (2011.
• J. Lundberg, J. Johansson, C. Forsell, and B. Josefsson, “The use of conflict detection tools in air traffic management – an unobtrusive eye tracking field experiment during controller competence assurance”, HCI-Aero 2014 - International Conference on Human-Computer Interaction in Aerospace, (12), (2014).
• J. L. Rosch, J. J. Vogel-Walcutt, "A review of eye-tracking applications as tools for training", Cognition, Technology & Work, 15(3), p313-327, August), (2013. [https://doi.org/10.1007/s10111-012-0234-7]
• Tobii Technology, Knowledge and skills transfer of Professional Performance[Internet], Available: https://www.tobiipro.com/fields-of-use/professional-performance/.