Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 25 , No. 5

[ Article ]
Journal of Digital Contents Society - Vol. 25, No. 5, pp. 1217-1224
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 May 2024
Received 15 Feb 2024 Revised 11 Mar 2024 Accepted 21 Mar 2024
DOI: https://doi.org/10.9728/dcs.2024.25.5.1217

MediaPipe 핸드 트래킹 시스템의 스무딩 알고리즘 적용에 따른 노이즈 감소 검증
양우민1 ; 최웅2, *
1강남대학교 소프트웨어응용학부 학사
2강남대학교 ICT융합공학부 부교수

Verification of Noise Reduction by applying a Smoothing Algorithm in the MediaPipe Hand Tracking System
Woo-Min Yang1 ; Woong Choi2, *
1Bachelor’s Degree, Department of Software Application, Kangnam University, Yongin 16979, Korea
2Associate Professor, College of ICT Construction & Welfare Convergence, Kangnam University, Yongin 16979, Korea
Correspondence to : *Woong Choi Tel: +82-31-280-3753 E-mail: wchoi@kangnam.ac.kr


Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록

가상현실에서의 높은 몰입도를 위해 사실적인 상호작용이 중요하다. 가상현실 콘텐츠 증가로 핸드 트래킹과 같은 상호작용 방법이 제시되고 있다. 몰입도 향상을 위해 핸드 트래킹에서 스무딩을 통한 노이즈 감소에 대한 연구의 필요성이 있다. 본 연구에서는 미디어파이프와 웹캠을 이용하여 핸드 트래킹에서의 스무딩 알고리즘 적용에 따른 노이즈 감소 검증을 위한 시스템을 구현하고, 평가 실험을 통해 웹캠을 통한 영상에서 미디어파이프가 랜드마크를 검출할 때 스무딩을 사용하여 노이즈 감소를 검증하였다. 실험 결과 스무딩 알고리즘 적용으로 약 18%의 노이즈 감소가 확인되며, 이를 통해 부드러운 핸드 트래킹이 가능하다는 것을 확인하였다. 본 연구에서는 영상을 통해 검증을 실시했지만, 실시간 핸드 트래킹에 스무딩을 적용한다면 게임이나 산업 현장 등 정확한 핸드 트래킹이 필요한 상황에서 활용 가능할 것으로 기대된다.

Abstract

The importance of realistic interaction for high immersion in virtual reality is becoming increasingly recognized, especially with the growth of virtual reality content. Interaction methods such as hand tracking are being introduced. There is a need for research on noise reduction through smoothing in hand tracking to enhance immersion. This study implemented a system to verify noise reduction through the application of smoothing algorithms in hand tracking using MediaPipe and a webcam and evaluated the system through experiments. The experiments confirmed a noise reduction of approximately 18% with the application of the smoothing algorithm, verifying that smooth hand tracking is possible. Although the verification was conducted through video, applying smoothing for real-time hand tracking is expected to be useful in scenarios requiring accurate hand tracking, such as in games or industrial sites.


Keywords: Virtual Reality, Human-Computer Interaction, Mediapipe, Hand Tracking, Immersion
키워드: 가상현실, 인간-컴퓨터 상호작용, 미디어파이프, 핸드 트래킹, 몰입감

Ⅰ. 서 론

최근 가상현실 및 메타버스 콘텐츠의 수요 증가로 가상현실에서의 상호작용 인터페이스에 대한 중요성이 증가하고 있다[1]. 가상현실과 메타버스는 현실과 가상 공간의 경계를 허물고 사용자에게 실제가 아니지만 실제와 같은 현실적이고 높은 몰입감을 제공한다는 특징을 가지고 오락, 교육, 산업, 의료 등 다양한 분야에서 이를 응용하려는 사례가 점점 증가하고 있다[2]. 가상현실에서 사용자 간 상호작용을 넘어 현실에서의 사용자 일상까지 넘나들며 새로운 형태의 사회적, 경제적 환경을 조성하며 이에 따라 다양한 분야에서 가상현실과 메타버스의 응용 가능성이 크게 증가하고 있다[3].

이에 가상현실에서의 상호작용 인터페이스에 대한 중요성이 대두되며 사용자의 손동작을 사용하는 핸드 트래킹(Hand Tracking) 기술이 주목받고 있다[4]. 핸드 트래킹은 사용자의 손동작을 센서나 카메라, 컨트롤러 등을 통해 인식하여 가상 공간에서 상호작용을 수행하는 주요 기술 중 하나로 꾸준한 연구가 진행되어 왔다. 기존에는 가상현실과 상호작용을 위해 헤드 마운티드 디스플레이(HMD; head mounted display)와 컨트롤러를 사용하거나, 키넥트(Kinect), 리얼센스(RealSense), 립모션(LeapMotion) 등의 외부 장비를 사용하여 사용자의 움직임을 추적하는 방법 등이 주로 사용되어 왔다[5],[6],[7].

그러나 최근에는 외부 장비를 사용하는 것을 넘어 사용자 경험을 더욱 향상시키기 위한 새로운 연구와 개발이 이루어지고 있다. 이러한 새로운 접근 방식 중 하나가 미디어파이프(MediaPipe)를 사용한 핸드 트래킹이다. 미디어파이프는 기계 학습을 기반으로한 오픈소스 프레임워크로, 실시간으로 손의 움직임을 정확하게 추적할 수 있다. 미디어파이프 핸드 트래킹은 카메라를 통해 얻은 영상에서 손바닥을 감지한다. 영상의 각 프레임마다 손바닥을 감지하고 21개의 랜드마크(Landmark)를 추출하여 손과 손가락 마디를 추척한다. 미디어파이프는 사용자 인터페이스의 자연스러움과 정확성을 향상시켜 사용자의 몰입감을 향상시키는데 중요한 역할을 하고 있다[8].

미디어파이프를 활용한 기존의 핸드 트래킹 기법은 카메라로 촬영된 영상에서 손의 특징점을 인식하는 과정에서, 윈도우 환경에서 CPU를 사용하여 초당 최대 30프레임만 처리할 수 있다는 한계를 가진다. 이러한 처리 속도의 제한으로 인해 손이 신속하게 움직일 때, 손의 인식이 실패하는 상황이 발생할 수 있다. 이런 인식 실패는 랜드마크의 정확한 추출 실패로 이어져, 잘못된 위치에 랜드마크를 배치하거나, 랜드마크가 전혀 표시되지 않는 문제를 일으켜 핸드 트래킹의 정확성에 영향을 주는 노이즈의 주요 원인이 된다. 또한, 손의 일부만 나타나거나 손가락이 겹치는 경우에도 랜드마크의 안정적 추출이 어려워져, 이 또한 핸드 트래킹의 정확도 저하에 기여하는 노이즈를 발생시킬 수 있다[9].

본 연구는 미디어파이프를 사용한 핸드 트래킹에 스무딩 알고리즘을 적용하여 각 프레임마다 검출된 랜드마크 좌표를 보간하고 손의 급격한 움직임 또는 낮은 프레임으로 인하여 랜드마크가 검출되지 않는 상황에서 발생하는 노이즈의 감소를 정량적으로 검증하는 것을 목적으로 한다.


Ⅱ. 평가실험의 방법
2-1 제안 시스템

미디어파이프 핸드 트래킹 시스템의 평가를 위해 구성된 실험 시스템은 그림 1에 도시된 바와 같다. 본 시스템은 웹캠을 통해 촬영된 영상을 바탕으로 미디어파이프를 활용하여 손의 위치를 탐지하고, 결과적으로 21개의 랜드마크를 식별한다. 식별된 랜드마크 좌표와 스무딩 처리된 랜드마크 좌표를 각각 기록하여, 스무딩 처리가 노이즈 감소에 미치는 영향을 비교 분석한다. 이후 스무딩 처리된 랜드마크 좌표를 유니티(Unity 3D)로 전송, 3D 공간에서 손 모델을 생성하여 스무딩이 손의 움직임을 얼마나 부드럽게 만드는지를 평가한다.


Fig. 1. 
Hand tracking system using webcam and MediaPipe.

A: Configuration of the system for noise reduction verification. B: System configuration process.



노이즈 감소 효과를 확인하기 위한 시스템 구성은 그림 1의 A 부분에서 보이듯이, 웹캠과 컴퓨터를 사용하여 이루어졌다. 본 연구에는 윈도우 11 운영 체제, 인텔 i5-1135G7 CPU, 16 GB의 RAM, 인텔 Iris Xe 그래픽스 내장 GPU, 그리고 5.0 MP 해상도의 웹캠이 장착된 노트북이 활용되었다. 손의 다양한 움직임을 포착한 1,280×720 해상도와 30 Hz의 프레임 레이트를 가진 영상을 웹캠으로 촬영하여 노이즈 감소 효과를 검증했다. 그림 1의 B 부분에 설명된 대로, Python과 OpenCV 라이브러리를 사용해 웹캠 영상을 캡처하고, 미디어파이프 라이브러리로 손의 위치를 탐지한 후 21개의 랜드마크 좌표를 csv 파일로 추출해 분석을 진행했다. 스무딩 처리된 랜드마크 좌표는 소켓 라이브러리를 통해 유니티3D로 전송되었고, 유니티3D에서는 이 좌표들을 사용해 3차원 가상 공간에 손 모델을 구현하였다.

본 연구에서 노이즈 감소 효과를 검증하기 위해 사용된 핸드 트래킹 기술은 구글의 미디어파이프 프레임워크 내 제공되는 핸드 트래킹 모듈을 활용하였다. 미디어파이프를 이용하면 CPU 기반 환경에서도 그림 2의 A처럼 실시간으로 이미지 내에서 손을 탐지하는 것이 가능하다. 이 과정은 카메라로부터 이미지를 수집하여 손바닥을 인식한 후 손의 특징점을 찾아내어, 그림 2의 B와 같이 21개의 랜드마크를 식별하는 방식으로 이루어진다. 이렇게 식별된 21개 랜드마크는 x, y, z의 좌표로 표현되는데, 여기서 x와 y는 이미지 상의 가로 및 세로 위치를 나타내고, z는 손목 위치인 0번 랜드마크에 비해 해당 랜드마크가 앞이나 뒤에 위치하는지를 나타낸다.


Fig. 2. 
Landmark detection using MediaPipe.

A: The image of the hand in the image. B: How MediaPipe detects landmarks.



핸드 트래킹의 스무딩 알고리즘은 랜드마크 좌표의 이동 평균을 계산하였다. 랜드마크 좌표의 이동 평균을 통한 스무딩은 복잡한 수학적 기법이나 알고리즘을 없이, 빠른 속도로 데이터의 처리가 가능하고, 실험 과정에서 이동 평균을 계산할 때 시간 창의 크기를 조정함으로써 스무딩 강도의 제어가 간편하다[10],[11]. 본 실험에서는 현재 프레임의 좌표와 다음 프레임의 좌표의 연속적인 데이터의 평균을 구하는 간단한 알고리즘을 통해 각 프레임에서 검출된 랜드마크의 좌표를 부드럽게 변화하도록 사용하였다.

이를 수식으로 표현하면, 식 (1)과 같이 표현할 수 있다. St는 시간 t에서의 스무딩된 값을 의미한다. Xt는 시간 t에서의 현재 랜드마크 좌표를 의미하고, Xt-1은 시간 t-1에서의 이전 랜드마크 좌표를 의미한다.

St=Xt+Xt-12(1) 
2-2 평가 실험

핸드 트래킹에서 스무딩 알고리즘을 통해 노이즈의 감소를 검증하는 실험을 진행하였다. 실험은 같은 조건에서 촬영된 영상을 통해 일반 핸드 트래킹의 랜드마크 좌표 변화와 스무딩 알고리즘을 적용한 핸드 트래킹의 랜드마크 좌표 변화를 비교하는 방식으로 진행하였다. 실험은 손의 다양한 움직임을 웹캠으로 촬영하여 파일로 저장한 다음, 미디어파이프를 통해 핸드 트래킹을 하여 랜드마크를 추출하고 추출된 랜드마크 좌표에 스무딩 알고리즘을 적용하는 방식으로 진행되었다.

실험에서 사용한 영상은 표 1과 같이 세 개의 손의 움직임을 촬영한 영상으로 구성되어 있다. 손의 좌, 우 x축의 움직임을 촬영한 영상과 손의 앞, 뒤 z축의 움직임을 촬영한 영상, 주먹을 쥐거나 손가락을 구부리는 등 불규칙적인 움직임을 촬영한 영상을 사용하여 핸드 트래킹에서 스무딩 알고리즘 적용에 따른 노이즈 감소 실험을 진행하였다.

Table 1. 
Video and key used in the experiment.
Movement Detail
x-axis movement Simple left and right movement with no overlapping landmarks
z-axis movement Simple forward and backward movement with no overlapping landmarks
irregular movement Irregular, landmarks overlapping complex movements such as finger bending or clenching

첫 번째 영상에서는 손을 좌, 우로 수평 이동하여 랜드마크를 검출하였다. 급격한 움직임 없이 손바닥이 항상 카메라를 바라보도록 촬영되어 랜드마크가 겹치는 일이 없고, 손의 일정한 크기를 유지하여 노이즈의 발생이 세 개의 영상 중 가장 적게 발생하였다. 두 번째 영상에서는 손이 앞, 뒤로 이동하며손의 확대 축소가 발생하는 상황에서 랜드마크를 검출하였다. 이번 영상 역시 급격한 움직임은 발생하지 않았고 손바닥이 항상 카메라를 바라보아 랜드마크의 겹침 또한 발생하지 않았다. 그러나 첫 번째 영상과 달리 손의 크기가 변하여 랜드마크 간 상대좌표의 간격이 변하며 중간 정도의 노이즈 발생을 보였다. 마지막 영상은 주먹을 쥐거나 손가락을 구부리며 가장 급격한 움직임을 보였다. 대부분의 상황에서 랜드마크가 겹쳐있기 때문에 가려진 부분의 랜드마크를 추정하는 빈도가 가장 높고, 급격한 움직임으로 각 랜드마크의 좌표 역시 변화량이 가장 컸다. 세 개의 영상 중 가장 높은 노이즈 발생을 보였다.

노이즈의 검출은 그림 3과 같이 영상의 각 프레임마다 랜드마크를 검출하고 각 랜드마크의 좌표를 프레임단위로 저장한 데이터를 분석했다. 또한 스무딩 알고리즘을 적용한 랜드마크의 좌표를 프레임단위로 저장하여 표로 작성해 두 개의 표를 비교하여 노이즈 발생과 스무딩 알고리즘의 효과를 검증하였다.


Fig. 3. 
Key frame for each image used in the experiment.

A: Left and right movement video B: Front and back movement video C: Irregular movement video




Ⅲ. 연구결과 및 고찰
3-1 연구결과

실험을 통해 스무딩 알고리즘을 적용하기 전과 후의 그래프를 비교 분석하였다. 표 2는 손의 좌우 움직임을 통해 노이즈 발생과 스무딩 알고리즘 적용 후의 데이터 변동을 통계적으로 비교한 결과를 나타낸다. 스무딩을 적용하지 않았을 때와 적용하였을 때의 랜드마크 평균 이동 거리는 각각 442.26과 370.15로 측정되었으며, 표준편차는 217.15와 168.18로 나타났다. 핸드 트래킹에서 노이즈 감소 효과를 검증하는 실험에서 평균 이동 거리가 낮을수록 프레임 간 변화가 적어 움직임이 더 부드럽다는 것을 의미하며, 표준편차가 낮을수록 움직임이 평균에 더 일관되어 노이즈 발생이 줄어듦을 시사한다. 그림 4에서는 스무딩 알고리즘을 적용하기 전과 후의 좌우 움직임에 따른 노이즈 발생 결과를 보여준다. 스무딩 알고리즘을 적용하지 않았을 때의 그래프는 손이 움직일 때 중간 프레임에서 랜드마크 인식이 실패하거나 추정이 잘못되어 피크가 형성되었다. 반면, 스무딩 알고리즘을 적용한 그래프에서는 피크가 대체로 사라져 움직임이 매우 부드러운 것을 볼 수 있다.

Table 2. 
Statistical comparison of data changes in Figure 4.
Factor non-smoothing smoothing
Mean Shitf 422.26 370.15
Standard Deviation 217.15 168.18


Fig. 4. 
Left and right motion graphs and algorithm application graphs.

표 3은 앞뒤로의 움직임을 분석하여 노이즈 발생 및 스무딩 알고리즘 적용 후의 데이터 변화를 통계적으로 비교한 결과를 보여준다. 스무딩을 적용하기 전후의 랜드마크 평균 이동 거리는 각각 136.30에서 104.37로 감소했으며, 표준편차 또한 87.17에서 65.23으로 줄어들었다는 것을 나타낸다. 이는 프레임 간 변화가 줄어들어 움직임이 더욱 부드러워졌음을 의미하며, 낮은 표준편차는 움직임이 더 일관되어져 노이즈가 감소했음을 시사한다. 그림 5에서 볼 수 있듯이, 앞뒤 움직임에서도 스무딩 알고리즘을 적용하지 않았을 때는 뚜렷한 피크가 발생하는 반면, 알고리즘 적용 후에는 이러한 피크가 대체로 감소하거나 사라진다. 좌우 움직임과 마찬가지로 앞뒤 움직임에서도 손바닥과 손가락의 검출이 명확하게 이루어졌다고 할 수 있다. 이는 손바닥이나 손가락이 가려지지 않은 상태에서 정확한 랜드마크 추출이 가능했음을 의미한다.

Table 3. 
Statistical comparison of data changes in Figure 5.
Factor non-smoothing smoothing
Mean Shitf 136.30 104.37
Standard Deviation 87.17 65.23


Fig. 5. 
Front and back motion graphs and algorithm application graphs.

표 4는 주먹을 쥐는 동작이나 손가락이 겹치는 상황, 또는 손가락을 빠르게 움직이는 등 불규칙한 움직임에 대한 노이즈 발생 및 스무딩 알고리즘 적용 후의 데이터 변화를 통계적으로 분석한 결과를 제시한다. 이 결과는 앞서 언급된 표 2표 3의 분석 결과와는 다른 양상을 보여준다.

Table 4. 
Statistical comparison of data changes in Figure 6.
Factor non-smoothing smoothing
Mean Shitf 134.17 334.26
Standard Deviation 77.47 132.17

스무딩 적용 전후의 랜드마크 평균 이동 거리는 각각 134.17에서 334.26으로, 표준편차는 77.47에서 132.17로 관측되었다. 이는 손가락이 구부러지거나 서로 겹치면서 발생하는 복잡한 움직임으로 인해 랜드마크의 정확한 추출이 어려워지며 상당한 양의 노이즈가 생성되었음을 나타낸다. 그림 6은 주먹 쥐기나 손가락의 빠른 움직임과 같이 불규칙한 움직임을 통해 노이즈 생성 및 스무딩 알고리즘 적용 결과를 보여주는 그래프로, 이 중 가장 많은 피크가 나타났다. 이는 이동평균 기법이 데이터의 급격한 변화나 불규칙한 움직임을 적절히 반영하기 어려운 특징 때문에 발생하는 문제이다. 이전 프레임 대비 현재 프레임에서의 랜드마크 좌표 변화를 기반으로 계산될 때, 변화가 즉시 반영되지 않아 지연이 발생한다. 따라서, 데이터에 큰 변동이 있을 때 스무딩 알고리즘을 적용 한 데이터는 변화를 반영하는 데 시간이 지연되어 부정확한 결과를 내놓게 된다.


Fig. 6. 
Irregular motion graphs and algorithm application graphs.

좌우 이동이나 앞뒤 이동 같은 연속적인 움직임에서는 피크가 적게 발생하고 스무딩 처리된 데이터와의 차이가 크지 않았다. 하지만 불규칙한 움직임에서는 프레임마다 발생하는 좌표 변화가 커서 더 많은 오류를 유발했다.

그림 7은 스무딩 알고리즘 적용 유무에 따른 좌표 이동을 보여주는 그림이다. 그림의 주황색 점선인 A는 알고리즘이 적용되지 않았을 때의 좌표 이동을 보여주고, 파란색 실선인 B는 알고리즘이 적용되었을 때의 좌표 이동을 보여준다. 스무딩 알고리즘이 적용됨에 따라 좌표 이동이 부드럽게 이동하는 것을 확인할 수 있다. 그러나 실제 좌표 이동인 A보다 더 작은 범위의 움직임을 보여주었다.


Fig. 7. 
Graph of coordinate movement with or without algorithm application.

그림 8은 스무딩 알고리즘을 적용하고 유니티3D를 통해 3차원 공간에서 핸드 트래킹을 시연하는 모습인데, 실제 테스트 시 연속적인 움직임과 천천히 움직일때는 부드러운 움직임을 보였지만, 급격하고 불규칙적으로 움직이는 상황에서는 핸드 트래킹의 일부가 스킵되는 현상이 발생하였다.


Fig. 8. 
A demonstration of hand tracking with a smoothing algorithm through Unity 3D. A: Left and right movement video B: Front and back movement video C: Irregular movement video

3-2 고찰

본 연구에서는 미디어파이프 핸드 트래킹의 랜드마크 검출 과정에서 발생하는 노이즈를 이동 평균을 통한 스무딩 알고리즘을 적용하여 노이즈의 발생의 감소를 검증하였다. 스무딩 알고리즘을 적용하였을 때 손의 좌, 우 x축의 움직임을 촬영한 영상에서는 약 12.34%의 노이즈 감소가 있었고, 손의 앞, 뒤 z축의 움직임을 촬영한 영상에서는 약 23.42%의 노이즈 감소가 있었다. 그러나 주먹을 쥐거나 손가락을 구부리는 등 불규칙적인 움직임을 촬영한 영상에서는 스무딩 알고리즘을 적용한 후 그래프 상으로는 노이즈가 감소한 것처럼 보였으나, 실제로는 부정확한 좌표값을 반환하는 결과를 보였다.

이러한 결과를 가지고, 유니티3D를 통해 3차원 공간에서 손을 구현하여 실시간 영상을 사용해 핸드 트래킹을 했을 때, 부드럽고 천천히 움직이는 상황에서는 약 33 ms 정도의 지연이 발생하였다. 그러나 급격하고 불규칙적인 움직임이나 매우 빠른 속도로 움직이는 상황에서는 120ms~200 ms 정도의 지연이 발생했다. 33 ms 정도의 지연 시간은 일반적인 상황에서 사람이 인지하기 힘들지만, 120ms~200ms 의 지연 시간은 사람이 충분히 인지하여 불편함을 느낄 수 있다. 이동 평균을 사용한 스무딩 알고리즘을 사용하여 실시간으로 사용했을 때 발생하는 트래킹 딜레이 문제는 사용자의 몰입도를 떨어뜨릴 수 있는 요인으로 작용할 수 있다[12],[13].

본 실험을 통해 스무딩 알고리즘의 적용이 특정 상황에서 노이즈를 줄이는 데 효과적임을 확인했으나, 고도의 정밀성이 요구되는 상황이나 복잡한 핸드 트래킹이 필요한 경우에는 이동 평균 기반의 스무딩 처리가 적합하지 않을 수 있음을 시사한다.


Ⅳ. 결 론

본 연구에서는 미디어파이프를 활용한 핸드 트래킹 과정에 스무딩 알고리즘을 적용해 랜드마크 인식 시 발생하는 노이즈를 감소시키는 효과를 확인했다. 좌우 움직임에서 노이즈 감소율이 약 12.34%였고, 앞뒤 움직임에서는 약 23.42%의 감소 효과를 보였다. 하지만, 유니티3D로 3D 공간에 손 모델을 구현해 실험했을 때, 스무딩 알고리즘을 적용한 상태에서 복잡하거나 빠르게 움직이는 경우, 반응이 지연되는 현상을 관찰할 수 있었다.

본 연구를 통해 이동 평균을 통한 스무딩 알고리즘의 노이즈 감소 검증을 실시 하였으나, 모든 상황에서 이것이 효과적으로 작용하지는 않았으며, 특정 상황에서 발생하는 지연 현상에 대한 추가적인 연구가 필요할 수 있을 것으로 판단된다.

본 연구에서 제시된 스무딩 알고리즘을 통해 유니티3D로 핸드 트래킹이 구현될 때의 연산량과, 3차원 공간에서 스무딩 알고리즘 적용에 따른 핸트 트래킹 구현에 대한 비교 실험은 추후 연구를 통해 핸드 트래킹의 성능을 정량적으로 분석하여 더 개선된 핸드 트래킹 알고리즘을 향후 개발할 계획이다.


Acknowledgments

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2022R1A2C1092178).


References
1. H. Cho, J. Yoo, E. S. Kim, and Y. J. Lee, “Intelligent Interface Using Hand Gestures Recognition Based on Artificial Intelligence,” Journal of Platform Technology, Vol. 11, No. 1, pp. 38-51, February 2023.
2. K. S. Lee, K. H. Kim, J. S. Choi, and H. K. Kim, “Metaverse Technology Trends for Convergence Services,” Electronics and Telecommunications Trends, Vol. 38, No. 2, pp. 75-84, April 2023.
3. E.-J. Song, “Virtual Reality Industry Analysis and How to Activate,” Journal of the Korea Institute of Information and Communication Engineering, Vol. 22, No. 4, pp. 656-663, April 2018.
4. R. Song, Y. Hong, and N. Kwak, “User Interface Using Hand Gesture Recognition Based on MediaPipe Hands Model,” Journal of Korea Multimedia Society, Vol. 26, No. 2, pp. 103-115, February 2023.
5. K. S. Ham, D. Lee, H. J. Hong, S. Park, and J. Kim, “An Experimental Research on the Usability of Indirect Control Using Finger Gesture Interaction in Three Dimensional Space,” Journal of the Korea Contents Association, Vol. 14, No. 11, pp. 519-532, November 2014.
6. S.-H. Lee, “Design of Industrial Extended Reality Content Technology Using Hand Gesture Recognition,” Journal of the Korea Institute of Information and Communication Engineering, Vol. 27, No. 2, pp. 231-237, February 2023.
7. T.-K. Koh, M.-H. Yoon, and T.-Y. Kim, “The Study of a Hand Gesture Interface Based on HMM and MCSVM,” The Journal of Korean Institute of Next Generation Computing, Vol. 14, No. 1, pp. 57-64, February 2018.
8. F. Zhang, V. Bazarevsky, A. Vakunov, A. Tkachenka, G. Sung, C.-L. Chang, and M. Grundmann, “MediaPipe Hands: On-Device Real-Time Hand Tracking,” in Proceedings of the 4th Workshop on Computer Vision for AR/VR (CV4ARVR 2020), Seattle: WA, pp. 4321-4325, June 2020.
9. Y. Lee and T.-Y. Kim, “Development of an Efficient Home Training System through Deep Learning-Based Pose Recognition and Correction,” The Journal of Korean Institute of Next Generation Computing, Vol. 17, No. 6, pp. 89-99, December 2021.
10. S. Lyu, “Planar Curve Smoothing with Individual Weighted Averaging,” Journal of KIISE, Vol. 44, No. 11, pp. 1194-1208, November 2017.
11. G. Yun, K. W. Kim, J. H. Choi, and S. J. Park, “RSSI Based Proximity User Detection System Using Exponential Moving Average,” Journal of the Institute of Electronics Engineers of Korea-SP, Vol. 47, No. 4, pp. 105-111, July 2010.
12. W. Yoon and J. H. Han, “Relation between Jittering from Compensation for Latency and VR Sickness,” Journal of the Korea Computer Graphics Society, Vol. 23, No. 1, pp. 1-8, March 2017.
13. W.-J. Jung and C.-J. Lee, “A Study on Delay of VR Game Operation for Experienced Game Users,” Journal of Korea Game Society, Vol. 18, No. 1, pp. 19-26, February 2018.

저자소개

양우민(Woo-Min Yang)

2024년:강남대학교 소프트웨어응용학부(공학사)

2020년~2024년: 강남대학교

※관심분야:가상현실(Virtual Reality), 휴먼 컴퓨터 인터랙션(Human Computer Interaction), 등

최웅(Woong Choi)

2000년:조선대학교 대학원(공학석사)

2005년:Tokyo Institute of Technology(공학박사-지능시스템과학)

2005년~2010년: Ritsumeikan University

2010년~2022년: National Institute of Technology, Gunma College

2022년~현 재: 강남대학교 ICT융합공학부 부교수

※관심분야:가상현실(Virtual Reality), 휴먼 컴퓨터 인터랙션(Human Computer Interaction), 등