MediaPipe 핸드 트래킹 시스템의 스무딩 알고리즘 적용에 따른 노이즈 감소 검증

2-1 제안 시스템

미디어파이프 핸드 트래킹 시스템의 평가를 위해 구성된 실험 시스템은 그림 1에 도시된 바와 같다. 본 시스템은 웹캠을 통해 촬영된 영상을 바탕으로 미디어파이프를 활용하여 손의 위치를 탐지하고, 결과적으로 21개의 랜드마크를 식별한다. 식별된 랜드마크 좌표와 스무딩 처리된 랜드마크 좌표를 각각 기록하여, 스무딩 처리가 노이즈 감소에 미치는 영향을 비교 분석한다. 이후 스무딩 처리된 랜드마크 좌표를 유니티(Unity 3D)로 전송, 3D 공간에서 손 모델을 생성하여 스무딩이 손의 움직임을 얼마나 부드럽게 만드는지를 평가한다.

Fig. 1.

Hand tracking system using webcam and MediaPipe.A: Configuration of the system for noise reduction verification. B: System configuration process.

노이즈 감소 효과를 확인하기 위한 시스템 구성은 그림 1의 A 부분에서 보이듯이, 웹캠과 컴퓨터를 사용하여 이루어졌다. 본 연구에는 윈도우 11 운영 체제, 인텔 i5-1135G7 CPU, 16 GB의 RAM, 인텔 Iris Xe 그래픽스 내장 GPU, 그리고 5.0 MP 해상도의 웹캠이 장착된 노트북이 활용되었다. 손의 다양한 움직임을 포착한 1,280×720 해상도와 30 Hz의 프레임 레이트를 가진 영상을 웹캠으로 촬영하여 노이즈 감소 효과를 검증했다. 그림 1의 B 부분에 설명된 대로, Python과 OpenCV 라이브러리를 사용해 웹캠 영상을 캡처하고, 미디어파이프 라이브러리로 손의 위치를 탐지한 후 21개의 랜드마크 좌표를 csv 파일로 추출해 분석을 진행했다. 스무딩 처리된 랜드마크 좌표는 소켓 라이브러리를 통해 유니티3D로 전송되었고, 유니티3D에서는 이 좌표들을 사용해 3차원 가상 공간에 손 모델을 구현하였다.

본 연구에서 노이즈 감소 효과를 검증하기 위해 사용된 핸드 트래킹 기술은 구글의 미디어파이프 프레임워크 내 제공되는 핸드 트래킹 모듈을 활용하였다. 미디어파이프를 이용하면 CPU 기반 환경에서도 그림 2의 A처럼 실시간으로 이미지 내에서 손을 탐지하는 것이 가능하다. 이 과정은 카메라로부터 이미지를 수집하여 손바닥을 인식한 후 손의 특징점을 찾아내어, 그림 2의 B와 같이 21개의 랜드마크를 식별하는 방식으로 이루어진다. 이렇게 식별된 21개 랜드마크는 x, y, z의 좌표로 표현되는데, 여기서 x와 y는 이미지 상의 가로 및 세로 위치를 나타내고, z는 손목 위치인 0번 랜드마크에 비해 해당 랜드마크가 앞이나 뒤에 위치하는지를 나타낸다.

Fig. 2.

Landmark detection using MediaPipe.A: The image of the hand in the image. B: How MediaPipe detects landmarks.

핸드 트래킹의 스무딩 알고리즘은 랜드마크 좌표의 이동 평균을 계산하였다. 랜드마크 좌표의 이동 평균을 통한 스무딩은 복잡한 수학적 기법이나 알고리즘을 없이, 빠른 속도로 데이터의 처리가 가능하고, 실험 과정에서 이동 평균을 계산할 때 시간 창의 크기를 조정함으로써 스무딩 강도의 제어가 간편하다[10],[11]. 본 실험에서는 현재 프레임의 좌표와 다음 프레임의 좌표의 연속적인 데이터의 평균을 구하는 간단한 알고리즘을 통해 각 프레임에서 검출된 랜드마크의 좌표를 부드럽게 변화하도록 사용하였다.

이를 수식으로 표현하면, 식 (1)과 같이 표현할 수 있다. S_t는 시간 t에서의 스무딩된 값을 의미한다. X_t는 시간 t에서의 현재 랜드마크 좌표를 의미하고, X_t-1은 시간 t-1에서의 이전 랜드마크 좌표를 의미한다.

2-2 평가 실험

핸드 트래킹에서 스무딩 알고리즘을 통해 노이즈의 감소를 검증하는 실험을 진행하였다. 실험은 같은 조건에서 촬영된 영상을 통해 일반 핸드 트래킹의 랜드마크 좌표 변화와 스무딩 알고리즘을 적용한 핸드 트래킹의 랜드마크 좌표 변화를 비교하는 방식으로 진행하였다. 실험은 손의 다양한 움직임을 웹캠으로 촬영하여 파일로 저장한 다음, 미디어파이프를 통해 핸드 트래킹을 하여 랜드마크를 추출하고 추출된 랜드마크 좌표에 스무딩 알고리즘을 적용하는 방식으로 진행되었다.

실험에서 사용한 영상은 표 1과 같이 세 개의 손의 움직임을 촬영한 영상으로 구성되어 있다. 손의 좌, 우 x축의 움직임을 촬영한 영상과 손의 앞, 뒤 z축의 움직임을 촬영한 영상, 주먹을 쥐거나 손가락을 구부리는 등 불규칙적인 움직임을 촬영한 영상을 사용하여 핸드 트래킹에서 스무딩 알고리즘 적용에 따른 노이즈 감소 실험을 진행하였다.

Table 1.

Video and key used in the experiment.

첫 번째 영상에서는 손을 좌, 우로 수평 이동하여 랜드마크를 검출하였다. 급격한 움직임 없이 손바닥이 항상 카메라를 바라보도록 촬영되어 랜드마크가 겹치는 일이 없고, 손의 일정한 크기를 유지하여 노이즈의 발생이 세 개의 영상 중 가장 적게 발생하였다. 두 번째 영상에서는 손이 앞, 뒤로 이동하며손의 확대 축소가 발생하는 상황에서 랜드마크를 검출하였다. 이번 영상 역시 급격한 움직임은 발생하지 않았고 손바닥이 항상 카메라를 바라보아 랜드마크의 겹침 또한 발생하지 않았다. 그러나 첫 번째 영상과 달리 손의 크기가 변하여 랜드마크 간 상대좌표의 간격이 변하며 중간 정도의 노이즈 발생을 보였다. 마지막 영상은 주먹을 쥐거나 손가락을 구부리며 가장 급격한 움직임을 보였다. 대부분의 상황에서 랜드마크가 겹쳐있기 때문에 가려진 부분의 랜드마크를 추정하는 빈도가 가장 높고, 급격한 움직임으로 각 랜드마크의 좌표 역시 변화량이 가장 컸다. 세 개의 영상 중 가장 높은 노이즈 발생을 보였다.

노이즈의 검출은 그림 3과 같이 영상의 각 프레임마다 랜드마크를 검출하고 각 랜드마크의 좌표를 프레임단위로 저장한 데이터를 분석했다. 또한 스무딩 알고리즘을 적용한 랜드마크의 좌표를 프레임단위로 저장하여 표로 작성해 두 개의 표를 비교하여 노이즈 발생과 스무딩 알고리즘의 효과를 검증하였다.

Fig. 3.

Key frame for each image used in the experiment.A: Left and right movement video B: Front and back movement video C: Irregular movement video

3-1 연구결과

실험을 통해 스무딩 알고리즘을 적용하기 전과 후의 그래프를 비교 분석하였다. 표 2는 손의 좌우 움직임을 통해 노이즈 발생과 스무딩 알고리즘 적용 후의 데이터 변동을 통계적으로 비교한 결과를 나타낸다. 스무딩을 적용하지 않았을 때와 적용하였을 때의 랜드마크 평균 이동 거리는 각각 442.26과 370.15로 측정되었으며, 표준편차는 217.15와 168.18로 나타났다. 핸드 트래킹에서 노이즈 감소 효과를 검증하는 실험에서 평균 이동 거리가 낮을수록 프레임 간 변화가 적어 움직임이 더 부드럽다는 것을 의미하며, 표준편차가 낮을수록 움직임이 평균에 더 일관되어 노이즈 발생이 줄어듦을 시사한다. 그림 4에서는 스무딩 알고리즘을 적용하기 전과 후의 좌우 움직임에 따른 노이즈 발생 결과를 보여준다. 스무딩 알고리즘을 적용하지 않았을 때의 그래프는 손이 움직일 때 중간 프레임에서 랜드마크 인식이 실패하거나 추정이 잘못되어 피크가 형성되었다. 반면, 스무딩 알고리즘을 적용한 그래프에서는 피크가 대체로 사라져 움직임이 매우 부드러운 것을 볼 수 있다.

Table 2.

Statistical comparison of data changes in Figure 4.

Fig. 4.

Left and right motion graphs and algorithm application graphs.

표 3은 앞뒤로의 움직임을 분석하여 노이즈 발생 및 스무딩 알고리즘 적용 후의 데이터 변화를 통계적으로 비교한 결과를 보여준다. 스무딩을 적용하기 전후의 랜드마크 평균 이동 거리는 각각 136.30에서 104.37로 감소했으며, 표준편차 또한 87.17에서 65.23으로 줄어들었다는 것을 나타낸다. 이는 프레임 간 변화가 줄어들어 움직임이 더욱 부드러워졌음을 의미하며, 낮은 표준편차는 움직임이 더 일관되어져 노이즈가 감소했음을 시사한다. 그림 5에서 볼 수 있듯이, 앞뒤 움직임에서도 스무딩 알고리즘을 적용하지 않았을 때는 뚜렷한 피크가 발생하는 반면, 알고리즘 적용 후에는 이러한 피크가 대체로 감소하거나 사라진다. 좌우 움직임과 마찬가지로 앞뒤 움직임에서도 손바닥과 손가락의 검출이 명확하게 이루어졌다고 할 수 있다. 이는 손바닥이나 손가락이 가려지지 않은 상태에서 정확한 랜드마크 추출이 가능했음을 의미한다.

Table 3.

Statistical comparison of data changes in Figure 5.

Fig. 5.

Front and back motion graphs and algorithm application graphs.

표 4는 주먹을 쥐는 동작이나 손가락이 겹치는 상황, 또는 손가락을 빠르게 움직이는 등 불규칙한 움직임에 대한 노이즈 발생 및 스무딩 알고리즘 적용 후의 데이터 변화를 통계적으로 분석한 결과를 제시한다. 이 결과는 앞서 언급된 표 2와 표 3의 분석 결과와는 다른 양상을 보여준다.

Table 4.

Statistical comparison of data changes in Figure 6.

스무딩 적용 전후의 랜드마크 평균 이동 거리는 각각 134.17에서 334.26으로, 표준편차는 77.47에서 132.17로 관측되었다. 이는 손가락이 구부러지거나 서로 겹치면서 발생하는 복잡한 움직임으로 인해 랜드마크의 정확한 추출이 어려워지며 상당한 양의 노이즈가 생성되었음을 나타낸다. 그림 6은 주먹 쥐기나 손가락의 빠른 움직임과 같이 불규칙한 움직임을 통해 노이즈 생성 및 스무딩 알고리즘 적용 결과를 보여주는 그래프로, 이 중 가장 많은 피크가 나타났다. 이는 이동평균 기법이 데이터의 급격한 변화나 불규칙한 움직임을 적절히 반영하기 어려운 특징 때문에 발생하는 문제이다. 이전 프레임 대비 현재 프레임에서의 랜드마크 좌표 변화를 기반으로 계산될 때, 변화가 즉시 반영되지 않아 지연이 발생한다. 따라서, 데이터에 큰 변동이 있을 때 스무딩 알고리즘을 적용 한 데이터는 변화를 반영하는 데 시간이 지연되어 부정확한 결과를 내놓게 된다.

Fig. 6.

Irregular motion graphs and algorithm application graphs.

좌우 이동이나 앞뒤 이동 같은 연속적인 움직임에서는 피크가 적게 발생하고 스무딩 처리된 데이터와의 차이가 크지 않았다. 하지만 불규칙한 움직임에서는 프레임마다 발생하는 좌표 변화가 커서 더 많은 오류를 유발했다.

그림 7은 스무딩 알고리즘 적용 유무에 따른 좌표 이동을 보여주는 그림이다. 그림의 주황색 점선인 A는 알고리즘이 적용되지 않았을 때의 좌표 이동을 보여주고, 파란색 실선인 B는 알고리즘이 적용되었을 때의 좌표 이동을 보여준다. 스무딩 알고리즘이 적용됨에 따라 좌표 이동이 부드럽게 이동하는 것을 확인할 수 있다. 그러나 실제 좌표 이동인 A보다 더 작은 범위의 움직임을 보여주었다.

Fig. 7.

Graph of coordinate movement with or without algorithm application.

그림 8은 스무딩 알고리즘을 적용하고 유니티3D를 통해 3차원 공간에서 핸드 트래킹을 시연하는 모습인데, 실제 테스트 시 연속적인 움직임과 천천히 움직일때는 부드러운 움직임을 보였지만, 급격하고 불규칙적으로 움직이는 상황에서는 핸드 트래킹의 일부가 스킵되는 현상이 발생하였다.

Fig. 8.

A demonstration of hand tracking with a smoothing algorithm through Unity 3D. A: Left and right movement video B: Front and back movement video C: Irregular movement video

3-2 고찰

본 연구에서는 미디어파이프 핸드 트래킹의 랜드마크 검출 과정에서 발생하는 노이즈를 이동 평균을 통한 스무딩 알고리즘을 적용하여 노이즈의 발생의 감소를 검증하였다. 스무딩 알고리즘을 적용하였을 때 손의 좌, 우 x축의 움직임을 촬영한 영상에서는 약 12.34%의 노이즈 감소가 있었고, 손의 앞, 뒤 z축의 움직임을 촬영한 영상에서는 약 23.42%의 노이즈 감소가 있었다. 그러나 주먹을 쥐거나 손가락을 구부리는 등 불규칙적인 움직임을 촬영한 영상에서는 스무딩 알고리즘을 적용한 후 그래프 상으로는 노이즈가 감소한 것처럼 보였으나, 실제로는 부정확한 좌표값을 반환하는 결과를 보였다.

이러한 결과를 가지고, 유니티3D를 통해 3차원 공간에서 손을 구현하여 실시간 영상을 사용해 핸드 트래킹을 했을 때, 부드럽고 천천히 움직이는 상황에서는 약 33 ms 정도의 지연이 발생하였다. 그러나 급격하고 불규칙적인 움직임이나 매우 빠른 속도로 움직이는 상황에서는 120ms~200 ms 정도의 지연이 발생했다. 33 ms 정도의 지연 시간은 일반적인 상황에서 사람이 인지하기 힘들지만, 120ms~200ms 의 지연 시간은 사람이 충분히 인지하여 불편함을 느낄 수 있다. 이동 평균을 사용한 스무딩 알고리즘을 사용하여 실시간으로 사용했을 때 발생하는 트래킹 딜레이 문제는 사용자의 몰입도를 떨어뜨릴 수 있는 요인으로 작용할 수 있다[12],[13].

본 실험을 통해 스무딩 알고리즘의 적용이 특정 상황에서 노이즈를 줄이는 데 효과적임을 확인했으나, 고도의 정밀성이 요구되는 상황이나 복잡한 핸드 트래킹이 필요한 경우에는 이동 평균 기반의 스무딩 처리가 적합하지 않을 수 있음을 시사한다.