서로 다른 색상 공간을 가지는 스테레오 이미지에서 마스크를 착용한 사람들에 대한 3차원 공간 정보 획득

시선 추적(gaze estimation)은 사용자의 얼굴을 촬영한 2차원 이미지만으로 해당 사용자가 바라 보고 있는 위치를 예측하는 기술이다. 이러한 시선 추적 기술은 크게 모델 기반(model-based) 방법과 외관 기반(appearance-based) 방법으로 나눌 수 있다[3].

모델 기반 시선 추적 또는 예측 기법은 주로 눈에 가까운 위치에 근적외선(NIR) 광원과 카메라를 배치해서 안구 표면에 반사된 형상을 이용하는 방법이다. 이 방법은 주로 눈의 해부학적인 형태를 기하학적인 모델로 재구성해서 눈이 바라보는 곳을 추정한다. 모델 기반 시선 추적 기법은 직관적인 특징이 있지만 근적외선 광원을 안구에 가깝게 위치시킴으로써 화상을 유발하는 문제와 함께 고해상도 적외선 카메라 등 고가의 전용 장비가 필요하다는 단점이 있다.

이에 비해 외관 기반 시선 추적 기법은 인공지능 기법을 기반으로 일반적인 웹캠 등 상대적으로 해상도가 낮은 카메라를 이용해서 사용자의 얼굴을 촬영하고 인공지능을 이용해서 시선 방향을 추적하는 기술이다. 전용 장비가 필요하지 않기 때문에 응용 범위가 넓다는 장점이 있으나 딥러닝 네트워크를 학습시키기 위해서 대규모 학습 데이터가 필요하다는 단점이 있다.

본 연구에서는 외관 기반 시선 추적 기법의 학습을 위해 서로 다른 색 공간과 카메라 매개변수를 가지는 두 이미지에서 3차원 정보를 추출하여 학습 데이터를 구성하는 방법에 대해 논의한다.

Epipolar geometry는 일정한 거리를 두고 두 대의 카메라로 동시에 3차원 공간 상의 한 물체를 촬영하는 경우의 기하 해석 방법이라고 할 수 있다.

그림 1에서 왼쪽 카메라의 위치 O_l와 오른쪽 카메라 위치 O_r를 연결하는 벡터 t, 3차원 공간 상의 한 점 P를 연결하는 삼각형이 포함되는 평면을 epipolar plane이라고 한다. 이 때 벡터 t와 왼쪽 카메라의 위치 O_l에서 P로 향하는 벡터 x_l과의 외적 n = t×x_l는 수직이기 때문에 x_l•(t×x_l) = 0가 성립하는데 이 방정식을 epipolar equation이라고도 한다. 이 방정식을 이용하면 스테레오 카메라 시스템에서 점 P의 3차원 공간 상에서의 위치를 구할 수 있다. 자세한 내용은 [4]를 참고한다.

Fig. 1.

Epipolar geometry

Azure Kinect에서 외부 카메라 매개변수는 IR 카메라의 중점을 기준으로 RGB 카메라가 얼마나 떨어져 있으며(translation), 어떤 각도(rotation)로 바라보고 있는지 정보를 제공한다. Azure Kinect는 Y축의 양의 방향이 지면을 향하고 Z축의 양의 방향이 카메라가 보는 방향(view direction)을 향하는 오른손 좌표계를 채택하고 있으며 IR 카메라가 원점에 위치하며 RGB 카메라는 Azure Kinect 사양에서 약 [32.0, 1.8, -6.34] (단위 mm) 지점에 위치하면서 RGB 카메라가 IR 카메라보다 X축 기준으로 약 +6도 회전한 형태로 배치되어 있다(이 수치는 대략적인 수치이며 정확한 수치는 기기가 연결된 상태에서 Azure Kinect SDK를 통해 얻을 수 있다).

그림 6에서 볼 수 있듯이 내부 카메라 매개변수는 3차원 카메라 좌표계에서 2차원 이미지 좌표계로 변환(주로 원근 투사)하고 카메라 왜곡을 반영하여 2차원 이미지 좌표계를 2차원 픽셀 좌표계로 변환하기 위해 사용된다.

일반적으로 카메라 좌표계에서의 3차원 좌표 (X_c, Y_c, Z_c)는 초점 거리가 1인 바늘구멍 카메라 모델에서 다음과 같이 2차원 이미지 좌표 (X_i, Y_i)로 변환된다[10].

물리적인 카메라에는 이상적인 카메라와는 달리 제조 상의 한계로 인한 왜곡이 존재할 수 밖에 없는데 이러한 렌즈 왜곡을 표현하고 해석하기 위해서 왜곡 함수 d(r)로 왜곡된 이미지 좌표 (X_d, Y_d)를 다음과 같이 모델링한다.

Azure Kinect에서는 OpenCV와 마찬가지로 r에 대한 6차 유리함수를 이용하는 Brown Conrady 왜곡 모델[11]을 사용한다. 최종적인 픽셀 좌표 (u,v)는 다음과 같이 계산한다.

이때 s_x, s_y는 픽셀/초점 거리(focal distance) 단위로 표현된 배율로 이미지의 해상도가 w×h이면 w/h = s_y/s_x을 만족한다[10]. 또한 (X₀, Y₀)는 이상적인 바늘구멍 카메라의 이미지 좌표 (u,v)에서 이미지의 실질적 중점(principal point)의 좌표를 의미한다.

식 (2)와 (3)은 이상적인 카메라에서의 2차원 좌표 (X_i, Y_i)를 왜곡된 좌표 (X_d, Y_d)로 변환하는 과정을 보여준다. 따라서 왜곡 과정(distort)은 r에 대한 6차원 유리함수로 표현되는 왜곡 함수 d(r)를 바로 계산할 수 있지만 왜곡을 제거하는 과정(undistort)는 6차원 유리함수로 표현되는 방정식을 풀어야 하는 비선형적인 해법을 거쳐야 한다. Azure Kinect SDK에서는 이 과정을 최대경사하강법(steepest gradient descent)와 유사한 반복 해결법(iterative solver)를 이용해서 해결한다(Algorithm 1의 (A)).

카메라에 투사된 3차원 좌푯값을 정확하게 알기 위해서는 식 (1)에서처럼 카메라 좌표계에서 3차원 좌표의 z축값인 Z_c를 정확하게 알아야 한다. 일반적인 Azure Kinect 기기에서는 이 값을 깊이값(depth) 정보로 정확하게 측정할 수 있지만 AI HUB의 데이터세트처럼 depth 정보를 신뢰할 수 없거나 아예 없는 경우는 바로 Z_c를 알 수 없다.

따라서 본 논문에서는 깊이값에 해당되는 정확한 Z_c를 추정하기 위해서 각 카메라에 대해 해당 3차원 지점이 가장 가깝게 위치할 때의 깊이 50mm부터 가장 멀리 위치할 때의 거리 14,000mm의 연속 범위에 대해 고정된 (X_i, Y_i)에 대한 3차원 위치를 고려한다. 이때 한 카메라에 대해 고정된 (X_i, Y_i)를 기준으로 식 (1)에 대해 50 ≤ Z_c ≤ 14000 범위로 연속으로 깊이값을 변화시키면 3차원 공간에서 (X_c, Y_c, Z_c)의 점의 자취는 각 카메라에서 가장 가까운 점 (50X_i,50Y_i,50)과 가장 먼 점 (14000X_i,14000Y_i,14000)을 연결하는 선분이 된다(Algorithm 1의 (B)). 구하고자 하는 실제 3차원 좌표 (X_c, Y_c, Z_c)는 두 카메라에서 3차원 공간 상에 각각 형성된 두 선분의 교점이 된다는 것을 알 수 있다.

앞서 이 논문에서 제안한 3차원 위치 복원 방식으로 계산한 두 선분은 최소 깊이에서 계산된 3차원 지점과 최대 깊이에서 계산된 3차원 지점을 지나는 선분으로 계산이 된다. 그러나 실제로 32비트 또는 64비트 실수 연산으로 인한 한계와 카메라 왜곡 모델에서의 오차 등으로 두 선분이 수치적으로 계산했을 때 정확하게 한 점에서 교차하는 경우는 매우 드물다. 따라서 실용적인 근사로서 3차원 공간 상에서 만나지 않는 두 선분의 최단 거리를 통과하는 제3의 선분을 구하고 그 선분의 중점이나 (IR 카메라의 중심이 world coordinates의 기준점임을 고려해서) IR 카메라의 선분과 제3의 선분이 교차하는 점을 두 선분이 만나는 3차원 지점으로 근사한다.

이후 논의에서는 계산의 편의상 두 선분을 IR 카메라와 RGB 카메라에서 각각 가장 가까운 점 P₁과 P₂에서 출발해서 가장 먼 점을 향하는 ray(반직선)로 가정한다.

그림 7에서처럼 만나지 않는 두 ray가 각각 점 P1과 P2에서 출발해서 $$ \overrightarrow{a_1},\overrightarrow{a_2}$$ 방향으로 진행하는 ray라고 한다면 이 두 ray는 다음 식으로 표현할 수 있다.

$$ \begin{array}{c}ray1:P_1+\overrightarrow{a_1}t \hfill \\ ray2:P_2+{\overrightarrow{a}}_{2}s\hfill \\ \left|\overrightarrow{a_1}\right|=\left|\overrightarrow{a_2}\right|=1, t,s\in \mathbb{R}\hfill \end{array}$$

Fig. 7.

The segment that passes two closest points between two rays

이 때 최단 지점을 통과하는 선분이 지나는 지점을 각각 $$ P_1+\overrightarrow{a_1}{t}_0,P_2+\overrightarrow{a_2}{s}_0$$라고 하면 이 두 지점을 지나는 직선 l은 ray1 및 ray2와 직교해야 한다. 이 때 직선 l의 방향 벡터를 $$ \overrightarrow{x}$$라고 하면

$$ \begin{array}{c}u\overrightarrow{x}=\overrightarrow{a_1}\times \overrightarrow{a_2},u\in R \hfill \\ \overrightarrow{x}=\left(P_2+\overrightarrow{a_2}s\right)-\left(P_1+\overrightarrow{a_1}t\right)\hfill \end{array}$$

외적의 성질에 의해

(4)에서

$$ \begin{array}{c}\overrightarrow{a_1}•\left(\overrightarrow{a_1}\times \overrightarrow{a_2}\right)=\overrightarrow{a_1}•u\overrightarrow{x} \hfill \\ =u\overrightarrow{a_1}•\left(P_2-P_1+s\overrightarrow{a_2}-t\overrightarrow{a_1}\right)\hfill \\ =u\{\overrightarrow{a_1}•\left(P_2-P_1\right)+\left.s\overrightarrow{a_1}•\overrightarrow{a_2}-t\right)\}=0,\forall u\in \mathbb{R}\hfill \\ \hfill \\ \therefore \overrightarrow{a_1}•\left(P_2-P_1\right)+s\overrightarrow{a_1}•\overrightarrow{a_2}-t=0\hfill \end{array}$$

같은 방법으로 (5)에서

$$ \therefore \overrightarrow{a_2}•\left(P_2-P_1\right)-t\overrightarrow{a_1}•\overrightarrow{a_2}+s=0$$

두 벡터 $$ \overrightarrow{a_1},\overrightarrow{a_2}$$가 이루는 각을 θ라고 하고 두 방정식을 행렬식으로 표현하면

미지수 t_x와 s_x의 값을 알기 위해 양변에 역행렬을 곱하면

이때 정방행렬 A의 판별식은 cos²θ-1이며 이 값이 0이 되는 θ는 0 ≤ θ < 2π 범위에서 0, π이다. 그런데 IR 카메라의 중심에서 시작해서 카메라 좌표계의 z 축 방향으로 임의의 거리에 있는 이미지의 각 픽셀의 샘플링 지점(일반적으로 사각형 픽셀 영역의 중점)을 통과하는 ray들 중에서 임의의 두 ray는 같은 방향으로 또는 반대 방향으로 평행할 수 없기 때문에 θ는 0, π가 될 수 없다. 따라서 정방행렬 A는 역행렬을 가지며 식 (7)와 같이 미지수 t_x, s_x를 구할 수 있다.

이러한 계산 결과를 토대로 두 가지 교차점의 근사 방식을 생각해 볼 수 있다(그림 8). 첫 번째 방법은 식 (7)를 통해 구한 t_x, s_x로 ray1과 ray2 상에서 가장 가까운 두 지점을 지나는 선분을 구하고 이 중점을 교차점의 근사값으로 계산하는 방법이다. 식 (7)를 통해 구한 대로 ray1 위에서 ray2와 가장 가까운 점의 좌표는 $$ P_1+\overrightarrow{a_1}{t}_x$$이며 ray2 위에서 ray1가 가장 가까운 점의 좌표는 $$ P_2+\overrightarrow{a_2}{s}_x$$이므로 이 두 점의 중점을 두 ray의 교차점의 좌표로 가정한다면 교차점의 좌표 Q는 다음과 같다.

Fig. 8.

Two methods to approximate a three-dimensional position

이 방법은 IR 카메라와 RGB 카메라에서 나온 ray가 모두 픽셀 샘플링 위치를 통과할 때 두 카메라 모두 어느 정도 오차를 가지고 있다고 가정하고 있으며 그러한 오차를 가정해서 평균으로 교차점을 결정한다고 생각할 수도 있다.

이와는 다르게 IR 카메라의 중심을 world coordinates의 원점으로 가정하고 있다는 점에 착안해서 간단하게 IR 카메라에서 나온 ray 위의 가장 가까운 점을 교차점으로 가정하는 방법도 생각해 볼 수 있다. 이때 ray1이 IR 카메라에서 나오는 ray라고 한다면 근사 교차점 Q는 다음과 같다.

MediaPipe는 사람들이 시각적으로 불편을 느끼지 않는 조명 환경 속에서 안경이나 기타 물품을 착용하지 않은 상태로 학습되었기 때문에 얼굴을 가리는 요소가 있거나 과도한 얼굴 각도(예를 들어 카메라에 얼굴 옆 모습이 촬영되어 두 눈이 모두 보이지 않는 경우 등)로 촬영되면 오작동을 하는 경향이 있다. 특히 마스크를 착용할 경우, MediaPipe가 눈 주변의 landmark는 비교적 정확하게 파악하지만 턱이나 입 주변의 landmark에서 오류가 발생한다. 실험에 사용된 데이터세트의 경우 모든 피실험자들이 마스크를 착용한 상태로 촬영했기 때문에 일부 데이터에서는 landmark가 큰 오차로 잘못 인식되는 현상들이 발생하였다(그림 12). 본 논문에서 해결하고자 하는 문제에서는 눈 주변의 landmark만 필요하기 때문에 대부분의 데이터에서는 어느 정도 정확한 계산이 가능하였지만, 마스크 착용으로 인해 눈 부분도 어느 정도 영향이 있으리라 생각된다. 향후 마스크로 인한 랜드마크 오류 문제는 COVID-19 상황 이후 전세계적으로 여러 방법들이 제안, 실험되고 있기 때문에 향후 적절한 방식을 적용하여 해결을 시도하고자 한다.

Fig. 12.

Accurately captured landmarks in the RGB image (left) and incorrectly captured landmarks in the IR image (right)

또한 MediaPipe는 일반적인 RGB 기반의 카메라로 촬영된 얼굴 이미지에서 올바로 작동하도록 설계되었기 때문에 일부의 경우 동시에 촬영된 RGB 이미지에서는 landmark가 잘 인식되지만 IR 이미지에서는 landmark가 아예 인식되지 않은 경우도 확인할 수 있었다. 이 문제는 향후 추가적인 연구를 통하여 IR 이미지를 자연스러운 RGB 이미지로 변환하는 방식을 구현함으로써 해결하고자 한다.

Table 3.

Ratio of valid data available for training to total data