Journal Archive

3D 산업 분야는 다른 분야에 비하여 신생분야임에도 그 산업 규모가 상당히 크고 매우 빠르게 증가하고 있으며 영화 및 애니메이션, TV, 게임, 제조, 의료 등 많은 곳에서 이용된다. 특히, 가상현실 (VR; visual reality)과 증강현실 (AR; augmented reality)을 활용한 기술의 발달은 3D 산업에 대한 사용자의 요구와 각종 수요는 지속적으로 증가하고 있다. 따라서 3D 영상 시스템에서의 첫 단계인 3차원 영상의 획득과 처리 관련 기술은 3D 영상 시스템에서 기초 기술로서 그 중요도가 매우 높고 또한 지속적인 연구가 수행되었다 [1]-[11].

3차원 영상 기술은 착용방식으로 구분하며 안경식 방식과 무안경식 방식으로 나눈다. 안경식 방식은 현재 상용화된 기술로 영상 획득 방식이 간단하다는 장점이 있지만 특수 안경을 착용해야 한다는 불편함과 장시간 관측시 눈의 피로감을 유발하고 어지러움이 발생되는 문제점이 있다[2]-[8].

무안경식 방식은 특수 안경을 추가로 착용하지 않아도 된다는 장점을 가지며 그 중 렌즈 배열을 사용하는 집적 영상 방식은 1908년 G. Lippmann에 의해 처음 제안된 기술로 백색광을 사용하여 3차원 물체의 정보를 기록하고 재생 가능하다[11]. 집적 영상 기술은 실제 체적형 3D영상을 제공함으로써 영상을 관측할 때 사용자의 시각적 피로감이 없고 수직, 수평 시차와 연속적인 시점을 제공한다는 점에서 차세대 3차원 영상 기술로 인정받고 있다.

3D영상 취득 장치 중에서 라이트 필드 카메라는 렌즈 배열을 통해 단일 센서로 다시점 영상을 획득하는 방식이다[12], [13]. 따라서 일반적으로 높은 해상도의 이미지 센서를 사용하여도 결과 영상의 해상도는 현저히 낮다. 영상의 화질은 영상 시스템에서 성능을 좌우하는 매우 중요한 요소이기 때문에 영상의 화질을 개선하기 위한 연구는 필수적이다.

라이트 필드 카메라는 일반 카메라와 같이 단일 이미지 센서를 통해 색채 영상을 획득하는 방법인 컬러 필터 배열 (CFA; color filter array)를 사용하기 때문에 디모자이킹 방법으로 색채 영상을 재구성해야 한다[14]. 일반 카메라에서 취득된 CFA 데이터로부터 해상도가 증강된 색채 영상을 얻기 위한 기술은 오랫동안 많은 연구가 진행되어왔다 [15]-[23]. 선형 보간법과 같은 간단하면서도 하드웨어에 적합한 방법 [15], [18], 에지 방향성을 이용한 방법[16]-[18], 색채 평면간 상관성을 이용한 방법[19]-[21], 반복적인 (iteration) 보간법[22], 주파수 영역에서의 보간법[23] 등이 있다.

라이트 필드 카메라의 원본 영상은 일반적인 영상과 다른 구조로 구성되어있다. 따라서 디모자이킹 방법도 일반적인 카메라 센서에서 사용되는 방법보다는 보다 효율적인 방법이 필요하다. 라이트 필드 카메라의 원본 영상은 렌즈 배열을 통해 다시점 영상이기 때문에 최근, 라이트 필드 영상의 특징을 이용한 새로운 디모자이킹 방법에 대한 연구가 진행되었다[24]-[31].

하지만 대부분의 방법들은 라이트 필드 영상에서 가장 두드러지는 특징인 원형 렌즈 배열로 인해 생기는 빈 공간에 대한 정보를 간과하였다. 라이트 필드 카메라는 카메라 안에 렌즈 배열이 위치하기 때문에 마이크로 단위의 렌즈로 이루어져 있다. 작은 크기의 렌즈는 사각형 모양보다 원형의 모양이 물리적인 정밀도가 높다. 따라서 그림 1과 같이, 라이트 필드 카메라는 원형의 마이크로 렌즈를 사용한다. 또한 라이트 필드 카메라의 렌즈는 이미지 센서의 면적 활용도를 높여 최대한 많은 양의 정보를 담기 위해 벌집 모양의 배열을 갖는다. 이러한 렌즈 배열의 특성 때문에 그림 1과 같이 렌즈와 렌즈 사이에는 빈 공간이 생긴다. 따라서 최근에는 라이트 필드 영상의 구조적 특징인 원형 렌즈 배열로 인해 생기는 빈 공간에 대한 정보를 디모자이킹 방법에 활용한 방법이 시도되었다[29]-[31].

Fig. 1. 
Micro lens array of light field camera

본 논문에서는 렌즈와 렌즈 사이의 빈 공간에 대한 정보를 Hamilton-Adams (HA) 방법 [18]에 적용시킨 마스크 정보 기반 디모자이킹 방법이다. 마스크 정보 기반 디모자이킹 방법을 본 연구진의 선행 연구에서 G 평면에 적용하여 기술의 가능성을 보였다[30], [31]. 본 논문에서는 G 평면에 대한 성능 개선뿐 아니라 R/B 평면에도 빈 공간 정보를 적용한 디모자이킹 기술을 제안한다.

본 논문의 구성은 다음과 같다. 2장에서는 라이트 필드 기술에 대한 설명과 라이트 필드 카메라에 대한 설명, 라이트 필드 원본 영상에 대한 설명을 한다. 3장에서는 기존 디모자이킹 방법에 대한 설명을 하고 4장에서는 라이트 필드 원본 영상의 화질을 개선하기 위한 마스크 정보 기반 디모자이킹 방법을 개선한 디모자이킹 방법을 제안한다. 5장에서는 제안하는 방법의 성능의 우위를 증명하기 위한 실험을 진행하고 마지막으로 6장에서는 본 논문에 대한 결론을 맺는다.

본 논문은 마스크 정보 기반 디모자이킹 방법을 개선하여 R/B 평면 복원 과정에도 빈 공간에 대한 정보를 활용한 디모자이킹 방법을 제안한다. 기존의 라이트 필드 영상에 대한 디모자이킹 방법은 정보를 담고 있지 않은 빈 공간에 해당하는 화소를 포함하여 영상을 보간하기 때문에 화질 열화가 생긴다. 마스크 정보 기반 디모자이킹 방법도 영상의 50%를 해당하는 R/B 평면에 대해서는 마스크 정보를 활용하지 않았기 때문에 영상의 화질이 떨어지게 된다. 따라서 제안된 방법은 영상의 화질을 저하시키는 마스크 정보를 배재하여 불필요한 연산 과정을 줄이고 정확도를 높인다.

제안하는 방법은 마스크 정보를 기반으로 한 디모자이킹 방법을 통해 복원된 G 평면을 활용하여 R/B 평면의 복원을 진행한다. R/B 평면은 누락된 색상 정보는 마스크 안에 존재하는 화소만을 사용하여 복원할 화소와 색상이 같은 화소의 저주파 성분과 완벽히 복원된 G 평면의 고주파 성분을 사용하여 복원된다. 또한 모든 보간 과정은 보간될 화소가 마스크 안에 존재할 경우에만 실행되고 마스크 안에 존재하지 않을 경우에는 빈 공간이기 때문에 배경색으로 복원한다.

R/B 평면의 복원은 HA 방법의 R/B 평면 복원 과정과 같이 세 가지 경우로 나누어진다. 먼저, 첫 번째 경우는 복원할 화소의 좌우 위치에 복원할 색상 평면의 화소 정보가 존재하는 경우이다. 이 경우에는 복원할 화소가 마스크 정보 안에 존재하는지 여부를 파악하고 마스크 안에 존재할 경우 2개의 주변 화소 또한 정보를 가진 화소인지 확인한다. 복원할 화소는 마스크 안에 존재하지만 복원에 사용될 2개의 주변 화소 모두 마스크 밖에 존재할 경우에는 복원을 진행하지 않는다. 식 (11)는 그림 7(b)에서 A2 화소를 복원하는 과정에 대한 계산식이고 그림 9는 첫 번째 경우의 복원 과정 흐름도이다.

Fig. 9. 
Flow diagram of the proposed method in R/ B-plane (horizontal direction)

두 번째는 보간될 화소의 상하에 복원할 색상과 같은 색상의 화소가 존재하는 경우이다. 이때, 첫 번째 경우와 같이 복원에 사용되는 주변 화소가 모두 마스크 영역 밖이면 복원을 진행하지 않는다. 다음 식 (12)는 그림 7(b)에서 A4 색상 화소를 복원하는 식이며 그림 10은 복원 과정의 흐름도이다.

Fig. 10. 
Flow diagram of the proposed method in R/ B-plane (verticall direction)

마지막으로는 복원할 화소의 대각선 네 방향으로 복원할 색상 평면의 화소 정보가 존재하는 경우이며 복원 과정의 흐름도는 그림 11과 같다. 모든 경우와 마찬가지로 복원될 화소가 마스크 안에 없는 경우와 복원에 사용될 2개의 주변 화소가 마스크 밖에 있을 경우에는 복원을 진행하지 않는다. 복원할 화소가 마스크 안에 존재할 경우에는 대각선 방향과 역대각선 방향의 두 가지 경우가 있기 때문에 방향성을 고려하여 복원해야한다. 따라서 복원할 화소의 누락된 색상 정보는 각 방향에 대한 그래디언트를 계산하고 값을 비교하여 해당하는 방향으로 보간한다. 예를 들어 그림 7(b)의 A5 색상 화소를 복원하는 경우 대각선과 역대각선 방향에 대한 그래디언트 계산식은 다음과 같다.

Fig. 11. 
Flow diagram of the proposed method in R/ B-plane (positive diagonal, negative diagonal direction)

A5 색상은 DN과 DP 값의 비교를 통해 해당하는 방향으로 복원되며 대각선 방향으로 복원하는 경우에는 식 (15)로 계산되고 역대각선 방향으로 복원하는 경우에는 식 (16)으로 계산된다.

제안된 방법을 주관적, 객관적으로 평가하기 위해 기존의 방법과 비교 실험을 수행하였다. 실험을 통해 빈 공간인 배경색에 따라 기존 방법의 실험 결과가 달라지는 것을 알 수 있었다. 실험 영상이 전체적으로 어둡기 때문에 배경색이 흰색일 경우보다 검정색일 경우 실험 결과가 좋다. 주변 화소 값을 통해 누락된 색상 정보를 보간하기 때문에 영상의 전체적인 색감과 빈 공간에 해당하는 배경색의 연관성이 디모자이킹 과정에 영향을 미치기 때문이다. 따라서 본 논문에서는 배경색을 흰색과 검정색의 중간인 회색으로 하여 실험을 진행하였다. 라이트 필드 카메라 영상의 마스크 정보는 원본 영상에서 추출하여 디모자이킹 과정에 반영한다.

실험 영상은 그림 12와 같으며 Stanford 대학에서 제공하는 Lytro 사의 Illum 카메라로 찍은 원본 영상이고 크기는 7650×5250이다. 비교 수행할 기존 방법으로는 HA 방법과 마스크 기반 디모자이킹 방법을 사용하였다. 객관적 성능 측정 방법으로 컬러 최대 신호 대 잡음비 (CPSNR; color peak signal-to-noise ratio)를 이용한다. 표 1은 각 방법의 결과에 대한 CPSNR 수치를 나타낸다. 제안된 방법은 마스크 기반 디모자이킹 방법과 비교하여 평균적으로 1.03 dB 개선되었고 영상에 따라 최대 2.75 dB 개선됨을 보여준다. 결과에서 알 수 있듯이 제안하는 방법은 다른 디모자이킹 방법과 객관적 수치 비교에 있어서 우위에 있음을 알 수 있다.

Fig. 12. 
Light field raw images

다음으로 실험 결과에 대한 영상은 그림 13과 같다. 실험 결과 영상은 영상의 일부분을 확대한 것으로 제안하는 방법은 마스크 영역 가장자리에 지퍼링 현상이 전혀 없다. 또한 정보를 갖고 있지 않은 마스크 영역은 디모자이킹 과정에 반영하지 않으므로 가장자리 부분에서의 색상 보간이 다른 방법들보다 정확하고 마스크 영역을 그대로 보존하는 것을 알 수 있다. 위의 실험 결과에 따라 제안하는 방법의 객관적, 주관적 화질의 우수함을 알 수 있다.

Fig. 13. 
Result images at “buiding” (a) raw image (b) HA method (c) proposed method_G-plane (d) proposed method

본 논문에서는 마스크 정보 기반 디모자이킹 방법을 개선한 방법을 제안하였다. 원형의 렌즈 형태 때문에 생기는 빈 공간은 영상의 정보를 담고 있지 않기 때문에 영상 처리시 성능을 저하시킨다. 따라서 불필요한 정보를 가진 마스크 정보를 디모자이킹 과정에서 제거한다. 제안된 방법의 성능을 평가하기 위하여 기존의 디모자이킹 방법과 CPSNR을 비교하여 객관적 성능 평가를 하였고 결과 영상을 통해 주관적 성능 향상도 보였다.