반사체 3D 모델링을 위한 이미지 데이터 프로세스

현실 세계에서 일어나는 동적인 장면을 3차원으로 모델링 한 다음, 단말에서는 사용자가 지정한 시점에 따라 실시간으로 렌더링하는 작업은 많은 응용이 있다. 가령 축구장에 수십 대의 카메라를 설치하여 실시간으로 다중 영상을 취득하고, 이들 영상으로부터 3차원 장면을 재구성한 다음 사용자 단말로 보내 사용자의 지시에 따라 다양한 시점으로 디스플레이하는 응용을 생각해 볼 수 있다. 하지만 실시간으로 이러한 시스템을 구축하는 일은 매우 어려운 일에 속하며, 다중 영상을 획득, 전송, 관리하는 과업, 3차원 재구성 과업, 실시간 렌더링 과업 등이 어우러져야만 가능하다[1]. 다시점 촬영(입체사진)의 역사는 1860년 프랑스에서 프랑수아 윌리에므(Francois Willlieme)에 의해 시작되었다. 당시 디자인된 입체사진술(사진조각술)은 원형의 방 중앙에 놓아둔 물체를 360도 방향에서 각각 카메라로 동시 촬영하였다. 이것은 현재의 3D 스캔과 유사한 방법으로 촬영되었다. 현재 다시점 촬영은 영화 ‘매트릭스’에서 사용한 후 중요한 TV 스포츠 중계에서 간간히 볼 수 있다. 두 대 이상의 카메라로 배열을 구성하여 여러 개의 영상을 동시에 획득하여 조합하며, 카메라의 배열방식은 평행배열, 수렴배열, 2차원배열, 원형배열 방법 등이 있지만. 3D형 상의 재현을 위한 방법으로는 원형배열 방법을 사용한다[2]. 3D 프린팅을 하기 전 촬영된 이미지를 3D 모델로 변형시킬 수 있는 프로그램을 사용해 메쉬(mesh) 제작하여 3D 모델링을 한다. 지금의 현 단계에서 2D 이미지를 3D object로 변환하는 단계에 한계가 있어 반드시 3D 프로그램인 Maya나 3D Studio Max를 이용해서 필요한 모델링과 클린업을 해야 하는 단점이 있지만 미래에는 한 단계를 줄일 수 있는 프로그램이 개발되리라 판단 된다[2]. 깊이 감지 카메라의 출력값 Odepth는 0~2047 사이의 정수 값을 가지는데 이 출력값은 정확한 거리정보를 나타내는 것이 아니므로 이에 대한 보정이 필요하다. 이를 위하여 레이저 거리 측정기를 이용하여 깊이 감지 카메라의 출력값과 그에 대한 실제 거리 값을 측정하였는데 그 결과는 그림 3과 같다. 다음으로 식(1)의 모델을 사용하여 깊이 이미지 값을 실제 거리로 변환하는데 측정된 데이터로 피팅을 수행하여 깊이 보정을 수행하였다. 표 1은 피팅을 통하여 얻은 식(1) 모델의 파라미터를 나타낸다.

여기서 (i, j)는 Odepth에 대한 픽셀 좌표를 의미한다[3].

생성된 3차원 메쉬의 표면을 복원함으로써 실내 영상을 복원한다. 전역 영상으로부터 3차원 메쉬 표면을 복원하기 위해 메쉬를 구성하는 포인트 클라우드와 전역 영상간의 기하학적 관계를 정의한다. 전역 영상의 픽셀 p=(u,v)와 3차원 공간상에 매칭되는 포인트 P=(X,Y,Z)는 다음과 같은 관계를 갖는다.

이때

를 나타낸다. 따라서 각 메쉬의 세 꼭짓점에 해당하는 포인트 클라우드들과 전역영상에서 매칭되는 픽셀위치를 찾아 전역영상의 텍스쳐를 메쉬 표면에 매핑함으로써 3차원 메쉬 표면을 복원한다[4]. (수식 (2)의 R은 포인트 클라우드의 3차원 좌표 중앙, 즉 꼭짓점이며 수식 (2)의 r은 3차원 메쉬 표면의 중앙좌표이다).

실사 기반 3D 모델링을 제작하기 위해서는 올바른 촬영계획이 필요하다. 3D 촬영계획은 피사체 중심으로 원을 그리며 촬영하는 방식과 피사체의 한 면을 Grid 형식으로 촬영하는 방식이 있다.

피사체의 면이 불규칙적이거나 곡면일 경우, 원을 그리며 촬영하는 방법이 적합하다. 그림1, 그림2는 3D 모델링 프로그램 회사 Agisoft가 제시한 3D 모델 촬영 가이드이다.

Fig. 1.

Isolated Object

Fig. 2.

Facade

피사체의 면이 직사각형인 경우, 그리드 형식으로 촬영하는 방법이 적합하다. 3D 촬영과정에서 카메라가 피사체를 바라보는 시점의 높이와 피사체와 카메라 간의 거리를 일정하게 유지하는 것이 중요하다. 본 연구에서는 다각형이거나 곡면이 있는 피사체를 3D 모델 제작에 사용하기 위해 피사체를 중심으로 카메라가 원을 그리며 촬영하는 방법을 사용한다.

Fig. 3.

Visualization by point of view

피사체를 바라보는 시점에 따라 카메라에 나타나는 피사체의 부분이 다르다. 3D 모델 제작과정에서 피사체의 형태가 완전히 표현되려면 카메라의 높이를 피사체의 형태에 따라 세분화시켜 촬영하여야 한다. 3D 모델 제작을 위해 상, 중, 하로 카메라가 바라보는 높이에 따라 세 차례에 걸쳐 촬영하는 것이 일반적이다. 하지만 피사체의 형태가 복잡한 경우 피사체의 형태를 분석하고 부위와 특징에 따라 카메라 높이를 네 개에서 다섯 개로 나누어 촬영한다.

일반적으로 더 많은 사진 데이터가 있다면, 좋은 품질의 3D 모델 파일을 얻을 수 있다. 하지만 동일한 수의 사진이더라도 대상의 특징에 따라 적절한 사진들을 얻을 수 있어야만 그 출력 품질이 좋아진다[5]. 피사체와 카메라 간의 거리(초점거리)는 3D 모델의 질감을 결정한다. 초점거리가 짧을수록 피사체의 질감은 렌즈를 통하여 더 확대되고 촬상면을 많이 차지하기 때문에 3D 모델의 질감 표현에 유리하다. 하지만 피사체와 카메라 간의 거리가 짧을수록 피사체의 좁은 면적을 촬영하기 때문에 3D 모델 생성을 위한 이미지 촬영 매수가 증가하고 많은 데이터 처리량과 렌더링 시간을 요구한다. 그림4의 꽃병과 그림5의 꽃병은 동일 카메라와 렌즈로 촬영되었지만, 촬영매수가 각각 167장 341장으로 다르다. 따라서 솔리드(solid)를 이루는 점 구름의 개수 또한 29,622,119 개 70,567,037 개로 2배 이상의 차이가 있다.

Fig. 4.

Vase made by 167 photos

Fig. 5.

Vase made by 341 photos

Fig. 6.

Vase 3D model

Fig. 7.

Outside reflect sculpture

이미지를 취합하여 입체로 만들기 위해서는 이미지가 반복적이며 균일하여야 한다. 사진이 3D 모델링을 위한 이미지 데이터로써 사용되기 위해서는 피사체의 주변 상황과 외부요인 또한 통제되어야 한다. 정지 화상을 통해 3D 모델을 제작하기 위해서는 주변 상황에 변화가 없어야 한다. 주변 상황이 3D 모델 제작 시 촬영계획에 따른 사진을 정렬하는 Align 과정에서 기준점을 만든다. 3D 모델링 프로그램은 반복되는 패턴으로 이루어진 사물의 경우 피사체를 기준으로 사진의 위치를 파악할 수 없다. 그러므로 배경에 해당하는 주변 상황으로부터 기준점을 세운다. 만약 배경이 유동적이면 이미지 간의 기준점이 달라지기 때문에 사진 정렬에 실패하거나 기준점이 틀어져 사진 정렬에 오류가 생길 수 있다. 피사체의 형태와 질감이 균일해야 3D 모델 재현율이 높아진다. 태양과 같이 피사체를 비추는 광원이 변칙적이면 피사체가 촬영된 사진의 노출이 달라진다. 이는 3D 모델 생성 시 노출 편차로 인해 사진의 톤이 일정하지 않게 된다. 극단적인 경우, 광원이 촬영 도중 변화하여 피사체의 일부 면적이 반사되면 3D 모델링 프로그램에서 이를 weak-point로 간주하여 솔리드 생성과정에서 해당 면적을 배제함으로 피사체의 일부 형태만 3D 모델로 나타난다. 이미지 소스 촬영을 위한 카메라의 설정값도 3D 모델의 재현율에 큰 영향을 끼친다. 정지 화상을 이용하여 3D 모델을 생성하는 경우, 피사체와 카메라가 고정되어있다는 가정하에 카메라의 셔터속도가 끼치는 영향은 미미하다. 카메라 렌즈 조리개 값의 경우 피사체의 질감을 표현할 때 영향을 끼치는 가장 큰 요소이다. 촬영계획에서 피사체와의 거리가 정해지면 피사체의 거리와 촬영할 부분의 형태에 따라 초점이 맺히는 범위를 설정하여야 한다. 3D 모델링 프로그램은 촬영된 피사체의 특징을 분석한 기준점을 바탕으로 입체형태를 만든 뒤, 형태에 맞게 잘려져 있는 이미지를 덮는 방식이다. 사진 촬영 시 심도가 부족하여 피사체의 형태가 제대로 표현되지 않으면 색, 질감, 테두리를 통해 계산하는 Odepth가 정확하지 않기 때문에 3D 모델의 형태가 불완전해진다. 반대로 렌즈의 조리개 값이 높아 회절현상이 일어나면, 사진의 초점이 흐려지고 해상력 저하가 생긴다. 이런 경우에는 피사체의 질감이 모자라기 때문에 3D 모델 표면의 질감이 떨어진다.

본 연구의 목적은 3D 모델링을 위한 촬영계획을 세운 뒤, 촬영된 이미지 데이터인 사진을 3D작업을 위한 데이터로 가공함으로 3D 모델 렌더링 작업을 최적화시키고 3D 모델의 재현율을 극대화 시키는 것이다. 이미지 데이터를 통해 만들어진 반사체 3D 모델을 제작함으로써 실사 기반 3D 모델에서 가공된 이미지 데이터의 유효성을 검증한다. 촬영환경의 통제를 위해 실내에서 광량의 변화폭이 적은 인공조명을 이용하여 촬영계획을 실행한다. 통제된 조건에서 반사체의 3D 모델을 형태가 손실되지 않게 제작한다.

본 연구를 위해 제작한 촬영용 물레는 그림8과 같다. 포인트 클라우드 생성 시 3D 모델링 프로그램이 피사체의 크기를 가늠할 수 있도록 물레의 회전축을 중심으로 3개의 원이 그려져 있다. 피사체의 질감이 적거나 패턴이 일정한 경우 Align 과정에서 사진이 정렬되지 않기 때문에 기준점을 잡아주기 위해 피사체의 표면에 반사되어 비추어지는 색상 선이 격자로 그려져 있다. 3D 모델 제작을 위한 사진 촬영 시 확산판을 이용하여 피사체에 반사되는 부분을 최소화한다. 금속표면을 가진 물레의 반사를 이용하여 조명에 영향을 받아 Occlusion shadow 생성이 되는 것을 방지한다. 이론적으로 3D 모델링을 할 피사체의 배경이 없는 경우 사진 정렬이 불가능하지만, 물레에 격자 선이 교차해 그려져 있어 피사체가 촬영되는 시점을 프로그램상에서 기준점으로 인식시켜준다.

Fig. 8.

Spinning Wheel for 3D modeling

본 연구를 위해 제작한 자동촬영시스템은 그림9와 같다. 트레팔지를 상부, 정면, 좌측, 우측 설치하여 주변환경이 촬영되지 않도록 한다. 이로 인해 3D 모델에 사용될 피사체 이외의 주변환경이 촬영되지 않으므로, 3D 모델링 프로그램에서 주변상황을 고려하지 않은 상태에서 점 구름을 생성하기 때문에 컴퓨터의 연산량이 현저히 줄어든다. 주변상황에 대한 정보가 촬영된 이미지에 존재하지 않으므로 카메라가 고정된 상태에서 피사체를 회전시키며 촬영하여도 3D 모델링 프로그램은 피사체의 특징점을 기반으로 3D 모델을 생성한다. 카메라가 자동초점기능을 통해 초점을 잡고 입력된 코드에 따라 촬영한다. 한 개의 이미지 촬영이 끝나면 아두이노에 장착된 모터가 물레를 일정 간격을 가지고 고정된 피사체를 Y축을 중심으로 회전시킨다. 자동촬영을 위한 아두이노 명령어는 그림10과 같다.

Fig. 9.

Automatic photogrammetric system for 3D modeling

Fig. 10.

Automatic photogrammetric system Arduino code for 3D modeling

3D 모델링을 위해 필요한 작업은 그림11과 같다. 이미지를 촬영 후 가공하여 데이터로 가치를 가질 수 있게 후보정 프로그램을 통하여 분류 및 균등화 작업을 실행한다. 그 후, 3D 모델링 프로그램을 통하여 점 구름을 생성하고 메쉬로 이루어진 솔리드를 만든 뒤, 표면에 타일(tile)로 잘려져 있는 이미지를 입힌다. 난반사 유리가 설치된 조명이 수직으로 물레 위에 피사체를 비추게 함으로 광량을 확보하였다. 셔터속도가 2 초, 조리개 값이 F14, 감도가 ISO 100일 때 정확한 노출의 사진을 얻을 수 있도록 조명의 광량을 고정하였다. 3D 모델링을 위해 Phaseone의 Captureonepro 프로그램을 사용하여 이미지 데이터를 가공하였다. 상용화된 여러 가지 이미지 후보정 프로그램 중 Captureonepro 프로그램을 선택한 이유는 일괄처리를 위한 시스템이 체계적이기 때문이다. Adobe Photoshop과 같은 프로그램의 경우 수백 장 혹은 수천 장의 RAW 이미지를 가공하기 위해서 각 RAW 파일에 해당하는 설정값이 저장된 log 파일이 저장된다. 하지만 Captureonepro의 경우 단일 폴더에 모든 설정값을 일괄저장한다. 이미지의 해상도는 긴 축을 기준으로 4096 픽셀이다. 3D 모델링 프로그램의 마지막 과정인 Tiled model 과정에서는 2의 n제곱에 해당하는 타일 크기를 사용하기 때문이다. 이외의 타일 크기를 사용하면 3D 모델링 프로그램에서는 Scale을 조정하는 과정을 통해 타일 크기를 다운샘플링(down samling)하기 때문에 추가로 렌더링 시간이 소요된다. 또한, 4096 픽셀 보다 큰 8192픽셀의 타일 크기를 3D 모델링에 사용하면 데이터 연산량이 증가해 렌더링 소요시간이 기하급수적으로 늘어나고 컴퓨터의 램 사용량이 128GB를 초과하게 된다. 이로 인해 서버용 중앙처리장치를 쓰지 않는 컴퓨터의 메인보드에서는 최대 DDR4 규격의 16 GB RAM이 총 8개가 장착되기 때문에 메모리 초과로 인한 에러가 발생하게 된다.

Fig. 11.

3D modeling process