Current Issue

다양한 건물의 3D 모델생성은 컴퓨터 비전 및 그래픽 분야에서의 활발한 연구 주제이다. 3D 모델생성에 대한 문제 중 확산된 표면을 가진 불투명한 물체에 대한 3D 모델생성 방법은 이미 찾았음에도 불구하고, 투명한 물체의 형상 복구에 관한 연구와 문헌은 상대적으로 적은 편이다. 투명 재질의 물체가 많이 존재하는 현대 건물에서 투명 대상을 3D 모델생성 과정이 어려운 이유는 투명 물체가 그 표면과 그 내부 구조의 빛의 반사, 굴절, 흡수, 산란을 통해 빛의 방향을 바꿀 수 있기 때문이다. 많은 기존의 작업은 물체 표면에서 발생하는 미러 하이라이터를 이용하여 투명한 물체에 대하여 모델 생성하려 하였다(Ihrke 등, 2010)[1]. Hullin (2008) 등은 투명 물체를 형광에 매립하고 가시 레이저 시트와 가시 광선의 교차점을 감지하여 물체 표면을 모델로 생성했다[2]. Eren (2009) 등은 레이저 표면 가열과 열화상 기술을 이용해 유리 물체의 표면 모양을 확인했다[3]. O'Toole (2014)는 SLT (Structured Light Transport) 기술을 개발 했다. SLT를 기반으로 그들은 구조적인 빛을 사용하여 투명한 표면이나 거울로 된 표면을 모델생성하기 위한 원샷 간접 불변 이미징을 허용하는 이미징 장치를 구현했다[4]. Liu, D., Chen, X., & Yang, Y. H. (2014)는 투명한 표면과 거울로 된 표면에 대한 설정을 위하여 주파수 기반 방법을 제안했으며, 그런 다음 스테레오 방법을 활용하여 그에 대해 모델을 생성할 수 있었다[5]. Chari and Sturm (2009)은 단일 이미지에서 투명 물체를 모델 생성하기 위해 방사 측정 정보와 빛 경로 삼각 측량을 통합하는 방법을 도입했다[6]. Han, K (2018) 등은 투명한 물체의 밀집한 표면의 모델생성에도 빛의 굴절에 의해 투명한 대상의 표면을 회복하고 빛이 대상을 통과할 때 복잡한 상호작용을 명확하게 모의할 필요가 없다는 해법을 제시했다. 물체 부분을 액체에 담가 빛이 들어오기 전 입사광로를 바꾸고, 투명한 물체 표면에 대한 모델을 생성하는 방법을 개발하였다[7]. Wu, Bojian (2018)은 위치-법선 일치적 구속을 수행하는 방법으로 투명한 대상의 양쪽에 점운을 생성할 수 있다고 하였다. 이 방법은 4 가지 서로 다른 카메라·모니터 설정 사이에 설치·교정해야 하는 등 쉽게 적용할 수가 없다[8]. Jiahui Lyu (2020) 등은 투명한 물체를 턴테이블에 올려놓고 두 개의 고정 카메라를 사용하여 서로 다른 관찰 방향에서 윤곽과 빛의 굴절 경로를 포착하였다. 그리고 점 결합 공식을 통해 공간 조각으로 생성된 초기 모형을 점차 정확한 대상 모양으로 진화시키고, 이 공식은 빛의 굴절 경로와 윤곽 구속을 포획하였다. 빛의 굴절은 투명한 물체의 중요하고 독특한 특징으로 표면 형상에 대한 정보를 제공하므로 간과해서는 안 되는 요소이다[9]. 빛의 반사에 기초한 방법은 보통 매우 엄격한 가정과 정밀하게 설정된 환경에서만 작동할 수 있지만, 일반적인 환경에서는 이 유리 재질의 물체(예를 들어 유리 재질의 창문이 있는 건물)를 엄격하게 제어할 수 없다는 현실적인 문제에 있어서는 아직까지 통용되는 해결책이 없다.

본 연구는 현대 건물에서 유리 재질 부분의 모델을 생성할 때 그 정확성을 높이기 위하여, 전통적인 RGB카메라를 사용하여 자연환경에서 건물을 촬영하는 방법을 제안한다. 유리 재질은 빛의 반사와 굴절의 특징으로 인하여 촬영한 사진에서 보이는 이미지의 효과가 하이라이터, 그림자, 콘트라스트 세 가지 요소의 영향을 받기 때문에 이 연구는 4 가지 가설을 제시하고 그 가설에 따라 실험을 진행한다. 먼저 라이트룸을 사용하여 사진의 하이라이트, 그림자, 콘트라스트를 조정하고 사진 속 투명물체의 RGB 정보를 변경하여 모델생성 과정에서 투명 재질 물체에 대한 인식도를 증가시킨다. 라이트룸을 사용하는 이유는 사진에 대해 대량 조정을 진행할 때의 편리함 때문이다. 다음 포토샵을 이용해 유리 재질의 물체를 표면에 흐릿하게 처리해 유리 특성에 의한 빛의 반사, 굴절을 없애 모델생성 과정에서 투명한 물체에 대한 인식도를 높인다. 본 연구는 3D 모델생성 영역에서 유리 재질의 모델생성에 특정되어 있지만 상대적으로 미개발된 영역에 대해 다루고 있다. 실제로 현대 건물의 유리 재질의 3D 모델생성 과정에서 여러 가지 문제가 존재하지만, 그다지 큰 주목을 받지 못하고 있다.

이 연구에서는 디지털 카메라를 사용하여 건물을 촬영하고 JPG 이미지를 리얼리티 캡처로 처리하여 실제 물체의 3D 모델생성을 달성했다. 사진 측량은 삼각측량법에 의해서 원하는 부분의 점을 구할 수 있는데 이때 대응되는 두 점은 고유한 두 점으로 다른 점들과는 구분이 된다. 그러나 유리 부분은 빛의 반사, 흡수, 투과의 세 가지 성질에 의해 그 고유성을 유지하기가 어렵다. 사진 속의 유리 물체의 관련 정보에는 주변 물체의 일부 정보가 포함되어 있다 (그림 1).

Fig. 1. 
The reflection image of the glass window is different for each angle

불투명한 물체에 대한 3D 모델생성 방법으로 투명한 물체에 대한 모델을 생성할 수 없으며 투명한 물체의 모델생성을 위한 대부분의 기존 방법은 여전히 매우 이론적이다. 디지털 카메라는 광학시스템으로 영상을 영상소자 CCD/CMOS에 초점을 맞추고, A/D 변환기를 통해 픽셀마다 광전 신호를 디지털 신호로 바꿔 DSP를 거쳐 디지털 이미지로 처리해 메모리 매체에 저장한다. 피사체에 대한 처리가 불가능한 자연조건 하에서, 카메라 영상 원리에 근거하여 우리는 사진의 콘트라스트, 밝기, 그림자 등 세 가지 요소를 조정하여 사진 속의 밝기와 어두운 부분을 일정하게 변화시킴으로써 유리 재질의 반사 내용을 약화시킬 수 있다는 가설을 세울 수 있다. 사진 속 유리 부분의 픽셀 점을 보다 정확하게 추출할 수 있도록 하여 투명 재질 부분에 대한 디지털 모델의 모델생성 작업을 보다 정확하게 진행하여 현대 건물에서 유리 재질의 3D 모델생성 효과를 높이는 것을 목표로 한다.

구체적인 가설:

H1: 사진의 콘트라스트를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

H2: 사진의 그림자 필터 수치(수치를 높이면 그림자 부분이 줄어듦)를 높이고 하이라이트 필터 수치(수치를 낮추면 하이라이트 부분이 줄어듦)를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

H3 : 사진의 콘트라스트를 낮추고 그림자 필터 수치(수치를 높이면 그림자 부분이 줄어듦)를 높여 사진의 하이라이트 필터 수치(수치를 낮추면 하이라이트 부분이 줄어듦)를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

사진 속 유리의 반사 화면은 또 다른 방식으로 유리 부분 블러를 사용하여 약화시킬 수 있다. 현대 건축의 구성에서 유리 재질 물체는 블러 작업 과정에서 이미지 파손을 줄이기 위해 가장자리를 피하는 것이 좋고 주변의 다른 재질 물체와 함께 서로 다른 모호한 알고리즘을 통해 비교한 결과 서피스 블러 알고리즘이 가장 잘 적용된다는 결론을 얻었다. 포토샵을 사용하여 유리 전체 부분을 선택하여 벡터 마스크를 만들고 유리 전체 부분을 블러하게 처리한다.

그림 2는 서피스 블러과 다른 블러한 처리 후의 결과를 보여주는 그림인데, 서피스 블러 처리 후 유리 반사로 인해 만들어진 이미지가 약화되는 대신 가장자리 부분은 온전히 남아 있는 것을 발견할 수 있다. 기타 블러 처리를 진행한 결과, 빛이 반사돼 만들어진 그림이 약화되고 유리 가장자리 부분까지 파괴되어서 가장자리가 흐려지는 것은 우리가 원하는 결과가 아니다. 이에 근거하여 가설을 다음과 같이 작성한다:

Fig. 2. 
Difference between surface bur and other blur

H4: 유리 부분의 반사 이미지에 대하여 서피스 블러 처리를 진행하면 현대 건물에서 유리 재질의 3D 모델생성 효과를 높일 수 있다.

4 가지 실험 결과를 비교하여, 3D 모델생성 과정에서 유리 부분이 상대적으로 좋은 결과를 얻은 두 방법의 결과와 사진을 처리하지 않고 얻은 결과를 각각 비교해 보면 사진의 콘트라스트를 낮추는 것과 유리 재질 부분에 서피스 블러 처리를 하는 것이 유리 재질 3D 모델생성 과정에서 유리 부분의 이미지 파손을 줄일 수 있는 것으로 나타났다. 실험 4에 사용된 12장의 원본 사진의 콘트라스트를 조정해 얻은 3D 모델생성 결과를 비교하였다.

실험 4에 대해 분석한 결과 표 4는 두 가지 다른 방식으로 그림을 처리한 뒤 3D 모델생성한 결과이다. 두 방식 모두 유리 재질의 이미지 파손 정도가 줄어든 것으로 나타났다.

Photo quantity	Method	Result
12	Contrast correction
12	Surface blur

지금까지 우리는 두 가지 비슷한 결과를 얻었는데, 구조 유사도 지수(SSIM, Structural Similarity)를 사용하여 두 가지 결과를 더 정확하게 비교 분석하였다. 구조 유사도 지수는 구조적 유사성으로 두 그림의 유사도를 가늠하는 지표이다.

이 지표는 우선 오스틴 텍사스대 이미지 영상 공학실험실 (Laboratory for Image and Video Engineering)에서 제시한 것으로 구조 유사성 이론에 부합되는 지표이다. 장면 속 물체의 속성을 반영할 때 밝기, 콘트라스트, 구조 이 세 가지 요소의 조합으로 정의하는데 이미지 구성의 관점에서 볼 때 구조 정보를 밝기, 콘트라스트에서 독립시켜서 볼 수 있다[10]-[13]. 평균값을 밝기로 하고 표준차는 콘트라스트로 하며, 조합차는 구조가 비슷한 정도의 도량으로 한다. 이번 연구는 MATLAB에 기초한 SSIM 이미지 검사를 통해 3D 모델생성 후 건물 유리 재질 부분을 캡처하여 원본과 비교하였다.

표 5는 두 가지 다른 방식의 3D 모델생성 결과 중 일부 유리 재질의 물체를 캡처하여 원본과 동일한 유리 재질의 부분을 캡처한 것을 보여준다. SSIM의 수치 범위는 -1에서 1까지이며, 두 그림이 같을 때 SSIM의 수치는 1에 가까울수록 비슷해진다. 표 6에서 SSIM이 분석한 수치를 보면 대조도 방식을 조정해 얻은 결과가 원사진에 가깝기 때문에 보정 사진의 콘트라스트를 판단해 다른 방식보다 유리 재질의 3D 모델생성 작업 과정에서 유리 부분의 이미지 파손 정도를 줄이기가 쉽다.

Original photo
Contrast correction
Surface blur

표 7은 4 개의 실험 결과에서의 모형의 손상 정도를 나타낸 것이다. 실험 결과를 종합적으로 분석할 때, 가설 1과 가설 4는 성립되지만 가설 2와 가설 3은 성립되지 않는다. 가설 1과 가설 4의 경우, 유리 표면의 빛의 반사를 어느 정도 약화시킴으로써 3D 모델생성 결과의 손상 정도를 줄일 수 있다. SSIM 수치를 분석하였을 때, 동일한 수량의 사진으로 생성된 3D 모델은 가설 1의 방법으로 생성되었을 때 그 손상 정도가 훨씬 약한 편이다. 하지만 손상 면적의 크기로 분석하였을 때, 가설 1의 방법으로 생성된 3D 모델이 가설 4의 방법으로 생성된 것보다 손상 면적이 더 컸다. 그러나 사진측량 기술을 이용하여 촬영한 사진으로 3D 모델생성할 때 사진의 수량이 많으면 많을수록 생성된3D 모델의 정확도는 높아진다. 가설 1의 방법과 비교했을 때, 가설 4에서 제기한 유리 재질 표면에 블러 처리하는 방법으로는 사진을 일괄처리할 수가 없고 한장씩 사진에 대해 수정 작업을 진행하여야 한다. 그리하여 가설 4의 방법은 작업 효율성 측면에서 고려했을 때 적합한 방법이 아니다.

본 논문은 4 가지 가설을 제시하고 사진의 콘트라스트, 하이라이터, 그림자 수치를 조정하는 방식으로 건물의 유리 재질 부분의 3D 모델생성 효과를 높일 수 있는 방법에 대해서 논의하였다. 마지막으로 손상 면적의 크기와 SSIM 수치로 실험 결과에 대하여 종합적으로 분석하여 다음과 같은 결론을 얻었다. 첫째, 사용된 사진의 수량이 같을 때, 사진의 콘트라스트를 수정함으로써 현대 건물 유리 재질의 3D 모델생성 결과의 손상을 감소시킬 수 있다. 둘째, 표면 블러 처리된 사진을 사용한 3D 모델생성 결과는 손상을 현저히 줄일 수 있지만 사진을 일괄처리할 수가 없고 3D 모델생성 정확도가 낮은 편이다. 종합적으로 고려하였을 때, 사진의 콘트라스트 수치를 낮추는 방법이 현재 현대 건물 유리 재질의 3D 모델생성 결과의 손상을 줄일 수 있는 가장 최적화된 방법이다. 현재 투명 물체의 3D 모델생성 효과를 높이는 연구는 많지만 대부분 제어 가능한, 작은 범위의 투명 물체에 기초한 연구가 많다. 본 논문은 다양한 응용 장면에 따라 통제 불능의 투명한 물체가 존재할 때, 이 같은 투명한 물체를 3D로 모델 생성하는 일종의 해결책을 제시하였다.

본 논문의 실험결과를 보면 포토샵을 이용하여 사진 속 유리 재질 부분을 흐릿하게 처리하여 3D 모델생성 효과를 높일 수 있지만 이런 방식에는 한계가 있다. 일반적으로 보다 정확한 디지털 모델을 얻기 위해 3D 모델생성 물체에 대해 많은 사진을 촬영한다. 사진에 대한 조정 작업은 소프트웨어 라이트룸에서 진행되었다. 이 소프트웨어는 사진 대량 처리 작업에서 아주 실용적이다. 작업 과정에서 보면 서피스 블러 처리에 시간과 인건비가 더 든다. 따라서 자연환경에서는 현대 건물의 3D 모델생성 작업을 할 때 사진 콘트라스트를 낮추는 것이 최적화 방법이다. 앞으로의 연구에서는 자연환경에 따른 투명재질의 3D 모델생성 효과에 대한 영향을 서로 다른 방식으로 측정할 예정이다.