사진측량과 이미지 편집 소프트웨어의 결합을 통한 건물 유리의 사실적인 3D 모델생성 연구

Ⅰ. 서 론

다양한 건물의 3D 모델생성은 컴퓨터 비전 및 그래픽 분야에서의 활발한 연구 주제이다. 3D 모델생성에 대한 문제 중 확산된 표면을 가진 불투명한 물체에 대한 3D 모델생성 방법은 이미 찾았음에도 불구하고, 투명한 물체의 형상 복구에 관한 연구와 문헌은 상대적으로 적은 편이다. 투명 재질의 물체가 많이 존재하는 현대 건물에서 투명 대상을 3D 모델생성 과정이 어려운 이유는 투명 물체가 그 표면과 그 내부 구조의 빛의 반사, 굴절, 흡수, 산란을 통해 빛의 방향을 바꿀 수 있기 때문이다. 많은 기존의 작업은 물체 표면에서 발생하는 미러 하이라이터를 이용하여 투명한 물체에 대하여 모델 생성하려 하였다(Ihrke 등, 2010)[1]. Hullin (2008) 등은 투명 물체를 형광에 매립하고 가시 레이저 시트와 가시 광선의 교차점을 감지하여 물체 표면을 모델로 생성했다[2]. Eren (2009) 등은 레이저 표면 가열과 열화상 기술을 이용해 유리 물체의 표면 모양을 확인했다[3]. O'Toole (2014)는 SLT (Structured Light Transport) 기술을 개발 했다. SLT를 기반으로 그들은 구조적인 빛을 사용하여 투명한 표면이나 거울로 된 표면을 모델생성하기 위한 원샷 간접 불변 이미징을 허용하는 이미징 장치를 구현했다[4]. Liu, D., Chen, X., & Yang, Y. H. (2014)는 투명한 표면과 거울로 된 표면에 대한 설정을 위하여 주파수 기반 방법을 제안했으며, 그런 다음 스테레오 방법을 활용하여 그에 대해 모델을 생성할 수 있었다[5]. Chari and Sturm (2009)은 단일 이미지에서 투명 물체를 모델 생성하기 위해 방사 측정 정보와 빛 경로 삼각 측량을 통합하는 방법을 도입했다[6]. Han, K (2018) 등은 투명한 물체의 밀집한 표면의 모델생성에도 빛의 굴절에 의해 투명한 대상의 표면을 회복하고 빛이 대상을 통과할 때 복잡한 상호작용을 명확하게 모의할 필요가 없다는 해법을 제시했다. 물체 부분을 액체에 담가 빛이 들어오기 전 입사광로를 바꾸고, 투명한 물체 표면에 대한 모델을 생성하는 방법을 개발하였다[7]. Wu, Bojian (2018)은 위치-법선 일치적 구속을 수행하는 방법으로 투명한 대상의 양쪽에 점운을 생성할 수 있다고 하였다. 이 방법은 4 가지 서로 다른 카메라·모니터 설정 사이에 설치·교정해야 하는 등 쉽게 적용할 수가 없다[8]. Jiahui Lyu (2020) 등은 투명한 물체를 턴테이블에 올려놓고 두 개의 고정 카메라를 사용하여 서로 다른 관찰 방향에서 윤곽과 빛의 굴절 경로를 포착하였다. 그리고 점 결합 공식을 통해 공간 조각으로 생성된 초기 모형을 점차 정확한 대상 모양으로 진화시키고, 이 공식은 빛의 굴절 경로와 윤곽 구속을 포획하였다. 빛의 굴절은 투명한 물체의 중요하고 독특한 특징으로 표면 형상에 대한 정보를 제공하므로 간과해서는 안 되는 요소이다[9]. 빛의 반사에 기초한 방법은 보통 매우 엄격한 가정과 정밀하게 설정된 환경에서만 작동할 수 있지만, 일반적인 환경에서는 이 유리 재질의 물체(예를 들어 유리 재질의 창문이 있는 건물)를 엄격하게 제어할 수 없다는 현실적인 문제에 있어서는 아직까지 통용되는 해결책이 없다.

본 연구는 현대 건물에서 유리 재질 부분의 모델을 생성할 때 그 정확성을 높이기 위하여, 전통적인 RGB카메라를 사용하여 자연환경에서 건물을 촬영하는 방법을 제안한다. 유리 재질은 빛의 반사와 굴절의 특징으로 인하여 촬영한 사진에서 보이는 이미지의 효과가 하이라이터, 그림자, 콘트라스트 세 가지 요소의 영향을 받기 때문에 이 연구는 4 가지 가설을 제시하고 그 가설에 따라 실험을 진행한다. 먼저 라이트룸을 사용하여 사진의 하이라이트, 그림자, 콘트라스트를 조정하고 사진 속 투명물체의 RGB 정보를 변경하여 모델생성 과정에서 투명 재질 물체에 대한 인식도를 증가시킨다. 라이트룸을 사용하는 이유는 사진에 대해 대량 조정을 진행할 때의 편리함 때문이다. 다음 포토샵을 이용해 유리 재질의 물체를 표면에 흐릿하게 처리해 유리 특성에 의한 빛의 반사, 굴절을 없애 모델생성 과정에서 투명한 물체에 대한 인식도를 높인다. 본 연구는 3D 모델생성 영역에서 유리 재질의 모델생성에 특정되어 있지만 상대적으로 미개발된 영역에 대해 다루고 있다. 실제로 현대 건물의 유리 재질의 3D 모델생성 과정에서 여러 가지 문제가 존재하지만, 그다지 큰 주목을 받지 못하고 있다.

Ⅱ. 가설의 제기

이 연구에서는 디지털 카메라를 사용하여 건물을 촬영하고 JPG 이미지를 리얼리티 캡처로 처리하여 실제 물체의 3D 모델생성을 달성했다. 사진 측량은 삼각측량법에 의해서 원하는 부분의 점을 구할 수 있는데 이때 대응되는 두 점은 고유한 두 점으로 다른 점들과는 구분이 된다. 그러나 유리 부분은 빛의 반사, 흡수, 투과의 세 가지 성질에 의해 그 고유성을 유지하기가 어렵다. 사진 속의 유리 물체의 관련 정보에는 주변 물체의 일부 정보가 포함되어 있다 (그림 1).

Fig. 1.

The reflection image of the glass window is different for each angle

불투명한 물체에 대한 3D 모델생성 방법으로 투명한 물체에 대한 모델을 생성할 수 없으며 투명한 물체의 모델생성을 위한 대부분의 기존 방법은 여전히 매우 이론적이다. 디지털 카메라는 광학시스템으로 영상을 영상소자 CCD/CMOS에 초점을 맞추고, A/D 변환기를 통해 픽셀마다 광전 신호를 디지털 신호로 바꿔 DSP를 거쳐 디지털 이미지로 처리해 메모리 매체에 저장한다. 피사체에 대한 처리가 불가능한 자연조건 하에서, 카메라 영상 원리에 근거하여 우리는 사진의 콘트라스트, 밝기, 그림자 등 세 가지 요소를 조정하여 사진 속의 밝기와 어두운 부분을 일정하게 변화시킴으로써 유리 재질의 반사 내용을 약화시킬 수 있다는 가설을 세울 수 있다. 사진 속 유리 부분의 픽셀 점을 보다 정확하게 추출할 수 있도록 하여 투명 재질 부분에 대한 디지털 모델의 모델생성 작업을 보다 정확하게 진행하여 현대 건물에서 유리 재질의 3D 모델생성 효과를 높이는 것을 목표로 한다.

구체적인 가설:

H1: 사진의 콘트라스트를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

H2: 사진의 그림자 필터 수치(수치를 높이면 그림자 부분이 줄어듦)를 높이고 하이라이트 필터 수치(수치를 낮추면 하이라이트 부분이 줄어듦)를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

H3 : 사진의 콘트라스트를 낮추고 그림자 필터 수치(수치를 높이면 그림자 부분이 줄어듦)를 높여 사진의 하이라이트 필터 수치(수치를 낮추면 하이라이트 부분이 줄어듦)를 낮추면 현대 건물의 유리 재질의 3D 모델생성 효과를 높일 수 있다.

사진 속 유리의 반사 화면은 또 다른 방식으로 유리 부분 블러를 사용하여 약화시킬 수 있다. 현대 건축의 구성에서 유리 재질 물체는 블러 작업 과정에서 이미지 파손을 줄이기 위해 가장자리를 피하는 것이 좋고 주변의 다른 재질 물체와 함께 서로 다른 모호한 알고리즘을 통해 비교한 결과 서피스 블러 알고리즘이 가장 잘 적용된다는 결론을 얻었다. 포토샵을 사용하여 유리 전체 부분을 선택하여 벡터 마스크를 만들고 유리 전체 부분을 블러하게 처리한다.

그림 2는 서피스 블러과 다른 블러한 처리 후의 결과를 보여주는 그림인데, 서피스 블러 처리 후 유리 반사로 인해 만들어진 이미지가 약화되는 대신 가장자리 부분은 온전히 남아 있는 것을 발견할 수 있다. 기타 블러 처리를 진행한 결과, 빛이 반사돼 만들어진 그림이 약화되고 유리 가장자리 부분까지 파괴되어서 가장자리가 흐려지는 것은 우리가 원하는 결과가 아니다. 이에 근거하여 가설을 다음과 같이 작성한다:

Fig. 2.

Difference between surface bur and other blur

H4: 유리 부분의 반사 이미지에 대하여 서피스 블러 처리를 진행하면 현대 건물에서 유리 재질의 3D 모델생성 효과를 높일 수 있다.

Ⅲ. 실험 부분

3-1 실험 1：현대 건물 3D 모델생성을 위한 콘트라스트 조정

콘트라스트(contrast)는 그림에서 명암 영역의 가장 밝기와 어두운 영역 사이의 서로 다른 밝기 층의 측정을 가리킨다. 차이 범위의 크기는 콘트라스트 크기를 나타낸다. 콘트라스트가 시각 효과에 미치는 영향이 매우 중요하다. 일반적으로 대비가 클수록 그림이 선명하고, 대비가 낮을수록 그림이 선명하지 않다. 이번 실험을 위해 총 303장의 사진을 촬영하였다. 사진 콘트라스트의 조정은 소프트웨어 라이트룸에서 진행되었고 라이트룸에서 콘트라스트에 대한 조정범위는 -100~100이며 명확한 실험효과를 위해 콘트라스트 수치만 -100으로 조정하고 빠른 조정작업을 위해 한 장의 사진을 조정하고 조정 데이터를 복사하여 다른 사진에 붙여 넣다. 파형 모니터(Waveform Monitor)을 통해 유리 재질 부분의 밝기 정보가 바뀌는 모습을 잘 볼 수 있다. 컬러 파형의 가로 좌표 축은 왼쪽에서 오른쪽, 그림 속 픽셀의 왼쪽에서 오른쪽에 대응한다. 세로 좌표 축은 픽셀의 밝기 정보이다. 컬러 파형은 0~4095 사이의 밝기 값이다.

사진의 콘트라스트는 소프트웨어 라이트룸에서 진행되었다. 조정되지 않은 사진은 사진 A, 대조적으로 수정된 사진은 사진 B이다. 파형 모니터에 따르면 사진 A의 밝기 범위는 702~2893이고, 사진 B의 밝기 범위는 1082~2546으로 사진 A와 비교해 봤을 때 유리 재질 부분의 밝기 범위가 현저히 축소되었다(표 1).

Table 1.

Change of glass part brightness information

사진을 리얼리티 캡처로 불러와 3D 모델생성 작업을 진행하는데, 이번 3D 모델생성 작업은 두 차례(사진 A 실험, 사진 B실험)에 걸쳐 303장의 사진을 사용하며, 실험 변수의 증가를 피하기 위해 같은 사진을 사용하며, 사진 B 실험에서는 콘트라스트 데이터만 조정한다, 위쪽 사진(사진 A)은 조정하지 않은 사진으로 3D 모델 생성한 결과이고, 아래쪽 사진(사진 B)은 조정된 콘트라스트를 사용한 사진으로 3D 모델 생성한 결과이다. 12*4 행렬을 이용하여 유리 재질 부분을 48개 부분으로 나누면 매개 정사각형 단위의 화소는 10픽셀*10픽셀이다. 그림 3을 보면, 수정되지 않은 사진을 사용하여 생성된 3D 모델(위 사진)의 손상 면적은 28개 단위이고 이미 수정된 사진을 사용하여 생성된 3D 모델(아래 사진)의 손상 면적은 8개 단위로서 그 손상 면적의 크기가 현저히 줄어들었다. 그리하여 가설 1은 성립된다.

Fig. 3.

Comparison of 3D model creation results after lowering the contrast of photos

실험 결과 증명 H1: 건물의 외형은 그대로인데 유리 부분의 이미지 파손 정도가 눈에 띄게 줄었다(그림 3). 사진의 콘트라스트를 낮춘다고 가정하면 현대 건물에서 유리 재질의 3D 모델생성 효과를 높일 수 있다.

3-2 실험 2: 현대 건물 3D 모델생성을 위한 ‘하이라이터와 그림자’ 조정

라이트룸에서 하이라이터와 그림자에 대한 조정범위는 -100~100이며 그림자의 밝기를 증가시키기 위해 그림자 수치를 100으로 조정하고 하이라이터를 줄이기 위해 하이라이터 수치는 -100으로 조정한다. 조정되지 않은 사진은 사진 A, 조정한 사진은 사진 B, 파형 모니터에 따르면 사진 A의 밝기 범위는 702~2893이고, 사진 B의 밝기 범위는 1056~2185로 사진 A와 비교했을 때 유리 재질 부분의 밝기 범위가 현저히 축소되었다(표2).

Table 2.

Change of glass part brightness information after highlight and shadow correction

실험 1과 같은 방법을 사용하였고, 사진 B 실험에서는 하이라이터와 그림자 수치만 조정한다. 위쪽 사진(사진 A)은 수치를 조정하지 않고 촬영한 사진으로 3D 모델생성한 결과이고, 아래쪽 사진(사진 B)은 하이라이터와 그림자 수치를 조정하여 촬영한 사진으로 3D 모델생성한 결과이다(그림 4). 그림 4을 보면, 수정되지 않은 사진을 사용하여 생성된 3D 모델(위 사진)의 손상 면적은 28개 단위이고 이미 수정된 사진을 사용하여 생성된 3D 모델(아래 사진)의 손상 면적은 28개 단위로서 그 손상 면적의 크기가 현저히 줄어들었다. 그리하여 가설 2은 성립하지 않다.

Fig. 4.

3D reconstruction result after adjusting the photo highlight and shadow figures

실험 결과 증명 H2: 건물의 외형은 변하지 않았지만 유리 부분의 이미지 파손 정도는 크게 줄지 않았다(그림 4). 사진의 그림자 수치를 높이고(수치를 높이면 그림자가 적어짐) 하이라이터를 줄였을 때 현대 건물에서 유리 재질의 3D 모델생성 효과를 향상시킬 수 없다.

3-3 실험 3: 현대 건물 3D 모델생성을 위한 하이라이터, 그림자, 콘트라스트 조정

사진 콘트라스트, 하이라이트와 그림자 수치의 조정은 라이트룸에서 진행되며 콘트라스트 수치는 -100, 하이라이트 수치는 -100, 그림자 수치는 100으로 조정한다. 조정되지 않은 사진은 사진 A이고, 조정된 사진은 사진 B이며, 파형 모니터에 따르면 사진 A의 밝기 범위는 702~2893이고, 사진 B의 밝기 범위는 1400~2500으로 사진 A와 비교해 유리 재질 부분의 밝기 범위가 현저히 축소되었다(표 3).

Table 3.

Change of RGB information of glass material after highlight, shadow, and contrast correction

실험 1과 같은 방법을 사용하였고, 사진 B 실험은 콘트라스트, 하이라이트와 그림자 수치의 데이터만 조정한다, 위쪽 사진(사진 A)은 조정하지 않은 이미지를 3D로 모델생성한 결과이고, 아래쪽 사진(사진 B)은 조정된 콘트라스트, 하이라이트와 그림자 수치를 조정한 사진을 3D 모델생성한 결과이다.

그림 5을 보면, 수정되지 않은 사진을 사용하여 생성된 3D 모델(위 사진)의 손상 면적은 28개 단위이고 이미 수정된 사진을 사용하여 생성된 3D 모델(아래 사진)의 손상 면적은 28개 단위로서 그 손상 면적의 크기가 현저히 줄어들었다. 그리하여 가설 3은 성립하지 않다.

Fig. 5.

3D model creation result after adjusting the photo highlight, shadow, and contrast figures

실험 결과 증명 H3: 건물의 외형은 변하지 않았지만 유리 부분의 이미지 파손 정도는 크게 줄지 않았다(그림 5). 사진의 그림자 수치를 높이고 하이라이터 수치를 줄이는 방법으 RGB 정보 변화로 현대 건물에서 유리 재질의 3D 모델생성 효과를 향상시킬 수 없다.

3-4 실험 4: 서피스 블러

서피스 블러 원리는 흐릿하게 처리하는 수법으로 사진에 대하여 서피스 블러 처리를 하면 그림의 가장자리를 유지한 채 표면을 흐릿하게 만들 수 있다 서피스 블러는 다른 권적 처리 방법과 달리 그림을 처리할 때 동일한 권적 행렬로 진행되지만, 표면이 흐릿한 것은 각각의 화소점마다 별도의 권적 행렬로 픽셀의 R, G, B(A, R, G, B) 분량에 대응한다.

서피스 블러 작업은 포토샵에서 진행되며 만년필 도구 테두리를 이용해 유리의 영역을 골라 벡터 커버를 만들고 서피스 블러 효과를 추가한다(그림 6).

Fig. 6.

Blurred glass part

유리 부분에 서피스 블러 처리 작업을 한 결과, 원본과 대조적으로 볼 수 있듯이 표면이 흐려지면 유리 가장자리의 온전한 상태를 유지하면서 유리 표면의 빛의 반사와 유리의 투명한 특징을 없앨 수 있다(그림 7).

Fig. 7.

Result of blurring the surface of the glass part (above the original/below the blur)

3D 모델생성을 위해 총 303장의 사진을 촬영하여 12장의 사진을 뽑아 표면을 흐릿하게 처리한다. 실험의 정확성을 보장하기 위해 유리의 각 부분의 각도가 포함되도록 12 장의 사진을 선택한다（그림 8). 조정된 이미지를 Reality Capture에 도입하여 3D 모델생성 작업을 진행함과 동시에 조정되지 않은 12장의 사진을 사용하여 3D 모델생성 작업을 진행한다.

Fig. 8.

12 photos of choice

그림 9는 두 가지 방식으로 얻은 결과이다. 실험 결과에 따르면 유리 재질 부분의 파손 정도가 감소되었다. 유리 부분의 반사 이미지에 대해 서피스 블러 처리를 하면 현대 건물에서 유리 재질의 3D 모델생성 효과를 높일 수 있는 것으로 분석되었다.

Fig. 9.

Reconstruction results after adjusting the photo

그림 9을 보면, 수정되지 않은 사진을 사용하여 생성된 3D 모델(위 사진)의 손상 면적은 28개 단위이고 이미 수정된 사진을 사용하여 생성된 3D 모델(아래 사진)의 손상 면적은 2개 단위로서 그 손상 면적의 크기가 현저히 줄어들었다. 그리하여 가설 4은 성립하다.

실험 결과 증명 H4: 유리 부분의 반사 이미지에 대하여 서피스 블러 처리를 진행하면 현대 건물에서 유리 재질의 3D 모델생성 효과를 높일 수 있다.

Ⅳ. 실험 결과의 분석

4 가지 실험 결과를 비교하여, 3D 모델생성 과정에서 유리 부분이 상대적으로 좋은 결과를 얻은 두 방법의 결과와 사진을 처리하지 않고 얻은 결과를 각각 비교해 보면 사진의 콘트라스트를 낮추는 것과 유리 재질 부분에 서피스 블러 처리를 하는 것이 유리 재질 3D 모델생성 과정에서 유리 부분의 이미지 파손을 줄일 수 있는 것으로 나타났다. 실험 4에 사용된 12장의 원본 사진의 콘트라스트를 조정해 얻은 3D 모델생성 결과를 비교하였다.

실험 4에 대해 분석한 결과 표 4는 두 가지 다른 방식으로 그림을 처리한 뒤 3D 모델생성한 결과이다. 두 방식 모두 유리 재질의 이미지 파손 정도가 줄어든 것으로 나타났다.

Table 4.

3D Model creation result according to processing method

지금까지 우리는 두 가지 비슷한 결과를 얻었는데, 구조 유사도 지수(SSIM, Structural Similarity)를 사용하여 두 가지 결과를 더 정확하게 비교 분석하였다. 구조 유사도 지수는 구조적 유사성으로 두 그림의 유사도를 가늠하는 지표이다.

이 지표는 우선 오스틴 텍사스대 이미지 영상 공학실험실 (Laboratory for Image and Video Engineering)에서 제시한 것으로 구조 유사성 이론에 부합되는 지표이다. 장면 속 물체의 속성을 반영할 때 밝기, 콘트라스트, 구조 이 세 가지 요소의 조합으로 정의하는데 이미지 구성의 관점에서 볼 때 구조 정보를 밝기, 콘트라스트에서 독립시켜서 볼 수 있다[10]-[13]. 평균값을 밝기로 하고 표준차는 콘트라스트로 하며, 조합차는 구조가 비슷한 정도의 도량으로 한다. 이번 연구는 MATLAB에 기초한 SSIM 이미지 검사를 통해 3D 모델생성 후 건물 유리 재질 부분을 캡처하여 원본과 비교하였다.

표 5는 두 가지 다른 방식의 3D 모델생성 결과 중 일부 유리 재질의 물체를 캡처하여 원본과 동일한 유리 재질의 부분을 캡처한 것을 보여준다. SSIM의 수치 범위는 -1에서 1까지이며, 두 그림이 같을 때 SSIM의 수치는 1에 가까울수록 비슷해진다. 표 6에서 SSIM이 분석한 수치를 보면 대조도 방식을 조정해 얻은 결과가 원사진에 가깝기 때문에 보정 사진의 콘트라스트를 판단해 다른 방식보다 유리 재질의 3D 모델생성 작업 과정에서 유리 부분의 이미지 파손 정도를 줄이기가 쉽다.

Table 5.

Glass material capture of 3D model creation result by method

Table 6.

SSIM Analysis result

표 7은 4 개의 실험 결과에서의 모형의 손상 정도를 나타낸 것이다. 실험 결과를 종합적으로 분석할 때, 가설 1과 가설 4는 성립되지만 가설 2와 가설 3은 성립되지 않는다. 가설 1과 가설 4의 경우, 유리 표면의 빛의 반사를 어느 정도 약화시킴으로써 3D 모델생성 결과의 손상 정도를 줄일 수 있다. SSIM 수치를 분석하였을 때, 동일한 수량의 사진으로 생성된 3D 모델은 가설 1의 방법으로 생성되었을 때 그 손상 정도가 훨씬 약한 편이다. 하지만 손상 면적의 크기로 분석하였을 때, 가설 1의 방법으로 생성된 3D 모델이 가설 4의 방법으로 생성된 것보다 손상 면적이 더 컸다. 그러나 사진측량 기술을 이용하여 촬영한 사진으로 3D 모델생성할 때 사진의 수량이 많으면 많을수록 생성된3D 모델의 정확도는 높아진다. 가설 1의 방법과 비교했을 때, 가설 4에서 제기한 유리 재질 표면에 블러 처리하는 방법으로는 사진을 일괄처리할 수가 없고 한장씩 사진에 대해 수정 작업을 진행하여야 한다. 그리하여 가설 4의 방법은 작업 효율성 측면에서 고려했을 때 적합한 방법이 아니다.

Table 7.

Statistics of all experimental results

Ⅴ. 결 론

본 논문은 4 가지 가설을 제시하고 사진의 콘트라스트, 하이라이터, 그림자 수치를 조정하는 방식으로 건물의 유리 재질 부분의 3D 모델생성 효과를 높일 수 있는 방법에 대해서 논의하였다. 마지막으로 손상 면적의 크기와 SSIM 수치로 실험 결과에 대하여 종합적으로 분석하여 다음과 같은 결론을 얻었다. 첫째, 사용된 사진의 수량이 같을 때, 사진의 콘트라스트를 수정함으로써 현대 건물 유리 재질의 3D 모델생성 결과의 손상을 감소시킬 수 있다. 둘째, 표면 블러 처리된 사진을 사용한 3D 모델생성 결과는 손상을 현저히 줄일 수 있지만 사진을 일괄처리할 수가 없고 3D 모델생성 정확도가 낮은 편이다. 종합적으로 고려하였을 때, 사진의 콘트라스트 수치를 낮추는 방법이 현재 현대 건물 유리 재질의 3D 모델생성 결과의 손상을 줄일 수 있는 가장 최적화된 방법이다. 현재 투명 물체의 3D 모델생성 효과를 높이는 연구는 많지만 대부분 제어 가능한, 작은 범위의 투명 물체에 기초한 연구가 많다. 본 논문은 다양한 응용 장면에 따라 통제 불능의 투명한 물체가 존재할 때, 이 같은 투명한 물체를 3D로 모델 생성하는 일종의 해결책을 제시하였다.

본 논문의 실험결과를 보면 포토샵을 이용하여 사진 속 유리 재질 부분을 흐릿하게 처리하여 3D 모델생성 효과를 높일 수 있지만 이런 방식에는 한계가 있다. 일반적으로 보다 정확한 디지털 모델을 얻기 위해 3D 모델생성 물체에 대해 많은 사진을 촬영한다. 사진에 대한 조정 작업은 소프트웨어 라이트룸에서 진행되었다. 이 소프트웨어는 사진 대량 처리 작업에서 아주 실용적이다. 작업 과정에서 보면 서피스 블러 처리에 시간과 인건비가 더 든다. 따라서 자연환경에서는 현대 건물의 3D 모델생성 작업을 할 때 사진 콘트라스트를 낮추는 것이 최적화 방법이다. 앞으로의 연구에서는 자연환경에 따른 투명재질의 3D 모델생성 효과에 대한 영향을 서로 다른 방식으로 측정할 예정이다.

References

• Ivo Ihrke, Kiriakos N. Kutulakos, Hendrik P. A. Lensch, Marcus Magnor, Wolfgang Heidrich, "Transparent and Specular Object Reconstruction," Computer Graphics Forum, Vol. 29, No. 8, pp. 2400-2426, December 2010. [https://doi.org/10.1111/j.1467-8659.2010.01753.x]
• Hullin, M. B., Fuchs, M., Ihrke, I., Seidel, H. P., & Lensch, H. P. A., "Fluorescent immersion range scanning," ACM Transactions on Graphics, Vol. 27, No. 3, pp 1-10, August 2008. [https://doi.org/10.1145/1360612.1360686]
• Gonen Eren, Olivier Aubreton, Fabrice Meriaudeau, L.A. Sanchez Secades, David Fofi, A. Teoman Naskali, Frederic Truchetet, and Aytul Ercil, "Scanning from heating: 3D shape estimation of transparent objects from local surface heating," Opt. Express, Vol. 17, No. 14, pp. 11457-11468, 2009. [https://doi.org/10.1364/OE.17.011457]
• Matthew O'Toole, John Mather, Kiriakos N. Kutulakos, "3D Shape and Indirect Appearance by Structured Light Transport" Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Juan, PR, USA, pp. 3246-3253, 2014. [https://doi.org/10.1109/CVPR.2014.421]
• Ding Liu, Xida Chen, Yee-Hong Yang, "Frequency-based 3D reconstruction of transparent and specular objects", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Juan, PR, USA, pp. 660-667, June 2014.
• Visesh Chari, Peter Sturm. "Multiple-View Geometry of the Refractive Plane," BMVC 2009 - 20th British Machine Vision Conference, Sep 2009, London, United Kingdom. pp.1-11 [https://doi.org/10.5244/C.23.56]
• Kai Han, Kwan-Yee K. Wong & Miaomiao Liu, "Dense Reconstruction of Transparent Objects by Altering Incident Light Paths Through Refraction," International Journal of Computer Vision, Vol. 126, pp. 460-475, 2018. [https://doi.org/10.1007/s11263-017-1045-3]
• Bojian Wu, Yang Zhou, Yiming Qian, Minglun Gong, Hui Huang, "Full 3D Reconstruction of Transparent Objects," Computer Vision and Pattern Recognition, Vol. 37, No. 4, pp. 103:1-103:11, May 2018.
• Jiahui Lyu, Bojian Wu, Dani Lischinski, Daniel Cohen-Or, Hui Huang, "Differentiable refraction-tracing for mesh reconstruction of transparent objects", ACM Transactions on Graphics, Vol. 39, No. 6, pp. 1-13, December 2020. [https://doi.org/10.1145/3414685.3417815]
• S. S. Channappayya, A. C. Bovik and R. W. Heath, "Rate Bounds on SSIM Index of Quantized Images," IEEE Transactions on Image Processing, Vol. 17, No. 9, pp. 1624-1639, Sept 2008. [https://doi.org/10.1109/TIP.2008.2001400]
• Ding Liu, Xida Chen, Yee-Hong Yang, "Frequency-based 3D reconstruction of transparent and specular objects", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, San Juan, PR, USA, pp. 660-667, June 2014.
• A Horé, D. Ziou, "Image quality metrics: PSNR vs. SSIM." 20th International Conference on Pattern Recognition, Istanbul, Turkey, pp. 23-26, August 2010. [https://doi.org/10.1109/ICPR.2010.579]
• Wang, L. T, "SSIM: A Software Levelized Compiled-Code Simulator." 24th ACM/IEEE Design Automation Conference, Miami Beach, FL, USA, pp. 2-8, 1987. [https://doi.org/10.1145/37888.37889]