촬영 각도에 따른 3D 모델 복원 품질 비교 연구 : 포토그래메트리를 중심으로

Ⅰ. 서 론

Ⅱ. 테이블 3D 스캐너 제작

본 실험에서 사용한 촬영 시스템은 테이블 3D 스캐너에 거치된 스마트폰 카메라를 통해 다각도의 사진 데이터를 수집하고 정합하여 시각화하는 시스템이며 구조도는 아래 그림 과 같다.

Fig. 1.

Filming system flowchart

본 실험의 첫 번째 프로세스는 포토그래메트리 기술 기반의 3D 스캐너를 통해 일정한 규칙의 각도 변화 속에서 다수의 사진을 수집‧획득하는 것이다. 해당 내용을 기조로 삼아 제작한 테이블 3D 스캐너는 세로축과 가로축, 총 두 방향을 중심으로 회전하며 순차적으로 이미지 데이터를 획득한다. 예시 이미지는 그림 2와 같다.

Fig. 2.

Scan Path of Table Scanner

본 연구에서 제안하는 스캐너는 그림과 같이 촬영 대상의 y축을 중심으로 360° 회전하며 상부에서 하부로 높낮이에 따라 각도에 변화를 주어 촬영을 수행한다. 두 축으로 회전하기 위해 2개의 모터를 각 방향별로 개별 설치하여 독립적인 움직임이 가능케 하고, 모터가 해당 과정을 반복 수행함으로써 촬영 대상의 사진 데이터가 일정한 환경에서 수집되도록 구성한다.

그림 3은 테이블 3D 스캐너 제작에 필요한 3가지 핵심 구성 요소이다. 아두이노(Arduino)를 통해 스마트폰과 모터 그리고 적외선 센서와 연결된 LCD(Liquid Crystal Display)를 사용자가 직접 제어할 수 있으며, 해당 과정에서 서버와 클라이언트 역할을 위해 Wi-Fi를 지원하는 아두이노 UNO WIFI Rev2를 사용하였다.

Fig. 3.

Core Components of the Table Scanner

또한, 자동 사진 촬영을 위한 코드에는 1.8.13 버전의 ‘WiFiNINA’ 라이브러리와 5.13.5 버전 ‘ArduinoJson’ 라이브러리를 사용하여 대상 물체를 자동으로 촬영하도록 설계하였다. 카메라는 12MP, f/1.8, 26mm, 1/1.76", 1.8µm, 듀얼 픽셀 PDAF, OIS 사양의 삼성 갤럭시 노트 20의 표준 촬영모드를 사용하였고, 모터는 DM2282 대용량 2상 Stepper Motor Driver와 STP-86D3018 시나노겐시 Encoder Step Servo Motor 2상 6 Nm를 사용하여 충분한 회전력(Torque)을 확보하였다.

그림 4는 상기 내용을 바탕으로 만들어진 콘셉트 디자인의 렌더링 이미지와 각 축의 진행 방향을 설명하는 그림이다. 1번 축은 피사체의 y축을 중심으로 수평 각에 따라 360° 회전하는 축이며, 2번 축은 촬영 대상의 z축을 중심으로 수직 각에 따라 회전하는 축이다. 이때 허용 가능한 사물의 최대 크기는 300 mm × 300 mm × 300 mm(가로×세로×높이)이다. 위와 같은 구성을 통해 사용자는 일정한 규칙으로 촬영된 사진 데이터의 획득이 가능해진다.

Fig. 4.

Table Scanner Concept Design and Axial Orientation

표 1은 본 실험을 위해 제작한 테이블 3D 스캐너와 유사한 형태의 3D 스캐너들의 사양 비교표이다. 카메라가 회전하며 세밀한 촬영 각 조절이 가능한 포토그래메트리 방식의 테이블 스캐너는 피사체가 회전하며 스캐닝하는 제품에 비해 카메라 정렬 오류 발생 가능성이 낮으며, 사용법 또한 간편하다는 특징을 보인다.

Table 1.

Table Scanner Specification Comparison

Ⅲ. 실험 방법

본 실험에서는 촬영 방법에 따른 3D 모델 복원 품질의 비교와 분석을 위해 테이블 3D 스캐너를 제작하고 수직 각도와 수평 각도를 세부적으로 나누어 스마트폰 카메라를 통해 촬영이 가능한 환경을 구성하였다. 실험에 사용된 객체는 병마용(兵馬俑) 3D 모델링 데이터를 원본 실측자료(Ground Truth)로 사용했고, 각 촬영 방법별 결과물과 함께 오픈소스 소프트웨어인 클라우드컴페어(Cloudcompare)를 사용하여 품질 비교 분석을 진행하였다. 실험 절차 워크플로우는 아래 그림 5와 같다.

Fig. 5.

Experimental Procedure Workflow

3-1 실측 자료

실측자료(Ground Truth)로 사용된 병마용은 오픈소스 3D 모델링 소프트웨어인 블렌더(Blender)를 활용하여 모델링 하였다. 3D 모델링 결과물은 그림 6과 같다.

Fig. 6.

3D modeling Data Created by Blender

블렌더로 제작된 병마용 3D 모델 데이터는 Flashforge사의 FFF((Fused Filament Fabrication) 방식 3D 프린터 Adventurer 3(150 mm (H) × 150 mm (W) × 150 mm (D)를 사용하여 출력했고, 결과물은 아래 그림 7과 같다.

Fig. 7.

3D printer Adventure 3 and Output Result

3-2 촬영 방법

포토그래메트리를 활용한 3D 모델 복원 과정은 다양한 각도에서 촬영한 사진 데이터를 기반으로 3D 모델을 재구성한다. 이때 한 쌍의 사진 사이에 많은 겹침이 이루어져야 하며 필요 사진의 수는 표본의 복잡성과 결과물 해상도에 따라 다르지만 3차원 데카르트 좌표를 생성하려면 서로 다른 위치의 사진이 최소 2장 이상 존재해야 한다.[8]

표 2는 대표적인 포토그래메트리 기반 3D 모델 복원 소프트웨어인 Agisoft사에서 제공하는 3D 모델 촬영 가이드이다. 해당 내용을 살펴보면 촬영 방향, 해상도(Resolution), 이미지 형식(Format)은 구체적으로 제시되었으나 실질적인 촬영 방법에 대해선 명확하게 제시된 바가 없다. 이는 다각도의 사진을 통해 결과물을 도출하는 포토그래메트리 기술 특성에 기인한다.

Table 2.

3D model Filming Guide Presented by Agisoft

본 연구에서는 촬영 대상을 중심으로 수평 각, 수직 각을 규칙적으로 세분화하여 촬영하고 복원하여 방향 알고리즘의 적절한 수렴을 보장하는 최적의 촬영 방법을 찾고자 한다. 카메라 위치에 의한 촬영 각도, 도출 이미지 수, 3차원 모델 복원 시간은 아래 표 3과 같다.

Table 3.

Photographing Angle, Derived Image, and Reconstruction Time by Camera Position

3D 모델링 데이터의 비교는 오픈소스 소프트웨어 클라우드컴페어를 활용한다. C2M(Cloud-to-Mesh Distances) 정량적 비교 알고리즘을 사용하여 데이터 품질을 비교하고, 각 실험을 통해 획득한 3D 모델링 데이터 메쉬의 정점에서 실측자료까지의 거리를 계산하여 유사도를 비교‧분석하여 평가한다.[10] 클라우드컴페어를 통한 메쉬 비교 분석 과정은 그림 8과 같다.

Fig. 8.

Analysis using Cloudcompare

Ⅳ. 실험 결과

4-1 촬영 및 복원

1) 촬영 결과

본 실험에서 제작 한 테이블 3D 스캐너와 삼성 갤럭시노트 20을 활용하여 수직 각(0°~90°)과 수평 각(0°~350°) 별 24개의 이미지 세트(2,040장)를 도출하였다. 촬영 장면은 그림 9와 같다.

Fig. 9.

Filming Process Using Table 3D Scanner

2) 복원 결과

촬영 과정에서 도출한 24개의 이미지 세트를 METABANK사의 3D 복원 소프트웨어인 MetaVision을 통해 3D 모델 데이터로 복원하였다. 복원 결과물은 아래 표 4와 같다.

Table 4.

3D model Reconstruction Result by Angle

4-2 분석 결과

표 5는 C2M 정량적 비교 알고리즘을 사용하여 분석한 결과의 가우시안(Gaussian) 분포 히스토그램으로 해당 분포 매개변수를 계산하고 적합 분포에 해당하는 회색 곡선으로 스칼라 히스토그램을 표시한다. 평균 거리(Mean Distance)의 숫자는 적을수록 실측 자료의 접촉면과 가까워지며, 표준편차(Standard Deviation)의 숫자는 적을수록 실측 자료와 비교 대상 메쉬 데이터의 결과가 서로 근접한다는 의미를 가진다. 즉, 평균 거리의 값이 작을수록 비교 대상 메쉬의 정점이 실측 자료와의 거리 비교에서 더 가까이 있고, 표준편차가 작을수록 정점들이 더 균일하게 분포되어 있음을 나타낸다.

Table 5.

C2M comparison results

평균 거리의 값에 따라 각각의 결과물을 분석한 결과 수평 각 10°, 수직 각 30°의 환경에서 총 144회 사진 촬영을 진행하고 3차원 복원을 진행한 결과물이 실측 자료와의 거리 비교에서 평균값 0.000029로 가장 가까이 위치하였다. 두 번째로는 수평 각 30°, 수직 각 15°의 환경에서 총 84회, 세 번째로는 수평 각 30°, 수직 각 45°의 환경에서 총 36회 촬영을 통해 도출된 결과물이 실측 자료와 가까운 거리에 위치함을 알 수 있었다. 해당 실험의 분석 결과는 아래 표 6과 같다.

Table 6.

Analysis Result by Mean Distance

표준편차는 비교 대상 오브젝트의 정점이 균일하게 분포되어 있는지를 나타낸다. 표준편차에 따라 각각 분석한 결과 수평 각 10°, 수직 각 10° 환경에서 총 360회 사진 촬영을 진행하고 3차원 복원이 이루어진 결과물 오브젝트의 정점이 비교군 안에서 가장 균일하게 분포되어 있음을 알 수 있었다. 해당 실험의 분석 결과는 아래 표 7과 같다.

Table 7.

Analysis Result by Standard Deviation

4-3 소결

현재 일반적인 포토그래메트리 방식의 복원은 < Feature Extraction → Image Matcing → Feature Matching →Structure From Motion → Depthmap Estimation → Meshing → Texturing > 순으로 진행되며 해당 과정은 아래 그림 10과 같다.

Fig. 10.

Photogrammetry Workflow Diagram

해당 과정에서 3차원 정점을 검출하려면 첫째, 피사체의 겹침이 발생해야 한다. 그리고 겹침이 발생한 두 이미지 사이에서 같은 지점을 표현하는 Feature Matching 과정을 통해 속성의 동일성이 알고리즘으로 판단되어야 하며, 마지막으로 특징점이 이미지에 두 개 이상 각각 존재해야 삼각측량법 기반 Structure From Motion 과정에서 계산이 가능하다.

이러한 포토그래메트리 방식의 복원 원리를 바탕으로 살펴보면 촬영 각도가 커질수록, 두 이미지 또는 다수의 이미지 간 겹치는 부분이 감소하게 되며, 특징점 간의 겹침에 오차율 또한 높아진다. 그리고 매칭점이 발견되지 않을 시 복원이 불가하다는 것도 확인할 수 있다.

포토그래메트리 기술 특성상 입력 이미지 수가 증가할수록 최종 결과물을 얻기 위한 계산 시간 또한 증가한다는 특징이 있다. 평균 거리에 따른 분석 결과 가장 우수한 품질을 보인 수평 각 10°, 수직 각 30°에서 144회 촬영을 진행할 경우, 표준편차 기준 가장 우수한 품질을 보인 수평 각 10°, 수직 각 10°에서 360회 촬영을 진행한 결과물 대비 1/3 수준의 시간으로 동일한 품질의 결과물을 얻을 수 있다.

본 실험에서 사용한 촬영 대상 물체의 경우 일반적인 물체 표면의 복잡한 형상을 거의 포함하고 있다. 해당 물체보다 단순한 표면 구조를 가진 물체의 경우 상기 결과와 다르게 적은 입력 이미지로 높은 품질의 결과물을 얻을 수 있다.

Ⅴ. 결론 및 제언

본 실험은 다중 이미지 기반 비접촉 3D 스캔 방식인 포토그래메트리를 활용한 3D 복원 과정의 핵심 요소이지만 현재 표준화 되어 있지 않은 촬영 방법, 그중 촬영 각도에 따른 3D 모델 복원 결과물의 품질을 비교‧분석하는데 의의가 있다.

실험 결과, 평균 거리와 표준편차 모두 촬영 횟수가 상대적으로 많은 조건에서 대부분 실측 자료와의 거리가 가까웠고 정점 또한 균일하게 분포되어 있음을 확인했다. 하지만 집단별 상위 품질의 결과물을 비교해봤을 때 일정 수량 이상의 입력 이미지 수는 계산 시간을 증가시키고 불필요한 연산을 통해 품질을 감소시키는 결과가 도출되었다. 이를 통해 결과물의 정확도와 촬영 방법의 효율성을 제고하여 고품질 결과물을 얻기 위한 세분화된 촬영 방법을 찾을 수 있었다.

하지만 본 실험에서는 포토그래메트리 기술 기반 3D 복원 과정에 큰 영향을 미치는 광량, 광질 등 빛에 대한 통제가 부족했고, 적층 방식인 FFF 방식 3D 프린터를 사용하여 실측 자료 표면이 다소 매끄럽지 못한 경향이 있었다. 추후 연구에서는 빛에 대한 다양한 변수 설정과 3D 프린팅 방식의 변경 등 본 실험에서 부족했던 부분의 보완이 이루어진다면 본 실험 대비 진일보한 촬영 방법을 도출할 수 있을 것으로 기대한다.

References

• J.S Lee, “3D Modeling Product Design Process Based on Photo Scanning Technology“ Journal of the Korea Institute of Information and Communication Engineering v.22 no.11, pp. 1505–1510, November 2018, 10.6109/jkiice.2018.22.11.1505
• Ana Bucchi, “Recommendations for Improving Photo Quality in Close Range Photogrammetry, Exemplified in Hand Bones of Chimpanzees and Gorillas” International Journal of Morphology 38(2):348-355, April 2020, 10.4067/S0717-95022020000200348 [https://doi.org/10.4067/S0717-95022020000200348]
• H.J. Kim, “Trends in High-Resolution 3D Data Generation Technologies”, ETRI(Electronics and Telecommunications Research Institute), Yuseong: Daejeon, 10.22648/ETRI.2022.J.370307, 64-73, June 2022,
• S.H. Park, “A Study on the Use of 3D SCAN Technics in Architectural Survey of Stone Heritage” Proceeding of Annual Conference of the Regional Association of Architectural Institute of Korea, pp.265-268, December 2013
• Marek Fraštia, “Possibilities of using inexpensive digital cameras in applications of close-range photogrammetry”, Slovak Journal of Civil Engineering, pp. 20-28, October 2005
• Lee, J., & Lee, I. . “The 3D Modeling Data Production Method Using Drones Photographic Scanning Technology,” Journal of the Korea Institute of Information and Communication Engineering, vol. 22, no. 6, pp. 874–880, Jun. 2018, [https://doi.org/10.6109/JKIICE.2018.22.6.874]
• J.K. Kim, "A Study on the Application of Displacement Map in 3D Printing Using Photogrammetry", Journal of Communication Design v. 75, pp. 85-96. 2021 [https://doi.org/10.25111/jcd.2021.75.06]
• D. HodgettsP. L. Manning, “Application of high-resolution laser scanning and photogrammetric techniques to data acquisition, analysis and interpretation in palaeontology”, International Archives of the Photogrammetry, Remote Sensing, and Spatial Information Sciences, XXXVIII, Part 5:68-73, 2010
• Allowen Evin, Thibaud Souter, Ardern Hulme-Beaman, Carly Ameen, Richard Allen, Pietro Viacava, Greger Larson, Thomas Cucchi, Keith Dobney, “The use of close-range photogrammetry in zooarchaeology: Creating accurate 3D models of wolf crania to study dog domestication”, Journal of Archaeological Science: Reports, Volume 9, Pages 87-93, 2016, 10.1016/j.jasrep.2016.06.028 [https://doi.org/10.1016/j.jasrep.2016.06.028]
• Verónica Díez Díaz, “Comparing surface digitization techniques in palaeontology using visual perceptual metrics and distance computations between 3D meshes”, Palaeontology, Vol. 64, Part 2, pp. 179–202, January 2021, 10.1111/pala.12518 [https://doi.org/10.1111/pala.12518]