D-NeRF와 4DGS 촬영을 위한 인조데이터 기반 카메라와 촬영 환경 세팅 연구

NeRF와 3DGS 제작을 목적으로 촬영할 경우 카메라의 위치 이동 혹은 회전을 통해 다양한 각도의 피사체 정보를 획득하는 것이 중요하다. 따라서 피사체 전체가 잘 보이도록 360도로 둘러싸고 회전하며 촬영하거나, 전면부만을 위주로 둘러싸고 180도 가까이 회전하며 촬영하는 아크 샷, 또는 직선으로 카메라를 이동하는 패닝 샷으로 연속사진 혹은 영상을 촬영하게 된다. D-NeRF와 4DGS는 마찬가지로 다양한 각도의 피사체 정보를 동시에 획득해야 하므로, 이러한 카메라 동선 대신 여러 대의 카메라를 동시에 배치하여 촬영해야 할 것이다.

따라서 카메라의 리그 배치 구조를 결정하기 위하여 첫 번째 실험을 진행하였다. 3가지의 경우를 비교하였는데, 표2처럼 선행연구들을 참고하여 360° 전 방향을 촬영할 수 있도록 6각 구조로 피사체를 둘러싼 경우(360° 육면형)와 피사체 전면부를 둘러싸고 180° 아크형으로 배치하는 경우, 정면을 기준으로 일직선으로 배치하는 경우를 비교하였다.

세 가지 경우 피사체를 수직 시점에서도 다양한 각도로 촬영할 수 있도록 모두 상단, 중앙, 하단의 3단 배치를 2줄씩 배치한 리그 세트를 기준으로 360° 육면 배치는 6개의 세트 총 36개의 카메라를, 180° 아크형 배치는 5개의 세트, 총 30개의 카메라를 배치하였으며, 직선형은 4개의 세트, 총 24개의 카메라를 배치하였다.

360° 육면형과 180° 아크형은 리그 내부 카메라 라인의 간격을 60cm로 설정하였고, 360° 육면형은 다른 카메라세트 간의 간격은 6~70cm로 먼 거리를 둔 반면, 180° 아크형은 45cm 간격, 직선형은 카메라 라인의 간격도 40cm로 줄이고 다른 카메라 세트와의 간격도 40cm로 두어 더욱 촘촘하게 배치하였다.

180° 아크형 배치는 정면을 기준으로 양쪽의 카메라 열을 10°씩 꺾어서 피사체 중심으로 바라보도록 카메라의 각도를 조절하였으며, 직선형 배치는 가장 좌측과 우측 열의 카메라를 제외하고는 정면 0°로 각도를 조절하고, 가장 좌측과 우측 카메라는 각각 안쪽으로 10°씩 각도를 조절하였다.

이러한 카메라 배치에 따른 데이터 세트는 표 3에서 1-1, 2-1, 2-3에 해당한다.

Table 3.

Data set list

피사체가 카메라의 앵글안에 잘리지 않고 들어오기 위해서 피사체와 카메라와의 거리는 2m로 설정하였다.

이를 비교하기 위한 피사체 모델의 자세는 선 채로 손을 흔드는 자세(1-1), 책상 위에 앉아있는(2-1, 2-2) 두 가지의 자세를 사용하였다.

실제 촬영에서 인물의 키나 동선, 자세와 촬영 환경에 따라 피사체의 기본 높이는 달라질 수 있다. 따라서 두 번째 실험은 이러한 피사체의 높이에 따라 카메라의 높이를 조절하는 변수를 살펴보려 한다.

두 번째 실험은 2가지의 모션 캡쳐 데이터를 사용하였는데, 첫 번째 동작은 의자에 앉아서 대화를 하는 동작이고, 다른 동작은 서서 발걸음을 앞으로 옮기며 대화를 하는 동작이다.

먼저 피사체 모델의 선 키(180cm)에 맞추어 표 4처럼 카메라의 3단 기본 높이는 상단(200cm)과 정면(140cm), 하단(70cm) 높이로 설정하였다.

Table 4.

Comparison of camera height by posture

앉아있는 자세는 의자와 함께 테이블을 추가하여 하반신을 가리고 상반신에 집중하여 촬영 및 재구성하도록 하였다.

앉은 자세의 경우는 카메라 화면 안에 피사체가 들어오도록 카메라 앵글을 확인하며 피사체의 자세에 맞추어서 상단(180cm), 정면(135cm), 하단(50cm) 높이의 3단으로 카메라의 높이를 조절하였다.

이를 비교하기 위해 표 3의 2-2, 3-2(앉은 자세)와 3-1, 3-3(선 자세)와 같이 데이터 세트를 제작하였다.

NeRF와 3DGS 기술 모두 디테일한 피사체를 다룰수록 재구현이 잘되는 특성을 갖고 있기 때문에 세 번째 실험에서는 표 5와 같이 3가지의 배경조건을 설정하여 비교하였다. 먼저 아무 배경과 소품이 없이 인간 모델만 촬영한 경우와 뒷 배경에 여러 가지 가구와 소품을 배치한 경우, 마지막으로 흑백마커들을 뒷 배경에 일정한 간격으로 부착한 경우이다. 이 변수의 비교를 통해 향후 D-NeRF 및 4DGS 촬영 시에 적절한 환경요건을 어떻게 구성해야 할지 참고할 수 있다.

Table 5.

Comparison of background scene

소품을 배치한 경우는 가장 먼 거리의 소품과 피사체 간에 2m 거리를 두고 그 사이에 여러 가지 다양한 가구와 소품들을 배치하였다. 마커의 경우에는 증강현실 등에 많이 쓰이는 흑백 패턴인 아루코 마커(Aruco Marker)를 사용하여 가로세로 20cm 크기로 좌우 60cm 상하 20cm 간격을 두고 가로 5줄, 세로 6줄 총 30개의 마커를 사용해 마커 벽을 구성하였으며, 이 마커 벽은 피사체와 1.5m 거리를 두고 배치하였다.

이를 비교하기 위해 표 3의 3-1(소품 배경)과 3-2,3-3(마커 배경), 3-4(빈 배경)과 같이 데이터 셋을 제작하였다.

먼저 1차 실험에서 360° 육면 구조로 36개의 카메라를 배치한 리그의 데이터 세트 1-1의 첫프레임을 3DGS로 복원(Reconstruction)한 결과, 표 6에서 보듯이 인물의 제대로 된 형상이 생성되지 않고 뭉개지는 결과가 나오게 되었다. 결과를 개선하기 위해 표 6의 1-1처럼 배경에 카메라 리그 모델이 추가되어 있는 영상에서 1-2처럼 배경을 지워 인물만 남도록 한 후에 복원한 결과는 이전보다 조금 더 개선되었다. 하지만 4D로 복원한 결과를 살펴보았을 때, 4DGS 코드 베이스에서는 복원된 결과물에서 움직임이 없이 멈춘 형태로 복원되었으며, 3DGStream 코드 베이스에서는 움직임 자체는 만들어졌지만 객체의 일부분들이 빈 상태로 복원되었다. 또한 1-2처럼 배경을 지운 경우에는 제대로 된 객체의 형태가 보이지 않고 블러 처리한 듯이 불분명하게 생성되었다.

Table 6.

Reconstruction result of data set 1-1, 1-2

명확한 데이터를 얻기 위해 실험 데이터 셋 2-1은 피사체의 정면을 중심으로 180° 아크형으로 둘러싸도록 배치를 하였고, 2-2는 일직선으로 배치하였다. 여기에 더불어 피사체의 자세도 앉은 자세로 책상으로 하반신을 가리게 하고 카메라의 높이를 조절해 피사체의 상반신 전면을 중점적으로 구현할 수 있도록 구성하였다. 또한 카메라의 높이를 앉은 자세에 맞춰 120/160/200cm 높이로 조정하였다.

실험 결과, 표 7에서 보듯이 4DGS와 3DGStream 모두 이전보다 훨씬 개선된 형태로 복원이 가능하였으며, 특히 3DGStream에서는 첫 프레임 복원에서 매우 디테일한 복원이 가능하였다.

Table 7.

Reconstruction result of data set 2-1, 2-2

3DGStream의 결과를 비교하였을 때, 180° 아크형 구조로 배치한 2-1 데이터 세트에서 복원된 스플릿(Splat)은 302,924개로 직선형 구조로 배치한 데이터 세트 2-2의 스플릿 개수인 137,669개에 비해 2배가 넘는 개수로 복원되어 이미지 품질이 더욱 정밀하고 높은 밀도로 표현되었다. 표 7의 모델의 정면과 측면 디테일 샷을 비교해보면 직선형 구조에서는 데이터 세트에서 보이지 않는 뒤통수와 상체 뒷면은 비어있거나 매우 성긴 밀도로 복원되어 있는 것을 확인할 수 있다.

반면에 움직임의 구현을 비교해보자면, 2-1의 70개의 프레임별 데이터는 스플릿들의 변화를 복원하지 못하여 첫프레임에서 멈춘 상태로 움직임이 만들어지지 않고 배경의 일부만 흔들리는 것처럼 구현되었다. 반면 2-2는 프레임 별로 스플릿의 이동과 변화가 생성되어 표8에서 보듯이 프레임별 움직임이 생성되었다. 2-1 데이터 세트에서 움직임이 생성되지 않은 이유는, 초기 프레임에서 매우 촘촘하고 많은 수의 가우시안이 생성되어 프레임 간의 움직임 벡터(motion vector)를 추적하는 최적화(optimization) 과정이 안정적으로 수렴하지 못했기 때문으로 추정된다. 즉, 정적 장면 표현은 우수했으나 동적 변화를 학습하는 데에는 어려움을 겪은 것으로 보인다.

Table 8.

Reconstruction result of data set 2-2, 3-1, 3-2, 3-3

직선형 배치만이 움직이는 다이나믹 씬 구현에 성공하였기 때문에 이후 실험은 직선형 배치로 고정하였다. 또한, 여러 데이터 세트에서 4DGS 코드 베이스보다 3DGStream 코드 베이스가 더 안정적으로 동적 결과물을 생성하였으므로, 이후 변수 비교 실험은 3DGStream 코드 구조를 기반으로만 복원하여 비교하기로 한다.

1차 실험의 결과를 볼 때 360° 육면형과 180° 아크형, 직선형의 순서대로 카메라가 담는 시점의 범위 폭과 카메라의 개수는 줄어드는 대신 카메라 간의 간격이 점차 좁혀진 구조를 가지고 있는데, 이는 카메라의 총 개수보다 카메라 간의 간격을 촘촘히 둘수록 개선된 결과를 얻을 수 있다고 볼 수 있다.

앞선 실험 결과에서 가장 좋은 결과를 얻은 2-2 데이터 세트는 동적 움직임에 따른 결과물 복원을 성공시키기 위해서 카메라의 배치구조 외에 앉은 자세에 맞춰 카메라 높이를 조절하여 자세와 높이라는 변수가 추가되었다. 이 변수에 따른 결과만을 비교하기 위해, 2-2와 동일하게 직선형 구조로 카메라를 배치하되, 이번에는 서서 팔과 자세와 그에 맞춰 처음 설정한 대로 카메라 높이를 맞춘 3-1 데이터 셋을 3DGStream 코드 기반의 방식으로 복원하였고 그 결과를 2-2와 비교하였다.

3-1 데이터 세트를 복원한 결과는 표8에서 보듯이, 스플릿은 156,183개가 생성되어 2-2보다 많은 갯수의 스플릿이 생성되었는데, 같은 배경임에도 2-2의 앉은 자세에서 가려져서 구현되지 않았던 책상 아래와 모델의 하체 부분까지 복원됨에 따른 것으로 보인다.

2-2와 3-1 데이터 세트 복원 결과물의 정량적 품질 차이를 비교하기 위해 PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index Measure), LPIPS (Learned Perceptual Image Patch Similarity) 3가지 지표를 사용한 분석을 실행하였다. PSNR은 원본 영상 대비 재구성 영상의 신호 손실 정도를 나타내는 척도로, 값이 높을수록 왜곡이 적고 품질이 우수함을 의미한다. 일반적으로 30 dB 이상이면 고화질로 간주된다. SSIM은 영상의 구조, 명암, 질감 등의 유사성을 평가하는 지표로, 1에 가까울수록 원본과 구조적으로 유사한 영상임을 나타낸다. 이는 인간의 시각적 인지 특성을 반영하여 단순한 픽셀 간 차이보다 더 신뢰할 수 있는 품질 비교를 제공한다. LPIPS는 딥러닝 기반의 인지 유사도 지표로, 두 영상 간의 시각적 차이를 신경망의 특성 공간에서 계산한다. 값이 낮을수록 인간이 보기에 더 유사한 이미지로 판단되며, 기존의 전통적 지표들이 포착하기 어려운 시지각적 차이를 정량화할 수 있다. 이 세 지표는 서로 보완적인 성격을 가지며, 단일 수치보다는 상호 비교를 통해 보다 신뢰도 높은 품질 평가가 가능하다.

데이터 세트에 포함되지 않은 새로운 위치의 카메라 위치에서 3ds 맥스(3ds max)로 렌더한 이미지를 원본(Gtround Truth)로 설정하고, 3ds 맥스에 가우시안스플릿 PLY 파일을 V-ray 렌더러를 통해 가져와 원 메시모델과 동일한 위치와 크기로 배치한 뒤 앞서와 동일한 카메라 위치에서 렌더한 이미지를 비교대상으로 설정하였다. 이렇게 설정한 1개의 카메라 위치에서 1, 15, 30, 45,60프레임 별로 렌더한 5개의 이미지들을 대상으로 비교 분석하였다. 두 이미지세트들의 실제 품질 분석 수치는 표 9와 같다.

Table 9.

Image quality metric result of 2-2, 3-2 data

2-2 데이터 세트의 평균 PSNR은 약 21.24로, 3-1의 평균 PSNR 28.71에 비해 약 7.47 dB(decibel) 낮은 수치를 기록하였다. 이는 2-2의 렌더링 이미지가 원본 대비 신호 손실이 더 많고, 전반적인 해상도 품질이 떨어짐을 의미한다. 구조적 유사성을 나타내는 SSIM 역시 2-2는 평균 0.801로, 3-1(0.939)보다 0.138 낮아 상대적으로 형태 보존이 불안정함을 확인할 수 있다. 특히 시각적 유사성을 반영하는 LPIPS 수치에서는 2-2가 평균 0.175로 3-1(0.077)보다 약 2.3배 높은 값을 보여, 시지각적으로 원본과 큰 차이를 보였음을 알 수 있다.

세부적으로 살펴보면, 2-2의 모든 프레임에서 LPIPS가 0.17에 가까운 수치로 고르게 높게 나타났으며, 이는 책상 등 소품에 의해 피사체 일부가 가려져 있기 때문에 렌더링 품질이 일정 수준 이하로 제한되었음을 시사한다. 특히 2-2의 PSNR은 최저 20.90에서 최고 21.51 사이에 머물러, 프레임 간 품질 편차는 크지 않지만, 전반적으로 낮은 수준을 유지하였다.

이러한 결과는 카메라 높이를 모델의 자세에 맞추는 것은 크게 영향을 주지 않고, 소품이 피사체의 신체 일부를 가리는 조건이 있을 경우, 신체 인식 및 3D 재구성이 어려워져 렌더링 품질 저하로 이어질 수 있음을 시사한다. 반면, 피사체가 완전히 드러나 있는 3-1의 경우 높은 PSNR과 SSIM, 낮은 LPIPS 값을 기록하며 전반적으로 안정적인 품질을 유지한 것으로 분석된다.

따라서, 자세 및 장면 구성 요소에 따라 3D 영상 품질에 미치는 영향이 상당하며, 특히 피사체 일부가 소품에 의해 차폐되는 경우 품질 저하가 현저하게 나타날 수 있음을 확인할 수 있다. 이는 뒷 배경 조건을 달리한 3-2, 3-3, 3-4의 품질 분석 결과와도 비교했을 때 책상으로 가린 2-2와 3-2가 현저히 낮은 수치를 보여주는 것과도 일치한다.

앞선 데이터 세트 2-2와 3-1에 더하여 배경과 소품의 세팅의 영향력을 추가로 비교하기 위해 동일한 모델 동작과 카메라 높이에서 표 8에서처럼 뒷 배경을 마커로 세팅한 3-2와 3-3 데이터 세트, 소품을 모두 제외한 3-4 데이터 세트로 복원결과를 비교하였다.

복원 결과, 소품 배경의 앉은 동작으로 제작된 2-2의 스플릿 수는 70,043개인 반면, 마커 배경의 동일한 앉은 동작으로 제작된 3-2의 스플릿 수는 221,949개로 생성되었다. 하지만 생성된 스플릿의 30% 가까이가 표 10에서 보듯이 불필요하게 전면부에 노이즈 화하여 생성되었다. 이는 앞서 살펴본 것과 같이 책상 소품으로 차폐되어 복원결과가 낮아진 때문으로 보인다.

Table 10.

Details comparison of 3-2, 3-3 in rings mode view

소품 배경의 선 자세로 제작된 3-1의 스플릿 수는 156,183개, 마커 배경의 선 자세로 제작된 3-3의 스플릿 수는 144,431개로 생성되었다. 배경 소품의 개수가 많고 다양한 뎁스를 표현할 수 있어 스플릿의 생성 갯수에서 유의미한 차이가 있을 것으로 추측했지만 실제 결과에서는 큰 차이를 보이지 않았다.

반면에 빈 단색 배경의 3-4 복원결과의 스플릿수는 83,662개로 적은 숫자로 생성되었으며, 첫 프레임에서는 복원 품질에 큰 차이는 없었지만 이후 프레임으로 갈수록 표 9에서 보듯이 배경의 스플릿들 위치가 흩어지며 품질 저하가 발생했다.

정량분석의 경우, 먼저 책상 앞에 앉아있는 동작과 책상 소품을 중심으로 뒤 마커를 소품으로 둔 경우인 3-2의 복원결과를 앞서 소품을 배경으로 뒀던 3-2 데이터 셋의 복원 결과와 정량적으로 비교하였으며 3-2의 분석 수치는 표 11과 같다.

Table 11.

Image quality metric result of 3-2 data

분석 결과, 3-2는 PSNR 17.75, SSIM 0.724, LPIPS 0.287로, 전반적으로 2-2에 비해 3-2가 더 낮은 화질을 나타내었다. 특히 PSNR 차이는 약 3.5 dB에 이르며, 이는 3-2에서 신호 왜곡이 더 많이 발생했음을 의미한다. 또한 LPIPS가 2-2보다 높다는 점은, 3-2의 이미지가 시각적으로도 원본과 더 유사하지 않으며 인지적 품질이 저하되었음을 보여준다.

구체적으로 3-2의 모든 프레임에서 PSNR은 18 dB 미만으로 매우 낮은 수준을 유지하였으며, SSIM 역시 0.73~0.74 사이에 머물러 영상의 구조적 일관성이 부족함을 시사한다. 이는 실제로 3-2의 이미지들에서 모델 앞과 주변 배경에 불필요한 스플릿이 다수 생성되어 노이즈처럼 보이는 현상과도 일치한다. 이는 마커 기반 배경이 재구성 과정에서 모델 및 주변 오브젝트, 배경과의 경계를 혼동하게 만들었을 가능성을 시사한다.

반면, 2-2 데이터 세트는 상대적으로 깨끗한 결과를 보였으나, 스플릿 수 자체가 낮아 전반적으로 흐릿하고 뭉개지는 현상이 나타났다.이는 신호 보존 측면에서는 3-2보다 우수하지만, 세부 묘사력이 떨어진다는 것을 의미한다.

이번에는 전신이 잘보이게 선 자세에서 소품을 배경으로 둔 3-1과 마커 배경을 둔 3-3, 단색의 빈 배경을 둔 3-4의 복원 결과 품질을 정량적으로 비교하였다. 3-3과 3-4 이미지세트들의 실제 분석 수치는 표 12와 같다.

Table 12.

Image quality metric result of 3-1, 3-3, 3-4 data

표 12에서 보듯이 3-3 이미지 세트는 평균 PSNR 27.48, SSIM 0.893, LPIPS 0.103를 보여 3-1의 수치가 전반적으로 더 우수한 품질을 보여준다. PSNR 수치가 높다는 것은 원본 대비 신호 손실이 적다는 것을 의미하며, SSIM이 높다는 것은 구조적 유사성이 뛰어남을 나타낸다. 특히 LPIPS는 인간의 시지각적 유사성을 반영하는 지표로, 3-1 세트의 낮은 수치는 시각적으로 원본과 더 유사한 품질을 지닌다는 것을 보여준다.

세부적으로 보면, 3-1 세트는 평균 PSNR 28.71, SSIM 0.939, LPIPS 0.077으로 높은 품질을 유지한 반면, 3-3 세트는 60프레임에서 LPIPS가 0.134로 높게 나타나 시지각적 품질 저하가 관찰되었다. 이러한 결과는 3-1 이미지 세트가 전체적으로 더 안정적이고 원본과의 일관성이 높은 복원 결과를 보여준다고 볼 수 있다.

따라서, 본 실험에서는 3-1 세트가 3-3 세트에 비해 객관적 신호 품질, 구조 보존, 그리고 시각적 유사성 측면에서 모두 우수한 성능을 보였으며, 프레임 간 편차 또한 상대적으로 적어 더 높은 품질의 일관성을 유지한 것으로 판단된다.

3-4 데이터 세트에 대한 이미지 품질 평가 결과는 PSNR 21.82, SSIM 0.923, LPIPS 0.126의 평균값을 기록하였다. 이는 앞서 분석한 3-1 세트(PSNR 28.71, SSIM 0.939, LPIPS 0.077) 및 3-3 세트(PSNR 27.48, SSIM 0.893, LPIPS 0.103)에 비해 전반적으로 열악한 품질을 나타낸다. 특히 PSNR 값이 22 이하로 전반적으로 낮아, 원본 영상 대비 왜곡이 크고 신호 손실이 많았음을 시사하며, LPIPS 값이 평균 0.126으로 가장 높게 나타나 시각적으로도 원본과의 유사성이 가장 떨어지는 것으로 평가되었다.

SSIM 역시 3-1 세트보다 0.016p, 3-3 세트보다 0.03p가량 낮게 나타나, 이미지의 구조적 유사성에서도 상대적으로 낮은 품질을 보였다. 특히 3-4 세트의 마지막 프레임(60f)에서는 PSNR 21.47, SSIM 0.902, LPIPS 0.164로 세 지표 모두에서 가장 낮은 품질을 기록하였으며, 이는 렌더링 결과가 원본과 큰 차이를 보였음을 보여준다.

이와 같은 결과는 3-4 세트가 다른 실험군에 비해 렌더링 품질이 전반적으로 낮고, 프레임 간 일관성도 부족함을 나타낸다. 특히 LPIPS 수치가 지속적으로 높은 수준을 유지한 점은 사람의 시각 인지 기준에서도 원본과의 유사성이 떨어진다는 점을 뒷받침한다. 따라서, 정량적 지표 기반의 비교 결과에 따르면 3-4 데이터 세트는 3-1 및 3-3에 비해 화질 재현 성능이 가장 낮은 것으로 판단된다.

이에 대한 결과를 종합적으로 분석한다면 촬영 세팅시 단색 배경보다는 소품이나 마커 배경과 같은 주변 환경 세팅이 추가될 때 좀 더 고품질의 결과를 얻을 수 있으며 마커보다는 디테일과 뎁스가 많은 여러 소품을 배경으로 두었을 때 그 효과가 더욱 클 것으로 보인다.

앞서의 실험 결과를 정리해보면 다음과 같다. 3DGStream 코드 구조를 기반으로 직선형 카메라 리그로 배치하였을 때 프레임별로 스플릿의 움직임을 추적하여 움직이는 다이나믹 씬 결과물이 생성되었으나 전체적으로는 스틸이미지 만으로 생성한 3DGS보다는 품질 퀄리티가 좋지는 않으며, 후반 프레임으로 갈수록 스플릿이 흩어지고 품질이 떨어지는 경우들이 많았다.

카메라의 배치는 직선형으로 카메라 간의 간격이 좁을수록 좋은 결과물을 보였으며, 카메라의 높이 자체는 큰 영향을 끼치지 않았다. 다만 인물의 일부를 완전히 가리는 소품이나 구조물들이 있을 경우 품질 저하에 영향을 미칠 수 있다. 빈 배경보다는 다양한 소품이나 마커와 같은 오브젝트들을 배경에 배치하는 것이 좋은 품질을 보였는데, 소품과 마커를 비교했을 때에는 디테일이 많은 소품들이 좀 더 좋은 효과를 보인다고 볼 수 있다.