Current Issue

Henderson et al.[13]은 3D ground truth 없이 2D 이미지들만으로 메쉬를 학습하는 구조를 제안하였다. 모델은 입력 이미지 속 객체의 형상, 색상, 자세 및 배경 정보를 추출하며, 이는 그림 1의 feature extractor 모듈(초록색)에서 수행된다. 추출된 특징들을 바탕으로 3D 메쉬 객체를 생성하고, 이를 가상 카메라 앞에 배치한 후 배경에 렌더링하여 가상 이미지 x를 생성한다(그림 1의 분홍색 부분). 이 가상 이미지 x와 실제 입력 이미지를 비교해 손실을 최소화하는 방식으로 학습이 진행된다. 이러한 구조는 3D 정보 없이 메쉬를 생성할 수 있는 것이 장점이지만, 3D 정보를 사용한 메쉬 재구성 기법들에 비해 정밀한 형상 복원이 어렵다는 한계가 있다. 또한 한 번에 하나의 이미지로만 학습하는 모델 특성상 단일 뷰 이미지로도 메쉬 재구성이 가능하지만, 사용할 수 있는 정보가 적은 단일 뷰 이미지 특성상 다중 뷰 이미지를 사용할 때 높은 정확도를 얻을 수 있다.

Fig. 1. 
Overview of the generative model used for creating textured 3D meshes from 2D data[13]

LASR[14]는 클래스 정보나 사전 메쉬 없이 단안 영상(monocular video)만을 이용하여 관절 구조를 포함한 객체의 메쉬를 재구성하는 방법을 제안한다. 이 방법은 analysis–by-synthesis 구조를 기반으로 입력 이미지와 렌더링 이미지 간의 시각적 일치를 통해 메쉬 형상, 관절 파라미터, 카메라 정보를 동시에 추정하며, 객체의 실루엣과 움직임 정보를 효과적으로 활용한다. 네트워크 구조는 그림 2에 나타나 있다. 객체의 움직임에 따라 메쉬가 관절 구조를 반영해 변형되며, 관절 움직임은 뼈대로부터 메쉬를 만드는 방법은 선형 스키닝(linear blend skinning)으로 모델링된다. LASR는 사전에 훈련된 클래스나 자세 정보 없이도 사람이나 동물처럼 동적인 객체의 형태를 재구성할 수 있다는 점에서 높은 일반화 능력과 유연성을 보여준다. 그러나 실루엣 정보에 의존하기 때문에 객체의 외곽선이 불분명할 경우 성능이 저하될 수 있다는 한계점이 있다.

Fig. 2. 
Network overview of LASR[14]

투명 객체의 표면은 공기와 투명 재료 사이에서 발생하는 복잡한 굴절과 반사광을 통해 간접적으로 관찰된다. 이 때문에 표면 색상 관찰을 기반으로 이루어진 3D 모델 재구성을 투명한 물체에 적용할 수 없다. Xu et al.[15]은 이러한 문제를 해결하기 위해 메쉬와 Multi-Layer Perceptron(MLP)을 결합한 하이브리드 모델을 제안하였다. 초기 메쉬는 다중 뷰 실루엣을 통해 추정되며, 이후 그림 3에서 보이듯 각 정점 주변의 로컬 영역(클러스터)은 MLP를 통해 보완된다. 특히, 서로 다른 영역 간의 불연속 문제를 해결하기 위해 geodesic distance[16] 기반의 융합 층이 도입되었고, 전체 구조는 Vertex Displacement Field(VDF)로 정의된다. 이 모델은 투명하거나 광학적으로 복잡한 재질을 가진 객체를 안정적으로 재구성할 수 있다는 장점이 있지만, 네트워크 구조가 복잡하고 학습 시간이 길다는 단점이 존재한다.

Fig. 3. 
Pipeline of the reconstruction of a 3D transparent object[15]

Munkberg et al.[17]은 메쉬뿐 아니라 재질(material)과 조명 정보까지 동시에 복원하는 신경망 렌더링 구조를 제안하였다. 이 방법은 Signed Distance Field(SDF)를 활용해 메쉬를 표현하고, 이를 Deep Marching Tetrahedra[18]를 통해 표면으로 변환한다. 재질은 체적 텍스처링을 사용하여 물체 내부의 색상과 재질 정보를 3차원적으로 추정하며, 조명은 물체 표면에 도달하는 빛의 양을 근사하여 추정된다. 체적 텍스처링 기법은 일반적인 표면에 색을 입히는 것과 달리, 물체 내부의 모든 위치에 색상 정보를 기록하는 방식으로, 투명하거나 반투명한 객체의 색과 질감을 정밀하게 표현하는 데 효과적이다. 이와 같이 하나의 학습 구조 안에서 물체의 형상과 시각적 특성을 함께 복원할 수 있으며, 렌더링 환경과의 호환성이 뛰어나 다양한 후처리 작업에 용이하다. 다만 그림 4에 나와 있듯 재질과 조명 정보를 동시에 학습해 학습 과정이 복잡하고, 조명 추정의 정확도가 메쉬 품질에 큰 영향을 미치기 때문에 다양한 조명 환경에 대한 일반화 성능을 확보하는 것이 과제로 남아있다.

Fig. 4. 
Pipeline of the reconstruction of a 3D transparent object[17]

NDS[19]는 Neural Deferred Shading (NDS) 기법을 도입하여 기존 신경망 렌더링 기반 메쉬 재구성의 효율성을 크게 개선하였다. 이 방법의 전체적인 과정은 그림 5에서 볼 수 있다. NDS는 입력 이미지로부터 먼저 카메라 매개변수와 메쉬를 추정한 뒤, 해당 메쉬를 격자화하고 이를 바탕으로 신경망 기반의 셰이더가 최종 이미지를 생성한다. 이후 출력 이미지와 입력 이미지의 차이를 최소화하는 방식으로 학습이 진행되며, 기존 analysis-by-synthesis 구조를 실시간 렌더링에 적용할 수 있도록 구성되어 있다. 결과적으로 빠른 속도와 안정적인 품질을 동시에 달성할 수 있지만, 메쉬 복잡도가 증가할수록 셰이딩 단계에서 성능 저하가 발생할 수 있다.

Fig. 5. 
Mesh optimization process using NDS[19]

점군에서 메쉬를 재구성하는 문제는 최근 10여 년간 다양한 접근법이 개발되지만[20], 대부분 prior(사전에 넣는 정보)를 수동으로 정의해야 하는 한계가 있었다. 딥러닝의 등장으로 prior를 수동으로 지정하지 않아도 재구성할 수 있게 되었다. Point2Mesh[21]는 사전 정보를 Convolutional Neural Network(CNN)에 의해 자동으로 정의하는 self-prior를 사용하여, 훈련 데이터나 사전 학습 없이 점군으로부터 메쉬를 생성하는 기법이다. 이 방법은 coarse-to-fine 방식으로 수행하며, 입력 점군 크기의 초기 메쉬를 생성하면서 시작한다. 네트워크는 메쉬 정점들을 점군을 향해 이동시켜 메쉬가 점군을 감싸도록 변형시킨다. 재구성된 메쉬는 점군으로 다시 변환되어 입력 점군과 업데이트된 메쉬의 점군 간의 거리 차를 측정하여 손실을 계산한다(그림 6). 이 손실은 역전파되어 self-prior 네트워크의 가중치를 업데이트한다. Point2Mesh는 전체 형상을 CNN의 매개변수로 인코딩하기 때문에 노이즈와 이상값을 효과적으로 제거할 수 있으며, 비정상적인 조건(정렬되지 않은 법선, 잡음 및/또는 누락된 영역 등)이 자주 존재하는 현실 세계의 스캐닝에서 강력한 성능을 발휘한다. 하지만 대부분의 최적화 기법과 마찬가지로 계산 시간과 메모리 사용 측면에서 비효율적이라는 단점이 존재한다.

Fig. 6. 
Network overview of Point2Mesh[21]

앞서 언급했듯이, 딥러닝이 등장하기 전에는 수동으로 prior를 정의해야 했고, 학습 기반 방법들은 많은 데이터를 통해 prior를 직접 학습한다 [22]-[26]. 그러나 대부분의 기법은 객체 수준에서 prior를 학습하기 때문에 학습하지 않은 클래스의 객체를 재구성하는 데 한계가 있으며, 객체의 자세가 바뀌면 성능이 저하되는 문제가 있다. 이를 해결하기 위해 Badki et al.[27]은 메쉬의 작은 조각인 meshlet이라는 개념을 도입하여 국소적 특징을 학습하는 방식을 제안하였다. 이 기법은 학습 중에 보지 못한 클래스의 객체를 재구성할 수 있고, 객체의 자세와 네트워크가 학습한 매개변수를 분리하여 자세 변화에 강하다. 그러나 meshlet을 서로 독립적으로 점군에 적용하면 물 샐 틈 없는 표면을 형성하지 못한다. 이를 해결하기 위해 모든 meshlet에 전역 일관성을 적용하는 교대 최적화 반복과정을 사용하며, 그 과정은 그림 7에 나타나 있다. 그 후 ground truth 메쉬와 재구성된 메쉬 간의 차이를 계산해 메쉬를 최적화한다. 높은 일반화 성능은 큰 장점이지만, 계산량이 많고 속도에 최적화되어 있지 않아 전체 최적화 작업을 실행하는 데 수 시간에서 수십 시간까지 걸릴 수 있다.

Fig. 7. 
The alternating optimization process for meshlets[27]

PointTriNet[28]은 고정된 점 집합을 입력으로 받아 점들을 이은 삼각형 집합을 생성하는 점 집합 삼각분할을 통해 메쉬 표면을 생성한다. 점 집합은 정렬되어 있지 않으므로 주어진 점을 적절히 결합해서 삼각형 조합을 생성해야 한다. 이를 위해 PointTriNet은 두 가지 주요 네트워크로 구성되어 있다(그림 8). 첫 번째는 분류 네트워크로, 후보 표면 삼각형을 입력으로 받아 해당 삼각형이 삼각분할에 포함될 확률을 계산한다. 두 번째는 제안 네트워크로, 기존 삼각형의 이웃이 될 가능성이 높은 삼각형을 제안한다. 이 두 네트워크는 번갈아 가며 작동하면서 후보 삼각형을 분류하고 새로운 후보를 제안하면서 반복적으로 출력 메쉬를 생성한다. 그러나 PointTriNet이 생성한 메쉬는 상대적으로 매끄럽지 않고 구멍이 발생할 수 있어 후처리가 필요할 수도 있다.

Fig. 8. 
Triangulation process of PointTriNet[28]

Liu et al.[29]은 삼각형 면의 중간 표현(intermediate representation)을 활용하여 점군에서 메쉬를 재구성하는 새로운 기법을 제안한다. 그림 9에서 볼 수 있듯 3D 점군 P가 주어졌을 때 먼저 k-Nearest Neighbor(k-NN) 그래프를 구성한 다음, 재구성된 메쉬의 표면 요소가 될 수 있는 후보 삼각형 면을 제안한다. 그 후 신경망을 사용하여 잘못된 후보를 거르고, 두 정점 사이의 내부적 거리(intrinsic metric)와 외부적 거리(extrinsic metric)의 비율을 구해 나머지 후보를 정렬한다. 이 방식은 국부 연결성을 추정하여 메쉬를 재구성하므로 학습하지 않은 카테고리도 높은 성능으로 일반화할 수 있지만, 계산이 복잡하고 비율 예측의 정확도에 따라 결과가 달라질 수 있다는 한계가 있다.

Fig. 9. 
Triangulation process using k-NN and intrinsic-extrinsic ratio[29]

Wei et al.[30]은 색상 정보가 포함된 입력 점군이 주어졌을 때 기하학적 형상과 텍스처의 세부 사항을 모두 포함하는 표면 메쉬를 재구성하는 처리 방법을 제안한다(그림 10). 이 작업은 제약 조건이 매우 약하기 때문에 prior가 매우 중요한데, 본 기법은 2D-3D 하이브리드 self-prior를 이용하여 전체 메쉬를 재구성한다. 먼저 3D prior를 활용해 3D MeshCNN[31]으로 텍스처가 없는 초기 3D 메시 모델을 생성한 뒤, 점군의 위치와 색상 정보를 텍스처 좌표계인 UV 공간으로 변환시켜 각각 희소 위치 UV 맵과 희소 색상 UV 맵을 생성한다. 그 후 두 개의 독립적인 2D self-prior 네트워크가 XYZ 좌표 정제와 RGB 색상 생성을 위해 훈련되며, 해당 희소 맵을 지도 학습에 활용한다. 마지막으로 예측된 밀집 정보 UV 맵을 사용하여 3D 메쉬의 정점 위치를 업데이트하고, 이를 3D self-prior 네트워크에 다시 입력하여 추가 정제를 수행한다. 이러한 2D-3D 하이브리드 self-prior 네트워크는 입력 점군과 재구성 메쉬의 거리 차를 줄이며 반복적으로 실행된다. 후처리 과정 없이 메쉬의 텍스처까지 재구성하는 장점이 있지만, 이에 따라 복잡해진 네트워크 구조는 많은 메모리와 연산 시간이 필요하다.

Fig. 10. 
Overview of Deep hybrid self-prior network[30]

의료 영상 분야에서는 전자현미경, CT(Computed Tomography), MRI(Magnetic Resonance Imaging) 등에서 얻은 3D 영상 데이터를 기반으로 물체의 외형을 재구성하는 일이 많다. 이때의 3D 영상은 일반적으로 복셀(voxel)이라는 단위를 사용해 저장된다. 복셀은 ‘volumetric pixel’의 줄임말로, 2D 이미지의 픽셀이 평면상의 한 점을 의미한다면, 복셀은 3차원 공간의 한 단위 부피를 나타낸다. 예를 들어 CT나 MRI 스캔은 인체 내부를 수천 개의 복셀로 이루어진 큐브 형태의 데이터로 저장하며, 각 복셀은 해당 위치의 밀도나 조직 정보를 포함한다.

이러한 복셀 데이터를 시각적으로 이해하거나 후속 처리를 하기 위해선 복셀을 삼각형 메쉬로 변환해야 한다. 기존에는 Marching Cubes[4]와 같은 알고리즘을 사용해야 하고, 미분 불가능한 후처리를 해야 하므로 전과정 학습(end-to-end) 학습이 매우 어려웠다. 여기서 전과정 학습이란, 입력 데이터에서 최종 출력 결과까지 모든 과정을 하나의 신경망 모델 내에서 학습할 수 있는 방식을 의미한다. Voxel2Mesh[32]는 체적 영상에서 나온 복셀 데이터를 3D 표면 메쉬로 직접 전환할 수 있는 전과정 학습 구조를 제안한다. 그림 11에 나타나 있듯 입력 체적 영상은 먼저 인코딩 과정을 거치며 정보를 추출하고, 복셀 디코더를 거치며 복셀들의 특징 벡터를 포함한 큐브 피라미드를 생성한다. 메쉬 디코더는 삼선형 보간을 사용해서 특징 벡터를 추출하고, 특징 벡터를 사용하여 초기 구형 메쉬를 점점 정밀하게 변형시킨다. 이때 Voxel2mesh는 성능을 위해 2가지의 핵심 기능을 사용한다. 첫 번째는 Learned Neighborhood Sampling이다. 메쉬 디코더는 특정한 곳만 샘플링하는 것이 아니라 그곳 주위 영역까지 샘플링해 과적합을 방지한다. 두 번째 Adaptive Mesh Unpooling은 메쉬의 복잡도를 효율적으로 조절하는 기법으로, 곡률이 높은 영역은 세밀하게 표현하고 평탄한 부분은 단순하게 유지해 메모리 사용량을 크게 줄이면서도 고품질 메쉬 생성을 가능하게 한다. 그러나 구형 메쉬를 변형하기 때문에 복잡한 위상(topology)을 가진 데이터(구멍, 가지 구조 등)를 재구성하는 데는 한계가 있다.

Fig. 11. 
Network structure of Voxel2Mesh[32]

사면체 메쉬는 그래픽스에서 3D 객체를 위한 주요 표현 중 하나이며[33]-[35], 물리 기반 시뮬레이션에서도 널리 사용된다[36]. DEFTET[37]은 정육면체를 사면체 메쉬로 분할하고, 그림 12에서 볼 수 있듯 3D 형태를 이 사면체 메쉬 안에 3차원적으로 표현한다. 논문에서는 이 데이터 구조를 Deformable Tetrahedral Mesh(DEFTET)로 부른다. DEFTET은 입력으로 2D 이미지와 점군을 받을 수 있고, 각 사면체의 점유 여부를 예측하는 방식으로 접근했다. 사면체의 모든 정점은 경계 공간 내에서 정의된 3D 좌표를 가진다. 그 후 사면체의 점유 여부를 평가하는데, 점유 여부는 사면체가 재구성 객체의 내부에 있는지 외부에 있는지를 식별하는 데 사용한다. 점유 라벨이 다른 두 사면체(내부 라벨과 외부 라벨)는 객체의 표면을 정의한다. 2D 이미지가 입력으로 들어왔을 때는 재구성된 객체가 렌더링 된 이미지와 입력 이미지 간의 차이를 L1 거리로 측정하고 손실 함수를 최적화한다. 점군이 입력으로 들어왔을 때는 PointVoxel CNN[38]-[39]을 사용해 점군을 복셀로 변환한 후 MLP를 이용해 점유 여부를 비교한다. 그러나 사면체 메쉬를 사용하는 DEFTET 구조상 연산량이 크고 메모리 사용이 높을 수밖에 없으며, 점유 여부로 표면을 결정하기 때문에 표면 표현의 정밀도가 떨어질 수 있다.

Fig. 12. 
Network structure of DEFTET[37]

메쉬가 실제 객체처럼 상호작용을 하기 위해서는 매니폴드한 특성을 가져야 한다. 여기서 매니폴드란, 국소적으로는 평탄한 구조를 가지지만 전체적으로는 곡선이나 곡면 등 복잡한 구조일 수 있는 공간을 말한다. 쉽게 말해, 지구는 구형이지만 우리가 지도를 펼쳐 보면 한 부분(예: 서울 근처)은 평면처럼 보인다. 이처럼 어떤 3D 형태든, 아주 작게 잘라보면 평면처럼 보이는 성질을 매니폴드라고 한다. 3D 메쉬에서 매니폴드란, 메쉬의 각 면과 정점들이 논리적이고 연속적으로 잘 연결되어 있어, 구멍이 없고 겹치지 않으며, 어떤 부분을 확대해도 평면처럼 동작하는 구조를 의미한다. 이전 메쉬 재구성 방법들은 뛰어난 기하학적 정확성을 제공했지만, 매니폴드가 부족했다. Neural mesh flow[40]는 2-매니폴드 메쉬를 생성하기 위해 여러 Neural Ordinary Differential Equation (NODE) 블록으로 구성된 오토인코더를 제안하였다. NODE 블록은 그림 13의 노란 부분으로, 여러 개의 MLP 레이어로 구성되어 있다. 이 블록들은 초기 매니폴드 메쉬의 정점들을 목표 형태로 변형시키기 위해 가역적이고 매끄러운 변형 흐름(diffeomorphic flow)을 학습한다. 그 후 점진적으로 메쉬 품질을 개선한다. 이 모델은 훈련 데이터셋의 3D 모델을 ground truth로 놓고 학습하며, 학습이 완료되면 2D 이미지나 점군에서 메쉬를 재구성할 수 있게 된다. 다만 이 방법은 초기 메쉬가 매니폴드 구조를 가져야 하고, 여러 번 반복해서 NODE 블록을 거치기 때문에 연산량이 높고 학습 속도가 느리다.

Fig. 13. 
Network flowchart of NMF[40]

Li et al.[41]은 ground truth 데이터 없이도 단일 이미지에서 3D 메쉬를 복원할 수 있는 자기 지도 학습 모델을 제안한다. 이 방법은 3D ground truth 객체, 2D 키포인트, 다중 뷰 이미지, 범주별 기본 메쉬 등 없이, 단지 2D 이미지와 실루엣 모음만을 활용한다. 특히, 범주별 기본 메쉬[42]나 2D 키포인트[22] 없이 단일 이미지로 3D 객체를 복원한 첫 시도라는 점에서 의의가 있다. 모델은 그림 14에 나타나 있으며, 먼저 입력 이미지를 SCOPS (Self-supervised Co-part Segmentation)[43] 기법을 이용해 구성 요소(semantic parts)로 분할한다. 이후, 메쉬 변형(mesh deformation), 텍스처 흐름(texture flow), 그리고 카메라 자세를 추정하여, 복원할 메쉬의 형상과 메쉬 위 텍스쳐를 입히기 위한 구성 요소의 UV 맵(canonical semantic UV)을 생성한다. 학습 과정에서는 2차원 이미지 속의 구성 요소와 3D에서 복원된 모델의 구성 요소 간의 유사성을 극대화하도록 자기 지도 방식으로 학습한다. 이 방법은 객체의 형상과 카메라 자세를 예측하는 과정에서 모호성을 줄일 수 있는 장점이 있다. 다만 구성 요소 분할이 정확하지 않으면 메쉬를 제대로 생성해 내지 못한다. 또한 카메라가 객체에 너무 가까울 때 학습에 어려움을 겪는다.

Fig. 14. 
3D mesh reconstruction pipeline with segmentation[41]

Pixel2Mesh[44]는 단일 뷰 이미지에서 메쉬를 추출하는 연구인 Pixel2Mesh[24]의 후속 연구이다. [24]와 비교하여 네트워크 구조를 수정하였고, 정점별 속성(예: 색상)을 예측하도록 확장되었다. Pixel2Mesh의 모델은 단일 뷰 이미지를 입력으로 받아 카메라 좌표계에서 3D 메쉬 모델을 생성하는 전과정 학습 네트워크 구조이다. 입력 이미지가 들어오면 2D CNN을 통해 입력 이미지에서 특징을 추출한다. 이후 기본 타원체 메쉬를 점진적으로 변형시키며 정점 수를 늘리고, 그림 15의 아래쪽에서 볼 수 있듯 세부 사항을 추가하는 coarse-to-fine 방식으로 학습한다. 본 모델은 여러 3D 데이터셋을 사용해 훈련하며, 훈련 데이터셋의 3D 메쉬를 ground truth로 놓고 메쉬 관련 오차 함수인 표면 법선 오차, 라플라시안 정규화 오차, 모서리 길이 오차 값을 최소화하도록 모델을 학습시킨다. 모델 학습이 완료되고 나면 ground truth 없이 단일 뷰 이미지에서 3D 메쉬를 생성할 수 있게 된다. 다만 단일 뷰 이미지만을 입력으로 넣기 때문에 입력 이미지의 품질에 예민하다는 점과 복잡한 모양은 재구성하기 힘들다는 단점이 있다.

Fig. 15. 
Mesh deformation network of Pixel2Mesh [44]

기하학적 딥러닝은 continuous Deep Implicit Field[45]-[47]의 출현으로 많은 진전을 이뤘다. 함수 기반 공간 표현은 임의의 형태도 상세한 물 샐 틈 없는 표면 모델링을 가능하게 하며 해상도에 제한이 없다. 그러나 이러한 방식은 메쉬를 사용하지 않으므로 메쉬 기반 표현이 필요한 응용 프로그램에는 적합하지 않아 함수 기반 공간 표현을 메쉬 표현으로 변환하는 과정이 필요하다. 대부분은 Marching Cubes[4] 알고리즘을 사용하는데, 이 알고리즘은 미분 가능하지 않기 때문에 딥러닝 학습에서 사용하기 어렵다. DeepMesh[48]는 MeshSDF[25]를 확장한 연구이며, 임의의 암시적 함수(ex. occupancy fields)에 대해서 메쉬를 추출할 수 있다. 또한 MeshSDF에서는 메쉬를 생성할 때 Marching Cubes 알고리즘같이 미분 가능하지 않은 방법을 썼지만, DeepMesh에서는 메쉬 변환 과정을 미분 가능하게 만들어 딥러닝 모델이 직접 메쉬 생성 과정을 최적화할 수 있다.