Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 21 , No. 11

[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 11, pp. 1947-1956
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 30 Nov 2020
Received 16 Oct 2020 Revised 30 Oct 2020 Accepted 30 Oct 2020
DOI: https://doi.org/10.9728/dcs.2020.21.11.1947

법영상 기반의 3D 모델링 적용 사례에 관한 연구
김병철*
아이로피쉬 부소장

A Study on the Cases of Applying 3D Modeling for Forensic Video
Byoung-Chul Kim*
Deputy Director, Seoul 08216, Korea
Correspondence to : *Byoung-Chul Kim E-mail: gorybag@gmail.com


Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

디지털 포렌식에서 법영상의 비중이 증가하면서 관련 분석기술 또한 고도화되고 있으나 영상의 평면적 특성, 낮은 품질, 다양한 환경 요인 등으로 인해 유효정보 도출에 많은 제약이 따른다. 본 연구는 영상을 입체적 구조로 해석하고 재현하는 방법으로 영상처리, 3D 모델링, 객체 정합의 기법을 활용하고 건축 구조, 인물, 자동차 등을 대상 영상에 적용하여 입체화의 사례를 논의한다. 대상 특정 및 영상 전처리를 기반으로 구현 대상을 선정하고 시점 정렬 및 대상의 3D 모델링을 통해 원본 영상의 형상과 정합시켜 영상에서 관찰하기 어려운 입체적 공간정보를 시각화할 수 있다. 재현 결과에서 대상들의 입체적 형태에서 물리적 정보를 유추할 수 있으며 복수 대상들 사이의 인과관계를 논의할 수 있다. 이 과정들은 환경 요인에 따라 달라지므로 실제 사례를 기반으로 입체화 구현의 과정과 분석의 결과를 논의한다. 본 연구는 3D 모델링을 통해 전개되므로 가상현실 및 3D 프린팅 등의 기술과 연계될 수 있다.

Abstract

As the proportion of forensic video in digital forensics increases, analysis technologies are also advanced, but due to the two-dimensional limitation of video, low quality, and various environmental factors, there are many restrictions on deriving effective information. This study discusses the case of three-dimensionalization by applying the techniques of image processing, 3D modeling, and object matching as a method of interpreting and reconstruction of videos as a 3D structure and applying architectural structures, people, and automobiles to the target image. An implementation target is selected based on target specification and image preprocessing, and matched with the shape of the original image through viewpoint alignment and 3D modeling of the target. In this process, 3D spatial information that is difficult to observe in an image can be visualized. From the reconstructed results, physical information can be inferred from the 3D form of objects, and causal relationships between multiple objects can be discussed. Since these processes vary depending on environmental factors, we discuss the process of realizing three-dimensionalization and the results of analysis based on actual cases. Since this study is developed through 3D modeling, it can be linked with technologies such as virtual reality and 3D printing.


Keywords: Forensic Video, 3D Modeling, Object Matching, Motion, 3D Reconstruction
키워드: 법영상, 3D 모델링, 객체 정합, 동세, 3D 재현

Ⅰ. 서 론

본 연구는 법영상(forensic video) 기반의 사건, 사고 사례를 대상으로 3차원 입체화 기법의 적용과 그 의미를 논의한다. 동일 영상에서도 대상에 따라 2차원 영상처리(image processing)만으로 정체 인식이 가능할 수 있고 기하학적 요소 추출 및 가공을 통해 3차원 재구성(3D reconstruction) 기법이 적용되더라도 기본적인 형상 정보는 물론 상황 인지가 어려운 경우가 적지 않다. 범죄를 비롯해 사소한 분쟁에서 관련 정보가 담긴 영상은 객관적인 판단을 위해 중요한 자료가 될 수 있다. 피해 및 가해 여부 판별과 분쟁 해결에 증거는 물론 법적 책임 공방에 중요한 근거가 될 수 있다.[1] 여러 요인으로 인해 인식이 어려운 영상이더라도 적정 기술의 확보를 통해 인식의 가능성을 높이고 객관적 분석의 과정이 요구되는 이유이다.

본 연구는 실제 사건, 사고, 분쟁에 대한 영상을 대상으로 기술적 개입 통한 분석과 한계, 그리고 해당 기술 적용의 적정성을 논의한다. 영상에 대한 적정 전처리 과정 이후 특정 대상들의 판독성을 향상시키고 이후 입체화 기법을 적용하여 3차원 객체 및 입체 공간으로 변환하여 현장의 재현성과 함께 대상의 실제성을 확인하고자 한다. 또한 입체적 구현 형상 및 주변과의 인과요인 분석을 위해 해당 상황에 적합한 공간적 편집 조건들을 선정 및 적용함으로써 해당 영상의 입체화 가능성과 분석의 효용성을 논의하고자 한다.


Ⅱ. 연구 개요 및 구현 절차
2-1 연구의 범위와 대상
1) 연구의 범위

법영상은 기본적으로 사건, 사고에 대한 정보를 시각적으로 저장하고 있는 영상을 의미한다. 법적 대상 구분과 판별을 위해 영상의 판독 가능성을 향상시키고 그 과정에서 대상의 정체나 그 변화를 특정하는 기술적 논의도 법영상 분석 영역에 포함될 수 있다. 사건, 사고의 사진이나 동영상이 일반적인 법영상의 범주에 포함되며 시각적 형태의 유사 형식이라도 관련 문제를 이해하고 인과요소를 도출하는데 기여할 수 있다면 법영상의 분석 대상이 될 수 있다.[2]

본 연구는 사건, 사고 영상이 논의대상이나 범죄 성립 여부 또는 법적 대상의 판별을 언급하지 않는다. 분석 요구 영상에 대해 적정 전처리 기법을 적용하여 유효 대상을 특정하고 입체적 구조로 재현 및 분석하는 과정과 결과의 적정성을 논의하는 데 목적이 있다. 본 연구에 예시된 사건, 사고 영상들은 입체적 재현을 통해 적정 정보가 확보될 수 있는 사례를 기반으로 선정되었다.

분석의 결과는 현장을 대상으로 재현되었더라도 실제가 아니므로 추정 자료로만 논의될 수 있으며 다른 해석의 가능성이 상존한다. 따라서 본 연구는 사건, 사고의 결과와 그 가치의 판별보다 연구 대상으로서 법영상 분석에 대한 기술적 개입의 가능성과 그 의미를 논의하는 데 집중하고자 한다.

2) 연구의 대상

사건, 사고의 대상은 매우 다양할 수 있다. 일상에서 의미없이 지나친 순간이 매우 복잡한 법적 문제로 해석되어 오랜 분쟁의 대상이 될 수 있으며, 인물 사이의 가벼운 접촉이나 사물에 대한 의미 없는 행동이 성추행, 폭행, 절도 등의 범죄행위로 해석 될 수도 있다. 이때 해당 상황에 대한 영상이 존재하고 인과관계가 증명된다면 증거자료로서 영상의 가치는 달라질 수 있다. 법영상 분석은 그와 같은 영상에 담긴 다양한 형상들과 그 변화를 대상으로 하며 그 정체와 의미를 판별하기 위해 적용 가능한 입체적 분석기법의 논의가 본연구의 대상이다.

본 연구의 입체화 기반 분석기법은 디지털 포렌식 영역 중 2차원 영상에서 평면의 형상 정보 또는 그 패턴의 정체를 분석하는 기법[3]과 목적 및 대상에서 차이가 있다. 형상에 대한 평면적 논리에 따라 유사성 여부를 판독하는 과정은 수치화 가능 정보나 물리적 비교 정보를 추출하는 과정과 다르다. 일반적으로 판독이 어려운 낮은 화질의 영상에서 적정 영상처리 기법을 적용해 인식이 가능한 수준으로 개선하더라도 객관적 수치나 실제와 동일한 정보를 얻기 어렵다. 이런 경우 영상의 기하학 요소 추출을 통해 3D 좌표 추출(coordinate extracion) 및 3D 모델링(modeling) 등의 입체화 기법을 적용함으로써 영상에 대한 현장성 재현과 분석의 효율을 높일 수 있다.[4]

본 연구는 입체화 기법 적용이 가능한 사건, 사고의 영상과 그 속의 특정 형상을 구현 대상으로 한다. 건축 구조, 자동차, 선박, 인물, 사물 등 3D 구조로 표현 가능한 모든 형상이 대상이며, 카메라 정보 추출을 기반으로 특성에 따라 일반적인 3D 모델링에서 계측 정보를 반영한 기구 설계 등 다양한 입체화 방법을 적용할 수 있다.

2-2 법영상의 입체화 구현 절차
1) 대상의 특정과 영상의 전처리

법영상에서 대상의 특정은 사전 분석항목 논의과정에서 처리된다. 대부분 분석 요청 대상이 특정되면 해당 영역이 명확히 인식될 수 있도록 적정 영상 전처리 기법을 적용할 수 있다. 물론 입체화 과정 및 분석이 완료된 이후에 이외의 대상이 발견되거나 기존 대상이 배제될 수도 있다.

법영상 분석 과정에서 영상의 전처리(preprocessing)는 영상 내 대상을 인식 가능한 수준으로 가공하는 과정을 의미한다. 대부분 낮은 품질의 영상에 대해 전처리가 요구되므로 형상의 외형이 훼손되지 않는 범위에서 적정 기법이 적용되어야 한다. 대상 인식에 문제가 없다면 원본을 그대로 다음 분석 과정이 전개될 수 있다.

영상처리 과정은 포토샵(Photoshop)과 같은 이미지 편집의 논리가 동일하게 적용되는 것이나 특정 형상의 인식 개선과 계측 및 비교 가능 정보 도출이 목적이라는 점에서 차이가 있다. 영상의 화질 개선(image enhancement)과 관련한 다양한 기법이 적용될 수 있다는 점에서 컴퓨터 비전(computer vision) 기반 객체 인식의 전처리 과정과도 연계될 수 있으나[5] 법영상으로서 대상의 독립성과 사건 및 사고의 특성 인식이 전제된다는 점에서 인위적 처리 과정이 적용될 수 있다. 분석 요구 영상에 대한 전처리는 대상의 특정, 형상의 정의, 적정 정보의 도출을 위한 기본적인 과정으로 볼 수 있다.

2) 영상에 대한 입체 형상의 정합

특정 형상의 입체화 결과를 평면 영상에 정합시키는 과정(object matching)은 기본적으로 세 단계로 구분할 수 있다. 영상의 인식 조건과 분석항목의 특성에 따라 이외의 기법들이 개입될 수 있고 각 단계는 다양하게 세분될 수 있다. 그러나 영상을 입체적으로 재현하는 과정이므로 다음의 과정이 반드시 전개되어야 한다.

평면 영상에서 입체적 재현을 위해 영상에서 기하학적 선형정보를 추출하는 과정이 우선 요구된다. 영상은 특정 시점으로 투영된 공간이므로 그 속의 형상에서 선형 요소가 확보된다면 관련 기법의 적용을 통해 입체적 구조의 재현이 가능하다. 그런 입체 요소들을 기반으로 해당 영상의 카메라 상태와 촬영 조건을 계측하는 과정이 진행될 수 있다. 렌즈 화각과 소실점 등의 정보를 확보하기 위한 것으로 블랙박스(black box), CCTV(closed circuit television) 등과 같이 광각의 영상이 대부분이고 왜곡 영역 보정과 3차원 공간정보 추출이 목적이므로 이외의 광학 정보는 생략될 수 있다. 동영상에서 대상의 이동 속도, 형상의 변형 정도와 같이 물리적 정보를 추출하는 경우 단일 프레임 단위로 카메라 추적(camera tracking) 기법이 적용될 수 있으나 입체 공간 재현이 우선일 경우 카메라의 화각과 이동 경로 분석을 위해 활용될 수 있다.

카메라 정보를 토대로 3차원 시점이 확보되면 대상 형상을 3D 모델링하는 과정이 진행된다. 형상의 특성에 따라 영상 그대로를 재현 시점과 정합시켜 보이는 그대로 모델링할 수 있으나 정형화된 모델이 확보된다면 해당 정보를 기반으로 모델링을 수행한다. 카메라 시점 추출과 3D 모델이 구현되면 대상 영상 위에 해당 시점의 3D 형상을 정렬시키는 과정(image registration)을 적용할 수 있다. 높은 화질과 형상의 왜곡이 발견되지 않는 경우 그 과정이 매우 신속하게 전개될 수 있으나 많은 경우 낮은 화질과 불규칙한 형상 왜곡으로 인해 지속적인 정렬 과정이 요구된다.

3) 입체화 영상에 대한 분석

이상의 과정으로 대상 영상에 대한 3D 모델링과 정합이 완료되면 영상분석 과정을 전개할 수 있다. 법영상에 대한 입체화는 영상에서 발견하기 어려운 영역의 재현과 평면적 형상에서 실제와 유사한 물리적 정보를 얻기 위한 것이 기본적인 목적이다. 이에 따라, 원본 영상과 재현 대상의 비교, 실제 형상 및 구조의 추정, 대상들 사이의 물리적 조건 분석 등 형상 기반의 분석과 그 정체에 대한 논의가 전개된다. 사건, 사고, 분쟁의 상황에 따라 분석 대상과 그 조건이 매우 다양해질 수 있고 구현 과정의 수정과 보완이 요구될 수 있다. 원본의 부정확성으로 인해 위의 과정으로 구현된 결과가 해당 상황을 명료하게 분석하여 재현한 것으로 단정하기 어렵다. 분석 결과 또한 법적 판단의 객관적 자료로 기능할 수 있으나 여러 증거 및 진술 가운데 하나로 논의될 수 있다는 점은 본 연구의 한계가 될 수 있다.[6]


Ⅲ. 대상 입체화 기반의 법영상 분석
3-1 건축 구조 형상의 입체적 분석
1) 건축 구조 형상의 분석 사례

그림 1의 사건은 영상 전처리 기법에 따라 여러 오차가 발생할 수 있는 사례이다. 사진은 초기 건축 공사에서 적정 규격의 구조물 적용 여부를 판별하기 위해 제시된 것이다. 원기둥 형상은 콘크리트 말뚝(concrete pile) 구조이며 외부에 시멘트 밀크(cement milk) 구조를 추가 적용하여 해당 구조의 강성 증가를 기대할 수 있다. 영상에서 특정된 콘크리트 말뚝 형상들은 낮은 해상도와 유사한 크기로 인해 모두 같은 크기의 구조물로 인식될 수 있으나 세부 형상에서 미세한 차이가 발견되므로 그 크기를 분석하여 시멘트 밀크 적용에 의한 공정 적용 여부를 판별하는 데 목적이 있다.


Fig. 1. 
Target specification and image preprocessing for the original image

시공사는 현장의 말뚝 구조물이 적정 규격으로 제작된 것임을 주장하고 있으나, 분쟁 당시 지반 매립이 완료되었고 사진 외에는 현장 확인이 불가하므로 적정 공정 판별이 어렵다. 그림 1의 A영상은 당시 현장의 정보가 담긴 유일한 자료이나 스마트폰(smartphone) 카메라로 넓은 영역에 대해 광각으로 촬영되었다. 특정 대상들은 화면 중앙에 표시된 적색 사각 영역에서 관찰되며 형상들의 크기를 계측하기 위해 확대를 수행할 때 화질 저하와 선형 구조에서 일부 왜곡을 확인할 수 있다. 이런 경우 영상처리 방법에 따라 대상의 크기 및 위치가 가변적일 수 있고 객관적 수치 산출과 비교 분석이 어렵다.

2) 복수 형상을 이용한 비교 분석

카메라로 취득된 영상은 현장의 밝기, 그림자, 색상 등의 물리적 조건과 하드웨어 및 소프트웨어의 처리 특성에 따라 같은 크기의 대상도 다르게 인식될 수 있다. 해상도가 낮은 경우는 대상의 크기는 물론 다른 형태 인식이 불가하거나 다른 대상으로 오인될 수 있으므로 일련의 수치 정보를 기대하기 어렵다.

그림 1은 이후 논의될 법영상 사례 중 비교적 높은 화질의 영상으로 구분할 수 있으며 상황 판별과 대상 형상에 대한 특정이 가능하다. 그러나 주요 대상의 구체적 판별을 위해 대상 영역을 확대한 영상에서 해상도 저하가 관찰되며 개별 요소에 대한 요구 수치 확보가 어려우므로 형태 기반의 분석이 적합하다.

본 사례는 대상 형상들의 크기를 상호 비교하여 요구 공정의 적용 여부를 판별하는 것이 목적이다. 이를 위해 영상의 시점을 기반으로 동일 거리의 형상들을 특정하여 기준 모델에 대한 크기와 형태를 비교한다. 그림 1의 C와 같이 전처리 과정을 적용하기 위해 동일 형상의 그룹과 그 위치를 특정하고 색상, 명도 교정 등 영상처리를 통해 각 형상들의 윤곽을 명확히 처리한다. 주요 분석 대상은 그림 2의 B와 같이 지정 구역 내 원기둥(pipe) 형상들의 윗면 면적과 지름을 비교하는 것이다.


Fig. 2. 
3D modeling for the shapes of the objects

입체 형상은 관찰 시점에 따라 크기와 형태가 변하므로 촬영 시점과 입체 객체를 정합시키기 위해 시점 추출이 요구되며 화면의 선형 구조에서 투시도(perspective view)를 구한다. 화각 및 렌즈 특성에 따른 왜곡은 입체 공간 재현에 제한 요소이나 부분을 확대한 구간에서는 직선 형상 추출이 용이하다. 이후 앞서 표 1의 절차에 따라 대상에 대한 3D 모델링과 그 결과들을 순차 정합시켜 분석 과정을 전개할 수 있다.

Table 1. 
3D reconstruction procedure based on the forensic video and image
Procedure Contents
Target specific • Selection of a specific area in the image and video
• Selection of applicable techniques
Image preprocessing • Apply image processing techniques for image enhancement
Object
matching
Viewpoint
alignment
• Estimation of camera and shooting information
• Extracting 3D components and specifying 3D coordinates based on the camera's perspective
3D
modeling
• 3D modeling of the targets
Image
registration
• Align the 3D model on the image
• 3D object and 3D space extraction
Image analisys • Comparison of the space of the image and 3D reconstruction space
• Extract valid information about the target

분석 대상인 콘크리트 말뚝의 제조 당시 지름은 50cm이며 시멘트 밀크 적용 시 지름이 약 10cm 늘어난다. 이를 토대로 해당 비율의 3D 모델들을 각 형상에 순차 정합시키고 비교함으로써 시멘트 밀크 공정의 적용 여부를 확인할 수 있다. 그림 3의 BA의 정합 결과를 토대로 대상 주변에 다른 크기의 3D 모델들을 정렬시킴으로써 비교 분석의 적정성을 재고하기 위한 과정이다.


Fig. 3. 
Object matching and comparison process for the shapes of the objects

그림3의 B에서 상단과 하단의 모델들은 각기 다른 크기로 추정되며 해당 비율의 3D 모델과 비교 시 그 차이가 확인된다. 앞서 언급과 같이 이러한 과정으로 구체적인 수치를 산출하기는 어려우나 객체 정합을 통해 그 크기를 가시적으로 비교함으로써 해당 공정의 적용 여부를 논의할 수 있다.

3) 시차에 따른 변형 요소 분석

건축물은 다양한 환경 요인들로 인해 내, 외부의 구조가 변형될 수 있고 증축(extension) 또는 개축(rebuilding)을 거치면서 이전과 다른 형태가 될 수 있다. 이러한 과정에는 소유권 분쟁, 건축법 위반, 안전사고 원인 규명 등의 다양한 사건과 사고가 발생할 수 있다. 건축물의 원형과 변형에 관한 정보가 없다면 책임소재 및 사고 원인 판별에 어려움이 발생하고 여러 법적 분쟁으로 이어질 수 있다.[7]

그림 4는 항공촬영 영상으로 건물 간 경계의 침범 여부를 판별하기 위해 관련 구조물의 증개축 정보를 분석하기 위한 것이다. 각기 다른 시기에 취득된 항공사진으로 해당 구역의 변화가 관찰되는 영상들이 특정되었다. 그림 4의 영상들은 낮은 화질로 인해 대상 건축물의 상단 형상과 경계 외에는 증개축에 따른 구조적 변화가 구체적으로 나타나지 않는다. 반면 주변 구조들의 외형을 기반으로 그림자 길이와 밝기에서 차이를 보이고 이를 통해 경계 외벽과 주변 형상들의 정체가 일부 판별이 가능하므로 관련 정보를 토대로 구조적 변화에 대한 분석이 가능하다.


Fig. 4. 
Specification of the target for images of the aerial shot

본 사례의 분석 대상은 그림 5 영상의 좌, 우 벽면에서 관찰되는 경계선들과 그림 4 영상 속 경계 구조 변화에 따른 구조적 특성을 비교하고 단계별 높이 변화를 통해 증개축 정보를 추정하는 것이다.


Fig. 5. 
Specification of the target and matching the 3D structures

그림 4 영상에서 적색 점선의 경계선 우측은 지면 공사 이후 주차공간으로 활용되고 있다. 그림 4의 B는 명도 및 대비 조절의 전처리를 통해 벽면의 경계 구조를 확인할 수 있으며 우측 공간에 주차된 차들과 비교하여 대략적인 높이 추정이 가능하다. 물론 어두운 영역에서 그림자 비율을 확인할 수 없으므로 구체적인 높이 산출은 어려우나, 연결구조의 형태와 그 높이의 차이를 확인할 수 있다. 음영 구간은 법영상 기반 영상처리에서 주요 전처리 대상 중 하나이나 원본 영상의 한계로 인해 유효정보 산출이 어려운 경우가 많다.

그림 5의 하단 영상들은 그림 4의 B에 대한 최근 모습으로 인접한 두 개 벽면 구조에서 각기 다른 형태의 직선형 경계와 다른 형태의 구조가 관찰된다. 증축을 통해 벽면 높이가 상승한 것으로 추정되며 경계의 하단부는 그림 4의 B 구역에서 관찰되는 벽면 또는 울타리 구조와 관련된 것으로 확인된다. 최근까지 현장이 보존되고 있으므로 구체적 계측을 통해 관련 정보를 얻을 수 있겠으나 각 경계 벽면은 주변 건물들과 함께 분쟁의 대상이므로 해당 목적에 대한 현장 계측은 불가하다. 이러한 분석 조건은 다양한 이해관계로 인해 요구 영상만으로 적정 정보를 도출하는 것이며 법영상 분석의 제한 요인이기도 하다.

대상 벽면 구조의 높이 분석하는 과정은 영상 내 특정된 좌, 우 벽면과 연결 건물 및 지형의 형상에서 시점 도출과 3D 모델링을 수행하고 그림 5와 같이 입체 구조로 재현하여 영상에 정합시킨다. 두 벽면의 직선형 돌출 구조들에 대해 개별 3D 모델링을 수행하고 주변에서 높이 분석을 위한 대상을 선정한다. 그림 6과 같이 과거 항공촬영과 최근 영상에서 대상 구역은 주차공간이며 두 영상에서 동일하게 벽면과 근접한 위치에 차량이 확인된다. 부분적인 형상으로 인해 차종 판별은 어려우나 승용 차량의 일반적인 전고를 토대로 구조물의 높이를 추정할 수 있다. 차량 우측의 그림자와 화면 좌측 벽면의 그림자와 차량의 그림자로 높이를 비교, 추정할 수 있으나 토사 적재와 여러 돌출 구조물로 인해 지면이 고르지 않으므로 확인이 불가하다.


Fig. 6. 
Relative size comparison for the shapes deformed by the time difference

그림 6의 분석에서 최근 영상의 좌, 우측 벽면의 선형 돌출부는 증축 이전의 항공사진의 담장 구조와 유사하여 우측 벽면이 좌측 벽면보다 낮은 구조임을 확인할 수 있다. 또한 벽면에 선형의 돌출 구조가 2회 반복되므로 우측 벽면은 증축 과정이 좌측 벽면과는 개별적으로 2회 이상 진행되었음을 확인할 수 있다. 이외에도 다른 증개축 항목들을 추정할 수 있으나 또 다른 분쟁요인이 될 수 있고 최초 분석 목적에서 벗어날 수 있으므로 본 연구의 다른 사례들과 같이 입체화 과정에 대해서만 논의하고자 한다.

3-2 구조물 및 인물 연계 형상의 입체적 분석
1) 구조물과 인물 동세의 연계

일련의 구조물과 인물이 동시 관찰된다면 상호의 인과관계가 분석의 대상이 될 수 있다. 정적 구조더라도 등장인물의 사건, 사고 관련 행동의 원인이 될 수 있다면 영상에서의 평면적 형식을 입체적으로 재현하여 행동에 대한 인과관계 확인이 요구된다.

그림 7은 해안가 절벽에 설치된 안전 울타리 파손으로 인해 두 인물이 낙하한 사고 영상을 순차 나열한 것이다. 안전사고 예방을 위한 구조물은 해당 규격에 적합한 소재로 적정 위치에 견고하게 설치되어야 한다. 본 사례는 낙하 사고의 원인을 분석하기 위한 것으로 인물들의 행위와 울타리 구조와의 인과관계가 주요 분석 대상이다. 울타리의 구조, 소재, 위치 등은 영상에서 관찰할 수 없고 본 연구와 직접 연계되지 않으므로 논의대상에서 배제한다.


Fig. 7. 
Frame-by-frame analysis of the people's motion and movement

영상은 사고 발생 위치에서 멀리 떨어진 거리의 CCTV로 어두운 조명 아래 원거리에서 촬영된 것으로 매우 낮은 화질을 보인다. 인물들의 이동과 울타리 구조의 확인이 가능하나 구조물의 형태와 크기, 인물의 신체적 특징과 구체적인 동세 확인은 어렵다. 사전 분석 시 인물로 추정되는 대상들의 이동에 따라 백색의 울타리 형상의 일부가 훼손되는 형태를 확인할 수 있다. 정적 구조의 울타리가 인물들의 행위로 변형된 것으로 인물의 동세 변화가 입체적 재현 및 분석의 대상이 된다.

인물의 특정과 동세를 시각화하기 위해 그림 7과 같이 두 인물의 신체를 각각 적색 및 황색 실선으로 표시하여 상호 이동 및 교차 행위의 변화를 표현한다. 신체의 각 관절구조를 기반으로 한 동세 표현이 적합하겠으나 영상에서 관련 정보 관찰이 어려우므로 신체 형상의 변화에 대한 프레임을 특정하고 그 영상에 선형으로 표현한 것이다. 적색 및 황색의 선형 이미지는 각 인물의 주요 동세를 3D 모델링하기 위한 것으로 머리, 팔, 다리의 위치와 변화를 추적할 수 있다면 인체 구조를 기반으로 신체 모델링 및 재현의 기준이 될 수 있다.[8]

CCTV에 표시된 시간에 의하면 인물들의 등장과 안전 울타리 파손에 의한 낙하 직전의 상황까지 약 11초의 시간이 소요되었다. 해당 영상의 평균 프레임 수(frame rate)는 12프레임이나 인식 가능한 유효 프레임만 추출하여 전처리를 적용 후 초기 분석을 수행하는 것이 효율적이다. 그림 7의 영상과 같이 인물들에 대한 세부적인 동세 관찰은 불가하나 서로 다른 색상의 의상을 착용하였고 백색 울타리 형상과 구분되므로 이전 프레임들과 구분되는 특징적인 동세 추출로 적정 정보를 얻을 수 있다. 실선으로 표시된 인물들의 동세 분석에 의하면 한 인물이 울타리에 기대고 다음 인물이 같은 위치에 마주 보고 기대는 상태가 약 7초간 유지된 후 그 지점의 울타리 일부가 파손되면서 두 인물이 교차한 상태로 낙하하기 전의 상황으로 해석된다.

그림 8은 위 분석 내용과 영상의 형상들을 기반으로 구현된 결과이다. 울타리 및 주변 지형은 현장의 실사 자료를 토대로 구현되었으며 영상 속 인물들의 동세를 기반으로 3D 모델링이 진행되었다. 인물들의 동세가 매우 낮은 화질의 영상에서 추출되었으므로 본 사례와 같이 3D 모델에 의한 상황 재현은 영상 속 상황과 동시에 주변 구조물에 의한 동세 변화의 가능성과 상호 연계하는 과정이 포함되어야 한다. 이러한 입체화 과정으로 평면 구조가 전달하기 어려운 정보 도출이 가능하겠으나 영상의 실제를 가상의 현장성으로 가공할 수 있는 오류를 범할 수도 있다.[9]


Fig. 8. 
3D modeling for the people's motion and the structural damages

법영상 분석 과정에 과도한 입체적 재현과 시각적 화려함은 현장에 대한 부적합한 판단과 믿음을 제공할 수 있다. 이런 점은 법영상의 재현과 일반적인 영상편집의 목적이 구분되는 중요한 이유이다. 그런 의미에서 본 연구는 앞서 언급한 바와 같이 실제의 상황에 대한 다양한 관점 가운데 하나이며 분석에 의한 의견이므로 사건, 사고의 결과를 의미하지 않는다.

본 사례는 관점에 따라 인물 상호 간의 폭력으로 발생된 사건으로 논의될 수 있고 부주의로 인한 과실로도 해석될 수 있다. 부실시공 또는 부적합 소재의 시설물로 인한 안전사고로 해석된다면 관련 기관 또는 단체에 그 책임이 전가될 수도 있다. 이러한 논의는 적정 기술의 선정과 영상의 입체적 재현 과정에 적지 않은 부담이 될 수 있다. 본 연구가 영상 자체의 정보에 집중해야하는 이유이다.

2) 주변 구조물에 의한 동세 판별

일상의 다양한 구조물들은 지정된 위치에서 사전 설정 기능을 수행하기 위해 적정 규격으로 설계 및 제작된다. 계산대와 같이 유사 동작이 반복되는 공간은 해당 운동에 적합한 구조이며 이외의 동작은 제한적일 수 있다. 이러한 공간에서 예측하기 어려운 타인의 동세에 대응하는 경우 제한적 크기의 동작으로 인해 다양한 사건, 사고로 이어질 수 있다. 폭행, 성추행 등의 사건이 대표적이며 버스, 지하철 등과 같이 제한적 크기의 공간이나 같은 자세가 유지, 반복되는 장소에서 발생하는 경우가 많다.[10]

그림 9는 마트(mart) 계산대에서 발생한 분쟁으로 영역 침범에 의한 성추행 가능성을 분석하기 위한 영상이다. 주변 구조에 대한 신체 동작이 제한되고 다른 동세의 개입에 따라 성추행 행위에 적극적으로 노출될 수 있음을 입증하여 연계 구조물이 해당 행위의 유발과 상호 신체 교차로 연결될 수 있음을 논의하는 것이 목적이다.


Fig. 9. 
3D modeling for the people's gestures and structures

계산대 내부 인물은 제한 공간의 특성으로 인해 상대 인물이 자신의 신체에 직접 접촉할 수 있고 이에 대한 대응이 어려운 구조이므로 접촉에 의한 성추행을 주장한다. 상대 인물은 구조 및 주변 사물들로 인해 접촉이 어려우므로 해당 행위가 불가능함을 주장하고 있다.

영상의 상황은 현금 결제 시 상대 손바닥의 동전을 가리키는 과정에 손 A가 손 B의 위치로 진입하며 이때 두 인물의 손이 접촉 가능한 것으로 관찰된다. 이후 행위에서는 손 A의 내부 진입이 확인되지 않는다. 그림 9의 상단 영상은 두 손의 거리가 가장 근접한 상황으로 판단되며 그림 9의 하단 영상은 각 인물 형상을 기반으로 3D 모델링을 적용한 결과이다. 영상의 중앙에 위치한 모니터는 손과 동세를 가리고 있으므로 모델링에서 제외되었다. 두 인물의 사이에 여러 장애물을 관찰할 수 있으며 인물들의 동세는 그 구조물들의 위치와 형상을 기반으로 달라진다. 인물 형상 및 손의 위치와 거리는 시점에 따라 다르게 관찰될 수 있으므로 특정 동세에 대한 영상에서 해당 시점의 형상을 대상으로 입체적 동세가 구현되어야 한다. 두 인물이 근접하는 초기 영상에서 손 B의 위를 손 A가 가리키는 동세가 관찰되며 접촉상황은 발견되지 않는다.

그림 10은 두 인물의 손 형상이 교차 또는 접촉하는 상황을 특정한 것으로 동세 기반의 3D 모델링에서 손 A형상 위에 손 B형상이 관찰된다. 이 형상과 연계하여 손목의 각도 변화도 순간 관찰되므로 손 A의 접근을 제지하는 동세로 추정할 수 있다.


Fig. 10. 
3D reconstruction of the intersection of objects

그러나 손 A가 가슴 위치에 이르기 위해선 인물의 상체를 영상의 동세보다 더 기울여야 하고 해당 영역에 손의 형상도 관찰되어야 한다. 제시된 영상에서는 관련 정보가 관찰되지 않는다. 해당 행위는 인물 사이의 분쟁 중 일부일 수 있고 영상에 나타나지 않은 다른 형태의 정보가 존재할 수 있다. 법영상 분석은 여러 의견 중 일부로서 논리적 인과관계 도출을 위한 방법 가운데 하나로 논의될 수 있다.

3-3 차량 및 인물 연계 형상의 입체적 분석
1) 차량과 인물의 물리적 충돌에 대한 입체적 재현

차량과 사람의 물리적 접촉이나 충돌에 의한 사건, 사고는 많은 경우 매우 짧은 시간에 발생한다. 주변 CCTV 또는 차량 내 설치된 블랙박스 등의 영상기록 시스템이 확보되더라도 유효 프레임 수와 화질을 기대하기 어려운 이유이다. 고도화된 하드웨어 및 소프트웨어가 상용화되고 있으나 영상 취득 환경이 적합하지 않다면 화질 저하로 인해 분석이 불가하거나 과다한 기술적 개입으로 현장의 정보가 훼손될 수 있다.[11]

그림 11은 편도 1차로의 어두운 조명에서 보도에 서있던 인물이 주행 중인 버스와 충돌하는 상황의 영상이다. 버스 내부에서 전방 시점으로 설치된 블랙박스 영상으로 인물이 횡단보도 구간에서 버스의 전방 좌측과 충돌하는 과정이 관찰된다.


Fig. 11. 
Specification of target shapes and 3D modeling of the motion

충돌상황에 대한 CCTV 영상은 확보되지 않았으며 위 시점의 영상만으로 차량 외부 상황에 대한 재현이 요구된다. 본 사례는 사고 직전과 충돌 당시 차량 및 인물의 위치와 동세를 분석 및 재현하여 행위의 고의성을 판별하는 것이 목적이다.

횡단보도로 진입하는 인물이 주행 중인 차량의 전방으로 신속하게 접근하고 충돌 전 뛰어오르는 동세에서 고의성을 의심할 수 있다. 이때 차량 위치에 대한 사전 인식 여부가 중요한 요소이므로 인물의 시선을 관찰할 수 있다면 그 의도를 추정할 수 있겠으나 화질의 한계로 인해 판별이 어렵다. 그러나 주변 색상과 구분되는 얼굴 형상의 크기와 양쪽 어깨 구조로 시선을 추정할 수 있고 차량에 대한 사전 인식 여부도 논의할 수 있다.

그림 12는 차량과 인물의 충돌 당시 동세를 분석하기 위한 것으로 앞서와 같이 고의성 여부를 판별하기 위한 과정이다. 버스는 영상에서 좌측의 중앙선을 침범하면서 인물과의 충돌을 회피하는 것이 관찰되고 인물은 차량을 지속해서 주시하며 신체 측면이 아닌 후면과 충돌한다. 인물 상체 및 머리의 기울기, 양팔과 다리의 동세를 토대로 충돌 당시 신체의 변화를 추정할 수 있으며 차선 및 주행 영상에서의 각도, 인물 형상과의 크기 비교에서 차량의 위치와 대상과의 거리를 추정할 수 있다.[12]


Fig. 12. 
3D reconstruction of the change in motion

2) 차량과 인물의 물리적 접촉에 관한 입체적 재현

그림 13은 주행 중 차량과 근접한 거리에서 이를 제지하는 인물에 대해 상호의 인지여부와 그 고의성을 판별하기 위한 영상이다. 차량과 인물이 근접한 상황에서 상호 거리와 접촉 가능성에 대한 분석은 대인 교통사고에 매우 중요한 정보이다.


Fig. 13. 
3D reconstruction of the motion of a person in connection with the movement of objects

본 사례는 상황에 따라 형사사건으로 전환될 수도 있으며 이때 상호 거리와 접촉 여부는 사건의 규모를 결정하는 중요한 증거로 논의될 수 있다.[13] 본 건의 분석 대상은 차량 조수석 유리창의 개폐 여부와 주행을 제지하는 인물의 손 위치를 동세와 거리를 통해 추정하여 해당 행위의 당위성을 분석하는 것이다.

유리창 개폐 상황은 후석 유리와 비교하여 색상 차이를 통해 식별이 가능하며 차량 내부의 조수석 전방 구조가 확인되는 점에서 조수석 창문이 열린 상태임을 추정할 수 있다. 인물의 동세는 양 어깨의 위치와 팔의 각도 변화에서 상체의 변형을 확인할 수 있고 머리와 어깨 높이, 신체의 기울기에서 다리의 동세를 추정할 수 있다. 영상에서는 상체가 지속해서 기울어지고 차량 이동과 비례하므로 인물의 왼손이 조수석 창문 위치에서 정지를 요구하는 것으로 추정된다. 본 영상은 주간의 적정 밝기로 인해 형상 특정 및 관찰 과정이 신속히 전개될 수 있고 비교적 인물의 동세가 크게 지속되므로 인물 재현 절차도 단축시킬 수 있다.

본 연구에서 기술한 법영상 기반의 입체화 과정과 그 결과는 3차원 콘텐츠와 연계되므로 다양한 응용으로 이어질 수 있다. 가상현실(virtual reality)[14]은 물론 3D 프린팅(3D printing)[15] 등의 질료 매체와 직접 연계될 수 있음을 의미한다.[16]


Ⅳ. 결론

본 연구에서 논의된 입체화 과정들은 해당 상황을 재현하고 분석하는 방법 가운데 일부이다. 기술의 지속적인 발전 속에 본 연구의 방법보다 더욱 고도화된 기법이 법영상의 분석 현장에서 개발되고 활용되고 있다. 사건, 사고의 현장은 물론 다양한 대상을 정밀하게 시각화하고 물리적 구조로 재현하는 과정에 적극적으로 개입할 수 있다면 다양한 기술과 콘텐츠의 연계는 매우 중요한 분석 방법이다. 이를 통해 법영상 분석의 다양성과 객관성을 논의할 수 있고 기존 기술의 고도화를 기대할 수 있을 것이다. 본 연구는 그러한 시도의 하나로 평가되길 희망하며 법영상 분석기술의 발전에 도움이 될 수 있기를 기대한다.


References
1. Byoung-Chul Kim, Yong-In Yoon, “Three-dimensional reconstruction of human shapes based on the forensic videos”, Journal of Digital Contents Society, Vol. 21, No. 7, pp. 1201-1210, July 2020.
2. M. J. Kang, J. G. Kim, “Efficiency Improvement about Digital Evidence Investigation in Korea”, Journal of the Korea Contents Association, Vol. 7, No. 2,  pp. 180-190. February 2007.
3. J. J. Hwang, "Forensic Detection of Filtration Forgery in Digital Images", Journal of the Institute of Electronics and Information Engineers, Vol. 56, No. 1, pp. 85-19, Febrary 2019.
4. Forensic Architecture(FA) based at Goldsmiths, University of London Available: https://forensic-architecture.org
5. Paolo Remagnino, et. al., Video-Based Surveillance Systems: Computer Vision and Distributed Processing, Springer, Boston, MA, pp. 3-50, 2002.
6. H. J. Seong, H. J. Yoo, “A Study on the Role of Authority and the Procedure for Verifying Digital Evidence”, The Journal of Korean Institute of Information Technology, Vol. 12, No. 7,  pp. 79-88. December 2014.
7. J. Kim, et. al., "A study on legislative revisions to prevent disputes of buildings boundary", Journal of the Korean Society of Cadastre, Vol. 30, No. 2, pp. 99-115, August 2014
8. Chiara Villa, Steen Holger Hansen, “Virtual animation of victim-specific 3D models obtained from CT scans for forensic reconstructions: Living and dead subjects”, Forensic Science International, Vol. 278, pp. e27-e33, September 2017.
9. J. W. Lee, et. al., "A Study on Limitation of Image Forgery Detection Methods", Journal of Digital Forensics, Vol. 12, No. 1, pp. 19-25, 2018
10. D. K. Oh , C. H. Park, “A Case Study on Causes of Sexual-Harassment Victimization of Women University Students in Public Transports”, Korean Journal of Victimology, Vol. 24, No. 2, pp. 63-84, 2016.
11. S. S. Jo, Y. T. Shin, "An Improvement on Integrity Assurance Processes for Digital Evidence", Journal of KIISE:Software and Applications, Vol. 39, No. 2, April 2014.
12. Yong Han, et. al., “Analysis of pedestrian kinematics and ground impact in traffic accidents using video records”, International Journal of Crashworthiness, Vol.24, No. 2, pp. 211-220, January 2018.
13. Eduard Kolla, et. al., “Reconstruction of traffic situations from digital video-recording using method of volumetric kinetic mapping”, The Archives of Automotive Engineering – Archiwum Motoryzacji, Vol. 84, No. 2, February 2019.
14. J. Xiao, S. Li and Q. Xu, "Video-Based Evidence Analysis and Extraction in Digital Forensic Investigation," in IEEE Access, Vol. 7, pp. 55432-55442, April 2019.
15. Rachael Carew, et. al., “A Preliminary Investigation into the Accuracy of 3D Modeling and 3D Printing in Forensic Anthropology Evidence Reconstruction”, Journal of Forensic Sciences, Vol. 64, No. 2, pp. 342-352, October 2018.
16. Rachael Carew, David Errickson, “An Overview of 3D Printing in Forensic Science: The Tangible Third‐Dimension”, Journal of Forensic Sciences, Vol. 65, No. 5, pp. 1752-1760, September 2020.

저자소개

김병철(Byoung-Chul Kim)

2002년 : 중앙대학교 조형예술학과 (예술학석사)

2010년 : 중앙대학교 첨단영상대학원 영상공학과 (영상공학박사)

2014년~2018년: 호서대학교 나노바이오트로닉스학과 교수

2013년~현 재: 아이로피쉬 연구부소장

※관심분야:그래픽스(Graphics), 컴퓨터 비전(Computer Vision), 디지털 포렌식(Digital Forensics) 등