이상 행동탐지기반의 자동 선별적 비식별화 연구

대용량의 사진 및 동영상을 FTP(File Transfer Protocol), HTTP(Hypertext Transfer Protocol) 등 전송 프로토콜을 이용해서 비식별화 처리 서버로 업로드한다.

영상을 통해서 개인정보를 확인할 수 있는 얼굴 영역을 AI(Artificial Intelligence) 알고리즘을 이용하여 자동으로 탐지한다. 최근에 AI 기반의 고속 얼굴탐지 기술들이 많이 발달하였고, 대표적인 알고리즘으로 MTCNN[3], ArcFace[4], RetinaFace[5], CenterFace[6] 등을 사용할 수 있다. 알고리즘 학습 시 LFW(Labeled Faces in the Wild)[7], WIDER FACE[8]등 비즈니스 모델에 맞추어서 적합한 데이터셋을 결정하고 이 학습된 데이터를 통해서 얼굴탐지에 사용한다.

비식별 처리된 결과물을 확인하고 수정이 편집 도구 등을 이용하여 해당 영역을 수정한다.

비식별화가 완료 된 후에 마스킹이 된 형태로 데이터를 엔코딩(Encoding)하여 영상을 재구성한다.

객체탐지의 경우 실시간성 또는 정확성 중 어느 부분이 더 중요한가에 따라 선택하는 인공지능 모델이 다르다. 실시간성이 중요한 비즈니스 모델에서는 One Stage Detector를 사용하고, 정확도를 위해서는 Two Stage Detector를 많이 사용한다.

본 논문에서는 실시간성을 더 중요하게 여기기 때문에 대표적인 모델인 YOLO(You Only Look Once)v5를 사용한다. 이 모델의 특징을 보면 Neural Network Single Forward만으로 다수의 객체탐지가 가능하고, 빠르게 탐지할 수 있으며, 이미지 전체 Context로 탐지할 수 있으므로, 상대적으로 False Positive가 적게 발생한다.

YOLOv5의 모델 네트워크를 보면 그림 3과 같다. YOLO 5 알고리즘은 크게 3개의 부분(Backbone, Neck, Output)으로 구성된다. Backbone에서 입력 영상의 Feature 정보를 추출하고, Neck은 추출된 Feature 정보기반으로 특징 맵의 3개의 축척을 생성한다. 마지막으로 Output 부분에서는 생성된 기능 맵을 통해서 객체탐지를 하도록 구성된다.

Fig. 3.

YOLOv5 network model

Backbone은 Feature Map을 추출하는 Convolution Network로 다중 Convolution과 Pooling을 통해서 4개의 Map Layer를 구성한다. 이때 152×152, 76×76, 38×38, 19×19픽셀 Layer를 생성한다.

Neck에서 더 많은 Context를 얻고 Loss 값을 줄이기 위해서 Backbone으로부터 받은 Map Layer는 FPN(Feature Pyramid Network)과 PAN(Path Aggregation Network)의 피라미드 구조를 사용할 수 있다. FPN은 상위 Feature Map에서 하위 Feature Map까지 모든 의미 있는 Feature 정보를 가지고, PAN은 하위 Feature Map으로부터 강인한 Localization Feature 정보를 상위 Feature Map에 전달하여 융합 Feature 정보를 구성한다. Feature의 정보는 76×76×255, 38×38×255, 19×19×255차원의 융합 Layer를 가진다. 다차원이 융합 Layer에서 탐지 과정에 의해서 크고 작은 모든 객체에 대해서도 SOTA(State of the Art)의 결과가 나온다.

YOLOv5는 s, m, l, x, 4가지 모델로 제공되며 서로 다른 감지 정확도와 성능을 제공한다. 이는 비즈니스 모델에 따라 가장 적합한 모델을 사용하면 된다. 본 논문에서는 속도에 중요성을 강조한 s 모델을 기반으로 테스트하였다.

비식별 대상을 찾기 위해서는 객체탐지가 반드시 이루어져야 한다. 특히 비식별화의 대상이 혐오, 폭력 등의 장면인 경우 대부분 사람과 직접 연관된 것이다. 따라서 이상행동으로 판단되면 해당 프레임 내에서 사람에 대한 객체탐지를 진행하고 비식별화를 진행한다.

기존의 동작 인식 방식들은 대부분 전체 비디오를 분석하거나 각 세그먼트에 대해서 단일 작업 레이블을 할당하여 동작 인식을 한다. 이때, 우리(인간)는 장면을 인식하기 위해 시각적 데이터의 인스턴스만 필요하다는 것을 추론할 수 있다. 즉, 작은 프레임 그룹 또는 영상의 단일 프레임만으로도 정확한 인식에 충분하다. 이러한 방법을 이용하면 영상 내 연속 스트림에서 얻은 프레임을 기반으로 관심 있는 동작을 감지 및 인식하는 접근 방식이 가능하다. 이렇게 프레임 기반의 동작 인식의 경우 객체탐지에서 사용하였던 YOLOv5를 이용하여 동작 인식 분석에 사용할 수 있다[12].

기존의 영상 분석/인식의 경우 CNN(Convolution Neural Network)을 기반으로 하는 많이 연구됐으나 최근에 NLP(Natural Language Processing) 분야에서 발전되어 Vision 분야에 적용된 트랜스포머(Transformer)가 다양하게 연구되고 있다. 이중 대표적인 Vision Transformer[13] 모델의 경우 인식률에서는 기존의 CNN 모델들보다 더 좋은 결과를 나타내지만, Self-Attention block에서 scale에 따라 연산량 및 메모리가 상당히 증가하는 단점을 가진다. 따라서 트랜스포머가 가지는 인식률의 장점과 리소스 부분의 최적화를 위해 연구한 모델이 MViT(Multiscale Vision Transformer)[14] 이다. 기존의 Vision Transformer에서 MHA(Multi-Header Attention)를 이용하여 Encoder를 구성하였으나, MViT에서는 MHA를 Pooling Attention으로 대체하였다. 그림 4에서는 MViT의 핵심 영역인 Pooling Attention을 나타낸다.

Fig. 4.

Pooling attention

MViT는 각 stage 별로 resolution을 줄이고 channel을 확대하는 방법으로 각 Stage에 Pooling Attention이 적용된다. input sequence인 $$ X\in {\mathbb{R}}^{L\times D}$$에서 $$ W_Q,W_K,W_V\in {\mathbb{R}}^{D\times D}$$을 통한 linear projection 후에 pooling operator(P)를 통해 아래와 같이 적용할 수 있다.

P_Q(XW_Q)을 통해 Pooling을 거친 output length $$ \tilde{L}$$은 $$ Q\in {\mathbb{R}}^{\overline{L}\times D}$$로 줄어들며 Self Attention 연산을 수행한다.

MViT 구조를 보면 3D CNN처럼, 깊어질수록 spatial dimension은 줄이되 channel dimension은 늘려나간다. 이를 위해 Scale stage를 4단계로 나눈다. 그림 5는 MViT의 기본모델 레이어를 설명한다. data layer에서는 프레임 τ 간격으로 샘플링 한다.

Fig. 5.

Multiscale Vision Transformers base model[15]

cube1은 embedding layer로 dimension을 96으로 줄였다. scale2~5는 transformer layer로 embedding 하는 패치들의 spatial resolution은 줄여나가면서 embedding dimension은 2배씩 차원 수를 높여준다. 이때 query pooling, key/value pooling, skip connection/positional encoding을 통해서 네트워크를 구성한다.

영상에 대해서 MViT를 이용하여 동작 인식을 적용하기 위해서는 다음과 같은 과정이 필요하다.

• (1) 2D patch가 아닌 spacetime을 고려하여 cube token인 3D로 token을 생성함
• (2) pooling operator도 spacetime을 고려한 feature map으로 처리함
• (3) relative positional embedding도 spacetime을 고려한 정보로 H+W+T로 decompose 하여 처리함.

본 실험에서는 MViT-B 모델을 사용하였고, τ=4, cT=3, cH=7, cW=7, D=96, sT=2 의 값을 사용하였다.

이상행동 탐지를 위해서 세그먼트/프레임 단위의 이상행동 분석을 진행한다. 우선 세그먼트 단위의 이상행동은 영상 내에서 이상행동이 일어난 위치를 먼저 선정한 후, 프레임 단위의 이상행동 분석을 통해서 세그먼트 내의 이상행동의 시작/종료 시점의 프레임들을 선정하여 해당 구간의 정밀한 비식별화를 진행할 수 있다. 이때, 세그먼트 단위의 이상행동 탐지는 MViT 모델을 사용하였고, 프레임 단위의 이상행동 탐지는 YOLOv5 모델을 사용하였다.

• 세그먼트 단위 이상행동 탐지

MViT 행동 인지 모델을 통해서 이상행동(쓰러짐, 폭행, 주저앉음, 사고, 기물파손)과 일반행동(걷기, 달리기, 서 있기, 의자 앉기)을 검출하기 위해서 각 행동에 대해서 10초 단위로 행동을 구분하여 동영상으로 만들었고, 각 class 당 500개의 동영상으로 학습하였다. 이때 학습 인자값으로 batch=4, epoch=200, resolution=224, segment frames=5, sampling rate=3, input channel num=3을 사용하였고, MViT 모델 인자값으로 depth=24, head=1, embedding dimension=96, patch kernel=(3, 7, 7), patch stride=(2,4,4), patch padding=(1,3,3), mlp ratio=4.0를 사용하였으며, solver 인자값으로 lr=0.0001, momentum=0.9, weight decay=0.05를 사용하였으며, mode loss function으로는 soft cross entropy를 사용하고, dropout rate를 0.5로 지정하였다.

• 프레임 단위 이상행동 탐지

YOLOv5 행동 인지 모델 학습 시에 세그먼트 단위의 이상행동 탐지와 마찬가지로 이상행동 5종과 일반행동 4종의 class로 구분할 수 있도록 하였으며, 각 class 당 3000개의 이미지를 사용하여 학습하였다. 이때 학습 인자 값으로 batch=64, epoch=100, width=416, height=416, channels=3, momentum=0.949, decay=0.0005, lr=0.001을 사용하였다.

영상 내에서 세그먼트 단위의 이상행동 탐지결과와 세그먼트 안에서 프레임 단위의 이상행동 탐지결과가 같은지 확인하고, 탐지결과가 같은 현재 세그먼트(Segment K) 내의 첫 번째 프레임을 F_action.start로 하고, 다음 세그먼트(Segment K+1)내에서 세그먼트 단위의 이상행동 탐지결과와 세그먼트 안에서 프레임 단위의 이상행동 탐지결과가 같은 마지막 프레임을 F_action.end로 지정한다. 만약 그 다음 세그먼트(Segment K+2)에도 같은 결과이면 F_action.end는 그다음 세그먼트(Segment K+2)에 설정할 수 있으며, 이것은 N 세그먼트(Segment K+N)까지 확장할 수 있다.

프레임 단위 이상 행동탐지를 판단하기 위해서 YOLOv5를 사용하기도 했지만, 객체탐지를 위해서도 같은 인공지능 모델을 사용할 수 있다. 학습 이미지가 객체를 나타내느냐, 상황을 나타내느냐의 차이가 있을 뿐이고 학습데이터를 어떻게 구성하느냐에 따라서 다양한 분야에 적용할 수 있다.

비식별화를 시키는 대상이 혐오, 폭력 장면 등의 장면이므로 대부분 사람과 직접 연관된 것이다. 따라서 비식별화 시간 영역인 Frames Section 내의 객체 인식(사람)에만 적용한다. 이때 사람을 인지하도록 COCO 데이터 세트의 사람 데이터를 통해서 학습하였고 비식별 대상을 선정하였다.

비디오 스트림 내에서 비식별화를 진행하기 위해서 비식별 대상을 연속된 스트림 내에서 찾는 것이 중요하다. 이를 위해서 세그먼트 단위(5프레임)로 이상행동 탐지를 진행하고, 이 5프레임에 대해서 각각 프레임 단위 이상 행동탐지를 진행한다. 이때 각각의 결과가 0.7의 임계값을 넘어 신뢰성을 가진다면 class로 선정한 행동으로 인지한다. 이를 통해 정해진 F_action.start와 F_action.end 정보를 통해서 비식별화 대상의 Frames Section을 만들고 객체탐지를 통해서 사람에 대한 BBox(Bounding Box)정보를 가져오고 마스킹(Masking)을 통해서 비식별화를 진행한다. 그림 7에서는 이상 행동탐지 기반의 자동 선별 비식별화 순서도를 나타낸다.

Fig. 7.

Anomaly detection-based automatic selective de-identification flowchart