딥러닝 기반 멀티모달 정보 분석을 활용한 라이브커머스 영상 요약 기법

3-1 특이 음향 추출을 위한 음원 분리 모델 생성

라이브커머스 방송은 특유의 활기찬 분위기를 담고 있다. 따라서 일반적인 톤의 음성뿐만 아니라 이벤트 효과음, 박수 소리, 높은 톤의 음성과 같이 다양한 소리를 담고 있다. 이처럼 다양하게 인식되는 특이 음향의 데시벨 크기를 측정하여 Sound score로 사용한다.

본 연구에서는 Wave-U-Net[4]을 활용하여 입력된 오디오에서 특이음만 분리한다. Wave-U-Net은 audio signal separation 대회인 ‘SISEC 2018’에서 좋은 성능을 보인 end-to-end audio source separation 모델이다. Wave-U-Net은 U-Net 구조를 시간 도메인에 적용한 모델로, upsampling에서 발생하는 오디오 artifacts를 방지하기 위해 linear interpolation 사용을 제안한 모델이다. Wave-U-Net을 통해 입력된 오디오에서 원하는 오디오만 따로 분할 할 수 있다. 본 연구에서는 일반적인 톤의 음성과 효과음, 고음, 웃음소리와 같은 특이음의 추출할 목적으로 음원 분리를 진행한다. 원본 오디오를 입력하면 Wave-U-Net에 의해 일반 음성에서 특이음만 분리할 수 있고, 분리된 특이음을 대상으로 스코어를 계산한다. Sound score 산출을 위해 특이음을 일정한 간격으로 구분한다. 그리고 구간별로 오디오의 데시벨을 측정한 후 크기에 따라 Sound score를 계산한다.

Fig. 2.

Wave-U-Net architecture

3-2 클로즈업 측정을 위한 프레임 내 얼굴, 손 검출 모델 생성

라이브커머스는 정면 카메라, 측면 카메라 등 다양한 구도에서 촬영이 진행된다. 특히 제품을 상세하게 보여주거나 제품을 시연할 때 주로 카메라가 클로즈업되고 이 부분은 방송에서 주요한 구간이 될 수 있다. object detection 기술을 활용하여 방송되고 있는 상품 자체가 클로즈업되는 구간을 주요 구간으로 찾을 수 있으나, 라이브커머스의 모든 판매 상품에 대한 데이터를 수집하기에는 한계가 있고, 포장을 뜯어 보여주는 경우와 같이 원형이 아닌 형태로 제품을 보여주는 경우가 있기 때문에 제품을 직접 인식하는 방법은 적용에 어려움이 있다. 따라서 본 논문에서는 상품을 소개할 때 주로 얼굴과 손이 이용되기 때문에 우회적인 방법으로 얼굴과 손이 클로즈업되는 구간을 잡아내 주요 구간으로 사용한다.

object detection을 위해 YOLO v3[5]을 사용한다. YOLO v3는 입력된 이미지 내에서 물체를 인식하고 해당 물체의 bounding box를 찾는 1-stage 기반 object detection 모델로, 객체에 대한 classification과 localization 문제를 동시에 해결하기 때문에 두 가지 문제를 순차적으로 해결하는 2-stage detector에 비해 속도가 빠르다. 라이브커머스 방송은 주로 한 시간 이상 진행되기 때문에 일부 프레임만 지정하여 분석하더라도 많은 양의 이미지 분석이 필요하다. 따라서 속도가 빠른 object detection 모델이 필요하고 이를 통해 방송 종료 후 빠르게 요약 영상을 생산해낼 수 있다.

수식 1은 YOLO v3의 loss function 중 object의 bounding box를 예측하기 위한 localization loss 항으로 정답 좌표값인(x,y)과 예측 좌표값인 $$ \left(\widehat{x},\widehat{y}\right)$$간의 차이와 정답 bounding box인 (w,h)과 예측 bounding box인 $$ \left(\widehat{w},\widehat{h}\right)$$간의 Loss를 계산함으로써 object의 위치와 영역을 검출해낼 수 있게 된다. 본 연구에서의 프레임에 얼굴과 손의 존재 여부를 확인하고, 검출된 bounding box의 크기를 기준으로 클로즈업 정도를 계산한다.

3-3 문장의 감정분석을 통한 긍정도 측정 모델 생성

출연자는 라이브 커머스 중 다양한 대화를 하고 그 중 상품에 대해 소개하거나 구체적으로 설명할 때 특히 긍정적인 어구들을 사용하게 된다. 예를 들어 쇼호스트가 특정 화장품에 대해 설명할 경우, ‘보습이 매우 뛰어납니다.’, ‘발색이 정말 예뻐요.’와 같은 문장은 ‘색은 브라운 계열입니다.’, ‘문지르듯이 바르면 돼요.’와 같은 문장보다 더욱 긍정적으로 표현된 문장이다.

본 연구에서는 binary classification을 위한 LSTM(Long Short-Term Memory) 기반의 모델을 통해 입력된 문장이 내포하고 있는 긍정도를 측정하는 방법을 제안한다.

그림 3과 같이 문장 단위로 입력되는 텍스트 데이터는 Embedding layer를 거치면서 벡터화되어 LSTM Layer에 순차적으로 입력된다. 마지막으로 Sigmoid 함수를 거치면서 입력된 문장은 긍정 또는 부정으로 분류된다. 수식 2와 같이 Sigmoid 함수의 결과값은 0에서 1 사이의 값을 가지게 된다. 따라서 binary classification 과정을 통해 입력된 문장이 Positive 클래스일 확률을 측정하고, 이를 문장의 Positivity score로 사용한다.

Fig. 3.

Calculating positivity of input sentence

3-4 주요 구간 선정

3-1, 3-2, 3-3의 과정으로 추출된 세 가지 멀티모달 스코어를 모두 0~1 사이의 값으로 normalization하고, 합산하여 대상 구간 선정을 위한 최종 스코어를 계산한다.

주요 구간 선정 시 편집자의 의도, 요약본의 목적에 따라 구간이 다르게 선택되도록 각 score의 가중치를 다르게 하여 합산할 수 있다. 예를 들어 라이브커머스 방송 특유의 활기찬 분위기 또는 쇼호스트의 높은 텐션이 다수 포함되어있는 요약본을 생성할 때는 Audio score의 가중치를 높여 음향적인 특징이 두드러지는 영상을 뽑을 수 있다. 반면, 제품에 대한 소개나 시연이 많이 포함된 영상을 만들고자 할 경우, Close-up score의 가중치를 높게 줄 수 있다. 이처럼 편집자의 요약 의도에 따라 스코어별 가중치를 조절하여 특정 멀티모달 정보에 중점을 둔 요약 영상을 생성할 수 있다.

표 1과 같이 가중치 조절이 없는 경우, a 구간이 가장 높은 스코어를 가지고 있으나, 표 2처럼 Close-up score에 1.5배의 가중치를 주면 c 구간이 가장 높은 점수로 변경된다. 따라서 사용자의 목적에 따라 스코어의 가중치를 조절하여 주요 구간을 다르게 하여 영상을 요약할 수 있다.

Table 1.

Impact scoring example per video section

Table 2.

Image score rescoring about Table 1. example (audio weight : 0.5, image weight : 1.5, text weight : 1.0)

4-1 Sound score 추출 모델

음원 분리 학습을 위해 일반적인 톤의 음성과 그 외의 음향으로 구성된 데이터셋이 필요하다.

원본 영상의 오디오에서 효과음, 고음 발성과 같은 특이음과 일반적인 음성을 분리하기 위해 MUSAN 데이터셋을 활용하였다. MUSAN[6]은 music, speech, noise 음원으로 구성된 데이터셋이다. 본 실험에서는 특이음 분리를 위해 speech 음원과 noise 음원을 사용하여 모델을 학습하였다. speech 음원은 11개 언어로 구성된 약 60시간 길이의 음성 데이터이고, noise 음원은 발신음, 팩스음, 기계음, 천둥, 동물소리 등으로 구성된 약 6시간 길이의 데이터이다.

우선 speech 음원들과 noise 음원들을 랜덤하게 혼합하여 약 9시간 길이의 오디오를 생성하였다. 다음으로 Wave-U-Net이 혼합된 오디오 속에서 Noise 음만 추출하도록 학습하였고 그 결과, Wave-U-Net은 그림 4와 같이 입력된 오디오에서 일반 음성과 noise 음을 분리하게 된다. 결과적으로 라이브커머스 방송의 오디오에서 특이음들만 분리할 수 있고, 추출된 특이음의 데시벨을 측정하여 구간별 Sound score를 도출한다.

Fig. 4.

Extraction flow of sound score

그림 5는 Wave-U-Net 학습 중 혼합 오디오에서 분리한 특이음과 정답 오디오 간의 차이인 L1 Loss가 변하는 그래프이다. 전체 데이터의 20%로 구성된 validation set에 대하여 536k step 이상 학습하는 과정에서 도출되는 Loss의 변화를 확인하였고, 학습이 진행됨에 따라 Loss가 점차 감소하면서 수렴하였다.

Fig. 5.

Wave-U-Net training graph

4-2 Close-up score 추출 모델

영상에서 얼굴과 손을 검출하고 검출된 영역의 크기 측정을 Yolo v3를 학습하였다. 학습을 위한 데이터셋으로 WIDER FACE[7]와 EgoHand[8]를 사용하였다. WIDER FACE는 얼굴 검출을 위한 데이터셋으로 작은 얼굴부터 큰 얼굴까지 다양한 크기의 얼굴 이미지를 약 32,000장 포함하고 있다. EgoHand 데이터셋은 구글 글래스로 다양한 각도에서 촬영된 4,800장의 손 이미지로 구성된 데이터셋이다.

WIDER FACE와 EgoHand를 합한 후 이미지의 annotation을 작성하여 YOLOv3 학습을 위한 데이터셋을 만들었다. Yolo v3 학습 후 그림 6과 같이 영상에서 얼굴과 손을 인식하고, 인식된 영역의 bounding box 면적을 계산하여 얼굴과 손의 클로즈업 정도를 측정한다. 측정된 면적의 크기는 Close-up score로 사용한다.

Fig. 6.

Extraction flow of close-up score

얼굴과 손 검출을 위해 사전훈련된 Yolo v3 모델을 얼굴과 손 데이터셋으로 fine tuning을 진행하였다. 그림 7은 epoch 당 3535 step으로 20 epoch 학습하여 도출된 validation dataset에 대한 결과 그래프이다.

Fig. 7.

Yolo v3 training graph, (a) mAP 0.5, (b) mAP 0.5:0.95, (c) precision, (d) recall

최종 mAP(mean average precision) 0.5는 0.853, mAP 0.5:0.95는 0.563이고 Precision은 0.912, Recall은 0.817의 결과로 학습되었다.

4-3 Positivity score 추출 모델

문장의 긍정도를 측정해내기 위해 두 가지 학습 데이터를 사용한다. 첫 번째 데이터셋은 ‘감성분석을 위한 온라인 상품평 데이터[9]’이다. 이 데이터셋은 화장품 상품평 데이터로 표 3의 형태로 10,000개의 문장이 긍정과 부정으로 분류되어 있다. 본 연구의 텍스트 분석 목적은 입력된 문장이 긍정인지 부정인지 분류하는 것이기 때문에 단문 리뷰로 구성된 데이터셋이 활용에 적합하다. 다음으로 ‘Naver sentiment movie corpus[10]’ 데이터셋을 함께 활용하였다. 이 데이터셋은 표 4 형태의 네이버 영화 리뷰 데이터셋으로 200,000개의 문장이 긍정과 부정으로 분류되어 있다.

Table 3.

Sample Online review sample data for sentiment analysis[9] (The contents of table were written in korean because dataset was derived in korean)

Table 4.

Sample data of Naver sentiment movie corpus[10] (The contents of table were written in korean because dataset was derived in korean)

위 두 가지 데이터셋을 하나의 데이터셋으로 합하여 LSTM 기반의 binary classification 모델 학습을 하였다.

그림 8은 binary classification 모델의 학습 그래프로 전체 데이터셋의 20%로 구성된 validation dataset에 대한 accuracy 변화를 나타낸다. epoch 당 1915 step으로 학습을 진행하였고 early stopping 방식으로 loss가 높아지면 학습을 종료하여 best accuracy 0.83을 도출하였다.

Fig. 8.

Binary classification model training graph

모델 생성 후 그림 9와 같이 음성을 STT를 통해 텍스트로 변환하고, 해당 문장이 긍정인지 부정인지 분류한다. 그리고 ‘긍정’일 확률값을 문장(구간)의 Positivity score로 사용한다.

Fig. 9.

Text impact score extraction

5-1 Sound score 측정

Wave-U-Net으로 음원 분리 후 1초 단위로 특이음의 데시벨 크기를 계산하였다. 그림 10은 3초 단위로 추출된 6개의 오디오를 spectrogram으로 변환한 모습이다. x축은 시간, 과 y축은 주파수를 나타내고 밝기는 데시벨을 의미한다.

Fig. 10.

Audio spectrogram, (a) High pitch voice (score : 0.89), (b) Event sound (score : 0.78), (c) Laugh sound (score : 0.79), (d) General voice 1 (score : 0.06), (e) General voice 2 (score : 0.03), (f) General voice 3 (score : 0.09)

a), b), c)와 같이 높은 스코어로 측정된 구간은 영상에서 특이음이 발생한 구간이다. 주로 높은 주파수에서 강한 데시벨을 보인다. 이와는 반대로 d), e), f)와 같이 낮은 스코어로 측정된 구간은 주로 일반적인 톤의 발화 구간이고 높은 스코어 구간 대비 상대적으로 낮은 주파수에서 강한 데시벨을 보인다.

입력 오디오에서 구간별 Sound score를 계산 후 표 5와 같이 약 1분 요약하기 위한 대상 구간을 추출하였다. 대상 구간은 주로 이벤트음, 높은 톤의 음성, 웃음소리를 포함하고 있다.

Table 5.

Extraction of important video section based on the audio score

5-2 Close-up score 측정

구간별 Close-up score 측정을 위해 영상을 shot 단위로 분할하였다. 프레임 간 픽셀 변화량이 임계치 이상으로 변하면 shot을 구분한다. 주로 카메라 구도의 변화가 있을 때 shot이 분할된다. 다음으로 각 shot의 중앙 프레임을 키프레임으로 선택한 후 얼굴과 손을 검출하는데 사용한다. 키프레임에서 인식된 얼굴과 손의 영역 크기가 해당 구간의 Close-up score가 된다.

그림 11에서 c) 프레임 대비 a), b) 프레임의 Close-up score가 높은 것처럼 얼굴과 손이 인식된 bounding box의 크기를 계산하여 Close-up score를 산출한다. 표6은 Close-up score를 기준으로 대상 구간을 추출한 결과이다. 대상 구간은 주로 제품의 발색을 손등에 바르며 보여주거나, 얼굴에 시연하는 등 제품을 상세히 보여주고 설명하는 구간이 선택되었다.

Fig. 11.

Detection of Face and hand

Table 6.

Extraction of important video section based on the image score

5-3 Positivity score 측정

Google STT를 통해 영상에서 추출된 오디오를 text로 변환하고, 텍스트에 대한 형태소 분석을 통해 ‘종결어미’를 기준으로 문장을 분할하여 Positivity score를 측정하였다.

표7과 같이 최종적으로 ‘예쁘다’ ‘좋다’와 같은 긍정적인 의미를 담고 있는 단어 또는 문장이 주로 선정되었다.

Table 7.

Extract important video section based text score(The contents of table were written in korean because STT result was derived in korean)

5-4 최종 요약 구간 선정

주요 구간 선정을 위해 5-1, 5-2, 5-3에서 도출된 스코어를 합산 후 우선순위에 따라 구간을 선정하였다. 구간 선택 시 영상의 자연스러운 연결을 위해 앞뒤로 1초의 여백을 주어 추출하였고, 최종적으로 표 8과 같이 주요 구간이 도출되었다.

Table 8.

Extraction of final important video section using summing each multi-modal score

또한, 멀티모달 점수의 가중치를 달리하는 방법으로 요약구간을 추출하였다.

표 9는 Close-up score의 가중치가 2배일 때 추출된 구간으로 그림 12과 같은 클로즈업 구간에 대한 선택이 높아졌다. 표 10은 Sound score 가중치를 2배로 높였을 때 선정된 대상 구간으로 그림 13과 같이 주로 박수소리, 웃음소리 등 일반 발화의 특징을 벗어난 음이 나오는 구간이 다수 선택되었다. 즉, 멀티모달 스코어의 가중치를 조절하는 방식으로 클로즈업을 중점적으로 보여주거나, 오디오 임팩트에 중점을 두는 등 목적에 따라 요약본을 생성할 수 있었다. 특히 Sound score의 가중치를 높인 경우 방송 중에 진행되는 이벤트 또는 시청자의 몰입도를 높이기 위해 주의를 집중시키는 쇼호스트의 발성 등 라이브커머스 특유의 임팩트 강한 방송 요소들이 효과적으로 요약본에 반영되는 것을 알 수 있었다.

Table 9.

Extraction of final important video section after controlling score weight per multi-modal score (Positivity score weight : 1.0, Close-up score weight : 2.0, Sound score weight : 1.0 )

Fig. 12.

Frame of Table 9 result(Left frame : Start time(2541), End time(2554), Right frame : Start time(2790), End time(2800))

Table 10.

Extraction of final important video section after controlling score weight per multi-modal score (Positivity score weight : 1.0, Close-up score weight : 1.0, Sound score weight : 2.0 )

Fig. 13.

Frame of Table 10 result(Left frame : Start time(15), End time(20), Right frame : Start time(4280), End time(4286))

5-5 영상 요약 결과 및 이전 연구 비교

본 연구의 결과와 Zhou et al. 방식으로 요약한 결과를 비교하였다. 그림 14는 Zhou et al. 방식을 사용한 결과로 선택 프레임 간의 유사성을 낮추는 방식이기 때문에 구간의 다양성은 보이나 Vision 정보만 사용하는 한계로 상호작용과 현장감 같은 라이브커머스 영상의 특징이 부족했다. 반면, 본 연구의 결과는 그림 15와 같이 오디오 정보 분석으로 시청자와의 상호작용 및 현장감이 높은 구간을 검출하고 이미지와 텍스트를 함께 분석하여 제품을 상세하게 확인할 수 있는 구간을 찾아냄으로써 라이브커머스 방송의 중요한 요소가 다양하게 포함되었다.

Fig. 14.

Sample frame of video summarization using method of Zhou et al.

Fig. 15.

Sample frame of video summarization using method of this paper

그림 16은 전체 영상 중 첫 번째 상품을 판매하는 구간을 대상으로 본 연구의 결과와 Zhou et al. 방식으로 요약한 결과를 비교한 모습이다.

Fig. 16.

Comparison of section extraction from the first product sales video ((a) general comment (12:43 ~ 12:45), (b) general comment (17:40 ~ 17:41), (c) greeting, clap (00:16 ~ 00:18), (d) detail trial performance of product (13:52 ~ 13:56), (e) event (16:01 ~ 16:03))

Zhou et al. 방식으로 선택된 구간은 일반적인 멘트로 진행되는 구간이 뽑힌 것과 다르게 본 논문의 결과에서는 높은 음성 피치와 데시벨로 인사하며 박수치는 구간과 제품을 손 등에 시연한 후 상세하게 보여주는 구간, 이벤트가 시작되는 구간이 추출된다. 영상을 풍부하게 해석하기 위해 멀티모달 정보를 활용함으로써 임팩트 강한 구간에 집중하여 요약본을 생성하는 것을 확인하였다.