Journal Archive

베가스 프로젝트에서 배경음악 트랙, 그리고 대사 및 현장 소음이 포함된 대사 트랙을 추출하고, 이 둘의 혼합 트랙을 추출한다. 실제 배경음악 제작 현장에서 배경음악을 대사와 혼합할 때 전체적으로 배경음악의 볼륨을 조절하는 마스터 볼륨 정보가 있다. 이는 배경음악이 드라마의 분위기를 살리면서도 한편으로는 배우의 대사를 방해하지 않고 대사가 명확하게 전달될 수 있도록 대사가 없는 부분의 배경음악은 볼륨을 높이고 대사가 포함된 부분은 일시적으로 볼륨을 낮추어준다. 대사 트랙 역시 배우의 대사가 없는 구간의 볼륨을 최소로 하여 불필요한 잡음이 포함되지 않도록 한다. 베가스 프로젝트에 포함된 이러한 마스터 볼륨 정보를 활용하여 렌더링함으로써 실제 방송에서 쓰이는 것과 유사한 오디오 특성을 갖도록 배경음악 트랙과 대사 트랙 데이터셋을 수집하였다. 그림 1에서 하나의 트랙 전반에 걸쳐 파란색 꺾은 선으로 나타난 것이 마스터 볼륨이다. 샘플링 주파수는 11,025Hz로 설정하고 모노 오디오로 렌더링하였다.

배경음악을 식별하기 위해서는 배경음악에 포함된 원본 음원으로부터 음악의 핑거프린트를 추출하여 데이터베이스에 저장하게 된다. 이러한 원곡 음원 데이터셋을 구성하기 위하여 다수의 원곡 음원을 다음과 같은 기준으로 중복이나 빠짐없이 정리하였다.

방송 배경음악을 합성할 때는 발매된 음원을 그대로 사용하기도 하지만 작곡가가 작곡 시 활용했던 악기별 트랙 중 일부만 사용하기도 한다. 예를 들어, 주인공의 테마곡을 사용하되 장면에 따라 선율이 주가 되는 악기만 사용하기도 하고, 보컬이나 드럼 트랙을 제거하기도 한다. 때로는 보컬을 제거한 반주만 사용하기도 한다. 이렇게 자유롭게 악기 트랙을 조합하기 위하여 현장에서는 그림 2와 같이 하나의 원곡 음원에 포함된 악기별 트랙을 각각 저장하여 보유하고 있다. 프로젝트에 포함된 이와 같은 악기 트랙별 음원을 모두 데이터베이스에 등록하게 되면 유사한 곡들로 인해 정제된 큐시트를 얻기가 힘들다. 실제로 저작권 등록을 하는 곡 역시 트랙별 음악을 발매하는 것이 아니라 모든 트랙이 혼합된 최종본을 발매하게 된다.

Fig. 2. 
An example of instrument tracks from the same song

배경음악 모니터링 시스템의 데이터베이스는 이렇게 발매된 곡을 기준으로 하여 구축하게 되므로 같은 제목의 트랙별 음원을 데이터베이스에 포함하지 않도록 하여 음악 식별 성능을 정확히 측정하고자 하였다.

방송 배경음악을 삽입하는 데 있어서 흔히 쓰이는 기법의 하나가 바로 피치 변환과 속도 변환이다. 피치 변환은 원곡 조성과 다른 조로 조를 옮기는 것이고, 속도 변환은 화면 전환 시점에 맞도록 원곡 음악의 길이를 사람의 귀로 눈치채지 못하게 늘이거나 줄이는 작업이다. 이러한 변환으로 인해 음악의 주파수 대역에 따른 에너지 값이 바뀌고 시간축 정보도 바뀌게 되어 음악의 특징정보 측면에서는 큰 변화가 발생하지만, 사람이 귀로 들으면 큰 차이를 느끼지 못해 원곡을 인식하는 데 어려움이 없는 경우가 대부분이다. 이러한 효과가 적용된 변환 음원 역시 원곡 음원 파일과 함께 혼재되어 있는데 변환 음원은 제거하여 발매된 원곡만을 데이터베이스에 추가하도록 하였다.

원곡 음원의 전체가 아닌 일부만을 배경음악으로 삽입하는 경우 일부 구간만을 편집하여 오디오의 길이를 줄인 파일을 미리 별도의 음원으로 만들어 사용하는 예도 있다. 이런 음원이 데이터베이스에 추가되면 동일 곡에 대하여 중복곡이 발생하게 된다. 음원 파일 중에서 길이만 서로 다른 중복 음원을 제거하기 위하여 중복곡 제거 기법을 적용하였다.

방송의 배경음악과 달리 원곡 음원 데이터셋의 음원들은 다른 소리와 혼합되지 않은 음원이므로 기존의 음원 핑거프린팅 방법을 사용하면 중복 음원을 검출할 수 있다. 앞서 기술한 바와 같이 원곡 음원 데이터셋의 중복 음원들은 원곡 음악과 비교하면 일부 악기 트랙이 제외된 형태, 피치나 속도가 변환된 형태, 오디오의 길이를 줄인 형태 등의 왜곡이 가해진 음원들이다. 이러한 왜곡에 대하여 강인성을 가진 음원 식별 기술을 사용하면 데이터셋의 중복곡을 검출하여 제거할 수 있다.

한국저작권위원회에서는 위와 같은 변형을 포함하여 13개 변형 형태, 33개 세부 변형 파라미터를 적용한 왜곡 음원에 대하여 식별 기술의 성능을 검증하여 97% 이상의 식별 성능을 가진 기술에 대해 확인서를 발급하고 있는데[9], 본 논문에서는 한국저작권위원회의 성능 검증에서 99.9% 이상의 식별율을 보인 음원 식별기술[10]로 중복곡을 검출하여 제거하였다. 원곡 음원 데이터셋의 각 음원들에 대하여 해당 음원을 제외한 모든 음원과의 일치성을 각각 검사하여 90% 이상의 구간이 일치하는 음원이 존재하는 경우 중복곡으로 간주하였다.

일부 악기로 이루어진 음원, 피치나 속도 변환이 이루어진 음원, 음원 일부만을 포함하는 음원 등을 제거하여 최종적으로 중복곡 정제 후 드라마 5종에 포함된 원곡 음원은 총 723곡이다.

음악 식별 시스템은 인식 대상 음원들의 핑거프린트를 추출하여 해당 음원 정보인 메타데이터와 함께 미리 데이터베이스에 저장한 후, 식별이 필요한 입력 음원의 핑거프린트로 데이터베이스를 검색하여 입력 콘텐츠의 메타 정보를 찾는다.

음악 식별 기술은 오디오 신호의 주파수 분석을 통해 얻은 스펙트로그램으로부터 음원의 핑거프린트를 추출하는 고전적인 방식인 랜드마크 기반 오디오 핑거프린트 기법[1], 차분 해밍 거리 기반 이진 핑거프린트 기법[2]과 인공신경망을 통해 학습된 특징 벡터를 추출하는 방식[11]-[13]로 나눌 수 있다. 고전적인 핑거프린트 기반 식별 기법은 임계치를 설정하여 동일 음악인지 여부를 판단할 수 있음에 반해, 인공신경망으로 학습하여 얻은 핑거프린트의 경우 임계치를 설정하지 않고 단순히 가장 유사한 요소를 제시하는 방식으로, 방송 배경음악 식별 기술에서 필수적인 음악 유사도 판별의 기준 임계치를 얻기 어렵다. 이로 인해 음악이 없는 구간에서는 음악 식별 결과를 제시하지 않아야 하는 방송 배경음악 식별 기술에는 적용할 수 없는 방식이다.

본 논문에서는 다양한 음악 식별 기법 가운데 고전적인 방식[2]을 개량한 차분 기반 이진 해시 형태의 오디오 핑거프린트 기법[14]를 적용하여 음악을 식별한다. 정확한 큐시트를 얻기 위하여 대사 없이 배경음악만 포함된 음악 트랙 오디오를 입력으로 한다. 먼저 1초 간격의 프레임 단위로 나누어 배경음악을 식별한다. 전체 프레임에 대한 식별이 완료되면 프레임 식별 결과 중 오류로 보이는 것들을 제거하고, 프레임 결과들을 모아서 해당 방송 오디오에 대한 배경음악 구간 정보를 생성한다. 음악과 대사가 혼합된 실제 방송과 같은 혼합 트랙이 아닌 삽입된 배경음악만 포함하는 음악 트랙을 입력으로 하여 오디오 핑거프린트 기반 음악 식별 기법을 적용함으로써 상대적으로 정확한 초기 정답 큐시트를 얻을 수 있다. 식별 결과로 제시할 음원은 앞서 중복을 제거한 원곡 음원 데이터셋에 포함된 음원으로 한다.

음악만 존재하는 배경음악 트랙이라 하더라도 다양한 효과가 적용되었으므로 정확한 배경음악을 식별하지 못하는 경우가 발생할 수 있다. 정확한 큐시트를 제작하기 위해서는 음악이 포함된 모든 구간에서 음악 식별 결과가 빠짐없이 획득되었는지를 확인해야 한다. 이를 위하여 배경음악만 포함된 음악 트랙에서 묵음구간이 아닌 신호가 포함된 구간 정보를 얻어 이를 정답 음악 구간으로 활용한다. 묵음이 아닌 구간 정보를 획득하는 데는 오디오 신호처리 라이브러리 librosa[15]의 librosa.effect.split 함수를 사용한다.

3.3절에서 획득된 배경음악 식별 결과와 정답 음악 구간을 비교하여 음악 구간임에도 불구하고 음악이 식별되지 않은 구간은 베가스 프로젝트를 참조하여 해당 곡의 아이디를 큐시트에 직접 기재한다. 이러한 경우는 주로 음원에 피치 변환이나 속도 변환 효과가 적용된 경우가 대부분이다. 또한 식별은 되었으나 fade-in/out 효과로 인해 시작 또는 끝 시각 정보가 상이할 때는 정답 음악 구간 정보를 기준으로 식별된 음악의 시작 시각 또는 끝 시각을 수정하여 더욱 정확한 큐시트를 제작한다.

정답 큐시트와 예측된 큐시트를 비교하여 방송 배경음악 모니터링을 위한 음악 식별 성능을 자동으로 측정하기 위하여 사운드 이벤트 검출 관련 라이브러리인 sed_eval[16]을 활용하였다. 방송 배경음악 큐시트를 자동으로 제작하는 과정에서 음악의 시작과 끝 시각을 정확하게 예측하는 것은 사용된 배경음악이 어느 정도의 길이로 사용되었는지에 대한 정보를 제공하는 데 필요하지만 배경음악을 삽입하는 과정에서 흔히 사용하는 fade-in/out 기법으로 인해 시작 또는 끝의 예측 시점이 정확하지 않을 수 있다. 또한 저작권료를 분배하는 과정에서 배경음악으로 사용된 정확한 길이보다 더욱 중요한 정보는 해당 방송 프로그램에 포함된 정확한 곡을 빠짐없이 식별하는 것이다.

이러한 저작권료 분배라는 큐시트 제작 목적에 맞추어 시작 및 끝 이벤트 시점의 정확도를 측정하는 event-based metric을 사용하지 않고 일정 프레임 간의 정확도를 비교하는 segment-based metric을 사용하였다. 다양한 단위 길이(time-resolution) 내에서 곡이 검출되었는지를 확인하여 정확도를 측정하였고, 그 결과를 표 1에 나타내었다. 식별 기법은 앞서 서술한 초기 큐시트를 구하는 과정에서 사용한 핑거프린트 기법[14]를 적용하였다.

식별 성능을 살펴보면, 정확도(precision)는 0.99에 가까워 입력 오디오 단위 길이가 1초, 5초, 10초, 15초로 달라짐에 따라 미세하게 성능이 저하되긴 하지만 매우 우수한 성능을 보였다. 반면에 재현율(recall)은 1초일 때 0.7492에서 15초일 때는 0.7901까지 성능이 향상됨을 확인하였다. 이러한 재현율의 성능 향상으로 인해 최종 F1-score는 1초일 때 0.8490에서 15초일 때 0.8756까지 향상함을 확인하였다. 즉, 해당 기법의 방송 배경음악 식별 성능은 정확도는 0.99에 육박하여 예측된 음악은 매우 정확하게 식별하였지만, 재현율은 그에 비해 낮아 배경음악이 사용되었음에도 식별해내지 못하는 경우가 상대적으로 많다는 것을 확인하였다. 추후 재현율을 저하하는 요인을 분석한다면 방송 배경음악 식별 성능을 개선하는 데 크게 기여할 것으로 생각된다.

대사가 혼합된 방송 오디오에서 배경음악의 식별 성능을 높이는 한 가지 방법으로 음악과 대사가 혼재된 혼합 트랙에서 먼저 음악-대사 분리 기법을 적용하여 대사를 제거한 후 배경음악만 남도록 한 오디오 파일을 입력으로 동일한 기법을 활용해 배경음악을 식별해 보았다.

음악-대사 분리에 사용한 기법은 음악 음원 분리 기법 가운데 하나인 LaSAFT[17] 모델을 사용하였다.

LaSAFT 모델은 음악 음원 분리 기술 성능을 비교하는 가장 대표적인 데이터셋인 MUSDB18[18]을 기준으로 음원 분리 분야에서 원음 대비 왜곡의 정도를 나타내는 지표인 SDR (Source-to-Distortion Ratio)을 측정하였을 때 Demucs[19]에 비해 전체적으로 낮은 성능을 보이지만, 음악에서 가수의 목소리를 분리하는 데에는 훨씬 높은 성능을 보인다. 또한 보컬과 동일하게 사람의 목소리인 대사를 분리하는 데 LaSAFT[17]의 대사 분리 성능이 Demucs[19]보다 우수함을 보였다[20]. 본 논문에서는 대사 분리에 우수한 성능을 보인 LaSAFT[17]을 활용한 사전 학습된 음악-대사 분리 모델[20]을 적용하여 유사 방송 큐시트 데이터셋에서 대사 분리 전후 식별 성능의 변화를 관찰하고 그 결과를 표 1에 나타내었다. 사전 학습에는 음악-대사 분리 데이터셋[21]이 활용되었다. 이 데이터셋의 규모는 학습과 검증에 각각 12초 길이 1,823개 오디오를 활용한 약 12시간 규모임에 반해 본 데이터셋은 실제 방영분 길이와 동일한 1시간 내외 길이의 드라마 60회 분량으로 상대적으로 규모가 약 5배가량 크다.

대사를 분리하지 않은 혼합 트랙을 입력으로 한 배경음악 식별 성능과 대사를 분리한 오디오를 입력으로 한 성능을 비교하였다. 표 1에서와 같이 입력 오디오의 단위 길이가 짧은 경우, 즉 time-resolution이 1초인 경우, 분리 전 성능이 F1-score 기준 0.8490에서 분리 후 0.8825로 향상된 것을 볼 수 있다. 단위 길이가 긴 경우, 즉 time-resolution이 15초인 경우, 0.8756에서 0.8990으로 향상된 것에 비해 향상 폭이 큰 것을 알 수 있다. 즉, 대사가 분리된 오디오를 입력으로 하는 경우 입력 오디오 단위 길이에 따른 성능이 비교적 고르다는 것을 알 수 있다. 정확도의 경우 분리 전보다 분리 후 성능이 극히 미미한 수준으로 떨어지긴 하지만 여전히 0.99에 육박하는 우수한 성능을 보인다. 결국 재현율 기준 성능이 향상됨으로써 F1-score 기준 성능이 향상됨을 확인할 수 있다.

BAF 데이터셋[10]에서는 정확한 큐시트라 할지라도 5초의 오차범위가 존재한다고 보았는데 본 실험에서는 입력 단위 길이 기준이 5초인 경우 음악 분리 전후 성능이 F1-score 기준 0.8611에서 0.8901로 향상되어 대사를 분리하는 과정이 방송 배경음악 식별 성능 향상에 도움이 됨을 알 수 있다.

다음으로 음악과 대사 음원을 분리하는 성능을 측정하였다. 음원 분리 분야에서 널리 쓰이는 평가 지표 라이브러리인 BSS eval[22]을 활용하여 분리 성능 지표인 SDR (source-to-distortion ratio)과 SIR (source-to-interference ratio), 그리고 SAR (source-to-artifacts ratio)를 측정하였다.

측정 시 mir_eval 툴박스[23]를 사용하였다. 음악-대사 분리 성능 측정 결과, 표 2와 같이 음악 오디오의 SDR은 6.76임을 알 수 있다. 이는 [21]에서 음악과 대사의 신호비가 –10dB인 경우 SDR이 6.84인 것과 유사한 수치임을 확인할 수 있다.

구축된 유사 방송 데이터셋에는 오디오에 포함된 곡의 아이디뿐만 아니라 구간 정보도 함께 포함되어 있으므로 대사와 음악이 혼합된 오디오에서 배경음악이 포함된 구간을 찾는 음악 구간검출 성능을 측정하는 데에도 직접적으로 활용할 수 있다. 이러한 음악 구간검출 기술은 실제 배경음악 모니터링 과정에서 정확한 방송 배경음악 모니터링 결과를 제공하기 위하여 음악 식별에 실패한 경우를 파악하는 데에 필요한 기술이다. 즉, 음악 구간검출을 통해 음악 구간으로 판별되었으나 음악 식별 결과를 얻지 못한 경우 해당 구간에 미정(Unknown)을 의미하는 특정 아이디를 부여함으로써 추후 관리자가 직접 개입하여 해당 음악 정보를 기재할 수 있도록 하는 데 활용할 수 있다.

본 논문에서는 컨볼루션 신경망 기반 방식[24]와 비대칭 U-Net 구조[25]를 음악 구간 검출 데이터에 맞게 개량한 기법 중에서 U-Net 기반 방식을 적용하여 성능을 측정해보았다. 개량된 네트워크는 그림 3에 나타낸 것과 같이 U-Net[26]을 기반으로 영역분할이 아닌 분류 문제에 적합한 효율적인 구조로 변형되었다. 다양한 장르의 방송 프로그램으로부터 약 100시간의 방송 오디오를 수집 및 추출한 후 배경음악이 사용된 구간을 태깅하여 생성된 방송 음악 구간 데이터셋[27]로 사전 학습된 모델을 사용하였다.

Fig. 3. 
The structure of music detection network

구간검출 성능 측정은 음악 식별 성능 측정과 동일하게 사운드 이벤트 검출 관련 라이브러리인 sed_eval[16]을 활용하였다.

큐시트에 표기된 곡명은 모두 ‘music’과 같은 동일 클래스로 변경한 후 일정 프레임 간의 정확도를 비교하는 segment-based metric을 사용하여 성능을 측정하였다. 정확한 구간 검출 성능 측정을 위하여 성능을 비교하는 단위 시간(time_resolution)은 1초로 설정하였다.

표 3과 같이 비대칭 U-Net 기법[25]를 활용한 음악 구간검출 기법의 정확도와 재현율은 각각 0.9742와 0.9553으로 0.95 이상의 높은 성능을 보이고 F1-score는 0.96 이상임을 보였다.