Current Issue

대규모 사운드 오디오 데이터셋을 활용하는 기존 접근 방식은 (1) 메타데이터 주석(annotation) 중심의 전통적 분석, (2) 기계 학습(machine learning)을 도입하되 오프라인(offline)·배치 프로세싱(batch processing)에 치중된 방식, (3) 시각화 단계에서 음향 특성을 충분히 반영하지 못한 사례 등으로 크게 구분할 수 있다. 메타데이터 기반 방법은 설정이 단순하고 직관적이라는 장점이 있으나, 대형 오디오 데이터셋 확장 시 레이블링 작업에 과도한 비용이 들어가고 주석의 주관적 편향 역시 문제로 지적되어 왔다[5]. 기계 학습 기법을 일부 도입하더라도 오프라인 학습이 주를 이루어 실시간 상호작용 측면이 약화되거나, 계산량 문제로 인해 상호작용형 시각화 구현이 제한적이다. 이러한 한계를 보완하기 위해 최근에는 오디오 설명자(audio descriptor)를 기반으로 실시간 분류·세분화·재합성을 시도하는 툴킷이 시도되고 있다. 특히 대규모 오디오 데이터셋에서 저지연 처리를 지원하고, 실시간 상호작용 인터페이스와 결합해 창작 및 연구에서 활용도를 높이려는 움직임이 활발히 이루어지고 있다. FluCoMa와 MuBu는 이러한 요구를 충족하기 위해 설계된 대표적인 도구들로, 각각 실시간 오디오 처리와 기계 학습을 결합한 접근 방식을 제공한다. 다음 절(2.2, 2.3)에서는 이를 대표하는 시스템을 간략히 살펴보고, 본 연구가 어떤 개선 방향을 제안하는지를 논의하고자 한다.

위와 같은 선행 연구들은 대형 오디오 데이터셋을 실시간으로 분석하고 시각화하는 데 있어 다양한 가능성을 제시하고 있다. XLN Audio의 XO는 방대한 샘플 라이브러리를 자동으로 분류 및 시각화하여 사용자 친화적 인터페이스를 제공하고 있으며, Ableton Live 12의 Sound Similarity Search는 DAW 환경에서 유사도 기반 탐색을 실시간으로 구현하여 창작 효율성을 높이고 있다. MuBu는 다층 구조 기반의 실험적 사운드 재합성과 인터랙티브 조작에 강점을 가진다. 그러나 XO의 경우, 드럼 샘플 분류 범위가 제한적이며, 몇 가지 색상으로 악기(스네어, 킥 드럼, 탐탐, 심벌 등)를 구분하는 데 그치는 등 기능이 국한된다. MuBu나 Flucoma와 같은 시스템은 Max/MSP 환경 내 기존 구조를 기반으로 작동하기 때문에, 분석 대상인 오디오 샘플(audio sample)뿐 아니라 오디오 설명자 데이터 또한 Max/MSP에서는 오디오 버퍼 또는 멀티버퍼 형태로 처리된다. 이러한 시스템은 주로 비동기적 처리보다는 실시간 처리를 우선하는 동기식 실행 환경에서 작동되며, 이로 인해 서로 다른 유형의 오디오 설명자를 동시적으로 분석하거나 다차원 데이터 구조를 저장·관리하는 데 한계가 있으며, 처리 과정에서 데이터 크기에 따라 병목 현상이 발생할 가능성도 존재한다. 또한 Max/MSP 환경 내에서 jsui와 같은 제한적인 인터페이스만을 지원함에 따라, 시각화 과정을 능동적으로 구성하거나 유연하게 확장하는 데 어려움이 있어 대형 오디오 데이터셋 분석 목적에는 부적합하다고 볼 수 있다. 이에 본 연구에서는 대규모 오디오 데이터셋을 효과적으로 시각화할 수 있는 방법론으로 비지도 학습 기반의 시각화 모델을 제안한다. 본 방법론은 오디오 데이터셋에서 추출된 고차원 특성을 3차원 포인트 클라우드 형태로 압축하여 표현함으로써, 기존의 2차원 평면 인터페이스뿐 아니라 AR(augmented reality) 및 VR(virtual reality) 같은 새로운 인터페이스나 관객 참여형 미디어아트 작업에서 더욱 직관적이고 효율적인 상호작용이 가능한 사운드 데이터 탐색 환경을 구축하는 것을 목표로 한다. 이와 같은 방식은 기존 선행 연구들이 제시한 장점들을 통합적으로 활용하면서도, 대규모 오디오 데이터셋의 분석 및 창작에 특화된 새로운 환경을 제공할 수 있을 것으로 기대된다. 또한 이러한 흐름은 딥러닝 기반의 공간 음향 분리 기법의 발전과도 방향성을 공유하며[4], 데이터 기반 오디오 해석 기술의 확장 가능성을 뒷받침한다.

본 연구는 음원 분석 시스템의 성능을 평가하기 위해 Freesound 기반 공개 오디오 데이터셋인 FSD50K[6]를 사용하였다. FSD50K 오디오 데이터셋은 50,000개의 오디오 샘플과 전문가 검수를 거친 200개 이상의 음향 이벤트 클래스로 구성된 메타데이터를 포함한다. 오디오 데이터셋은 44.1kHz 샘플레이트(samplerate)로 제작되어 있으며, 음악적 및 비음악적 도메인(domain)을 아우르는 다양한 음향 스펙트럼을 포괄한다.

본 연구는 음악적/비음악적 콘텐츠의 주파수 기반 특성을 파악하기 위해 MFCC, 스펙트럴 중심, 크로마 피쳐, 세 가지 오디오 설명자를 조합하여 활용하였다. MFCC는 음색과 관련된 주파수 대역 분포를 효율적으로 요약하며, 스펙트럴 중심은 주파수의 에너지 중심 위치를 나타내어 밝기나 명료도와 같은 감각적 특성과 연관된다. 크로마 피쳐는 전체 스펙트럼을 12개의 피치 클래스로 투영하여 코드, 하모니 등 음악적 구성요소를 시각화하는 데 유용하다. 특히 크로마 피쳐의 경우 피치 특성이 뚜렷하지 않을 경우 비음악적 데이터로도 분류 가능하다. 이처럼 세 오디오 설명자는 서로 보완적인 정보를 제공하며, 다차원 오디오 설명자의 대표 집합으로 활용되었다. 또한 이러한 오디오 설명자의 집합은 차후 진행할 ‘데이터 시각화’ 단계에서 고차원 임베딩과 포인트 클라우드 시각화 기법을 적용하는 출발점이 된다. 데이터 시각화 과정에서는 이들 오디오 설명자와 비지도 학습 기법을 결합하여, 대규모 오디오 데이터셋 내 음향 유사도와 구조적 패턴을 직관적으로 드러내는 시각화 방법론을 구체적으로 논의하고자 한다.

다수의 오디오 유닛 간 관계를 이해하기 위해 메타데이터 기반 수동 주석 방식을 사용할 경우, 주석자들 사이의 인지적 편차로 인해 동일 음향 이벤트에 대한 주석의 일관성이 58%로 제한되며, 이는 데이터 분석의 직관성과 객관성을 저해하는 것을 확인할 수 있다[5]. 분석된 오디오 설명자 데이터를 결합하여 분석하지 않는다면, 다양한 유형의 사운드 데이터는 하나의 설명자로는 효과적으로 표현되기 어려우며, 이를 보완하기 위한 설명자 간의 상호보완적 조합이 필요함을 실험을 통해 확인하였다. 따라서 본 연구에서는 MFCC, 스펙트럴 중심, 크로마 피처의 조합을 통해 이러한 상호보완성을 실현하고자 하였다. 그러나, 모든 오디오 설명자 데이터를 결합한 고차원 데이터를 분석에 사용할 경우 직관적인 시각화가 어렵고 기존 저차원 분석 기법의 성능이 급격히 저하되어 분석 효율이 급격히 떨어지는 문제가 있다. 따라서 본 연구에서는 고차원 데이터의 차원을 축소하는 기법과 포인트 클라우드 시각화 기법을 결합하여 고차원 오디오 설명자 데이터의 복잡성을 줄이고, 사운드 유닛 간 상호 유사도와 군집 양상을 직관적으로 드러내는 방법을 제안한다. 이를 통해 대규모 오디오 데이터셋(audio dataset)의 구조적 특징을 더욱 명확하게 해석할 수 있을 것으로 기대한다.

t-SNE는 복잡한 고차원 데이터를 저차원 공간으로 투영하여 시각화하는 대표적 기법이며 데이터의 국소 구조를 보존하면서도 각 데이터 포인트 간의 상대적 거리를 직관적으로 파악할 수 있도록 돕는다. 본 연구에서는 세 가지 오디오 설명자(‘MFCC 평균’, ‘스펙트럴 중심 평균’, ‘크로마 평균’)를 하나의 특징 벡터로 결합한 뒤, 불완전하거나 형식이 불일치한 벡터를 제외하고 나머지를 임의의 3차원 벡터로 압축하여 임베딩(embedding)하였다. 그 결과, 각 오디오 유닛은 임베딩 값을 토대로 3차원 공간에서 하나의 점으로 표현되며, 이 점들의 상대적 위치를 통해 음향 이벤트들의 군집 양상을 시각적으로 파악할 수 있게 된다.

최종적으로 얻어진 3차원 t-SNE 임베딩은 단순히 좌표 값으로만 시각화되는 것이 아니라, 추가적인 음향 특성을 반영한 색상 정보를 통해 보다 풍부하게 표현된다. 본 연구에서는 원하는 파라미터에 따라 다음과 같은 색상 매핑 기법을 적용하였다.

먼저, 12음계를 표현하는 크로마 특징과 같은 고차원 정보를 가진 오디오 설명자의 경우, PCA 기법(Principal Component Analysis)을 통해 데이터를 3차원으로 축소한 후, 각 주성분을 R, G, B 채널에 대응시켜 RGB 색상으로 매핑하였다(그림 6). 이러한 방식은 각 음향 이벤트의 주요 피치 클래스를 시각적으로 강조하여, 색상을 통해 음향의 구조적 특성을 직관적으로 파악할 수 있도록 돕는다. 이를 통해 음악적 구성 요소(예: 코드, 하모니 등)를 시각적으로 표현하고, 사용자가 복잡한 음향 특성을 쉽게 이해하고 탐색할 수 있게 만들어준다. RGB 색상은 특히 음향의 높은 피치나 저음 피치를 직관적으로 구별할 수 있게 해주며, 음악적 패턴을 더 쉽게 파악하도록 돕는다. 반면, 스펙트럴 중심과 같은 단일 스칼라 값을 가지는 파라미터의 경우는 viridis 컬러맵을 적용하여 시각화하였다(그림 7). 따라서, 음의 높낮이가 오디오 스펙트럼으로 수렴하여 미세한 색상 변화를 통해 음색의 밝기나 특성을 직관적으로 전달한다.

Fig. 6. 
3D t-SNE visualization colored by chroma features reduced via PCA

Fig. 7. 
3D t-SNE visualization colored by spectral centroid values using the viridis color map

또한, 복수의 설명자 사이의 관계를 나타내기 위해 t-SNE 임베딩 공간 상에서 각 오디오 유닛 간의 유클리드 거리가 일정 임계치(예: 0.1) 이하이며, 동시에 스펙트럴 중심 정규화 값의 차이가 일정 수치(예: 0.2) 이하인 경우, 이들 간의 유사성을 강조하기 위하여 회색 선분(엣지)을 연결하였다. 이러한 선분은 음향 특성이 유사한 오디오 유닛 간의 관계를 직관적으로 부각시키는 역할을 한다(그림 8).

Fig. 8. 
t-SNE visualization with edges based on spectral centroid similarity

1) 대형 오디오 데이터셋 t-SNE 시각화의 한계점

앞선 테스트에서는 10,000개의 오디오 샘플에 대해 t-SNE 시각화를 수행하였으나, 실제로 FSD50K와 같이 약 50,000개의 파일과 10GB 이상의 용량을 가진 대규모 오디오 데이터셋을 시각화할 경우, 데이터 양의 증가로 인해 t-SNE의 계산 효율성이 급격히 저하되는 문제가 발생하였다. 특히 고차원 공간에서는 모든 데이터 포인트 간 유클리드 거리가 상대적으로 수렴하면서, 유사도 기반의 분별력이 저하되는 현상이 관찰되었다. 그 결과, 시각화된 오디오 유닛 간의 분포가 과도하게 밀집되어 보이거나 명확한 군집 경계가 드러나지 않는 문제가 발생하였다(그림 9). 또한, 모든 포인트 간 유사도 기반 시각화를 수행할 경우, 이론적으로는 O(n²) 수준의 연산이 요구되며, 이는 대규모 오디오 데이터셋에서 실시간 시각화에 부담을 줄 수 있다. 본 연구에서는 이를 조건 기반 필터링 방식으로 제어하였으며, 추후에는 KD-Tree 기반 근접 탐색 기법을 적용함으로써 연산 효율을 더욱 향상시킬 수 있을 것으로 기대된다.

Fig. 9. 
3D t-SNE visualization of FSD50K dataset

2) UMAP/k-means Clustering을 이용한 데이터 샘플링

본 연구는 FSD50K의 t-SNE를 활용한 임베딩 결과가 매우 높은 밀집도를 형성한다는 점에 주목하여, 전체 오디오 데이터셋 중 무작위로 선택한 2,500개의 오디오 유닛을 대상으로 UMAP 기반 3차원 임베딩을 수행하였다. 이후 해당 임베딩 결과에 대해 k-means 클러스터링을 적용함으로써 국소적인 군집 구조를 분석하고 시각화하였다. 이러한 방식은 전체 구조를 대표값으로 축약하기보다는, 고차원 공간의 밀집된 일부분을 탐색적으로 접근함으로써 오디오 데이터셋의 잠재적 패턴을 효과적으로 드러낸다(그림 10).

Fig. 10. 
3D visualization of UMAP-sampled dataset with spectral centroid similarity edges

무작위 샘플링 기반 시각화 전략은 특히 전체 데이터 공간의 전반적 분포를 균형 있게 탐색할 수 있다는 점에서 유의미하며, 연산 자원 소모를 줄이면서도 고차원 오디오 설명자 간의 의미 있는 구조와 군집 특성을 직관적으로 관찰할 수 있는 방법이다. 또한 본 시스템은 향후 확장을 고려하여, t-SNE 기반의 2차원 임베딩 공간을 탐색 지도(map)처럼 활용하고, 사용자 커서가 위치한 국소 영역을 중심으로 UMAP 및 k-means를 실시간으로 수행하는 저지연(low-latency) 인터페이스로 확장하는 방향을 고려하고 있다. 이를 통해 사용자는 전체 구조를 전역적으로 파악함과 동시에, 관심 영역에 대한 세부 구조를 3차원 시각화 및 오디오 재생을 통해 분석할 수 있다. 이러한 실시간 상호작용 기반 국소 시각화 인터페이스는 고차원 오디오 데이터셋의 탐색과 창작 워크플로우를 유기적으로 연결하는 기반이 될 것이다.

본 연구에서는 FSD50K 오디오 데이터셋의 오디오 메타데이터를 활용하여 각 데이터 포인트의 주석 정보를 기반으로 UMAP 임베딩 결과를 2차원 공간에 투영하고, 주요 주석 그룹별 중심 좌표를 계산하여 클러스터링 구조의 일관성을 분석하였다. 예를 들어, 특정 환경음(예: "rain", "wind")이 특정 영역에 집중적으로 위치하는지를 평가함으로써, 모델이 학습한 잠재 공간이 실질적인 사운드스케이프 특성과 얼마나 일치하는지를 분석한다(그림11). 본 검증 과정은 비지도 학습 기반 임베딩 및 클러스터링 결과가 메타데이터 기반 분류와 부합하는지를 평가하는 중요한 절차로 작용한다. 결과적으로, 본 연구에서 제안한 국소 샘플링 기반 클러스터링 방법은 내부 동질성과 도메인 관련성을 유지하면서도 고차원 오디오 데이터를 효과적으로 구조화할 수 있음을 확인하였으며, 오디오 데이터셋의 탐색 및 활용 가능성을 크게 향상시킬 수 있음을 기대할 수 있다.

Fig. 11. 
2D UMAP visualization of the audio dataset clustered by metadata labels