SMSSM-R 음악중재 프레임워크와 Attention-Based Multi-Task LSTM 모델을 활용한 음악 감정 분석 체계 구축

MER은 음악 신호에서 특징을 추출하여 감정을 자동 추정하는 기술로, Russell의 Valence-Arousal(V-A) 모델에 기반하여 감정을 쾌-불쾌(Valence)와 각성-이완(Arousal)의 2차원 연속 공간으로 표현한다[4]. 리듬과 템포는 Arousal에, 음조와 화성은 Valence에 주로 영향을 미치며, 음색은 양 차원에 복합적으로 작용한다.

초기 MER 연구는 SVM, K-NN, Random Forest 등 전통적 머신러닝 기법에 의존하여 음악 감정의 시간적 전개를 충분히 반영하기 어렵다는 구조적 제약이 있었지만, TCN-LSTM-Attention 결합 모델 등 딥러닝 기반 시계열 모델 도입 이후 예측 성능이 크게 향상되었다[5]. 그러나 딥러닝 기반 MER 모델은 높은 예측 성능에도 불구하고 블랙박스적 특성을 지니며, 이는 치료적 판단이 요구되는 임상 환경에서 활용상의 제약으로 작용한다[6]. 즉 기존 MER 연구는 “어떤 감정인가(What)”에는 비교적 효과적으로 답할 수 있지만, “그 예측이 어떠한 음악적 특성과 관련되는가”를 해석하는 데는 한계가 있다.

한편 음악심리학에서는 개인의 자서전적 기억, 문화적 배경 등의 개인차가 개입되기 이전 단계에서 청취자들이 공통적으로 인지하는 구조적 정서 반응이 존재한다고 본다[7]. Gabrielsson은 이를 지각된 감정(perceived emotion)과 느껴진 감정(felt emotion)의 구분을 통해 설명하였으며[8], Eerola와 Vuoskoski는 템포, 화성, 음색, 리듬과 같은 구조적 음향 요소만으로도 Valence-Arousal 차원의 상당 부분을 설명할 수 있음을 보고하였다[7].

본 연구는 이러한 보편적 음악 지각(Universal Music Perception) 관점에 기반하여, 음악중재 전문가가 임상 현장에서 판단하는 음악 자극의 심리적 영향력을 오디오 신호 수준에서 구조화하려는 시도라고 할 수 있다.

SMSSM(Structural Model for Stimulatory and Sedative Music)은 자극적 음악과 진정적 음악이 상이한 정서적·생리적 반응을 유도한다는 이론에 근거하여 음악의 구조적 안정성과 예측 가능성을 중심으로 음악을 분석하는 프레임워크이다[9]. Grocke의 SMMA와 Wigram의 PSSM을 통합하여 개발되었으며, 스타일/형식, 박자, 리듬, 조성, 선율, 화성, 음색, 음량, 긴장도 등 13개 상위 범주 43개 하위 요소로 음악을 평가한다[10],[11]. SMSSM 점수가 높을수록 구조적 안정성이 높아 진정 효과가 강해지며, 낮을수록 자극 효과를 유발하는 것으로 해석한다.

SMSSM은 충분한 내용 타당도를 지니지만, 전문가의 수기 평정에 의존하여 실시간 분석 및 대규모 데이터 적용이 어렵고 평정자 간 일치도 문제를 내포한다. 또한 이론적 기반인 SMMA가 클래식 음악 분석을 전제로 설계된 만큼, 리듬 중심의 반복적 화성 구조를 가진 현대 대중음악에 동일하게 적용 가능한지에 대한 실증 검증이 필요하다[10],[11].

기존 음악과 정서를 다룬 연구에서는 음악의 정서적 효과를 구조적으로 설명하는 이론이 제시되어 왔으나, 자동화와 확장성에는 한계가 있다. 반면 MER 연구는 높은 예측 성능을 보이지만 예측 결과에 대한 해석 가능성이 부족하다. 두 접근이 상호 보완적 강점을 지님에도 불구하고, 이를 통합한 설명 가능한 프레임워크는 아직 충분히 제시되지 않았다.

한편, 본 연구에서 활용한 일부 변수는 장조·단조, 화성 안정성 등 서양 음악 이론의 영향을 포함하고 있어 비서구권 음악이나 특수 장르에 대한 적용 가능성을 추가적으로 검토할 필요가 있다. 그러나 템포, 리듬의 규칙성, 음량 변화와 같은 주요 변수들은 특정 문화권에 국한된 이론 개념이라기보다 인간의 생리적·지각적 반응과 연관된 음향심리학적 특성(acoustic universals)에 기반한다. 선행 연구 또한 템포와 리듬 구조가 문화권을 초월하여 인간의 집단행동 및 정서 반응과 관련된 보편성을 가질 수 있음을 보고하였다[12]. 이에 SMSSM-R은 템포, 리듬, 음량 변화, 음색 등 오디오 신호 기반의 다양한 음향 특징을 활용하여 청취자가 지각하는 음악의 구조적·정서적 특성을 반영하도록 설계되었다.

이에 본 연구는 SMSSM을 오디오 신호 처리 기반으로 정량화한 SMSSM-R과 MER 기술을 결합하여, 감정 예측의 자동화와 음악적 구조에 기반한 해석 가능성을 동시에 제공하는 음악 감정 분석 체계를 제안한다.

본 연구는 음악치료 박사 수료 이상의 전문가 3인과 논의하여 기존 SMSSM 구성 요소 중 오디오 신호로 정량화 가능한 요소를 선별하였다. 그 결과 SMSSM-R은 Librosa 라이브러리를 통해 자동 추출 가능한 총 54개 변수로 구성되었다: Valence 설명변수 11개(V1~V11), Arousal 설명변수 11개(A1~A11), 진정-자극 구조 변수 32개. 모든 변수는 0~1 범위로 정규화하였다.

변수 구성의 학술적 타당성을 검토하기 위해 음악치료 박사 수료 이상의 전문가 10인을 대상으로 2차에 걸친 델파이(Delphi) 조사를 실시하였다. 주요 검토 항목은 ① SMSSM 이론적 속성의 반영도, ② Librosa 기반 음향 특징 연산 방식의 타당성, ③ 자극 방향 변수의 역산 정렬 방식과 음악중재적 해석 기준의 부합성이었다.

각 변수의 수식, 가중치, 임계값 및 정규화 상수는 SMSSM 원 이론과 음악심리학 선행 연구를 바탕으로 설정된 초기 설계값(initial heuristic parameters)에 해당하며, 향후 데이터 기반 최적화 및 ablation study를 통한 추가 검증이 필요하다.

Valence 설명변수는 음악의 구조적 안정성, 조성적 일관성, 선율의 매끄러움 등 긍정 정서 유발 요인을 정량화하도록 설계하였다.

① V1. 형식적 균형성(Structural Balance): RMSE, Spectral Centroid, MFCC, Chroma를 결합한 특징 벡터 기반 자기유사도 행렬(SSM)을 구성하여 음악 구조의 반복성과 통일감을 정량화하였다[15].

② V2. 박자의 규칙성(Metrical Regularity): Onset Strength의 국소 최댓값을 비트로 간주하고, 비트 간 시간 간격의 표준편차를 이용하여 박자의 시간적 일관성을 산출하였다.

③ V3. 리듬의 유연성(Rhythmic Fluidity): Onset Strength의 프레임 간 변화량과 비트 간 시간 간격의 변동성을 결합하여 리듬 흐름의 안정성을 측정하였다.

④ V4. 템포의 적절성(Tempo Fitness): 실제 템포와 onset 밀도 기반 암시적 기대 템포 간 부합도 및 구간 내 템포 안정성을 가중 결합하였다.

⑤ V5. 조성적 색채(Tonal Color): Krumhansl-Schmuckler 키 프로파일과 Chroma 벡터 간 상관도를 기반으로 조성 강도(T_strength)와 장조 성향을 산출하였다.

⑥ V6. 선율의 심미성(Melodic Aesthetics): MIDI 음고 기반 음정 간격을 이용하여 선율 진행의 매끄러움(S), 반복 진행 비율(R_rep), 순차진행비율(R_step)을 반영하였다.

⑦ V7. 화성적 협화도(Harmonic Consonance): Spectral Centroid 안정성, Chroma 엔트로피($$ {\stackrel{-}{H}}_{chroma}$$), Spectral Flatness(SF) 및 Tonal Centroid 변화량을 결합하여 화성 진행의 안정성을 산출하였다.

⑧ V8. 음색의 온화함(Timbral Warmth): Spectral Centroid의 윈도우 평균을 kHz 단위로 변환한 뒤 역수를 취하여 저음역 중심의 따뜻한 음색 특성을 측정하였다.

⑨ V9. 다이내믹 적정성 (Dynamic Adequacy): RMS 에너지로부터 Integrated Loudness(L_cur)와 Loudness Range(LRA_cur)를 산출하고, 각각 ITU-R BS.1770 기준값(-14 LUFS, 8 LU)를 비교하여 산출하였다[16],[17].

⑩ V10. 긴장의 해소 (Musical Resolution): Chroma Flux를 이용하여 안정 구간의 점유율을 산출하고, 지속적 긴장 해소 상태를 반영하기 위해 제곱 가중을 적용하였다[15].

⑪ V11. 음향적 명료도(Acoustic Clarity): Spectral Flatness(SF_t)의 보완 지표 (1-Flatness)를 이용해 순간 명료도(C_t) 시계열을 구성하고, 윈도우 내 평균 수준과 시간적 일관성 (1 - σ_C)을 가중 결합하였다.

Arousal은 주로 템포, 리듬, 음량, 고음역 에너지에 의해 영향을 받는다. Arousal 설명변수는 에너지 수준, 리듬 복잡도, 화성적 긴장감 등 청취자의 생리적·심리적 각성 반응을 유발하는 음악 구조적 요인을 정량화하도록 설계하였다.

① A1. 형식적 복잡성(Formal Complexity): Spectral Flux 기반 novelty curve에서 임계값을 초과하는 국소 최대값의 밀도를 산출하여 구조 전환 빈도를 측정하였다[15].

② A2. 박자의 가변성(Metric Variability): Gaussian 평활화된 Onset Strength의 변동성과 비트 간격의 변동계수를 결합하였다.

③ A3. 리듬 밀도&당김음(Rhythmic Density & Syncopation): 윈도우 내 onset 밀도와 정규화된 PLP(Predominant Local Pulse)의 분산을 결합하여 리듬 이벤트의 빈도와 펄스 불안정성을 측정하였다.

④ A4. 템포의 가변성(Tempo Variability): Beat tracking으로 산출한 BPM의 전역 분산과 평활화된 국소 BPM 변화율을 가중 결합하여 속도 변화의 역동성을 측정하였다.

⑤ A5. 조성적 긴장감(Tonal Tension): Krumhansl-Schmuckler 키 프로파일과의 최대 상관도(ρ_max)로 으뜸음 지배력의 약화를 측정하고, 장·단조 프로파일 상관도 차이($$ \left|{\rho }_M^{\mathrm{*}}-{\rho }_m^{\mathrm{*}}\right|$$)를 이용해 조성 중심의 불명확성과 선법 모호성을 측정하였다[18].

⑥ A6. 선율의 도약성(Melodic Leapiness): 기본 주파수(F0)를 MIDI 음고로 변환한 뒤, 음역 폭과 상위 25% 음정 도약의 빈도·크기를 결합하였다.

⑦ A7. 화성적 불협화도(Harmonic Dissonance): 7개 주파수 대역별 Spectral Contrast의 시간적 변동성(표준편차)을 산출하고 그 평균을 취하여 배음 충돌에 따른 화성적 거칠기를 산출하였다.

⑧ A8. 음색 밝기&날카로움(Timbral Brightness): Spectral Centroid의 윈도우 평균으로 밝기, Spectral Rolloff 95%의 윈도우 평균으로 날카로움을 산출하였다.

⑨ A9. 다이내믹 강도(Dynamic Intensity): RMS 에너지 기반 다이내믹 레인지와 변동계수를 결합하고 tanh 함수를 적용해 음량 변화의 역동성을 측정하였다.

⑩ A10. 긴장-이완 대비(Tension-Relaxation Contrast): Chroma Flux, RMSE, Onset Strength를 정규화한 뒤 균등 가중 합산하여 통합 긴장도 시계열을 구성하고, 정점-기저 대비를 평균 긴장도로 정규화하였다[15].

⑪ A11. 현장감&선명도(Presence & Clarity): 정규화된 Spectral Bandwidth, Rolloff 95%, 크레스트 팩터 프록시를 가중 결합하였다.

진정-자극 설명 변수는 SMSSM 이론에서 제시하는 구조적 안정성, 반복성, 예측 가능성 개념을 오디오 신호 기반으로 정량화한 변수 집합이다. 형식, 박자, 리듬, 템포, 조성, 선율, 화성, 음색, 다이내믹, 긴장-이완, 음질의 11개 범주에서 총 32개 변수를 설계하였다. 복잡성, 변화 빈도, 변동성 등 자극 방향을 나타내는 변수에는 부호 반전을 적용하여, 값이 높을수록 구조적 안정성 또는 진정적 특성이 크게 나타나도록 하였다. 또한 모든 변수에 Min-Max 정규화(0~1)를 적용하였다.

본 연구의 진정-자극 변수는 긍정·부정 정서나 선호도를 직접 측정하기 위한 지표가 아니라, 음악 구조의 안정성, 반복성, 예측 가능성에 기반한 자극 수준을 정량화하기 위한 변수이다. 따라서 반복성이 높고 변화가 적은 음악은 구조적으로 진정적 특성을 가진 것으로 해석할 수 있으나, 이것이 반드시 긍정적 정서나 높은 선호도를 의미하는 것은 아니다.

구체적으로 형식 범주에서는 Chroma 기반 자기유사성 행렬(SSM)을 활용하여 구조적 반복성과 변화 수준을 측정하였다. 리듬 범주에서는 Zero-Crossing Rate 변동성과 Onset Strength 기반 SSM을 이용해 리듬의 규칙성과 반복성을 반영하였다. 선율 범주에서는 F0를 MIDI 음고로 변환한 후 반음 단위 변화량을 산출하였으며, 화성 범주에서는 Chroma Entropy와 Chroma Flux를 활용하여 화성적 분산과 변화성을 측정하였다. 다이내믹 범주에서는 RMSE 기반 음량 변화 특성을, 긴장-이완 범주에서는 Chroma Flux를 이용한 긴장 축적 및 해소 관련 변화를 반영하였다. 음질 범주에서는 Spectral Flatness, MIDI 기반 음고 분산, Chroma 집중도 등을 활용하여 음향적 안정성과 명료성 관련 특성을 측정하였다. 생성된 변수와 설명은 표 1과 같다.

Table 1.

Definition of sedative-stimulative quantitative features based on SMSSM-revised

767곡을 대상으로 EDA를 수행하였으며, music_id를 기준으로 Metadata, Annotation, Audio 데이터를 통합하였다. 원시 오디오에서 Librosa를 활용하여 Spectral Centroid, Zero-Crossing Rate, MFCC, Chroma, RMS Energy 등 저수준 음향 특징을 추출하였다[19]. 음향 특징은 약 23ms 단위 프레임으로 계산되므로, 0.5초 단위 감정 주석과의 시간 해상도 정합을 위해 Window-Based Averaging을 적용하였다. 또한 데이터셋의 주석 시작 시점을 고려해 재생 후 15초 이전 구간은 분석에서 제외하였다. 이후 SMSSM-R 기반 변수 생성을 통해 V/A 설명변수 22개, 진정-자극 구조 변수 32개를 도출하였다. 자극 방향 변수는 부호 반전 처리를 통해 진정 방향으로 통일하였으며, BPM 표준편차와 F0 기반 선율 변수에는 상한 클리핑을 적용하였다. 최종적으로 모든 입력 변수에 Min-Max 정규화(0~1)를 적용하였다.

전처리된 Master 데이터셋은 총 36,434개 프레임과 54개의 SMSSM-R 기반 음향 특징 변수로 구성되었다. 종속 변수는 Valence와 Arousal이다. Baseline 데이터셋은 Librosa 기반 저수준 음향 특징 67개로 별도 구성하였으며, Case C는 다중공선성 제거 후 최종 36개 변수로 구성하였다. 입력 변수의 분포 확인 결과, 리듬·템포·구조 변화 관련 변수에서 강한 양의 왜도와 다수의 이상치가 관찰되었다. 이에 따라 상·하위 퍼센타일 기반 클리핑 후 Min-Max 정규화를 수행하였다. Valence-Arousal 공간에서 두 감정 차원 모두 중·고 영역에 집중되는 경향이 확인되었으며, K-means 군집분석에서 Elbow method, Silhouette 분석, 군집 균형을 종합하여 K=5를 최종 군집 수로 선정하였다. 이러한 결과는 PMEmo 데이터셋이 극단적 저각성·저정서 구간보다 중·고 감정 영역에 더 많은 표본을 포함하고 있음을 보여준다. 따라서 본 연구 모델의 예측 결과는 중·고 감정 영역에서 상대적으로 안정적으로 해석될 수 있으나, 극단적 저각성·저정서 영역에 대한 일반화에는 한계가 존재한다.

스케일링 방법 선택을 위해 Standard, Min-Max, Robust 스케일링을 비교한 결과, Min-Max 스케일링이 군집 간 표본 수의 균형 면에서 가장 우수하여 최종 적용하였다.

SMSSM-R 기반 54개 변수 간 다중공선성을 점검하기 위해 분산팽창계수(VIF)를 산출하였다. 완전 선형 종속으로 VIF=∞인 변수 3개를 먼저 제거한 뒤, 잔여 변수의 VIF가 15 미만이 될 때까지 최댓값 변수를 순차 제거하였다. 그 결과 초기 54개 중 18개가 제거되어 최종 36개 변수가 Case C 입력 변수로 선정되었다. 일반적으로 VIF > 10 기준이 널리 활용되지만, 본 연구에서 해당 기준을 적용할 경우 최종 변수가 14개로 축소되어 리듬, 화성, 긴장-이완 등 일부 음악 구조 범주의 대표성이 과도하게 저하되는 문제가 확인되었다. 따라서 본 연구에서는 변수 대표성과 다중공선성 완화 간의 균형을 고려하여 VIF < 15를 절충 기준으로 적용하였다[20]. 다만 이 기준은 방법론적 선택에 해당하므로, 향후 더 큰 표본과 다양한 데이터셋을 통한 추가 검증이 필요하다.

Fig. 1.

Emotion distribution in the valence-arousal space

Fig. 2.

PCA-based cluster distribution by scaling method

시차 기반 Cross-correlation 분석 결과, Arousal 반응성 상위 변수들의 최적 시차는 5~6프레임, 즉 약 2.5~3초에 집중되어 각성 반응의 지연 특성이 확인되었다. Valence 반응성 상위 변수들의 최적 시차는 0~8프레임 범위에 분산되었으나, 두 차원의 시차 중앙값이 모두 5프레임으로 나타났다. 본 연구에서는 방법론적 일관성을 위해 Valence와 Arousal 모두에 5프레임(약 2.5초)의 지연 보정을 적용하였다. 이에 따라 지연 보정 및 슬라이딩 윈도우 기반 시퀀스 구성 과정에서 유효 시퀀스 생성이 어려운 일부 프레임 및 곡이 제외되었으며, 최종 분석 데이터셋은 751곡, 32,627프레임으로 구성되었다.

Table 2.

Overview of data preprocessing, feature selection, and analysis dataset

본 연구는 SMSSM-R 이론 기반 변수의 효과를 단계적으로 검증하기 위해 네 가지 실험 케이스를 구성하였다. 모든 케이스에는 동일한 Attention-Based Multi-Task LSTM 모델을 적용하여, 성능 차이가 모델 구조가 아니라 입력 변수 구성의 차이에서 기인하도록 통제하였다. Baseline은 Librosa 라이브러리를 통해 추출한 저수준 음향 특징 67개로 구성하였다.

Table 3.

Configuration of experimental cases

예측 성능은 music_id 기준 5회 반복 무작위 분할 실험의 평균 및 표준편차(mean ± std)로 평가하였다. SMSSM-R 기반 변수군을 사용한 Case A, B, C는 전반적으로 Baseline 대비 향상된 성능을 보였다. 특히 Case C는 Valence와 Arousal의 Pearson 상관계수 및 Arousal의 R²에서 가장 높은 성능을 나타내어 두 감정 차원의 연속값 예측에 가장 효과적인 것으로 확인되었다. 반면 Quadrant Accuracy는 Case A가 가장 높게 나타나 감정 사분면 구분에 상대적 강점을 보였다.

Table 5.

Comparative performance of experimental cases(Mean ± std, n=5)

각 입력 변수를 무작위로 치환한 후 Pearson r 감소량을 계산하여 변수 중요도를 산출하였다. Baseline에서는 MFCC와 Spectral Bandwidth 등 저수준 음향 특징의 중요도가 높게 나타났다. 반면 SMSSM-R 기반 케이스에서는 개별 변수의 중요도가 전반적으로 낮게 나타났으며, 이는 복합 구조 변수의 정보가 여러 변수에 분산되어 있기 때문으로 해석된다. 또한 Case C에서는 Case A와 Case B의 주요 변수들이 함께 상위 변수에 포함되어 통합 변수군의 활용 가능성을 확인할 수 있었다. 다만 Permutation Importance 값은 변수 구성, 변수 간 정보 중복성, 스케일링 방식의 영향을 받을 수 있으므로, 본 연구에서는 절댓값 비교보다 각 케이스 내부에서 어떤 유형의 변수가 예측에 상대적으로 크게 기여했는지를 중심으로 해석하였다.

Table 6.

Top-5 variables by permutation importance per case

Attention 가중치 분석 결과, Baseline은 입력 윈도우 후반부에 높은 가중치가 집중된 반면, SMSSM-R 기반 케이스는 가중치가 윈도우 전반에 분산되어 나타났다. 이는 SMSSM-R 기반 변수가 특정 시점의 저수준 신호 변화에만 의존하기보다, 입력 윈도우 전반의 구조적 정보를 활용했을 가능성을 시사한다. 다만 Attention 가중치는 감정 유발 원인에 대한 인과적 설명이 아니라, 모델 내부에서 학습된 상대적 가중치를 나타내는 보조적 해석 지표로 보아야 한다.

Fig. 3.

Temporal attention weight distribution by case

Baseline 대비 성능 차이를 검토하기 위해 대응표본 t-검정을 수행하였다. 그 결과, Valence Pearson r은 모든 SMSSM-R 기반 케이스에서 Baseline 대비 통계적으로 유의한 차이를 보였으며, Arousal Pearson r은 Case C에서만 유의한 차이가 확인되었다. R²의 경우 Valence에서는 Case A와 Case C가, Arousal에서는 Case C가 Baseline 대비 통계적으로 유의한 차이를 보였다. 다만 반복 실험 수가 5회로 제한되어 있으므로, 통계적 유의성 결과는 탐색적 검증으로 해석할 필요가 있다. 향후 반복 실험 수를 확대하고 외부 데이터셋을 활용한 추가 검증이 요구된다(^*p<0.05, ^**p<0.01, ns: not significant).

Table 7.

Paired t-test results: Baseline vs each case

SMSSM-R 기반 모든 케이스는 Valence 예측에서 Baseline 대비 유의한 성능 향상을 보였다(p < 0.05). Arousal 예측에서는 Case C에서만 유의한 향상이 확인되었다. 따라서 가설 ①은 부분적으로 지지되었다.

Valence Pearson r 기준으로 Case A는 Case B보다 평균값이 높게 나타났으나, 표준편차 범위가 상당 부분 중첩되어 Case A의 명확한 우위가 입증되었다고 보기는 어렵다. 그러나 Case A는 Valence 예측에서 상대적으로 높은 평균 성능을 보였고, Case B 역시 Baseline보다 높은 Valence Pearson r을 보여 진정-자극 구조 변수도 Valence 예측에 일정 부분 기여할 가능성이 확인되었다. 따라서 가설 ②는 부분적으로 지지되었다.

Case C는 Valence와 Arousal의 Pearson r 및 R²에서 모두 가장 높은 평균 성능을 보였다. Baseline 대비 t-검정에서도 Valence Pearson r, Arousal Pearson r, Valence R², Arousal R²에서 통계적으로 유의한 향상을 보였다. 이는 통합 변수군이 두 감정 차원을 비교적 균형 있게 예측했음을 시사한다. 따라서 가설 ③은 부분적으로 지지되었다.