Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 7, pp.1301-1309
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Jul 2020
Received 23 Jun 2020 Revised 15 Jul 2020 Accepted 25 Jul 2020
DOI: https://doi.org/10.9728/dcs.2020.21.7.1301

음악청취 상황에 따른 감성 기반 음악 추천 모델 평가 연구: 스포티파이 음악추천 알고리즘 중심으로

이세환1 ; 이주환2, *
1서울미디어대학원대학교 뉴미디어학부 융합미디어전공 석사과정
2서울미디어대학원대학교 뉴미디어학부 융합미디어전공 교수
Evaluating the Emotion-based Music Recommendation Model according to the Listening Contexts: Focus on Spotify Service
Se-hwan Lee1 ; Ju-Hwan Lee2, *
1Master’s Course, Department of Convergence Media, Seoul Media Institute of Technology, Seoul 07590, Korea
2Professor, Department of Convergence Media, Seoul Media Institute of Technology, Seoul 07590, Korea

Correspondence to: *Ju-Hwan Lee Tel: +82-2-6393-3240 E-mail: jhlee@smit.ac.kr

Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 연구는 음악 스트리밍 서비스 사용자가 특정 음악청취 상황에서 느끼기 원하는 감성 특성을 활용하여 구성한 음악 추천 플레이리스트가 유효성을 가지는지 평가하고자 하였다. 연구 1단계에서 일상생활 중 음악을 청취하는 빈도가 높은 상황을 평가하여 추출하였다. 2단계에서는 추출된 음악청취 상황들에 대해 평소 경험하는(being) 감정 상태와 경험하기 원하는(to be) 감정 상태 변화를 각각 평가하여 비교 분석하였다. 마지막으로 3단계에서는 음악청취자가 경험하기 원하는 감성적 방향성을 갖는 음악청취 상황과 유사한 감성차원 특성을 지니는 추천 플레이리스트의 샘플 음악들을 제시하여 음악청취 상황과의 적합성을 평가 및 분석하였다. 이를 통해 음악청취 상황이 갖는 감성차원의 포지셔닝과 청취대상인 추천 음악들의 감성차원 특성이 갖는 공간적 연결성을 논의하고, 그 관계를 보다 밀접하게 설명 가능한 요인들을 탐색하고자 하였다.

Abstract

The purpose of this study was to evaluate whether a music recommendation playlist constructed by utilizing the emotional characteristics that a music streaming service user wants to feel in a particular music listening situation has effectiveness. In the first stage of the study, the situation in which the frequency of listening to music was high was extracted by evaluating it. In the second stage, the emotional state normally experienced and the emotional state of the desired to be experienced were evaluated and compared for the extracted music listening situations. Finally, the sample songs of the recommended playlist with emotional dimension similar to the music listening situation having the emotional direction that the music listener wants to experience was presented, and the fitness for the music listening situation was evaluated and analyzed. Therefore the emotional positioning of the music listening situation and the spatial connection of the emotional characteristics of recommended songs were discussed.

Keywords:

Emotional dimension, Music recommendation, Playlist, Spotify, User context

키워드:

감성차원, 음악추천, 플레이리스트, 스포티파이, 사용자상황

Ⅰ. 서 론

음악은 “감정의 언어”이다[1]. 음악을 감정적 반응에 따라 분류하는 것은 자연스러운 일이다[2], [3]. 그러나 음악과 감정 사이의 유의미한 연관성을 찾아내는 일은 쉽지 않다. 왜냐하면 음악을 통해 우리가 느끼는 감정은 때로 모호하고 개인의 경험과 상황에 따라 달라지기 때문이다. 음악 인식은 감정과 맥락(context) 모두와 밀접한 관련이 있다[4]-[7]. Bischoff 등의 연구에 따르면 실제 검색엔진에서 음악 관련 검색어 중 30%는 상황과 관련된 것(파티 음악, 결혼식 음악 등)이었고, 15%는 감성과 관련된 것이었다[8]. 최근 딥러닝 기술의 발전으로 기존 음악의 물리적 특성들을 학습하여 특정 장르나 작곡가 스타일의 음악을 만들어내는 알고리즘이 개발되고 있다[9]. 음악은 이미지와 텍스트 다음으로 많은 데이터들이 디지털의 형태로 저장되어 있기 때문에 앞으로 많은 연구와 관련 기업들의 새로운 서비스 발표가 예상된다.

하지만 이런 종류의 알고리즘들은 대부분 특정 장르, 작곡가를 변수로 결과물을 만들어 내고 있고, 감성에 따라 추천 음악을 자동으로 분류해 내는 서비스는 아직까지 개발되지 않았다. 음악 정보 검색(Music Information Retrieval) 분야에서 감성을 기준으로 음악을 분류할 때 주로 MIREX(Music Information Retrieval Evaluation eXchange)의 감성 클러스터를 활용한다[10], [11]. 이 감성 목록들은 AllMusic.com의 사용자 태그들을 기반으로 추출해 낸 것이나 최근에는 사이트 내에서 감성적 태그 활동이 거의 이뤄지지 않고 있어 일정 이상 규모의 데이터를 새로 구성하기는 어렵다[.

음악 스트리밍 서비스인 Spotify API에서는 음악의 다양한 요소들을 분석하여 수치로 표현하고 있는데, 그 중 감성과 관련한 항목은 댄스적합성(Danceability), 감정가(Valence), 에너지(Energy), 빠르기(Tempo)이다. 이 중 감정가와 에너지는 Russell의 V-A 모델에 적용해서 특정 곡이 표현하는 감성이 어떤 공간에 위치하는지 파악할 수 있다[12]. 하지만 이러한 감성 분석이 효과적인 음악 추천 도구로서 기능하기 위해서는 특정 상황에서 어떠한 감정을 느끼기 원하는 지를 먼저 파악할 필요가 있다. 본 연구에서는 사용자가 어떠한 음악을 청취하는 보편적인 상황들을 추출하여 감성 분석 도구에 따라 분류가 가능한 지 살펴보려고 한다. 특정 상황에서 사용자가 느끼는, 또는 느끼기 원하는 감성 분포와 음악청취자가 선택하는 곡의 감성 분포가 실제 일치한다면 플레이리스트의 곡 선택을 위한 의미 있는 기준을 제시할 수 있을 것이다.


Ⅱ. 본 론

2-1 음악에 대한 2가지 정서 구분 방식

1) 범주에 따른 정서 구분 (Categorical psychometrics)

범주에 따른 정서 구분 방법은 음악을 듣고 느낀 감정을 몇 가지의 감성 표현(tag)을 기준으로 구체화하는 방법이다. 청자가 음악을 통해 느끼는 감정을 범주에 따라 구분해서 분석하고자 하는 최초의 시도는 1936년 Hevner에 의해 이루어졌다[13]. 그는 66개의 감정 표현 형용사를 8개의 그룹으로 나누어 특정 곡에 대한 청자의 감성적 반응을 측정하였다. 이 후 다양한 연구를 통해 음악을 통해 느끼는 감성을 관찰하고자 하는 시도가 있었다. Zentner, Grandjean, and Scherer는 세계에서 주로 사용되는 5개 언어와 감성어 사전, 문학작품에서 추출한 146가지 감성 표현을 10가지 범주로 나누어 음악을 통해 느끼는 감성을 추출하고자 했다[14]. MIREX에서 사용하는 감성 클러스터 모델은 2007년 AllMusicGuide.com에서 제공한 상위 50개 앨범과 곡들에 사용자들이 붙인 40가지 감성 라벨을 동시 발생 매트릭스(co-occurrence matrix)등을 이용하여 5가지 감성 클러스터로 구분하여 만들어졌다. 해당 데이터는 매년 다양한 음악 속성을 가지고 알고리즘 정확도를 측정하는 MIREX에서 음악 감성 분류(Music Mood Classification)을 위해 활용되고 있다[15],[16].

2) 차원에 따른 정서 구분 (Dimensional psychometrics)

차원에 따른 정서 구분 방법은 특정 감성 표현 단어를 스케일에 따라 표현하거나 간단한 평면 구조 안에서 분석하는 방법이다. 대표적인 것이 Russel and Thayer가 주창한 감정가(Valence)-각성수준(Arousal) 2차원 모델이다[12]. 특정 감성이 V-A 평면상의 어느 한 지점에 위치하는 특정 수치를 가진다고 가정한다. 감정가(Valence)는 감정에 대한 평가(긍정 또는 부정), 각성수준(Arousal)은 감정의 강도(세기)를 나타낸다. 음악에 대한 감성을 V-A의 2차원에 따라 구분하는 방법은 여러 연구를 통해 그 효용을 입증하였다. 최근에는 이러한 2차원 평면에 음악적 요소를 추가하여 감성을 분석하고자 하는 시도도 이어지고 있다.

2-2 음악 정보 검색 및 추천 정확도

세계 1위 디지털 뮤직 스트리밍 업체인 스포티파이(Spotify)는 자체 개발된 알고리즘을 이용한 음악 개인화(personalization) 및 분류(categorization) 작업을 통해 검색 및 추천 정확도를 높이고자 시도하고 있다. 스포티파이는 2014년 음악 정보 검색 알고리즘 기술 기업 에코 네스트(Echo Nest)를 인수하고 트러플 피그 알고리즘(Truffle Pig Algorithm)을 음악 분류와 개인화에 적용하고 있다. 그 결과 사용자의 라이프 스타일에 맞춰 적절한 음악을 추천해주는 서비스 ‘모멘츠(Moments)’, 그리고 하루 천 만 개 이상의 소셜 네트워크와 블로그 포스팅을 분석하여 플레이 리스트를 구성하고 리스트가 오픈 된 뒤에도 사람들의 반응(‘좋아요’와 청취 횟수)에 따라 실시간으로 수정되는 서비스 ‘프레쉬 파인즈(Fresh Finds)’를 사용자에게 제공하고 있다. 이러한 알고리즘에 전담팀 구성원들의 검증을 더해 추천 서비스의 완성도를 높이고 있다. 표 1은 스포티파이가 알고리즘 수행에 적용하고 있는 분류 기준들 중 감성적 요소와 관련된 에너지(energy; 각성수준)와 감정가(valence)를 정리한 것이다.

Spotify algorithm classification criteria

2-3 상황 기반 플레이리스트 (Contextual playlist)

현재 제공되고 있는 스포티파이의 플레이리스트 서비스는 몇 가지 분류로 나눌 수 있다. 첫 번째로 콘텐츠 중심 플레이 리스트(Content-based playlist)는 가수나 장르, 또는 음원 순위에 기반하여 생성된 플레이리스트를 말한다. 다음으로 사용자의 활동이나 시점에 적절한 음악을 골라 추천해주는 플레이리스트를 상황 기반 플레이리스트(Context-based playlist)라고 구분할 수 있다. 예를 들어, 음악청취자가 조깅할 때나 로맨틱한 저녁식사를 즐길 때 어울리는 플레이리스트가 여기에 해당한다. 스포티파이에서 서비스되는 플레이리스트는 대부분 스포티파이가 자체적으로 구성하여 서비스하고 있다(2018년 기준 92%). 최근 많은 이용자(팔로어)를 확보하고 있는 플레이리스트들은 콘텐츠와 상황이 혼합된 이름을 가진 경우가 많다. 음악 스트리밍 시장의 여러 가지 데이터를 가공하여 제공하는 차트매트릭 서비스(www.chartmetric.com)는 이러한 플레이리스트를 하이브리드 플레이리스트(Hybrid playlist)라고 구분하였다. 비록 플레이리스트의 개수는 콘텐츠 기반 플레이리스트가 가장 많지만, 팔로어 수는 이미 상황 기반 플레이리스트와 하이브리드 플레이리스트가 콘텐츠 기반 플레이리스트를 압도하고 있다(그림 1). 위와 같이 상황 기반 플레이리스트의 중요성이 증가하고 있기 때문에 음악 감상의 만족도를 높이고 음악 추천 서비스의 정확도를 높이기 위해서는 음악청취 상황에 기반한 음악 감상이 어떠한 특성으로 이루어지는지에 대한 깊이 있는 분석이 필요하다.

Fig. 1.

Spotify playlist median follower comparison [17]

2-4 연구 목적

위와 같이 사용자가 음악을 선택할 때 장르나 가수에 대한 선호도 못지않게 어떤 음악청취 상황에 있느냐가 중요한 기준이 되고 있음을 알 수 있다. 기존 상황기반 음악 감상 관련 연구들은 사용자, 즉 음악청취자가 어떠한 상황에서 음악을 감상하는지 추출하고 각각의 상황에서 음악이 어떠한 역할을 하는지를 규명하는데 한정되어 있다. 이에 반해 본 연구에서는 사용자가 특정 상황에서 느끼는 감성과 음악의 감성을 공통적인 감성 차원 위에서 갖는 위치(positioning) 사이에 유의미한 관계가 있는지 알아보고자 한다. 음악에서의 감성 표현과 특정 상황에서 음악청취자가 느끼는 혹은 느끼고자 하는 감성 사이의 연결점을 발견하게 된다면, 특정 상황과 사용자 감성차원 사이의 연관성을 이용해서 감성에 기반한 음악 추천 시스템의 완성도를 높이는데 도움이 될 것이다.

이를 위해 본 연구에서는 (1)음악청취에 대한 주요상황을 평가하고, (2)선정된 주요 음악청취 상황의 감성평가를 통한 감성차원 상의 분포를 파악하며, 끝으로 (3)실제 스포티파이 서비스 플레이리스트에 포함된 음악들 가운데 선정된 샘플 음악(10곡)에 대한 음악청취 상황과의 적합성 평가 분석 결과를 통해 이전 단계에서 진행된 감성차원 상의 공간적 배치와의 연관성을 비교하는 총 3단계 과정으로 진행하고자 한다.


Ⅲ. 1단계: 음악청취 주요상황 추출 및 평가

본 연구의 1단계에서는 국내 음악 스트리밍 서비스 사용자들이 어떤 상황에서 주로 음악을 듣는지 음악청취상황에 대한 평가조사를 진행하였다.

3-1 참가자 및 평가 절차

연구 1단계 평가조사의 참가자는 국내 거주 음악 스트리밍 서비스 이용경험자 39명(12세~48세, 남성 11명, 여성 28명, 평균연령 34.2세)이었다.

음악청취상황에 관한 이전 해외 연구들이 국내 상황과 차이가 있을 수 있기 때문에 국내 이용자들이 실제 어떤 상황에서 음악을 청취하는지, 그리고 그 음악청취 상황의 빈도를 평가하였다. 먼저 음악청취 상황에 관한 이전 연구를 참고하여 표 2와 같이 일상생활에서 발생할 수 있는 28가지 음악청취 상황을 선정하였다[18].

Classification by activity through experience sampling analysis [18]

참가자들은 주어진 28가지 상황에 대해 각 상황에서 본인이 얼마나 자주 음악을 청취하는지에 따라 ‘전혀 듣지 않는다’에서 ‘매우 자주 듣는다’로 구분된 5점 척도(5 point scale)로 음악청취 상황을 평가하였다.

3-2 결과 및 분석

평가 결과에 따르면 그림 2에서와 같이 총 28가지 상황 중에서 음악청취 빈도가 가장 높은 상황은 ‘운전할 때’로 평균이 3.64점이었고, 가장 낮은 상황은 ‘게임할 때’로 평균이 1.59점이었다. 음악청취 빈도에 대한 상황별 평가 평균값이 3점(가끔 듣는다) 이상인 상황은 전체 28가지 가운데 10가지로 ‘운전할 때(3.64), 대중교통을 이용할 때(3.56), 단순반복적인 일을 할 때(3.54), 아무일도 안할 때(3.36), 무엇인가 기다릴 때(3.36), 운동할 때(3.28), 산책할 때(3.23), 퇴근할 때(3.23), 출근할 때(3.08), 휴식할 때(3.08)’ 순으로 나타났다. 28가지 상황들 사이의 통계적 차이 분석 결과(post-hoc test), 이들 10가지 상황들은 다른 나머지 상황들에 비해 통계적으로 유의미하게 높은 음악청취 빈도로 평가되었다(p<.001).

Fig. 2.

Distribution of music listening frequency by situations

전체적으로 음악청취에 대한 빈도는 4점 이상을 넘지 않았는데, 이는 평가 응답에서 극단 값(5점)을 회피하는 일반적인 현상이기도 하고, 다른 한편으로 일상생활 속에서 음악 이외에 소비할 수 있는 다른 콘텐츠가 그 만큼 많다고 해석할 수 있다. 또한 게임이나 대화, 데이트와 같이 활동 자체에 인지적 에너지를 많이 배분해야 하는 상황 보다는 운전, 대중교통, 단순반복적인 일과 같이 활동에 인지적 에너지 소모가 적은 활동을 할 때 음악 청취에 대한 빈도가 올라가는 것으로 이해된다.


Ⅳ. 2단계: 상황별 감성차원 포지셔닝 평가

2단계에서는 표 3과 같이 연구 1단계를 통해 추출한 음악청취 빈도가 높은 상위 10가지 상황이 각각 평소 어떠한 감성적 특성을 지니고 있고, 어떠한 방향으로 감성적 경험을 추구하는지 살펴보기 위해 Thayer의 감정가-각성수준(V-A) 감성차원에 근거한 감성평가를 실시하여 감성공간에 배치하는 포지셔닝(positioning) 작업을 수행하였다.

10 situations where music listening frequency are high

4-1 참가자 및 평가 절차

연구 2단계는 온라인 평가 방식으로 진행하였고, 국내 거주 음악 스트리밍 서비스 이용경험자 32명(26세~46세, 남성 11명, 여성 21명, 평균연령 37.3세)이 참여하였다.

평가는 10가지 음악청취 상황 각각에 대해 평소 경험에 근거한 감성을 평가하기(being)와 해당 음악청취 상황에서 경험하기 원하는 감성을 평가하기(to-be)로 구분하여 두 가지 평가를 감정가(valence)와 각성수준(arousal)에 따라 각각 7점 척도로 평가하였다. 평가과정을 구체적으로 설명하면, 먼저 해당 음악청취 상황에서 느끼는 평소 감정상태를 감정가(valence) 7점 척도(매우 불쾌함 - 상당히 불쾌함 - 약간 불쾌함 - 보통 - 약간 유쾌함 - 상당히 유쾌함 - 매우 유쾌함)와 각성수준(arousal) 7점 척도(매우 활기없음 - 상당히 활기없음 - 약간 활기없음 - 보통 - 약간 각성됨 - 상당히 각성됨 - 매우 각성됨)로 평가하였다. 그 다음으로 같은 음악청취 상황에서 느끼고 싶어 하는 감정상태, 즉 감정상태의 변화추구 특성을 반영한 평가를 동일하게 감정가와 각성수준 각각 7점 척도로 평가하였다.

4-2 결과 및 분석

평가 결과는 감정가(valence)-각성수준(arousal)의 2차원 감성공간 상에 좌표로서 –3점부터 3점까지 7점 척도의 수치로 변환하여 배치시켰다. 그림 34에서 나타난 것처럼 평가에서 제시된 10가지 음악청취 상황에 대한 참가자들의 평소 느끼는 감정상태는 느끼고 싶은 감정상태와 상이한 배치를 보이는데, 이는 감정상태의 변화를 추구하는 결과로 이해할 수 있다. 특히 모든 음악청취 상황에서 느끼길 원하는 감성 특성은 평소 느끼는 감성 특성보다 감정가와 각성수준 모두 정적인 증가(positive increase)로 나타났다(arousal: 평균 +0.60, valence: 평균 +0.49).

Fig. 3.

Music listening situations’ distribution of ‘being’ and ‘to be’ emotions (the numbers in the map are situations of Table 3)

Fig. 4.

Emotion change variation in arousal and valence by music listening situations

각성수준(arousal)에서 평소 느끼는 감정 상태와 느끼기 원하는 감정 상태의 차이가 가장 큰 상황은 ‘출근할 때’ 또는 ‘등교할 때’로 0.94점만큼 더 각성되기를 원하는 것으로 평가되었고, 차이가 가장 작은 상황은 ‘운동할 때’와 ‘퇴근할 때’로 0.34점정도 더 큰 각성을 원하였다. 이는 출근이나 등교 시 곧 시작될 업무나 학업을 대비해야 하기 때문에 더 높은 각성 상태를 원하는 것으로 해석될 수 있다. 반면 운동하거나 퇴근하는 상황에서는 의도적으로 각성 상태를 높일 필요성을 크게 느끼지 못하는 것으로 분석할 수 있다.

감정가(valence)에서 평소 느끼는 감정 상태와 느끼기 원하는 감정 상태의 차이가 가장 큰 상황은 ‘아무 일도 안할 때’로 0.91점정도 더 유쾌해지길 원하는 것으로 평가되었고, 차이가 가장 작은 상황은 ‘산책할 때’로 0.03점정도 더 유쾌해지길 원하였다. 이러한 평가 결과는 유쾌한 감정이 없이 아무 일도 하지 않는 상태에서는 기분전환이 필요하다고 느끼기 때문에 긍정적인 감정이 필요하고, 산책이나 퇴근할 때는 이미 어느 정도 유쾌한 감정을 느끼고 있기 때문에 감정가 차원의 변화 필요성이 상대적으로 적었다고 이해된다.

특히 ‘무언가를 기다릴 때, 운동할 때, 산책할 때, 퇴근할 때’ 상대적으로 평소 느끼는 감정상태에서 감정상태 변화추구 정도가 적었고, ‘이동하는 상황(운전, 대중교통)이나 단순 반복적인 일을 할 때, 아무 일도 안하거나 출근, 휴식할 때’는 감정상태의 변화추구 정도가 큰 것으로 평가되었다.


Ⅴ. 3단계: 감성 기반 플레이리스트 평가

위 연구 1,2단계를 통해 음악을 주로 청취하는 상황에 대한 감정 특성과 감정상태 변화추구 성향을 파악할 수 있었다. 3단계에서는 실제 스포티파이 서비스 플레이리스트에 포함된 음악들 가운데 선정된 샘플 곡들에 대한 음악청취 상황과의 적합성 평가 분석 결과를 통해 이전 단계에서 진행된 감성차원 상의 공간적 배치와의 연관성을 비교하고자 한다.

5-1 참가자 및 평가 절차

연구 3단계은 온라인 평가조사 방식으로 국내 거주 음악 스트리밍 서비스 이용경험자 32명(남성 5명, 여성 27명, 평균연령 36.5세)이 참여하였다.

특정한 음악 청취 상황에서 느끼기 원하는 감정이 특정한 감정가와 에너지 값을 가지는 음악 선택에 영향을 주는지를 파악하기 위해서 스포티파이의 Global Top 50 플레이리스트에 포함된 곡들을 활용하였다. 해당 플레이리스트는 2020년 5월 28일 기준으로 두 번째로 많은 1,500만 명의 팔로어를 보유하고 있다. 가장 많은 팔로어를 가진 플레이리스트인 Today’s Top Hits는 특정 장르(Hiphop, Rap)에 곡들이 편중되어 있기 때문에 대신 Global Top 50를 선정하였다. 해당 플레이리스트에 포함된 곡들이 머물러 있는 날은 평균 64.5일이고, 평균 이상 리스트 상에 머물고 있는 17곡을 대상으로 스포티파이 알고리즘 분류 기준으로서의 에너지(energy)와 감정가(valence) 수치를 분석하였다(표 4).

Valence and energy value (%) of 17 sample songs in Global Top 50 Playlist

이 가운데 그림 5와 같이 감정가와 에너지 수치 상위 5개 곡(2,8,9,13,15: 그룹 A)과 하위 5개 곡(1,3,4,12,14: 그룹 B)을 골라 참가자에게 한 곡씩 들려주고, 각각의 곡들이 주어진 10가지 음악청취 상황과 얼마나 잘 어울리는지, 그 적합도를 5점 척도(매우 부적합 - 어느 정도 부적합 - 보통 - 어느 정도 적합함 - 매우 적합함)로 평가하였다.

Fig. 5.

Group A’s 5 songs and Group B’s 5 songs in valence and energy distribution

5-2 결과 및 분석

그림 6에서 제시한 평가분석 결과 그래프에 나타난 것처럼, 대부분의 곡들이 각각의 상황에서 평균 3점 이상의 점수를 받아 일정 수준 이상의 상황 적합성을 지니는 것으로 평가되었으나 13번 곡(Safaera; A2)의 경우 10가지 음악청취 상황 중 7가지 상황에 적합하지 않은 것으로 분석되었다. 또한 높은 감정가와 각성수준의 음악청취 상황인 ‘운동할 때’의 경우 감정가와 에너지 수치가 높은 그룹 A의 5개 곡 전체 평균 적합도 점수에서 그룹 B에 비해 통계적으로 높은 적합도를 보였고(t=4.413, p=.004), ‘휴식할 때’의 경우는 그룹 A에 비해 상대적으로 낮은 감정가와 각성수준을 보이는 안정감 있는 곡들로 구성된 그룹 B에서 더 적합한 것으로 나타났다(t=4.521, p=.003). 이러한 결과들은 음악청취 상황에 대한 감성공간 포지셔닝과 연관성이 높은 결과를 나타냈다.

Fig. 6.

Distribution of average scores of song fitness by music listening situations

기존 스포티파이 알고리즘의 분류 기준에 근거한 감정가와 에너지 수치에 따라 나뉜 그룹 A와 B 사이의 적합도 점수에서 ‘운전할 때, 대중교통 이용할 때, 단순반복 작업, 아무일도 안할 때, 무언가 기다릴 때, 산책할 때, 퇴근할 때, 출근할 때’ 등에서는 통계적으로 유의미한 차이가 나타나지 않았다(각각 t=0.592, p>.05; t=3.014, p>.05; t=0.915, p>.05; t=3.283, p>.05; t=3.552, p>.05; t=3.175, p>.05; t=2.045, p>.05; t=0.807, p>.05). 이러한 결과는 음악청취 상황별로 곡에 대한 적합도를 판단하기 위해서는 감성차원 이외에도 곡에 대한 음악 장르 특성, 개인적인 음악 취향이나 상황적 배경에 대한 다양한 접근이 필요한 것으로 보인다.


Ⅵ. 결 론

음악 녹음과 반복 재생이 가능해지면서 과거 반세기 동안 음악 감성 인식과 관련한 연구에는 질적으로나 양적으로 많은 발전이 있어왔다. 음악을 통해 청취자가 경험하는 감성은 음악의 감성적 표현에 의해 지각하게 되는 감성(perceived emotion)과 음악으로 인해 유도되는 감성(induced emotion)으로 나눌 수 있다. 이 두 가지 감성은 사용자가 어떠한 사회적 상황 속에서 음악을 청취하는지와 어떤 목적을 가지고 음악을 청취하는지에 따라 영향을 받는다. 본 연구에서는 사용자가 음악을 청취하는 상황에서 느끼는 감성적 목적 또는 지향성이 음악 선택에 있어서 어떠한 영향을 미치는지 평가하여 분석하고자 하였다.

먼저 연구 1단계에서는 일상 활동 가운데 음악 청취와 관련된 상황들을 추출하기 위해 기존 경험 샘플링 분석(Experience Sampling Method)을 참고하여 28가지 상황을 선정하였고, 음악 청취 상황 관련 빈도를 5점 척도로 평가 및 분석하였다. 이 가운데 평균 3점 이상을 획득한 10가지 상황을 음악 청취와 관련성이 높은 상황으로 판단하였다.

2단계에서는 앞서 추출한 10가지 음악청취 상황에서 사용자들이 평소 느끼는 감정 상태와 느끼기 원하는 감정 상태, 즉 감정 상태 변화 추구 특성을 각각 7점 척도로 평가하였다. 평가 결과 10가지 모든 음악청취 상황에서 감정 상태의 변화 추구 특성은 각성수준과 감정가 모두 정적인 증가를 지향하는 것으로 분석되었다. 선호하는 각성수준의 증가 성향이 가장 높은 상황은 출근 또는 등교하는 상황이었고, 증가 성향이 가장 낮은 상황은 운동할 때 그리고 퇴근하는 상황이었다. 긍정적 감정의 증가 성향은 아무 일도 안할 때가 가장 높았고, 산책할 때가 가장 낮게 평가되었다.

마지막으로 3단계에서는 스포티파이 글로벌 탑 50 플레이리스트에 일정 이상 머무르고 있는 10곡을 선별하여 앞서 조사한 10가지 음악청취 상황에 대한 적합도 평가를 수행하였다. 그 결과, 운동할 때와 같은 상황에서 감정가와 에너지 수치가 낮은 그룹 B의 곡들이 낮은 적합도로 상황에 적합하지 않은 것으로 분석되어 스포티파이가 제공하는 감정가와 에너지 수치가 높은 그룹 A와 수치가 상대적으로 낮은 그룹 B 사이에 적합도 점수 상에서 감성공간의 포지셔닝 일관성은 어느 정도 보였으나, 통계적으로 유의미한 차이는 나타나지 않았다. 2단계에서 분석된 각성수준과 감정가의 정적인 증가 성향의 차이가 높은 상황과 낮은 상황 사이에서도 적합도 점수 상 유의미한 차이가 관찰되지 않았다.

이러한 결과를 통해 음악 청취 경향이 높은 상황에서 사용자가 느끼기 원하는 감성차원의 경향성과 실제 스포티파이가 제공하는 곡별 감성차원를 활용해서 상황에 적합한 곡을 선별하여 추천하는데는 보다 밀접한 연결 관계를 확인할 필요가 있음을 알 수 있다. 본 연구 결과를 통해 사용자 음악청취 상황에 따른 감성기반 음악 추천 시스템을 개발하기 위해서는 2차원 감성차원에 더해 추가적인 요인들이 포함된 세부적인 평가 기준이 추후 연구를 통해 확인돼야 할 것이다.

참고문헌

  • C. C. Pratt, Music as the language of emotion, Library of Congress, 1952.
  • Y. E. Kim, E. Schmidt, R. Migneco, B. Morton, P. Richardson, J. Scott, J. Speck, and D. Turnbull, “Music emotion recognition: A state of the art review,” in Proceedings of the 11th International Society for Music Information Retrieval Conference, Utrecht, The Netherlands, pp. 255-266, 2010.
  • W. F. Thompson and L. Quinto, Music and emotion: Psychological considerations, in The aesthetic mind: Philosophy and psychology, eds. E. Schellekens and P. Goldie, Oxford University Press, pp. 357-375, 2014. [https://doi.org/10.1093/acprof:oso/9780199691517.003.0022]
  • J. A. Sloboda, “Music structure and emotional response: Some empirical findings,” Psychology of Music, Vol. 19, No. 2, pp. 110–120, 1991. [https://doi.org/10.1177/0305735691192002]
  • P. N. Juslin and P. Laukka, “Expression, Perception, and Induction of Musical Emotions: A Review and a Questionnaire Study of Everyday Listening,” Journal of New Music Research, Vol. 33, No. 3, pp. 217-238, 2004. [https://doi.org/10.1080/0929821042000317813]
  • K. Bischoff, C. S. Firan, R. Paiu, W. Nejdl, C. Laurier, and M. Sordo, “Music mood and theme classification-a hybrid approach,” in Proceedings of the 10th International Society for Music Information Retrieval Conference, Kobe, Japan, pp. 657-662, 2009.
  • T. Schäfer, P. Sedlmeier, C. Städtler, and D. Huron, “The psychological functions of music listening,” Frontiers in Psychology, Vol. 4, No. 511, pp. 1-33, 2013. [https://doi.org/10.3389/fpsyg.2013.00511]
  • K. Bischoff, C. S. Firan, W. Nejdl, and R. Paiu, “Can all tags be used for search?,” in Proceedings of the 17th ACM conference on Information and knowledge management, Napa Valley, CA, pp. 193-202, 2008. [https://doi.org/10.1145/1458082.1458112]
  • AWS DeepComposer [Internet]. Available: https://aws.amazon.com/ko/deepcomposer/
  • X. Hu and J. S. Downie, “Exploring Mood Metadata: Relationships with Genre, Artist and Usage Metadata,” in Proceedings of the 8th International Society for Music Information Retrieval Conference, Vienna, Austria, pp. 67-72, 2007.
  • I. Siles, A. Segura-Castillo, M. Sancho, and R. Solís-Quesada, “Genres as Social Affect: Cultivating Moods and Emotions through Playlists on Spotify,” Social Media + Society, Vol. 5, No. 2, pp. 1-11, 2019. [https://doi.org/10.1177/2056305119847514]
  • J. A. Russell, “A circumspect model of affect,” Journal of Psychology and Social Psychology, Vol. 39, No. 6, pp. 1161, 1980. [https://doi.org/10.1037/h0077714]
  • K. Hevner, “Experimental studies of the elements of expression in music,” American Journal of Psychology, Vol. 48, No. 2, pp. 246–267, 1936. [https://doi.org/10.2307/1415746]
  • M. Zentner, D. Grandjean, and K. R. Scherer, “Emotions evoked by the sound of music: Characterization, classification, and measurement.” Emotion, Vol. 8, pp. 494, 2008. [https://doi.org/10.1037/1528-3542.8.4.494]
  • Y.-H. Yang and J.-Y. Liu, “Quantitative Study of Music Listening Behavior in a Social and Affective Context,” IEEE Transactions on Multimedia, Vol. 15, No. 6, pp. 1304–1315, 2013. [https://doi.org/10.1109/TMM.2013.2265078]
  • D. M. Greenberg and P. J. Rentfrow, “Music and big data: a new frontier,” Current Opinion in Behavioral Sciences, Vol. 18, pp. 50-56, 2017. [https://doi.org/10.1016/j.cobeha.2017.07.007]
  • Spotify: The Rise of the Contextual Playlist [Internet]. Available:https://blog.chartmetric.io/spotify-the-rise-of-the-contextual-playlist-c6f2c26900f4, .
  • J. A. Sloboda and S. A. O’neill, Emotions in everyday listening to music, in Music and Emotion: Theory and Research, eds. P. N. Juslin and J. A. Sloboda, Oxford University Press, pp. 415-429, 2001.

저자소개

이세환(Se-Hwan Lee)

2005년 : 아주대학교 (교통시스템공학 학사)

2008년 : 서울예술대학교 (실용음악작곡 학사)

2020년 : 서울미디어대학원대학교 (융합미디어전공 석사과정)

2008년~2009년: Iceworks 컨텐츠 파트 사원

2009년~2019년: Munaro 음향팀장

2019년~2020년: 씨앤코스타 음향팀장

2016년~현 재: 서울미디어대학원대학교 융합미디어전공 석사과정

※관심분야: 음악 정보 검색(Music Information Retrieval), 몰입형 사운드(Immersive Sound), 가상현실 사운드 디자인(VR Sound Design) 등

이주환(Ju-Hwan Lee)

2003년 : 연세대학교 대학원 (인지공학석사)

2007년 : 연세대학교 대학원 (인지공학박사-HCI)

2000년~2007년: 연세대학교 인지과학연구소 연구원/전문연구원

2007년~2009년: 영국 옥스퍼드대학교 Crossmodal Research Lab 박사후연구원

2009년~2010년: 성균관대학교 인터랙션사이언스학과 연구교수

2010년~현 재: 서울미디어대학원대학교(SMIT) 뉴미디어학부 융합미디어전공 부교수

※관심분야: 다중감각 사용자 인터페이스(Multisensory User Interfaces), 인간-컴퓨터 상호작용(HCI), 가상 & 증강현실 인터랙션(VR & AR Interaction) 등

Fig. 1.

Fig. 1.
Spotify playlist median follower comparison [17]

Fig. 2.

Fig. 2.
Distribution of music listening frequency by situations

Fig. 3.

Fig. 3.
Music listening situations’ distribution of ‘being’ and ‘to be’ emotions (the numbers in the map are situations of Table 3)

Fig. 4.

Fig. 4.
Emotion change variation in arousal and valence by music listening situations

Fig. 5.

Fig. 5.
Group A’s 5 songs and Group B’s 5 songs in valence and energy distribution

Fig. 6.

Fig. 6.
Distribution of average scores of song fitness by music listening situations

Table 1.

Spotify algorithm classification criteria

Energy 0.0 to 1.0 and represents a perceptual measure of intensity and activity. Typically, energetic tracks feel fast, loud, and noisy. dynamic range, perceived loudness, timbre, onset rate, and general entropy.
Valence Tracks with high valence sound more positive (e.g. happy, cheerful, euphoric), while tracks with low valence sound more negative (e.g. sad, depressed, angry).

Table 2.

Classification by activity through experience sampling analysis [18]

Category Core Exemplars
Time fillers doing nothing, waiting
Personal-being states of being (e.g. sleeping, waking up, being ill, suffering from hangover)
Personal-maintenance washing, getting dressed, cooking, eating at home, housework, shopping
Personal-travelling leaving home, driving, walking, going home
Leisure-music listening to music (N.B. there were no example of performing music)
Leisure-passive watching TV/film, putting on radio, relaxing, reading for pleasure
Leisure-active games, sport, socialising, eating out, chatting with friends
Work-self writing, computing, marking/assessing, reading for study
Work-other planning for meeting, in lecture/seminar, making appointment, in meeting

Table 3.

10 situations where music listening frequency are high

No. Context
1 driving
2 public transit
3 simple repetitive task
4 doing nothing
5 waiting
6 exercising
7 walking
8 going home
9 leaving home
10 resting

Table 4.

Valence and energy value (%) of 17 sample songs in Global Top 50 Playlist

No.  Track Artist Valence Energy
01,B3 Someone You Loved Lewis Capaldi 45 41
02,A5 Circles Post Malone 59 75
03,B5 Dance Monkey Tones And I 51 59
04,B4 ROXANNE Arizona Zervas 46 60
05 Tusa KAROL G, Nicki Manaj 57 72
06 The Box Roddy Ricch 64 59
07 Adore You Harry Styles 57 77
08,A4 Say So Doja Cat 79 67
09,A1 Roses (Imanbek Remix) SAINt JHN, Imanbek 90 72
10 Intentions (feat. Quavo) Justin Bieber, Quavo 85 55
11 Sunday Best Surfaces 65 54
12,B1 Blueberry Faygo Lil Mosey 25 55
13,A2 Safaera Bad Bunny, Jowell & Randy, Nengo Flow 69 83
14,B2 death bed (feat. beabadoobee) Powfu, Beabadoobee 35 43
15,A3 Supalonely BENEE, Gus Dapperton 85 63
16 Blinding Lights The Weeknd 38 80
17 WHATS POPPIN Jack Harlow 79 60