가상공연의 실감음향 구현 및 청각적 관객 실감도 평가: 블랙박스 뮤지컬 공연 환경을 중심으로

Ⅰ. 서 론

공연에 참여하는 관객의 기대를 충족시키기 위해서는 참여 여부를 결정하는 주요 동기에 대해서 이해할 필요가 있다. 이러한 동기들은 크게 ‘공연 경험에 대한 기대, 사회적 이벤트에 대한 참여 욕구, 라이브 공연의 현장성, 비용과 같은 현실적 제약(The experience, Engagement, Novelty, Practical)’로 구분될 수 있다[1]. 공연은 실시간으로 음악 또는 퍼포먼스를 경험하고, 공연자의 역사적 순간에 참여할 수 있는 독특한 일회성 이벤트로, 관객의 ‘경험’ 자체에 대한 기대가 중요한 공연 참여 동기로 작용한다. 공연장에서는 뮤지션과 관객들이 함께 소통할 수 있으며, 유사한 음악 취향을 공유하는 관객들 간의 공동 감상 경험이 형성된다. 이러한 ‘사회적 이벤트에 참여’하는 경험의 가치 또한 관객에게 중요하게 여겨진다. 즉흥적인 연주 등 예측 불가능한 이벤트와 더불어, 공간에서 음악의 울림과 같이 라이브 공연 현장에서만 경험할 수 있는 ‘현장성’ 역시 관객의 참여 여부를 결정하는 중요 동기로 작용한다. 반면 공연 티켓 비용, 공연장과의 물리적 거리, 공연장의 편의성과 같은 ‘현실적 제약’들은 대면 공연 참석 여부를 결정하는 것에 장애 요소로 작용한다.

이처럼 특정된 장소와 시간에서의 직접적 체험을 기반으로 하는 전통적인 방식의 공연 관람 경험에 비해, 디지털 환경에서 제작∙전달되는 가상공연은 미래를 위한 새로운 공연 콘텐츠 전달 방식으로서 주목받고 있다. 공연 참여 동기 관점에서 가상공연은 가상현실 또는 혼합현실 기술과의 결합을 통해 시청각적 효과를 적극적으로 활용함으로써 관객에게 새로운 형태의 ‘경험’을 제공할 수 있는 중요한 수단으로 인식되고 있다. 또한 인터넷 접속만으로 장소에 구애받지 않고 공연에 참여할 수 있는 뛰어난 접근성을 바탕으로, 가상공연은 오프라인 공연 참여 과정의 물리적 거리 및 공연장의 편의성과 같은 다양한 ‘현실적 제약‘을 극복할 수 있는 또 다른 대안으로 주목받고 있다. 실제로 COVID-19의 영향으로 대면 공연 서비스가 거의 불가능해지자 다수의 공연예술 단체와 뮤지션들이 가상공연 또는 실시간 온라인 스트리밍 공연을 대면 공연(이하 오프라인 공연으로 지칭)의 대안으로 삼았다[2].

그러나 2023년 엔데믹 선언 이후 가상공연이 더 이상 오프라인 공연의 유일한 대안으로 기능해야 할 필요가 사라진 지금, 가상공연은 높아진 가상환경 기반 공연의 가능성에 대한 관심을 기반으로 하나의 자립적인 공연 형식으로 진화할 필요가 있다. 이를 위해 가상공연은 기존 오프라인 공연 관객의 주요 기대를 충족시키고, 나아가 관객 경험을 더 다양화하고 고도화할 수 있는 정교한 실감 경험을 제공할 수 있어야 한다.

‘실제로 체험하는 느낌’이라는 실감의 정의에 따라 본 연구에서 ‘가상공연의 실감도’는 관객이 가상공연 경험을 실제와 같이 느끼는 정도로 해석한다. 현재까지 진행된 가상공연의 관객 경험에 대한 연구[3],[4]는 가상공연에도 오프라인 공연과 같이 충분한 관객 간 사회적인 상호작용 경험이 요구되며, 가상공연이 실제 공연장에서 청취할 때 느낄 수 있는 현장성을 충분히 재현하지 못한다는 문제점을 지적하고 있다. 이러한 연구 결과들은 가상공연에서도 오프라인 공연과 유사한 음향 상호반응 기반의 소통을 재현하여 사회적 이벤트 참여 욕구를 충족시킬 필요가 있음을 나타낸다. 또한 음향이 실감화 되지 않을 경우 공연의 현장성을 저하시켜 낮은 실감도를 초래할 수 있음을 시사한다.

본 연구에서는 관객이 경험하는 실감도를 개선하기 위해 가상공연 환경에서 고려되어야 할 청각적 요소를 구분하여 제시하였으며, 제시된 청각적 요소의 추가 여부가 가상공연의 실감도에 유의미한 영향을 미치는지 관객을 대상으로 한 사용자 실험을 통해 평가하고자 한다. 사용자 실험은 블랙박스 공연장의 구조로 모델링 된 가상 뮤지컬 공연 테스트 모델로 진행하였다. 블랙박스 공연장은 비교적 참여하는 관객의 규모가 일정 범위 이내로 제한되고, 관객-관객, 관객-공연자 간의 거리 또한 서로 비교가 용이한 환경적 특성을 갖추고 있기 때문에, 실험 과정에서 통제가 어려운 변수 또는 노이즈 데이터의 영향을 효과적으로 배제할 수 있다. 이를 바탕으로 실험 참가자가 음향을 근거리에서 청취하며 청각적 요소 유무의 차이가 실감도에 미치는 영향을 평가하기에 적합한 실험 환경으로 판단하여 실험을 진행하였다.

본 연구를 통해 향후 실감도 높은 가상공연 콘텐츠를 제작하기 위해 고려해야 할 청각적 요소와, 전달 방식의 효율성을 평가할 수 있을 것으로 기대된다. 나아가 연구 결과를 통해 확인된 실감도에 영향을 미치는 청각적 요소들이 보다 고도화 되어 향후 가상공연 콘텐츠에서 구현될 경우, 관객의 공연 관람 만족도를 의미 있게 개선시키고, 관객 경험을 새로운 가능성으로 확장시킬 수 있을 것으로 기대할 수 있을 것이다.

Ⅱ. 이론적 배경

2-2 가상공연 사례

1) 공연 관객 경험 연구 사례 분석

기존의 가상 음악 공연에 관련된 연구의 상당수는 관객 경험의 만족도를 높이는 방법론에 집중되어 있다. 본 연구에서는 이러한 선행 연구로부터 관객이 공연에서 느끼는 실감에 영향을 미치는 요소들을 파악하고자 하였다. 연구 목적을 고려하여 청각적 요소의 영향을 다룬 연구 사례들을 분석 대상으로 선정했고, 선정된 연구들은 상호작용 관련 연구 결과와 청각적 요소 관련 연구 결과의 두 관점으로 분류하여 분석했다.

사용자의 가상환경 몰입을 유도하기 위해서는 시각 또는 청각 자극을 통한 자연스러운 상호작용의 재현이 필수적이다. 특히 전반적으로 실시간 상호작용이 존재하거나, 실시간 상호작용이 가능할 것처럼 보이는 공연이 그렇지 않은 공연보다 만족도가 높다고 보고되는 점은 주목할 만하다. 예를 들어 VR(virtual reality) 서양 클래식 음악 공연의 전반적인 경험을 탐구한 연구[12]에서 가상공연 참가자들은 라이브 공연에 실제로 참석한 관객들과 비동기적으로라도 함께 존재하는 것이 더 사회적(social)이라고 느꼈으며 긍정적인 기분(mood)이 증가했다고 응답했다. 또한 온라인 공연의 관객 경험 향상 연구[13]에서는 텍스트 채팅 메시지, 이모티콘 표현과 같은 비언어적 리액션을 통한 사회적 상호작용이 온라인 공연 참가자 간의 사회적 연결을 형성하는 데 긍정적인 영향을 미쳤음을 확인했다.

가상환경 내 청각적 요소의 유무가 사용자의 환경에 대한 몰입 또는 실재감에 영향을 미치는지를 다룬 연구 사례로는 사용자의 움직임에서 발생하는 소리의 유무, 사운드스케이프의 유무 영향을 분석한 연구들이 있다[14]. 연구 범위를 가상공연에만 한정할 경우, 오프라인 공연에서 발생하는 소음을 가상공연에서 재현할 때의 영향을 탐구하거나 음향 재생 시스템의 영향을 탐구한 사례도 발견할 수 있다. 이 중 관객 소음이 VR 공연에서 관객의 실재감에 미치는 영향을 탐구한 연구[15]에서는 관객 소음의 유무가 실재감에 유의미한 영향을 미치지 못한 것으로 해석됐다. 그러나 이와 반대로 관객 소음의 존재가 관객에게 긍정적 영향을 미쳤다고 해석한 연구도 존재한다. 가상 락 공연을 관람한 참가자들의 경험 분석을 진행한 연구[16]에서는 참가자들이 구현된 환경의 신뢰성(plausibility)과 감정적 측면에서 밴드의 퍼포먼스보다 가상 관객 디자인에 더 큰 영향을 받았으며, 특정 방향에서 발생한 것처럼 공간화된 소리에 긍정적인 반응을 보였다고 보고하였다. 또한 향후 가상공연 애플리케이션을 개발할 때 밴드 소리와 청중 소리를 구분하여 녹음해야 하고, 관객 소음은 무대가 아니라 관객과 가까운 거리에서 재생되어야 한다고 제안하였다.

이와 같은 연구 사례의 분석을 통해 다음과 같은 결론을 도출할 수 있다. 첫째, 가상공연에서 참가자-참가자 또는 참가자-공연자들 간의 상호작용을 구현하는 것은 참가자의 경험에 긍정적인 영향을 미친다. 둘째, 청각적 요소가 관객이 경험에 미치는 구체적인 영향에 대해서는 추가적인 연구가 필요하다. 관객 소음의 유무가 관객에게 영향을 미치는지에 대한 서로 다른 주장이 존재하고, 이러한 연구들에서 공연의 상호작용을 구현하는 방식도 연구마다 상이하다. 따라서 향후 가상공연 관객 경험 연구에서 청각적 요인이 관객 경험을 향상하는지 파악하기 위해서는 각 연구들에서 제안된 다양한 평가 요인들을 비교, 파악하고 적용되는 평가 방법을 표준화할 필요가 있다.

2) 대중 공연 사례 분석

공연 시장에서 선보이고 있는 가상공연 콘텐츠의 전달 방식 분석을 통해 지금까지의 가상공연이 참여 관객들을 만족시키기 위해 어떤 제작 방향성을 취해왔는지 유추할 수 있다. 본 장에서는 가상공연을 콘텐츠의 가상화 정도에 따라 두 가지 유형으로 구분하고, 각 유형별로 시각 및 청각 자극의 전달 방식에서 나타나는 주요 특징을 분석하였다. 첫 번째 유형은 그림 1과 같은 ‘온라인 스트리밍 공연’으로, 오프라인 공연을 실시간 영상으로 캡처하여 온라인상에 송출하면서 일부 콘텐츠에만 가상 오브젝트를 적용하는 형식이다. 두 번째 유형은 그림 2와 같은 ‘가상화 공연’으로 공연자, 관객, 무대 공간 등 공연을 구성하는 시각적 요소 전반을 가상화하여 전달하는 형식이다.

Fig. 1.

Online streaming concert "Beyond The Future" [17]

Fig. 2.

Virtual concert "Astronomical" [18]

온라인 스트리밍 공연 사례로는 ‘SuperM’의 ‘Beyond The Future’[17](이하 SuperM 공연)과 방탄소년단’의 ‘BTS MAP OF THE SOUL ON:E’[19](이하 방탄소년단 공연)을, 가상화 공연 사례로는 Travis Scott의 ‘Astronomical’[18](이하 Travis 공연)과 Lil Nas X의 'Lil Nas X Concert Experience’[20](이하 Lil Nas X 공연)을 선정하여 분석하였으며, 그 결과 각 유형 간 다음과 같은 시청각 전달 방식의 공통점과 차이점을 확인할 수 있었다.

우선 공통점으로는 온라인 스트리밍 공연, 가상화 공연 모두 오프라인 공연에서 시도할 수 없던 연출로 관객들에게 색다른 경험을 제공하고자 한 것을 확인할 수 있었다. 예를 들어 온라인 스트리밍 공연에서는 AR 기술을 활용하여 가상의 오브젝트를 무대 위에 증강시키는 방식으로 시각적 무대 효과를 연출했다. 가상공연은 공연자 아바타를 관객 아바타보다 훨씬 거대하게 묘사하고 무대 공간은 음악에 따라 변화시키는 등 오프라인 공연과는 색다른 시각적 경험을 제공하고자 했다.

두 유형 간 차이점은 오프라인 공연 경험 재현의 적극성에서 드러난다. 온라인 스트리밍 공연의 경우 관객들에게 오프라인 공연과 차별된 경험을 제공하려는 시도뿐만 아니라, 오프라인 공연과 유사한 경험을 제공하기 위한 시도들도 확인할 수 있었다. SuperM 공연에서는 관중석 위치에 팬라이트를 AR로 연출했고, 방탄소년단 공연에서는 관객의 함성과 같은 음성 반응을 퍼포먼스 중 함께 송출하였다. 또한 두 공연 모두 참여자 간 화상 통화 기능을 제공함으로써 상호작용적 요소를 강화하였다. 이러한 시도들은 오프라인 공연과 유사한 감각적·사회적 경험을 원하는 관객들의 기대를 충족시키기 위한 제작 전략으로 해석될 수 있다.

가상화 공연은 실제 공간에서 공연자의 퍼포먼스를 촬영하여 전달하는 온라인 스트리밍 공연에 비교할 때 가상 오브젝트만을 사용하여 구현되므로 오프라인 공연과 감각적 유사성이 적다. 그뿐만 아니라 온라인 스트리밍 공연에 비하여 참여자 간 상호작용 구현 시도 역시 제한적이라 할 수 있다. 본 연구에서 조사한 가상화 공연 사례들에서 공연자와 관객 간의 상호작용 시도는 Lil Nas X 공연에서 각 곡 사이의 구간에 공연자의 진행 멘트를 관객에게 일방적으로 전달한 사례 외에는 확인되지 않았다. 관객 간 상호작용 측면에서는 두 사례 모두 플랫폼에서 제공하는 기본 보이스챗(voice chat) 기능과 리액션 기능을 사용하였다. 이러한 가상화 공연의 제한적인 상호작용 방식은 대규모의 관객이 동시에 접속하는 환경에서의 기술적 제약을 회피하기 위한 결정일 수 있다. 특히 동시 재생 가능한 음원 채널 수의 한계, 하드웨어 처리 부하 증가, 데이터 송수신 시간 지연 등의 기술적 제약이 상호작용 설계를 단순화하게 만든 주요 요인으로 추측된다.

온라인 스트리밍 공연과 가상공연 사례 비교를 통해 다음과 같은 결론을 도출할 수 있었다. 첫째, 온라인 스트리밍 공연은 오프라인 공연과 차별된 새로운 경험을 제공하려는 시도와 동시에 오프라인 공연과 유사한 감각적·사회적 경험을 재현하고자 하는 방향 모두에서 발전하고 있다. 둘째, 가상화 공연은 온라인 스트리밍 공연에 비해 감각적·사회적 경험의 유사성이 낮을 뿐만 아니라 유사하게 구현하려는 시도 또한 상대적으로 미비한 상황이다. 이는 기술적 구현의 어려움이 원인 중 하나일 가능성이 있다. 셋째, 가상화 공연의 분명한 장점 중 하나가 대규모 관객의 참여가 가능하다는 점임을 고려할 때, 대규모 관객 음성 신호를 처리하는 것은 중요한 연구 주제가 될 수 있다.

그러나 본 연구는 가상공연에서 청각적 요소 재현 여부에 따른 관객 경험의 차이에 초점을 맞추고자 하며, 음향 전송 규모 증가로 인해 발생하는 기술적 문제는 연구 대상에서 제외하였다. 따라서 실험은 소규모 관객이 참여하고, 직접적인 음향 반응이 가능한 근접 청취 환경을 가정한 공연 형태로 범위를 한정하여 진행하였다. 이러한 공연 환경에서는 대규모 환경보다 개별 관객의 경험에 집중할 수 있는 실험 조건을 확보할 수 있다.

Ⅲ. 블랙박스 뮤지컬 공연의 실감음향 디자인

3-1 공연 음향 요소 분류

오프라인 공연에서는 악기 연주나 공연자의 음성 외에도 다양한 구성 요소들로부터 발생하는 음향이 관객에게 전달된다. 공연 기획자 또는 연주자의 의도를 벗어난 영역의 ‘소리’들은 일반적으로 ‘소음’으로 취급받기도 하지만 가상환경 음향 제작의 관점에서는 이러한 소음들 또한 사용자의 청각적 배경을 형성하고 실제 그곳에 있다는 실재감을 형성해 주는 중요한 실감화 요소로 분석되고 있다[23]. 따라서 본 연구에서는 의도된 음향 요소 외의 청각적 요소들도 가상공연 콘텐츠에서 중요한 실재감 형성 요인이라는 연구가설을 설정하기 위해 ‘오프라인 공연 관람 관객들의 관람 동기, 2.1장에서 언급한 실재감을 유발하는 청각적 요인, 2.2장에서 언급한 가상공연 관객 경험 연구 사례와 대중 공연 사례를 참고하여 음향요소들을 포함한 청각적 요소들을 아래와 같이 분류하고 각 요소가 영향을 미칠 수 있는 실감도 측정 지표를 예측하였다. 이하에서 제시되는 각 분류의 개념은 해당 용어의 표준적인 정의가 아닌, 본 연구의 목적과 범위 따라 한정적으로 정의된 개념으로 다루어진다.

Table 1.

Concert auditory factors category

1) 음악

‘음악’의 감상은 그 자체로 관객의 공연을 관람하는 주요 목적이자 동기이다. 따라서 공연 콘텐츠에 필수적으로 포함되어야 하는 음향 요소이다. 음악은 공연자의 라이브 연주에 더불어 MR(music recorded), AR(all recorded) 등과 같이 사전 제작된 음악의 형태로 제공될 수 있다. 일반적으로 공연이 실시간으로 진행될 때 발생하는 즉흥적 변주 요소와 공연장 음향 환경에 따라 달라지는 가변 요소가 라이브 공연 음악을 사전 녹음된 프로덕션 음원과 차별화시켜 관객이 공연을 관람해야 하는 동기로써 작용한다.

2) 사운드스케이프

‘사운드스케이프’는 실제 공연장 공간에서 관객이 인식하는 환경 구성음(청각적 배경)과 공간적 분위기를 담고 있는 배경음으로 정의한다. 사운드스케이프는 공간 자체의 자연적 배경으로 공연자의 의도로 발생하는 음악과 환경 내 오브젝트 간 상호작용에 의해 불규칙적으로 발생하는 음향은 사운드스케이프 범위에 포함되지 않는다. 사운드 스케이프는 관객의 청각적 배경을 형성하고, 인간이 청각적 배경을 청취하는 것은 자신이 환경의 일부인 것과 같이 느끼는 실재감 감각에 중요한 역할을 한다[23]. 이러한 인간 특성에 대한 이해를 바탕으로 효과적으로 디자인된 가상공연 에서는 오프라인 공연과 유사한 사운드스케이프 제공을 통해 실제 공연장에 있다는 느낌(physical presence=being there) 형성의 강화를 기대할 수 있다. 또한 가상환경에서 재현된 사운드스케이프가 실제 청취 환경에서 발생하는 소음을 마스킹하여 가상 환경에 주의를 집중하도록 만드는 것(involvement) 또한 기대할 수 있다.

3) 음향효과

음향효과는 환경을 구성하는 오브젝트 간 상호작용에 의해 발생하는 소리로 정의한다. 예를 들어 환경을 구성하는 각종 사물이 참여자와 상호작용하여 발생하는 소리, 비음악적인 이유로 배우의 행동에 의해 발생하는 소리, 관객의 행동에 의해 발생하는 소리, 환경 오브젝트, 배우, 관객이 상호작용하며 발생하는 소리는 음향효과로 분류한다. 음향효과는 관객이 공연을 관람하는 동기와 직접적인 관련이 없지만, 관객이 대상을 실제로 존재하는 것으로 인식하도록 유도할 수 있으며, 현실적인 환경을 조성하는 데 기여한다. 특히 공연장에서 관객 자신의 행동에 의해 발생하는 소리는 환경 내 자기 존재에 대한 인식을 돕는 요소로써 자기 실재감을 상승시킬 수 있을 것으로 예상할 수 있다.

4) 공연자 음성

연기, 노래, 대사의 형태로 전달되는 공연자의 음성은 음악과 마찬가지로 공연 콘텐츠를 구성하는 필수적인 요소이다. 공연자 음성의 특성은 앞서 언급한 음악과 유사하여 동일한 범주로 분류할 수도 있지만 관객이 느끼는 음상의 위치 측면에서 음악적으로 믹싱 되어 전달되는 음악과는 결정적인 차이가 있다. 음악적 이미지에 따라 배치되고 믹싱 되는 음악과는 달리 소리를 발생시키고 있는 대상이 관객의 눈에 분명하게 인식이 되어 음상을 일치시킬 필요가 있다는 점이다. 공연자와 관객의 거리가 가까운 중소규모 공연장에서는 시각적으로 느껴지는 이미지의 위치와 청각적 음상이 일치하지 않을 경우 청각적 구현의 정확도가 저하되어 관객의 물리적 실재감이 감소할 수 있다.

5) 관객 음성

관객 음성은 공연 관람 중 관객 자신이 발생시키는 음향 반응, 함께 공연을 관람하는 다른 관객들로부터 발생되는 음향 반응으로 정의한다. 관객이 다른 관객과의 음성을 통한 소통이 가능하거나, 그렇지 않더라도 다른 관객의 음성을 들을 수 있는 환경은 다른 관객과 감정을 공유하며 공연에 참여하고 있다는 느낌, 즉 사회적 실재감을 강화하는 데 기여할 수 있을 것이다.

6) 음향 환경 특성

공간의 크기와 구조적 특성을 통해 결정되는 잔향 특성(impulse response)과 벽 표면 마감재에 의한 흡음 특성과 같이 공간의 물리적 특성은 공간 특유의 음향적 공간 인상(room impression)을 결정하며, ‘실제로 공연장에 있다는 느낌 (being there)’을 좌우하는 중요한 청각적 요소로 작용할 수 있다. 오프라인 공연에서 음향환경은 공연 장소에 따라 결정되어 변하지 않는 환경 상수로, 관객이 음향 요소를 지각하는 과정에서 중요한 요소로 작용한다. 가상환경에서도 시각적으로 재현된 공연장의 공간적 특성과 잘 부합되는 음향 환경이 재현될 경우, 관객이 ‘실제로 공연 장소에 있다’고 느껴 물리적 실재감이 증가하는 것을 기대할 수 있다.

3-4 가상공연 테스트 모델 제작

제시된 연구 가설의 검증을 위해 음향요소의 추가 여부와 잔향 효과 처리 여부 조건을 설정할 수 있는 블랙박스 공연장 기반 뮤지컬 형태의 가상공연 테스트 모델을 디자인하였다. 이 모델은 관객 역할을 수행하는 사용자 대상 설문을 통해 실감도 요인별 평가 점수를 수집하는 데 활용된다. 가설은 소프트웨어적 요소에 의한 실감도 차이를 고려하므로 하드웨어는 모든 실험 조건에서 동일한 통제 변수로 설정된다. 구체적으로는 HMD의 기본 음향 장치를 사용했다.

테스트 모델 제작에는 시각적 가상환경 자체의 개발을 위해 게임 개발 엔진으로 언리얼엔진 5.3을 사용하였으며, 실감음향을 구현하기 위한 사운드 플러그인 디자인 툴로 Wwise를 사용했다. 테스트 모델의 전제조건은 HMD을 사용하고, 비실시간성 공연 콘텐츠에서, 관객이 1인칭 시점과 자유 이동이 가능한 환경이다. 관객은 1인칭 시점으로 고정된 위치 없이 자유롭게 공간 내에서 이동할 수 있어, 상대방 관객 음원의 위치 관계를 파악할 수 있다. 사용자를 제외한 관객은 NPC이고, 실제 사용자와 유사하게 느끼도록 정지된 위치에서 자연스럽게 움직이는 애니메이션을 적용했다. NPC의 말과 행동은 사용자의 움직임이나 행동에 의해 변화하거나 반응하지는 않는다. 공연장 공간은 소규모의 공간으로 무대 중앙에 배우가 주로 움직이는 무대 공간이 있고 그 외의 공간에서 무대 중앙 세트를 중심으로 14명의 관객이 둘러싸도록 구성했다. 테스트 모델의 공간 다이어그램은 그림 3에 제시되어 있다.

Fig. 3.

Diagram of the black box virtual concert test model

청각적 요소를 추가하지 않는 대조군 조건에서 기본적으로 적용될 소리는 공연 콘텐츠의 필수 요소인 음악과 공연자 음성이다. 기본적으로 포함되는 소리 외 실험 조건에 따라 추가 여부가 결정되는 공연 음향 요소는 총 세 종류로 사운드스케이프, 음향효과, 다른 관객 음성(이하 타 관객 음성)이다. 잔향 효과의 처리는 가설 H2의 실험군 조건일 때만 적용하였다. 가설 H2의 대조군과 실험군에서는 모든 음향 요소가 적용되고, 잔향 효과의 처리 여부만 서로 다르게 적용하였다.

각 청각적 요소별 구체적인 콘텐츠는 표 2에 기술하였다. 음원의 실시간성에 의한 변수를 배제하기 위해 가상공연 테스트 모델에서 공연자 콘텐츠는 실시간 스트리밍 되는 음원이 아닌, 프로덕션이 완료된 것을 사용했다. 또한 타 관객의 음성은 녹음된 리액션 반응과 예상되는 반응 음성을 활용했다. 그 외 음향 요소 중 사운드스케이프는 소규모의 사람들이 존재하는 실내 공간을 표현하는 소리를, 음향효과는 관객 자신이 발생시키는 소리로서 이동 시 재생되는 발걸음 소리만을 사용했다. 또한 잔향 효과는 Wwise에서 제공하는 리버브 프리셋 중 ‘Room_Large’(Early Reflection pattern=Large Room, Room size=15, Pre-delay=35ms, Decay time=1.8s, Diffusion=46%)를 사용했다. 음상 정위는 3.2에서 제안한 기준에 따라 적용되었다. ‘음악’, ’사운드스케이프’는 음상을 정위 하지 않았으며, ‘공연자 음성’, ‘타 관객 음성’은 각각의 아바타 위치에 음상을 구현하여 좌우 패닝과 리스너와의 거리에 따른 선형 감쇄 효과를 적용했다. ‘음향효과’의 경우 개발한 테스트 모델에서는 플레이어 자신의 발걸음 소리만 재생하고 그 소리는 리스너인 플레이어 위치에서 발생하기 때문에 감쇄 효과와 패닝은 적용되지 않았다.

Table 2.

Contents for each auditory factors of virtual concert test model

제작한 공연 테스트 모델은 사용자가 가상환경 내에서 UI 버튼을 눌러 각 청각적 요소 추가 여부를 결정한 뒤 Play 버튼을 누르면 공연 음악의 시작 전 대기 시간 n초와 음악의 도입부를 재생한다. 실험 조건을 설정하는 UI는 그림 3에 제시되어 있다. 공연 전체를 재생하지 않고 음악 도입부까지만 재생하는 이유는 유무에 따른 영향을 평가하고자 하는 음향 요소들이 일반적인 뮤지컬 환경에서 대기 시간에만 주로 발생하는 점을 고려하고, 공연 감상 후 설문 문항을 작성할 때 실험 참가자들이 도입부의 경험을 기억한 상태에서 응답할 수 있게 하기 위함이다. 음향 추가 조건을 설정하지 않은 대조군 공연은 음악과 공연자 음성만이 적용되고 실험군 공연은 가설에 따라 음향 요소를 추가하거나 제외한 조건으로 구성된다. 각 콘텐츠 상태별 적용되는 청각적 요소를 표 3에 기술하였으며, 음악과 공연자 음성을 제외한 청각적 요소들의 추가 여부는 실험 조건에 따라 결정된다.

Table 3.

Auditory factors to play for each condition

Fig. 4.

Black box virtual concert test model

Ⅳ. 공연 실감도 평가

4-1 평가 방법

1) 실험 조건

H1의 각 가설의 독립변인은 공연 음향 요소인 사운드스케이프의 유무, 음향효과의 유무, 타 관객 음성의 유무, 잔향 효과 처리의 유무이다. 그러나 각각의 음향 요소들 사이의 상호작용 효과는 연구 대상이 아니기 때문에 독립변인을 크게 묶어 2가지로 간추려 재설정하였다. 실험의 독립변인은 4 수준(모든 음향 요소 없음, 음향효과 있음, 사운드스케이프 있음, 타 관객 음성 있음)으로 이루어진 ‘환경구성 음향 요소’, 2 수준(잔향 효과 처리 있음, 잔향 효과 처리 없음)으로 이루어진 ‘잔향 효과 처리 여부’로 각 조건별 청각적 요소 추가 여부는 표 4와 같다. 각 가설을 검증하기 위해 필요한 실험 조건은 총 6가지이며, 대가설로 구분할 때 음향 요소 유무에 따른 조건 4가지와 잔향 효과 처리의 유무에 따른 조건 2가지로 구성되어 있다.

Table 4.

Auditory factors applied in each experimental condition

2) 실험 도구

실험에는 3.4장에서 제작한 공연 콘텐츠를 사용하며, HMD인 메타퀘스트 3(Metaquest 3)를 사용했다. 음향 재생 장치는 추가적인 스피커 또는 이어폰 없이 메타퀘스트 3의 기본 내장 스피커를 통해 재생하여 전달되었다.

3) 설문 문항

PQ 등 일반적으로 사용되는 실재감 측정 설문지에는 오디오 관련 질문이 거의 포함되어 있지 않기 때문에 몰입형 경험을 위한 오디오별 측정 도구를 개발하려는 시도가 다양한 문헌 내에서 이루어져 왔다[5]. 본 연구에서는 실재감 요인인 물리적 실재감, 사회적 실재감, 자기 실재감, 주의집중을 측정하기 위해 기존 요인별 영문 설문문항들을 참조하였고, 국내 문헌에서 이를 번역하여 사용한 사례가 존재할 경우 이를 참조하였다. 그리고 각 문항은 평가 항목인 가상공연 맥락에 맞도록 문항 표현을 조정하였다. 각 설문문항은 7점 리커트 척도를 사용하여 측정되었으며, 구체적인 문항 내용과 참조한 기존 설문지의 명칭은 표 5에 정리하였다.

Table 5.

Survey items and referenced questionnaire for dependent variables

4) 연구 대상과 연구 설계

본 연구의 네 가지 가설의 검증을 위해서 실험 참가자들은 시력 장애와 청력 장애가 없는 한양대학교에 재학 중인 학생 24명(남학생=11, 여학생=13)을 모집했다. 참가자의 연령대는 전원 20대이며, 실험 참가 전에 HMD 기기를 착용한 VR을 경험해 본 참가자는 19명, 경험해보지 않는 참가자는 5명이었다. 실험에 참여한 모든 참가자들은 가설 검증을 위해 각각의 실험 조건에 의해 디자인된 음향 환경들을 전부 경험한다. 이러한 피험자 내 설계를 통해 개인차에 의한 실험 결과의 변산성을 최소화하고자 하였다. 이때, 각 가설별 조건 내에서 순서효과를 방지하기 위하여 H1의 각 조건(None, Soundscape, SoundFX, Audience) 내에서 무작위로 제시-H2의 각 조건(Spatialized Off, Spatialized On) 내에서 무작위로 제시가 되었다.

5) 실험 과정과 가설 검정 방법

먼저 실험 참가자들에게 문항을 작성할 때 시각적 요소를 고려하지 않도록 본 실험이 청각적 요소 유무가 실감도 인식에 미치는 영향을 측정하는 실험임을 사전 고지하였다. 다음으로 음향 요소 여부에 따른 조건인 None, Soundscape, SoundFX, Audience 조건들을 무작위 순서로 제시했다. 참가자는 한 조건으로 공연을 감상한 후 설문문항을 작성하는 과정을 음향요소 실험 조건 개수에 맞추어 총 4번 반복했다. 이때, 설문문항은 표 5에 제시된 설문문항 중 각 조건별로 가설 검증을 위해 측정해야 하는 종속변인에 대응되는 설문문항을 사용했다. 음향 요소 조건을 모두 경험한 후에는 잔향 효과 처리 여부에 따른 조건인 Spatialized Off, Spatialized On을 무작위로 순서로 제시했다. 이 조건들에서 참가자들은 표 5의 설문문항 중 물리적 실재감과 관련된 문항만으로 구성된 설문지를 작성했다. 설문 문항 응답을 완료한 후, 참가자들에게 자유 문항을 통해 몰입에 영향을 미쳤단고 판단되는 요인에 대하여 작성하도록 요청 했다. 설문조사 결과 수집된 실재감 요인별 응답 데이터를 바탕으로 각 요인에 대한 평균 점수를 산출하고 가설별 실험군과 대조군의 평균 차이를 Paired T-Test를 통해 분석하였다. 가설별 실험군과 대조군은 표 6과 같다. 통계 분석에는 R 소프트웨어를 사용하였으며, p<.05 를 유의한 수준으로 설정하였다.

Table 6.

Hypothesis-based experimental and control group design

4-2 사용자 평가 결과

1) 음향요소

• 사운드스케이프의 유무에 따른 물리적 실재감과 주의집중

Fig. 5.

Box plots of physical presence and involvement measurement in ‘None’ and ‘Soundscape’

실험 참가자가 인지한 물리적 실재감 측정 결과의 평균값은 None 조건에서 2.76(sd=1.35)이고 Soundscape 조건에서 4.54(sd=1.12)이다. 대응 표본 T 검정 결과 p<.001로 이러한 차이는 유의미하다. 즉 관객들이 사운드스케이프가 추가된 가상공연에서 그렇지 않은 가상공연보다 더 높은 물리적 실재감을 느끼는 것으로 나타났다. 그러나 주의집중은 None 조건에서 평균 3.89(sd=1.02)이고 Soundscape 조건에서 2.54(sd=1.16)로 오히려 사운드스케이프가 존재할 때 더 낮았으며 p=0.55로 결과의 유의성도 낮게 나타났다.

• 음향효과 유무에 따른 자기 실재감

Fig. 6.

Box plots of self presence measurement in ‘None’ and ‘SoundFX’

실험 참가자가 인지한 자기 실재감은 None 조건에서 평균값이 3.52(sd=1.44)이고 SoundFX 조건에서 5.00(sd=1.81)이다. 대응표본 T 검정 결과 p=0.003로 이러한 차이는 유의미한 것으로 나타났다. 그러므로 관객들은 음향효과가 추가된 가상공연에서 그렇지 않은 가상공연보다 더 높은 자기 실재감을 느낀다고 해석할 수 있다.

• 타 관객음성 유무에 따른 사회적 실재감

Fig. 7.

Box plots of social presence measurement in ‘None’ and ‘Audience’

실험 참가자가 인지한 사회적 실재감은 None 조건에서 평균 2.61(sd=1.10)이고 Audience 조건에서 평균 4.54(sd=1.27)이다. 대응 표본 T 검정 결과 p<.001로 이러한 차이는 유의미한 것으로 나타났다. 따라서 가상공연에서 관객들이 느끼는 사회적 실재감은 타 관객 음성이 추가되면 더 높아진다고 해석할 수 있다.

2) 잔향 효과 처리

실험참가자가 인지한 물리적 실재감은 Spatialized Off 조건에서 4.72(sd=0.97)이고 Spatialized On 조건에서 5.89(sd=0.88)이다. 대응 표본 T 검정 결과 p<.001로 이러한 차이는 유의미한 것으로 보았다. 즉 가상공연에서 관객들은 음향에 잔향 효과 처리가 되었을 때 더 높은 물리적 실재감을 느낀다고 해석할 수 있다.

Fig. 8.

Box plots of physical presence measurement in ‘Spatialized Off’ and ‘Spatialized On’

• 결과 분석 및 시사점

결과적으로 사용자 평가 분석 결과를 통해 H1-1을 제외한 모든 가설이 지지되고 있음을 확인할 수 있었다. 사운드스케이프에 관한 가설(H1-1) 중 물리적 실재감 점수는 실험군과 대조군 사이에서 유의미한 차이가 발생하여 가설의 일부는 지지되고 있으나, 주의집중 점수 차이가 발생하지 않았으며, 오히려 실험군이 대조군보다 낮은 점수를 나타내었다. 이러한 결과는 설문 문항의 내용 및 실험 환경의 특성에 기인한 것으로 해석된다.

주의집중을 측정하기 위해 사용된 설문문항은 PQ의 문항을 국문으로 번역하고 가상공연의 청각 맥락에 맞추어 조정한 7번 문항 “가상공간의 귀로 들리는 음향적 환경 요소들이 가상환경에 주의를 집중하게 했다.”와 8번 문항 “가상환경 외부의 요소(예:소음)들이 가상환경 경험을 방해했다.”가 해당된다. 실험 종료 후 실시한 후속 인터뷰를 통해 각 설문 문항에 대한 이해도와 표현의 적절성을 검토한 결과, 일부 참가자들은 문항 8에서 의도한 ‘가상환경 외부의 요소’를 실제 환경의 소음으로 인식하기보다는, 가상환경 내에서 발생한 음향효과로 이해했다고 보고했다. 이는 문장 표현이 문항 해석에 혼란을 야기했을 가능성을 시사한다.

또한, 실험이 수행된 실험실 환경이 8번 문항에서 전제한 ‘몰입을 방해할 수 있는 소음이 존재하는 환경’과 달리 실제로는 참가자들이 소음을 인지할 수 없을 만큼 조용한 상태였다는 점도 주목할 필요가 있다. 실험 당시의 소음 수준은 40dB 이하로 유지되어, 일반적으로 ‘조용한 환경’으로 분류되는 조건이었다[28]. 참가자들은 실제 공간에서 발생하는 소음을 거의 인식하지 못했으며, 그로 인해 문항 7과 8을 통해 측정하고자 했던 사운드스케이프의 소음 마스킹 효과는 제대로 반영되지 못했을 가능성이 높다.

• 자유문항 응답 분석 및 시사점

자유문항에서는 관객의 가상공연 몰입과 관련된 몇 가지 요소가 도출되었다. 몰입을 저해한 주요 요인 중 하나는 일부 음향 요소의 음량 조절 문제였다. 한 실험 참가자는 ‘배우의 대사 소리가 너무 작아 배경음에 묻혀 공연 자체보단 배경음에 조금 더 집중하게 되는 느낌을 받았다’고 응답했으며, 일부 참가자는 관객 소음 중 ‘특정 관객 소리가 음량이 커서 튀었다’고 응답했다. 그리고 ‘관객 소음이 음상에 가까이 다가갔을 때 음량 변화가 없어 몰입이 떨어졌다’는 응답은 실험에 적용된 감쇄 효과가 현실과 유사성을 충분히 반영하지 못했을 가능성을 나타낸다. 이러한 응답결과는 부적절한 음량 조절에 의한 몰입 저해를 개선하기 위해서는 관객이 선호하는 음향 요소가 다른 소리에 의해 마스킹되지 않도록 음압의 다이나믹 레인지를 충분히 확보해야 함을 시사한다. 음압의 다이나믹 레인지 확보는 고음압 요소와 저음압 요소 간의 명확한 분리뿐 아니라, 시각 모달과 일치하는 적합성을 확보하기 위한 세밀한 조정 능력을 확보하는 데 필수적이다.

한편, 일부 참가자들은 ‘Spatialized On’ 조건이 가장 현실과 유사하게 느껴졌음을 보고하였다. 그 이유로는 ‘모든 음향 요소가 통합된 환경이 몰입감을 높였다’는 의견과 ‘잔향 효과 자체가 가상환경 몰입에 가장 도움이 되었다’는 의견이 제시되었다. 이러한 응답은 몰입감 향상을 위해서 다양한 청각적 요소를 재현하여 풍부한 음향 환경을 조성하는 것이 중요함을 시사하며, 정량적 평가 결과 분석에서 직접적으로 검증되지 않았던 잔향 효과의 중요성을 강조하는 실질적인 피드백으로 해석될 수 있다.

Ⅴ. 결 론

가상공연 관객이 경험하는 실감도의 개선은 공연장에서 연주되는 음악으로부터 현장감을 느끼고, 다른 관객과 함께하는 감각을 느끼고자 하는 관객의 본질적인 공연 참여동기를 충족시키기 위해 고려되어야 하는 핵심 연구 주제이다. 본 연구에서는 가상공연의 청각적 실감도 개선을 목표로 공연 환경에서 발생하는 다양한 음향 요소를 분류하고, 각 음향 요소별 실감화 방법을 논의했다. 특히 음악 외의 부차적인 음향 요소들도 실재감에 유의미한 영향을 미칠 수 있다는 가정 하에, 청각적 요소별로 연구 가설을 설정하고, 이를 검증하기 위한 관객 대상 사용자 평가를 실시했다. 사용자 평가를 위해 블랙박스 공연장을 모델로 한 가상공연 테스트 환경을 구현하고, 관객 사용자를 대상으로 실험을 수행하였다. 사용자 평가 결과, 사운드스케이프가 추가된 환경에서는 물리적 실재감이 유의미하게 증가하였고, 음향효과가 추가된 환경에서는 자기 실재감이 향상되었으며, 타 관객 음성이 포함된 환경에서는 사회적 실재감이 유의하게 증가하는 것으로 나타났다. 또한 잔향 효과를 적용할 경우 물리적 실재감의 유의미한 향상이 확인되었다.

이와 같은 결과는 시각적 요소뿐 아니라 청각적 요소 역시 가상공연의 실재감 향상에 기여할 수 있음을 시사한다. 특히, 본 연구에서 분류한 음향 요소들이 물리적 실재감, 자기 실재감, 사회적 실재감 등 서로 다른 차원의 실재감에 각각 상이한 영향을 미침을 확인하였다. 따라서 향후 가상공연 제작 시, 단순히 공연자의 음악이나 음성뿐 아니라 사운드스케이프, 음향효과, 관객 음성 등 비의도적 혹은 소음으로 간주될 수 있는 요소들까지도 고려하여 재현할 필요가 있다.

자유응답 분석 결과에서는 음향 요소의 음량 조절이 가상공연의 몰입도에 영향을 미치는 것으로 나타나, 충분한 음압 다이나믹 레인지 확보의 필요성이 제기되었다. 또한 ‘Spatialized On’ 조건이 가장 현실과 유사하게 느껴졌다는 일부참가자의 응답은, 풍부한 음향 환경 조성의 중요성과 함께 잔향 효과가 가상환경 몰입에 기여하는 핵심 요소임을 시사한다.

다만, 본 연구의 실험 참가자는 모두 한양대학교 재학생으로 구성되었으며, 연령대는 20대에 국한되었다. 따라서 연구 결과는 해당 연령대에 국한된 특성을 반영하고 있을 가능성이 있으며, 보다 다양한 연령층을 포함한 후속 연구가 요구된다. 또한, 본 실험에서 적용된 음향효과는 참가자의 아바타에서 발생하는 ‘발소리(footstep sound)’로 제한되었기에, 다양한 음향효과가 자기 실재감에 미치는 영향을 포괄적으로 분석하지는 못하였다. 공연 환경에서는 발소리 외에도 오브젝트 충돌, 파티클 효과 등 다양한 형태의 음향효과가 존재하며, 이들의 실재감에 대한 기여도 역시 향후 연구에서 추가적으로 다루어질 필요가 있다. 주의집중 측면에서는, 사운드스케이프의 유무에 따른 유의미한 차이를 확인하지 못하였다. 이는 설문문항의 해석 적합성, 그리고 실험 환경의 소음 수준이 낮았던 점에 기인했을 가능성이 있다. 추후 연구에서는 사운드스케이프 유무에 따른 주의집중 차이를 측정하고자 할 때는 실험실 환경 또는 현장에서 발생하는 소음 레벨이 인식 가능한 수준(예: 40dB 이상의 음압)으로 통제되는 상태에서 실험을 진행할 필요가 있다.

본 연구에서 실재감에 영향을 미칠 것으로 예측하였으나 실험을 통해 검증되지 못한 요소에 대해서도 후속 연구가 필요하다. 음상 정위는 실재감에 유의한 영향을 미칠 것으로 예상되지만, 본 연구에서는 복잡도 문제로 연구 가설에 포함하지 않았다. 따라서 후속 연구에서는 음상 정위 유무 이외의 변인을 통제한 실험을 통해 음상 정위가 음향적 실감도 개선에 미치는 영향에 대한 별도의 분석이 필요하다고 할 수 있다. 또한 본 연구에서는 음향효과 중 발소리를 대상으로 실재감에 미치는 영향을 분석하였으나, 향후 연구에서는 다른 유형의 음향효과가 자기 실재감에 미치는 영향에 대한 체계적인 분석이 수행되어야 할 것이다.

실험 결과 중 사운드스케이프의 주의집중 영향에 대한 측정 결과는 연구 가설을 지지하지 않았다. 이는 주의집중을 측정하기 위해 사용된 설문 문항이 소음 레벨이 엄격히 통제되지 않은 실험실 환경에서는 적절하게 작동하지 않았을 가능성이 있다. 따라서 향후 연구에서는 실험 환경의 소음 레벨을 정밀하게 통제하고, 설문 문항의 표현을 수정하여 재실험을 실시할 예정이다.

마지막으로, 본 연구는 소규모 관객과 소규모 공간의 특성을 지닌 블랙박스 공연장을 대상으로 한정되어 있으므로, 이후 연구에서는 대규모 공연장과 다양한 관객 구성을 반영한 모델로 확장할 예정이다. 관객과 음원 사이 물리적 거리가 증가할수록 멀리 존재하는 음원의 음량이 감소하여 인식하기 어려워지고, 심리적 거리감 또한 커짐에 따라 음향 재현 효율이 감소할 가능성이 있다. 따라서 관객 간 거리와 음원 위치에 따른 음향 재현 방식 차이에 대한 연구가 필요하며, 이를 통해 더 현실감 있는 가상공연 환경 구현에 기여할 수 있을 것이다.

Acknowledgments

본 연구는 문화체육관광부 및 한국콘텐츠진흥원의 2023년도 문화기술 연구개발사업으로 수행되었습니다. (과제명: 사용자 반응에 따른 실시간 적응형 공연·전시 기술개발과 메타버스 실증프로젝트를 통한 차세대 문화기술(CT) 융복합 전문 인재 양성, 과제번호: RS-2023-00224524, 기여율: 100%)

References

• S. C. Brown and D. Knox, “Why Go to Pop Concerts? The Motivations behind Live Music Attendance,” Musicae Scientiae, Vol. 21, No 3, pp. 233-249, May 2016. [https://doi.org/10.1177/1029864916650719]
• N. N. Afifah, R. Milyartini, and Y. Sukmayadi, “Digital Platform for Virtual Music Concerts,” in Proceedings of the 4th International Conference on Arts and Design Education (ICADE 2021), Atlantis Press, pp. 219-224, 2022. [https://doi.org/10.2991/assehr.k.220601.048]
• L. Bouckaert, Virtual Reality as New Concert Space, Ph.D. Dissertation, Universiteit Gent, Belgium, 2021.
• J. P. Charron, “Music Audiences 3.0: Concert-Goers’ Psychological Motivations at the Dawn of Virtual Reality,” Frontiers in Psychology, Vol. 8, 800, May 2017. [https://doi.org/10.3389/fpsyg.2017.00800]
• J. Hedges, R. Sazdov, and A. Johnston, “Measuring the Influence of Audio on Immersive Experience in Extended Reality and Digital Games: A Systematic Review,” in Proceedings of 2023 Immersive and 3D Audio: from Architecture to Automotive (I3DA), Bologna, Italy, pp. 1-13, September 2023. [https://doi.org/10.1109/i3da57090.2023.10289267]
• B. G. Witmer and M. J. Singer, “Measuring Presence in Virtual Environments: A Presence Questionnaire,” Presence, Vol. 7, No. 3, pp. 225-240, June 1998. [https://doi.org/10.1162/105474698565686]
• F. Biocca, “The Cyborg’s Dilemma: Progressive Embodiment in Virtual Environments,” Journal of Computer-Mediated Communication, Vol. 3, No. 2, JCMC324, September 1997. [https://doi.org/10.1111/j.1083-6101.1997.tb00070.x]
• R. Nordahl and N. C. Nilsson, “The Sound of Being there: Presence and Interactive Audio in Immersive Virtual Reality,” in The Oxford Handbook of Interactive Audio, Oxford, UK: Oxford University Press, pp. 213-233, July 2014. [https://doi.org/10.1093/oxfordhb/9780199797226.013.013]
• C. Hendrix and W. Barfield, “The Sense of Presence within Auditory Virtual Environments,” Presence: Teleoperators & Virtual Environments, Vol. 5, No. 3, pp. 290-301, August 1996. [https://doi.org/10.1162/pres.1996.5.3.290]
• L. Portolese Dias and R. Trumpy, “Online Instructor’s Use of Audio Feedback to Increase Social Presence and Student Satisfaction,” Journal of Educators Online, Vol. 11, No. 2, May 2014. [https://doi.org/10.9743/jeo.2014.2.5]
• R. Nordahl, “Self-Induced Footsteps Sounds in Virtual Reality: Latency, Recognition, Quality and Presence,” in Proceedings of the 8th Annual International Workshop on Presence, PRESENCE 2005, Conference, London: UK, pp. 353-355, September 2005. https://vbn.aau.dk/da/publications/self-induced-footsteps-sounds-in-virtual-reality-latency-recognit
• K. O’Neill, Intra-Audience Effect: A Quantitative Exploration of the Predictors and Outcomes of the Social Experience of Live and Digital Concerts, Ph.D. Dissertation, University of York, York, UK, November 2022.
• C. Meng, Measuring and Improving Audience Experience in Online Electro-Acoustic Concerts Through Interaction Design, Ph.D. Dissertation, Indiana University Indianapolis, Indianapolis, IN, August 2024.
• A. C. Kern and W. Ellermeier, “Audio in VR: Effects of a Soundscape and Movement-Triggered Step Sounds on Presence,” Frontiers in Robotics and AI, Vol. 7, February 2020. [https://doi.org/10.3389/frobt.2020.00020]
• R. B. Lind, V. Milesen, D. M. Smed, S. P. Vinkel, F. Grani, N. C. Nilsson, ... and S. Serafin, “Sound Design in Virtual Reality Concert Experiences Using a Wave Field Synthesis Approach,” in Proceedigns of 2017 IEEE Virtual Reality (VR), Los Angeles: CA, pp. 363-364, March 2017. [https://doi.org/10.1109/vr.2017.7892327]
• M. Slater, C. Cabriera, G. Senel, D. Banakou, A. Beacco, R. Oliva, and J. Gallego, “The Sentiment of a Virtual Rock Concert,” Virtual Reality, Vol. 27, No. 2, pp. 651-675, June 2023. [https://doi.org/10.1007/s10055-022-00685-9]
• Yonhapnews. SuperM Who Met 75,000 People Online...“First Online Customized Concert” [Internet]. Available: https://www.yna.co.kr/view/AKR20200426054200005, .
• Forbes Media. A Staggering Number of People Saw Fortnite’s Travis Scott ‘Astronomical’ Event [Internet]. Available: https://www.forbes.com/sites/davidthier/2020/04/28/a-staggering-number-of-people-saw-fortnites-travis-scott-astronomical-event/, .
• Chosun Media. [Official] BTS Online Concert ‘BTS MAP OF THE SOUL ON:E’ Viewed 993,000 People in 191 Regions around the World [Internet]. Available: https://www.chosun.com/entertainments/entertain_photo/2020/10/12/rjliguymgpklajt4c5qozl7o7u/, .
• BBC. Lil Nas X Performs his First Virtual Concert on Roblox [Internet]. Available: https://www.bbc.co.uk/newsround/54951670, .
• Aueitorium. The Era of Black Box Theater is Coming [Internet]. Available: http://auditorium.kr/2022/08/블랙박스-극장의-시대가-온다/, .
• C.-Y. Lee, D.-B. Kim, and J.-H. Ju, “Study on Utilization of Black Box Theater in Metaverse Performances - Focusing on Case of Research and Development of Prototype of Metaverse Musical <RE:MEMBER>,” The Journal of the Convergence on Culture Technology, Vol. 10, No. 6, pp. 403-409, November 2024. [https://doi.org/10.17703/JCCT.2024.10.6.403]
• C. D. Murray, P. Arnold, and B. Thornton, “Presence Accompanying Induced Hearing Loss: Implications for Immersive Virtual Environments,” Presence: Teleoperators and Virtual Environments, Vol. 9, No. 2, pp. 137-148, April 2000. [https://doi.org/10.1162/105474600566682]
• S.-Y. Chae and Department of Design and Human Engineering, “Effects of Travel Methods in Virtual Environment on Cybersickness and Cognition,” in Proceedings of the Korean Operations and Management Science Society Conference, Jeju, pp. 734-739, June 2010.
• F. Biocca, C. Harms, and J. Gregg, “The Networked Minds Measure of Social Presence: Pilot Test of the Factor Structure and Concurrent Validity,” in Proceedings of 4th Annual International Workshop on Presence, Philadelphia, PA, pp. 1-9, May 2001. https://www.researchgate.net/publication/200772411_The_Networked_Minds_Measure_of_Social_Presence_Pilot_Test_of_the_Factor_Structure_and_Concurrent_Validity
• R. A. Ratan, Self-Presence: Body, Emotion, and Identity Extension into the Virtual Self, Ph.D. Dissertation, University of Southern California, Los Angeles, CA, August 2011.
• B. G. Witmer, C. J. Jerome, and M. J. Singer, “The Factor Structure of the Presence Questionnaire,” Presence: Teleoperators and Virtual Environments, Vol. 14, No. 3, pp. 298-312, June 2005. [https://doi.org/10.1162/105474605323384654]
• S. H. Kang, Fundamentals of Sound Engineering, Sound Media, 2018.