무대 공연에서 공연자의 위치에 따른 마이크 소리의 실시간 방향 전환에 관한 연구

무대 공연의 특성상 소극장, 공연장, 콘서트홀 등의 실내 공간에서 이루어지기 때문에 실내에서 구동되어야 한다. 예를 들어 GPS는 위성을 통해서 위치를 추적하는 시스템으로 휴대폰과 같은 개인 단말기만 가지고 있더라도 활용할 수 있는 기술적 편의성을 가진다. 하지만 실내에서는 GPS 수신 장치가 제대로 작동하지 않고, 정확도가 매우 낮으므로 실내 사용에 어려움이 있다[3].

카메라 등의 영상장치를 이용한 위치 추적 기술은 무대를 시야각 내로 설치하면, 손쉽게 공연자의 위치 정보를 얻을 수 있다. 하지만 본 연구에서 제안하는 시스템이 궁극적으로 목표를 하는 무대 내의 위치 정보 출력 방식을 고려해볼 때, 공연자 인식의 문제가 발생한다. 단순히 위치 정보만을 필요로 하는 것이 아닌, 공연자를 개별 인식하여 오디오 믹싱 콘솔(audio mixing console)에 맵핑(mapping)할 수 있어야 다수의 공연자가 존재하더라도 동시다발적인 인식이 가능하기 때문이다. 또한 공연자가 무대 밖에서 안으로 들어오는 연출 방법을 고려해볼 때, 카메라의 경우 무대의 시야 내에 공연자의 정보가 존재하지 않다가 갑자기 발생하기 때문에 마이크 소리의 실시간 방향 전환이 불안정하게 된다.

성인 기준 보폭이 60cm에서 80cm 정도임을 고려하면 인식할 수 있는 오차 범위가 80cm를 넘지 않아야 정확한 위치 추적이 가능하며, 마이크 소리의 방향 전환에 있어 더욱 정확한 표현이 가능하다.

언급한 세 가지 전제조건에 부합하는 기술을 고려해볼 때, RTLS(Real-Time Locating System, 실시간 위치 추적 시스템)이 모든 전제조건을 부합할 수 있었다.

자동 식별(automatic identification) 기술 중 한 종류인 RFID는 마이크로칩을 내장한 태그에 저장된 데이터를 무선주파수를 이용해 비접촉으로 인식하는 기술이다. 이 기술은 태그에 기록된 정보를 무선으로 수 m에서 수십 m까지 보낼 수 있다[5]. RFID의 구성요소 및 원리는 다음 < 표 1 >과 같으며, 태그를 사용함으로써 모든 사물 및 사람에 ID를 부여하게 되어 자동인식이 가능해진다.

Table 1.

Components and mechanism of RFID

RFID 기술은 태그의 배터리 내장 유무에 따라 능동형과 수동형으로 나뉜다. 능동형 RFID는 태그에 배터리가 내장되어 자체적으로 RF 신호를 송신할 수 있다. 내장 배터리로 인해 가격이 고가라는 단점이 존재하지만 수십 미터까지 전송 가능하다는 장점이 있다. 반면, 수동형 RFID는 태그에 배터리가 내장되어있지 않고 리더기의 전파 신호로 전원공급을 하게 된다[5]. 가격이 저렴하다는 장점이 존재하지만, 가용 통신 거리가 10m의 한계를 가진다. 본 연구에서 고려 중인 공연자의 경우 소극장부터 시작해서 큰 규모인 콘서트홀까지 최소 10m에서, 많게는 30m까지의 너비를 가지고 있으므로 능동형 RFID 태그의 사용이 적합하다.

Impulse Response-Ultra WideBand의 명칭을 가지고 있으며 단거리 구간에서 낮은 전력으로 넓은 스펙트럼 주파수를 통해 많은 양의 디지털 데이터를 전송하는 무선 기술이다. 명칭 그대로 매우 넓은 대역폭을 가지며 투과성이 좋아 건물 내의 벽이나 비금속 칸막이 등을 통과할 수 있고 음영지역에서도 사람이나 사물의 위치를 파악할 수 있으며, 정확도 또한 매우 뛰어나다[6].

따라서 RTLS에 속해있는 기술은 Active RFID, BLE Beacon, Wi-Fi, IR-UWB, Zigbee 등이 있지만 공연자의 평균 보폭을 고려하였을 때, 측위 정밀도가 30cm 내외인 IR-UWB가 가장 적합함을 알 수 있었다. 또한 투과성이 좋아 무대 위의 많은 공연자들이 존재하더라도 오차범위가 크지 않은 장점이 있다.

이러한 기술적 장점을 통해, 공연자의 실시간 실내 위치 추적에 적합한 기술로는 IR-UWB가 최적의 기술임을 확인하였다. IR-UWB 기술을 이용하여 자동으로 공연장에서 공연자의 위치를 추적하는 시스템을 구성하고자 한다.

이 장비는 Decawave사의 DW1000 Radio ic를 내장하여 만들어진 DWM1001 모듈로 구성되어 있다[7]. 각 모듈은 사용자의 선택에 따라 앵커(anchor), 태그 역할을 개별 지정할 수 있어 하드웨어의 구분이 필요하지 않다. 스마트폰을 사용해 앵커의 위치를 구성하거나 태그의 위치를 간편하게 설정 및 위치 측정이 가능하다. 이러한 작동 편의성을 통해 손쉽게 RTLS를 구현할 수 있는 기술적 장점이 있다< 그림 1 >.

Fig. 1.

MDEK-1001 Development kit module and mode selection

MDEK-1001 Developement kit과 PC의 연동을 위해서는 하나의 DWM-1001 모듈이 Listener 역할을 하여 태그로부터 수집된 데이터를 USB 연결을 통해 전송해야 한다. DWM-1001 모듈은 ARM Coretex-M 기반의 MCU가 탑재된 보드이기 때문에 계산된 데이터를 해석할 수 있는 외부 라이브러리와 프로그램이 필요하다. GNU Arm Embedded Toolchain은 DWM-1001의 데이터를 분석하는데 필요한 라이브러리로써, 데이터 분석과 타 프로그램 간의 맵핑을 용이하게 할 수 있는 Segger사의 J-Link 소프트웨어에 적용하여 센서 처리 및 데이터 로깅을 할 수 있다< 그림 2 >.

Fig. 2.

Data extracted via J-Link software

수집된 공연자의 위치 정보를 음향 정보와 연동시키기 위해서는 실시간 공간 정보와 오디오 믹싱 콘솔 데이터 정보 간의 교류가 필요하다. 이를 위해 GUI 방식의 손쉽게 데이터를 제어할 수 있는 Max 프로그램[8]을 사용하였으며, J-Link 소프트웨어를 통해 전송된 데이터를 OSC 프로토콜[9]을 사용하여 전송하였다< 그림 3 >.

Fig. 3.

Location data processed via Max program

공연장에서 완성된 소리를 전달하기 위해서는 오디오 믹싱 콘솔의 존재가 필수적이다. 공연자, 악기 등의 소리를 관객에게 효과적으로 전달하기 위해서는 마이크(mic), 라인(line) 등을 통한 입력과 스피커를 통해 전달하는 출력 과정까지의 기능을 관리하고 음량, 위치, 음색 등을 조절하여 전체적인 균형을 제어할 수 있는 기기가 필요하다. 무대 음향 시장이 생성된 초창기에는 아날로그 콘솔을 사용했지만, 기술이 발전함에 따라 디지털 방식의 콘솔들이 생겨나기 시작했다. 아날로그 콘솔에서는 오로지 전기적 신호를 통해 물리적 제어밖에 할 수 없었지만, 디지털 콘솔이 생겨난 이후로는 컴퓨터와 통신 및 제어를 할 수 있어 원격조종이 가능한 장점을 통해 사용자의 편의성이 커졌다. 컴퓨터와 디지털 콘솔과의 통신은 랜(LAN) 케이블의 연결을 통해 가능하다. 본 연구에서는 마이다스(Midas)사의 제품 M32를 사용하여 원격으로 통신하였다. M32는 OSC 프로토콜을 지원하는 장점이 있다. 이 기능을 통하여 Max에서 정제된 위치 데이터를 OSC 프로토콜을 통해 M32에서 지원하는 위치 데이터로 치환하여 전송하였다. 전송된 위치 데이터를 통해 마이크 소리의 실시간 방향 전환이 가능하다. Max와 M32 EDIT의 데이터를 전송하는 과정에서는 별도의 포트 넘버(Port number)를 사용하여 두 프로그램의 공유번호로 활용하였고, 그로 인해 데이터가 오전송되는 것을 방지하였다< 그림 4 >.

Fig. 4.

Data transmission of the processed-location data

최종적으로 UWB에서 나온 위치 데이터를 컴퓨터로 전송받았고, 전송된 데이터를 정제하여 오디오 믹싱 콘솔로 전송되는 것을 확인하였다. 본 연구에서 구현한 배치도는 다음과 같다< 그림 5 >.

Fig. 5.

Schematic diagram for linking UWB, PC, and data transmission

무대 공연에서 공연자의 위치에 따른 실시간 방향 전환 시스템의 작동 검증을 위해 동국대학교 이해랑 예술극장에서 RTLS 구축 및 음향 설계를 진행하였다 < 그림 6 >.

Fig 6.

Floor map of Haerang.Lee Art Theater at Dongguk University and anchor location

실제 공연이 이루어지는 공간인 주 무대(main stage)는 너비가 약 15m, 폭은 약 7.7m의 크기를 가지며, 각 꼭짓점에 앵커를 설치하였다. 태그는 관객에게 보이지 않게 하며, 배우들의 안무와 연기에 방해되지 않게끔 몸에 밀착하여 body-pack 형태로 장착하였다. 그 결과, 관객석에서 바라보았을 때 앵커와 태그의 존재를 인지하지 못하게 설치할 수 있었으며, 앵커의 위치가 15m의 거리를 두어 설치하였을 때 작동 범위 또한 양호함을 확인했다.

공연장에서의 x축이란 관객이 무대를 보는 방향에서의 상수(stage right)와 하수(stage left)를 나눌 수 있는 척도이다. x축의 음향적인 표현은 스피커로 출력하여 나오는 소리의 좌측과 우측을 조절할 수 있게 하는 panning data로 표현할 수 있으며, 공연자의 동선이 x축을 따라 하수에서 상수로 움직이게 된다면 다음과 같은 위치 정보를 얻을 수 있다< 그림 7 >.

Fig. 7.

Location data along the performer’s movement (left to right)

공연자의 움직임에 따라 변화한 x축의 데이터는 Max를 통해 전송받았으며, 실시간으로 정제하였을 때 출력된 데이터는 시간 차이 및 오차가 존재하지 않았음을 확인하였다< 그림 8 >.

Fig. 8.

Data processed via Max program (x-axis)

공연자로부터 출력된 위치 데이터의 구성을 보았을 때 좌측에서 우측으로 움직임을 확인하였다. 이 정보는 본 연구에서 구현한 시스템을 통해 오디오 믹싱 콘솔로 전달되었다. 최종적으로 오디오 믹싱 콘솔의 panning data가 자동으로 좌측에서 우측으로 움직임을 확인할 수 있다< 그림 9 >.

공연장에서의 y축은 관객이 무대를 보는 방향에서의 전면 무대(down stage)와 후면 무대(up stage)로 나눌 수 있다. 효과적인 입체감을 표현하기 위해서는 관객이 공연자에게서 거리감을 인지하여야 하며, 이는 곧 x축만을 구현하는 것만이 아닌 y축 또한 구현하여야 한다. < 그림 10 >은 공연자의 동선이 y축을 따라 후면 무대에서 전면 무대로 움직인 데이터이다.

Fig. 10.

Data change along the performer’s movement (up stage to down stage)

y축의 데이터 또한 x축의 데이터와 같이 시간 차이 및 거리 감지에 대한 오차가 존재하지 않았음을 확인하였으며, Max로부터 정제된 데이터는 다음 < 그림 11 >과 같다.

Fig. 11.

Data processed via Max program (y-axis)

본 연구에서 최종적으로 구현하고자 하는 공연자의 실시간 위치 변화에 대한 음향효과의 표현 방식을 고려해봤을 때, y축의 구현 또한 x축의 구현만큼 중요하게 표현이 되어야 한다. x축은 소리를 좌·우로 조절하여 직관적으로 표현할 수 있지만, y축은 무대 특성상 폭이 좁아 효과적으로 표현할 수 있는 방식에 대한 적용사항이 한계적이다. 거리감을 표현할 수 있는 방식으로 잔향감, 소리 크기, 저음역 감쇠(bass loss) 현상 등이 있지만, 잔향감은 극의 전개를 구성하는 데 중요한 역할을 하여 자동화를 시키는 것에 배제하였다.

y축의 데이터를 표현하기 위한 첫 번째 방법으로는 저음역 감쇠 현상을 활용하였다. 음원(sound source)으로부터 거리가 멀어지게 되면 소리의 음압 레벨이 감소함과 동시에 저음역 감쇠 현상이 생겨 저음에 대한 청력 감도가 줄어들게 된다[10]. 이에 착안하여 이퀄라이저(equalizer)를 사용하여 공연자의 목소리를 전면 무대와 후면 무대로의 움직임에 따라 200Hz 대역을 증폭하거나 감쇠를 하였다< 그림 12 >.

Fig. 12.

Frequency adjustment (200Hz band) of the performer’s voice

두 번째 방법으로 y축 데이터를 활용하여 소리 크기 조절에 대한 자동화를 진행했다. 하지만 소리 크기 조절을 자동화할 때, 크기 변화의 편차를 크게 지정한다면 다른 위치에 있는 공연자와 목소리 크기가 과도하게 차이 나게 되어 음향의 전체적인 균형이 맞지 않게 되며, 이는 곧 관객이 이질감을 느끼게 된다. 공연장마다 폭이 다르므로 폭이 약 7.7m인 동국대학교 이해랑 예술극장을 기준으로 소리 크기의 편차를 3dB 단위로 측정하였다< 표 2 >.

Table 2.

Effects of deviations in loudness

소리 크기의 편차를 측정한 결과 6dB의 차이가 가장 적합함을 확인하였고, 이 수치를 동국대학교 이해랑 예술극장에 적용하였다. 소리 크기의 편차 정도는 각 공연장의 폭, 좌석 수, 천장의 높이라는 변수에 따라 달라질 수 있으므로 청취를 통해 공연장의 적용 수치를 필수적으로 조정해야 한다.

최종적으로 x축의 좌우 방향 전환과 y축의 200Hz 조절 및 소리 크기 조절의 자동화를 통해 공연자의 위치 변화에 따른 음향효과의 전환을 구현하였고, 오차 범위가 작아 공연장에서 공연자의 정확한 위치 추적이 가능하였다.