Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 25, No. 2, pp.329-339
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 28 Feb 2024
Received 15 Jan 2024 Revised 13 Feb 2024 Accepted 19 Feb 2024
DOI: https://doi.org/10.9728/dcs.2024.25.2.329

생물학적 순차 데이터에 기반한 소리화 작품 창작에 관한 연구

이다영1 ; 김주섭2, *
1서강대학교 아트&테크놀로지학과 석사
2서강대학교 아트&테크놀로지학과 교수
Sonification Art based on Biological Sequential Data
Dayoung Lee1 ; Jusub Kim2, *
1Master’s Degree, Department of Art & Technology, Sogang University, Seoul 04107, Korea
2Professor, Department of Art & Technology, Sogang University, Seoul 04107, Korea

Correspondence to: *Jusub Kim Tel: +82-2-705-7976 E-mail: jusub@sogang.ac.kr

Copyright ⓒ 2024 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

소리화는 데이터를 사운드로 변환하는 과정으로, 숫자나 문자로 된 데이터를 들을 수 있는 형태로 변환함으로써 데이터의 직관적 이해에 도움을 주는 실용적인 기능을 가지기도 하고 일상적인 데이터를 낯설게 만들어서 흥미를 유발하는 예술적인 기능을 갖기도 한다. 순차 데이터는 그 특성상 시간에 따른 순서를 가지는 소리와의 유사성으로 인해 소리화의 대상이 되어왔다. 본 논문에서는 핵산 서열 데이터 사례를 중심으로 생물학적 순차 데이터를 소리화하는 저자의 세 개의 소리화 예술 작품 사례 — <식물의 소리>, <ViViD>, <어드메> — 를 통해 과학 데이터의 소리화 작품이 대중에게 어떻게 수용되는지 연구하였다. 전시장을 방문한 10대~40대 총 106명의 관람객을 대상으로 설문조사와 인터뷰를 통해 정량 및 정성평가를 진행하였다. 평가를 통해 소리화가 데이터에 대한 이해를 돕고, 대상을 낯설게 하여 대상에 대한 흥미를 유발할 수 있음을 확인하였다. 본 연구는 예술적 실천으로서 생명과학 데이터의 소리화가 새롭고 의미있는 결과를 생성할 수 있음을 보여준다.

Abstract

Sonification is the process of converting data into sound; it serves a practical function in helping to intuitively understand data by converting numeric or textual data into audible sound, and an artistic function in making everyday data unfamiliar and interesting. Sonification has largely focused on sequential data owing to their similarity to sound, with a naturally temporal sequence. This study explores how the public perceive the sonification of biological sequential data, especially Nucleic Acid Sequence, through three examples of the author's sonification art works: <The Sound of Plants>, <ViViD>, and <Ŏdŭme>. A total of 106 visitors in their 10s to 40s participated in a survey and interviews to evaluate exhibitions quantitatively and qualitatively. The findings show that sonification can help people understand data and generate interest in the subject by making the subject unfamiliar. Moreover, the sonification of biological science data as an artistic practice can generate new and meaningful results.

Keywords:

Sonification, Sequential Data, Spatial Sound, DNA, Sound Art

키워드:

소리화, 순차 데이터, 입체음향, 사운드 아트

Ⅰ. 서 론

소리화(Sonification)는 데이터를 소리로 변환하는 것으로, 초기에는 청진기, 가이거 계수기 등 과학 분야에서 데이터를 파악하기 위한 시도로써 발달하기 시작하였으나, 소리를 재료로 하는 예술 분야로 확장되었다. 소리화의 대상이 되는 데이터는 주로 순차 데이터(Sequential Data)이다. 순차 데이터는 데이터 집합 내의 객체들이 어떠한 순서를 가지고 있는 데이터로, 순서가 달라질 경우 의미가 손상된다. 소리도 순차 데이터의 일종으로, 그 유사성으로 인해 소리가 아닌 순차 데이터를 소리로 매핑하여 표현하고자 하는 시도가 이루어져 왔다. 소리화는 데이터를 들을 수 있는 형태로 변환하여 새로운 의미를 창출하려는 사운드 아트의 예술적 표현 기법의 하나로 자리 잡았다[1].

소리화의 한 분야로서 과학적 데이터를 소리화하는 대표적인 예로 순차 범주형 데이터(Sequential Categorical Data)의 일종인 생물학적 순차 데이터를 소리화하는 방법이 연구되어 왔다[2]. 과학적 데이터의 소리화에서 선행 연구들은 주로 과학적 발견과 이해를 목적으로 이루어져 왔고 과학적 이해를 넘어 새로운 예술의 방식으로서의 가능성에 대한 탐구는 여러 분야와의 융합을 통해 지속해서 시도되며 데이터 전달과 예술적 표현 사이에서 다양한 방식이 제안되고 있다.

본 논문에서는 핵산 염기서열(Nucleic Acid Sequence) 데이터를 주 대상으로 한 저자의 세 개의 소리화 예술 작품(Sonification art) — <식물의 소리>, <ViViD>, <어드메> — 사례를 통해 생물학적 순차 데이터 소리화의 방법을 제안하고 그 의의를 살펴본다. 소리화의 대상과 표현 방식이 서로 다른 세 개의 작품 사례를 통해 다양한 생물학적 순차 데이터 소리화 방법을 제안하고 각 작품이 전시된 전시장을 방문한 관람객을 대상으로 실시된 설문조사와 인터뷰 기반의 정량 및 정성평가를 통해 과학적 데이터의 소리화 예술 작품이 대중에게 어떻게 수용되는지 보고한다.

본 연구는 예술적 실천으로서의 생명과학 데이터의 소리화라는 과학과 음악의 융합 연구가 새롭고 의미 있는 결과를 생성할 수 있음을 확인하였다는 데 그 의의가 있다.


Ⅱ. 관련연구

2-1 소리화

소리화(Sonification)는 사용자에게 정보를 전달하기 위해 소리를 사용하는 청각적 디스플레이(Auditory Display)의 일종으로, Kramer 등[3]은 소리화를 ‘정보를 표현하기 위해 비언어적인 소리를 활용하는 것’으로 정의하였다. 보다 구체적으로는 소리화를 ‘소통 또는 해석을 용이하게 하기 위한 목적으로, 데이터의 관계를 음향 신호로 인식된 관계로 변환하는 것’이라고 설명하였다. 한편, Gresham-Lancaster[4]는 기본적인 정보 전달을 뛰어넘는 예술적 표현 수단으로써의 소리화의 잠재력을 강조하였다.

Thomas Hermann와 Helge Ritter[5]는 소리화의 방법으로 청각화(Audification), 매개변수 매핑(Parameter Mapping), 그리고 청각 아이콘(Auditory icons)를 언급하였다. 청각화(Audification)는 소리화의 초기에 등장한 방식으로, 일련의 데이터값을 음압 수준(Sound pressure) 값에 직접적으로 매핑하여 재생하는 방법이며, 매개변수 매핑은 음향의 다양한 속성(음높이(Pitch), 음압(Amplitude), 음색(Timbre), 장단(Rhythm) 등)에 데이터값을 매핑하는 방법이고, 청각 아이콘(Auditory Icons)은 청취자에게 사건을 알리기 위해 사건을 유추할 수 있는 사운드를 재생하는 청각적 은유의 방법이다.

소리화는 과학과 일상생활에서 다양하게 활용되어 왔다. 1908년에 발명된 가이거 계수기(Geiger counter)[6]는 소리화의 초기 사례 중 하나로, 이온화된 방사선을 검출하는 기기이다. 방사선 입자가 들어오면 스피커를 통해 이온화가 검출된 횟수를 짧고 날카로운 클릭 소리로 들을 수 있다. 또 다른 초기 사례로 1913년 발명된 청광기(Optophone)[7]는 시각 장애인을 위한 장치로, 광센서를 통해 알파벳 문자를 감지하고 시간에 따라 변화하는 음을 생성하여 소리를 통해 문자를 식별할 수 있게 한다. 접근성을 높이기 위한 소리화의 최신 사례로 University of Bremen에서는 기기의 회전 각도에 대한 피드백을 소리화로 제공하여, 수평을 맞출 수 있는 스마트폰 애플리케이션인 Tiltification[9]을 제작하였다. 이 앱은 소리화를 시각 장애를 가진 사람에게 정보에 대한 접근성을 높이기 위한 도구로써 활용하였다. Michael Albert Paul Quinton, Iain McGregor, David Benyon의 연구[8]에서는 외계 행성 기상 데이터를 분석하는 천문학자를 위해 시각적인 그래프에서 놓치기 쉬운 물의 특성을 즉각적으로 식별할 수 있게 소리화하였다.

소리화는 예술 영역에서도 탐구되어 왔다. 1999년 매사추세츠주 노스 애덤스에 위치한 MASS MoCA에서 독일의 예술가인 Christina Kubisch가 진행한 Clocktower Project는 태양열 센서를 통해 태양의 위치와 빛의 세기를 종소리로 변환하였다. 이 작품은 소리화를 활용한 예술 작품의 초기 사례로, 약 53년간 도시에 울렸던 폐공장의 종소리를 소리화를 통해 새롭게 복원하였다. Chris Chafe의 Smog Music(2008) 프로젝트는 두바이(Dubai) 등 세계 여러 도시의 CO2, 소음, 온도, 습도, 빛, 소음 및 휘발성 유기 화합물 수준에 대한 실시간 데이터를 알고리즘 기반의 음악 소프트웨어를 통해 소리화하였다[10]. 전 세계에 설치된 약 24개의 센서에서 무선으로 2분마다 업로드되는 CO2 데이터를 가상의 기타 소리로 들을 수 있게 하여, 대규모의 보이지 않는 오염에 대한 인식을 불러일으켰다. 멕시코의 사운드 아티스트인 Mario de Vega가 네덜란드 암스테르담의 Sonic Acts에서 설치한 DOLMEN(2015)[11]은 다양한 고주파 수신기, 라디오, 스캐너 등을 기반으로 한 전자 장치들을 통해 디지털 통신의 반송파인 무선 신호를 들을 수 있게 소리화하였다. 대중에게 무선 신호의 존재를 물리적으로 인식하게 하여, 전자기 오염이 인간에게 미칠 수 있는 부정적인 영향을 감각화시켰다.

2-2 생물학적 순차 데이터의 소리화

John Dunn은 Genetic Music(1992)[12] 작업에서 식물학자인 Kent W. Bridges 박사와 공동으로 개발한 알고리즘을 활용하여 인간의 성호르몬, HIV의 RNA 등을 소리화하였다. NIH GenBank에서 수집한 DNA 데이터를 이용하여 각 아미노산 시퀀스를 산성, 염기성, 극성 또는 비극성 아미노산의 화학 그룹으로 분류하여 서로 다른 음높이에 할당하는 방식으로 동작한다.

Todd Ingalls 등[13]은 대규모 유전체 데이터에서 핵산 염기서열(Nucleic acid sequence) 데이터의 유사도 확인 및 계통 분석을 위한 소리화 도구인 COMPOSALIGN(2009)을 개발하였다. 유전자를 음악적 모티프에, 생물 종을 악기에 매핑하여 연구자가 게놈 전체 정렬의 음악적 표현을 들을 수 있게 한다.

Mark D. Temple[14]은 DNA 시퀀스를 분석하여 소리화 하는 여섯 가지 알고리즘을 실험하였다. 그 결과, 가장 정보 전달에 유용한 알고리즘은 DNA 시퀀스를 코돈(Codon) 단위로 읽어 들여 동시에 3개의 오디오 스트림의 형태로 청각적 디스플레이로 표현하는 것이었다고 보고하였다. 연구 결과는 웹사이트[15] 형태로 제공되고 있다.

Markus J. Buehler[16]는 COVID-19 병원체의 스파이크 단백질이 갖는 아미노산 시퀀스와 구조를 음악으로 표현하였다. 단백질의 진동수 스펙트럼을 가청 스펙트럼의 영역으로 관계를 유지한 채 조를 옮겨 표현하고, 바이러스의 스파이크 구조를 결정하는 아미노산의 접힘 및 시퀀스를 매핑의 요소로 활용하여, 복잡하게 계층적으로 교차하는 단백질의 기하학적 구조를 반영하여 대위법을 이루는 복잡한 선율의 형태로 만들었다.


Ⅲ. 생물학적 순차 데이터의 소리화 전시

본 논문에서는 핵산 염기서열(Nucleic Acid Sequence) 데이터를 주 대상으로 저자가 수행한 세 개의 소리화 예술 작업 - DMZ 자생식물 종의 DNA 데이터를 소리화한 <식물의 소리>, COVID-19의 RNA 데이터와 확진자 수 변화 추이를 소리화한 <ViViD>, DMZ 자생종의 DNA 데이터와 먹이그물 구조로 이루어진 생태계를 소리화한 <어드메> - 을 소개한다. 세 작품에서 다양한 방법으로 예술적인 실천으로서의 생물학적 순차 데이터의 소리화 방법을 모색하였다.

핵산(Nucleic Acid)은 모든 생명체에 필수적인 생체분자로, 핵산은 DNA와 RNA를 모두 포함하는 개념이다. 핵산을 구성하는 기본 단위인 뉴클레오타이드(Nucleotide)의 구성성분 중 하나인 핵 염기(Nucleobase)를 순서대로 나열한 것을 염기서열(Nucleic Sequence)이라고 한다. DNA의 경우 A (Adenine), T (Thymine), G (Guanine), C (Cytosine)의 네 종류의 염기서열로 구성되어 있으며 RNA의 경우 T (Thymine) 대신 U (Uracil)를 포함하여 네 종류의 염기서열로 구성되어 있다. 염기서열에서 세 개의 연속된 뉴클레오타이드는 하나의 코돈을 형성하며, 각 코돈은 20종의 아미노산(Amino Acid) 중 하나에 대응한다. 복수의 아미노산은 결합하여 펩타이드(Peptide)를 형성하고, 펩타이드들이 모여 단백질(Protein)을 형성한다.

3-1 사례 1: <식물의 소리>

Fig. 1.

<The Sound of Plants> (Seoul Forest Community Center & Culture Station Seoul 284, 2019)

<식물의 소리>는 한반도 비무장 지대(DMZ) 내의 자생식물 8종의 DNA 데이터를 소리화한 사운드 아트이다. DMZ는 2,237종의 자생식물이 존재하는 생태계의 보고로, <식물의 소리>는 종 다양성(Species Diversity)과 생태적 가치를 대중에게 새롭고 흥미로운 방식으로 전달하기 위해 소리화라는 예술적 방식을 활용한 작품이다.

Fig. 2.

8 DMZ native plants used in the <The Sound of Plants> exhibition* The plant is native to Korea, so the Korean name is written with their scientific name.

1) 데이터 수집 및 특징

국립 수목원의 도움을 받아 DMZ에 서식하는 자생식물 중 DNA 정보상에서 원시종인 ‘솔잎란’을 기준으로 솔잎란의 염기서열과 뚜렷한 차이를 보이는 20종의 식물을 1차로 선정하고 관객 평가를 통해 인지적으로 더욱 구별되는 8종을 최종 선정하였다. 국립수목원으로부터 각각의 종에 대해 약 20,000자 정도의 아미노산 서열(Amino Acid Sequence) 데이터를 제공받아 소리화에 활용하였다.

Fig. 3.

Overview of the life phenomenon data hierarchy used in <The Sound of Plants>

2) 소리화 알고리즘 디자인

<식물의 소리>는 단시간 내에 압축적으로 DNA 데이터를 전달하기 위해서 아미노산과 펩타이드의 층위를 중심으로 소리화 가능성을 탐구하였다. 소리화에 활용한 데이터는 ‘아미노산의 순차적인 배열’, ‘각 펩타이드의 아미노산 총량’, ‘펩타이드가 함유한 아미노산 종류별 비율’이다. 각 데이터는 음악적으로 선율(Melody)과 타악기 사운드(Percussive Sound), 앰비언트 사운드(Ambient Sound)의 3가지의 트랙으로 변환되었다.

Fig. 4.

Melodical Sound form of sonification based on the characteristics of amino acids

염기서열을 3개씩 묶은 단위인 코돈은 64개의 조합에 따라 20종의 아미노산을 합성한다. 각 아미노산은 크기, 친수성 여부, 산·염기 등의 특성을 활용한 소리로 매핑하여 선율(Melody)로 표현하였다. 아미노산의 분자량은 소리의 크기(Amplitude)를 통해 표현하고, 친수성을 가진 아미노산은 리버브(Reverb) 효과를 통해 잔향을 갖게 표현하고, 아미노산의 산성·염기성은 강한 산·염기 일수록 패닝(Panning)을 통해 측면에서 들리게 표현하였다.

Fig. 5.

Percussive sound form of sonification based on the number of amino acids per peptide

각 펩타이드를 구성하는 아미노산의 수량을 중량감으로 감각할 수 있도록 타악기 사운드(Percussive Sound)의 형태로 변환하였다. 펩타이드를 구성하는 아미노산 수량의 크기에 따라 4개 구간으로 나누어 가장 큰 구간부터 가장 작은 구간까지 각각을 드럼의 Kick, Snare, Hi-hat, No-sound로 변환하였다.

Fig. 6.

Ambient sound based on the percentage of different types of amino acids per peptide

각 펩타이드 내의 아미노산 구성의 특징을 지각할 수 있도록 펩타이드에 포함된 특정 아미노산의 수량을 음의 높이로 매핑하여 총 20개의 음을 순차적으로 연주하여 앰비언트 사운드(Ambient Sound)를 생성하였다. 펩타이드 당 아미노산의 수가 고르지 않을 경우, 해당 식물의 펩타이드 특성을 뚜렷하게 나타내기 위해 특징적인 음이 발생하도록 조절하였다.

3) 전시 관람 디자인

관람객은 근거리 위치인식 시스템을 탑재한 헤드셋을 활용하여, 관람객이 전시장 내부의 특정 위치에 가면 패널에 기재된 식물의 소리를 자동으로 들을 수 있게 하였다. 감상 위치에 따라 한 종의 식물 또는 동시에 여러 종의 소리를 함께 들을 수 있게 하여 각 식물의 개별적 소리와 여러 식물의 소리를 비교하며 들을 수 있게 하였다.

3-2 사례 2: <ViViD>

ViViD(Visualizing Virus Diffusion)는 COVID-19의 RNA 염기서열 데이터 및 확산 데이터를 8채널 입체음향 시스템과 7채널 조명 시스템을 통해 표현하는 오디오-비주얼 설치 작품이다.

Fig. 7.

<ViViD> (Seoul Art Space Mullae, 2020)

COVID-19의 사람 간 전파가 어떻게 이루어졌는지 연결 고리를 보여주는 확산 관계망[17]을 통해 가시화된 사람 사이의 사회적 연결 고리를 소리로 감각화시키는 작업이다.

1) 데이터 수집 및 특징

COVID-19(SARS-CoV-2)의 RNA 염기서열 데이터는 NCBI(National Center for Biotechnology Information)의 GenBank[18]를 통해 확보하였다. 해당 데이터는 바이러스의 구조 요소(S, E, M, N)와 보조 유전자(ORF1a, 1b, 3a, 6, 7a, 7b, 8, 10)에 해당하는 ORF(Open Reading Frame)으로 나누어지며, 각 역할에 따라 각 부분의 아미노산 서열(Amino Acid Sequence) 데이터를 소리화에 활용하였다.

대한민국 내 COVID-19의 확산을 보여주는 누적 확진자 수 변화 추이는 대한민국 질병관리청 홈페이지(https://kdca.go.kr)에서 제공하는 ‘코로나바이러스감염증-19 국내 발생 현황 데이터’를 통해 수집했으며, 2020년 1월 첫 확진자 발생부터 전시가 이루어졌던 12월까지의 1년간 일일 확진자 수 및 누적 확진자 수에 대한 데이터를 확보하였다.

Fig. 8.

Changes in daily COVID-19 cases in Korea during 2020

2) 소리화 알고리즘 디자인

COVID-19 유전정보의 소리화에서는 바이러스의 구조요소와 보조 유전자에 해당하는 ORF를 서로 다른 방식으로 소리화하였다. 아미노산 서열 데이터를 순차적으로 읽어오며 소리화를 진행하였으며, 각 아미노산의 화학식에서 구성하는 원소의 비율은 파형의 합성 비율에 대응하였고, 분자량은 요소에 따라 음압(Amplitude) 혹은 음높이에 매핑하여 사운드를 생성하였다.

Fig. 9.

Tone mapping of virus structural elements (S, E, M, N)

Fig. 10.

Examples of sonification of accessory gene

바이러스의 구조 요소인 스파이크단백질(S), 외피단백질(E), 막단백질(M), 뉴클리오캡시드단백질(N)의 경우, 20종의 아미노산을 분자량 순서에 따라 2개씩 묶어 총 10개의 음높이에 매핑하였다. 분자량이 가장 적은 두 종의 아미노산(Glycine과 Alanine)은 가장 낮은 음인 C2로, 반대로 분자량이 가장 많은 두 종의 아미노산(Tyrosine과 Tryptophan)은 가장 높은 음인 A3로, 나머지 아미노산들은 그 사이의 C 메이저 오음계(C Major Pentatonic Scale)위의 음들로 매핑하였다. 각 음은 톱니파(Sawtooth wave)와 사인파(Sine wave)를 1:1로 더하여 생성한 파형으로 음색을 만들었고, 저음 음역대의 소리를 만들기 위해 저역 통과 필터(Low-pass filter)를 적용하여 사운드를 생성하였다.

보조 유전자(ORF1a, 1b, 6, 7a, 7b, 8, 10)의 소리화는 구조 요소의 소리화와 구별되게 하기 위해 다른 방식을 이용하였다. 각 아미노산을 구성하는 화학식에서 질소(N), 수소(H), 탄소(C), 산소(O) 원소가 차지하는 비율 값을 사인파(Sine wave), 삼각파(Triangle wave), 톱니파(Sawtooth wave), 사각파(Square wave)의 합성 비율로 활용하여 음의 파형을 결정하고 분자량을 진폭에 매핑하였다.

COVID-19 확진자 수 변화에 대한 데이터는 8채널 입체음향에서 재생되는 음원의 개수와 움직임으로 소리화하였다. 소리의 개수와 움직임은 불꽃놀이에서 불꽃이 퍼져 나가는 형태에서 모티브를 얻어 음원이 특정 지점에서 여러 개의 음원으로 증가해서 나누어져 확산되는 형태로 시뮬레이션하였다. 일일 확진자 수의 증가량을 입체음향 음원의 개수로 매핑하였고, 바이러스의 확산은 가상의 3D 구형 좌표계 상에서 음원들의 퍼져 나가는 움직임으로, 거리 두기 단계 기준의 인원수는 음원의 재생 속도로 매핑하여 표현하였다.

8채널의 입체음향 시스템은 8개의 스피커, 2개의 4채널 파워앰프, 오디오 믹서로 구성되었다. 실제 스피커의 배치는 관람자를 중심으로 하는 원 위에서, 서로 동일한 간격을 두고 8개를 설치하였다. 스피커를 통해, COVID-19의 확진자 수 변화 추이를 표현한 확산 시뮬레이션의 결과에 따라 최대 64개 음원이 위치가 이동되며 재생된다.

소리화한 음원의 보조적인 전달 수단으로 소리를 시각화하는 7개의 LED바 조명을 함께 설치하였다. 각 조명은 관람객이 입장하는 통로를 제외하고 각 스피커 사이에 설치하였으며, 각 조명의 R, G, B 값은 주위의 스피커에서 발생하는 소리의 주파수 대역별(저역, 중역, 고역대) 에너지 레벨에 연동되는 방식으로 결정되게 하여 소리의 차이를 부각하고 작품의 시각적 심미성도 높이려 했다.

Fig. 11.

Installation diagram of <ViViD>

3) 전시 관람 디자인

약 10m×10m 공간에서 관람자는 전시에 관한 간략한 설명 텍스트를 읽고 입장하여 자유롭게 입체음향과 조명을 감상하였다. 전면에는 작품 이해에 도움이 되는 시각 정보를 제공하기 위해 현재 재생되는 소리에 해당하는 날짜와 진행 정도를 보여주는 원형 프로그레스 그래픽(Circular Progress Graphics)이 표시되었으며, 사운드는 총 11분간 재생되었다.

3-3 사례 3: <어드메>

Fig. 12.

<Ŏdŭme> (Asia Culture Center, 2020 ~ 2021)

<어드메>는 DMZ를 모방한 가상의 생태계에서 일어나는 현상들을 소리화한 사운드 설치 작품이다. DMZ내의 생태계 다양성을 감각화시키기 위해, DMZ의 대표적인 생태계 권역을 세 개로 -민물·논지평야, 산악·산악계곡, 해안 생태계- 나누어 각 권역에서 관찰할 수 있는 대표적인 자생 생물 종을 선정하고, 각 생물 종의 DNA 데이터와 먹이그물을 소리화하였다. 생성된 사운드는 지오데식(Geodesic) 돔형 구조에 설치된 20.2 채널의 입체음향 형태로 재생되고, 생태계의 입체적인 먹이그물 구조가 가진 역동성과 에너지 순환이 이루는 균형을 은유적으로 전달한다. 작품은 생태계 권역에 따라 3개의 막으로 구성되어 있으며, 각 권역이 총 55분간 차례로 상연되었다.

4) 데이터 수집 및 특징

DMZ 자생종들에 대한 정보를 수집하기 위해 문헌 조사를 진행하였다. 국립생태원에서 발간한 <DMZ 일원 생태계 조사>자료를 토대로 DMZ 생태연구소와 국립생태원의 자문을 받아 대표 종을 선정하였다. 종의 선정 기준으로는 지역적 특수성과 먹이그물 구조의 균형을 고려하였다.

DMZ native species utilized in <Ŏdŭme>

선정한 각 생물 종의 유전자 데이터는 NCBI (National Center for Biotechnology Information) GenBank의 데이터를 사용하였다. 유전자 서열 데이터 중에서 동물 종은 각 동물 종을 식별하기 위한 일종의 바코드로 자주 사용되는 미토콘드리아 유전자의 일부인 COI (Cytochrome coxidase subunit I)를 활용하였고, 식물 종의 경우 유사한 역할을 하는 matK (Megakaryocyte-associated tyrosine kinase)를 활용하였다. 이 과정에서 국립생물자원관의 자문을 받아 리보솜(Ribosome)에서 유전자 서열 데이터를 단백질로 번역하는 과정과 데이터를 해석하는 방법들을 기반으로 소리화 방법을 연구하였다.

5) 소리화 알고리즘 디자인

염기(A, T, G, C)의 4가지 요소의 비율을 사인파, 삼각파, 사각파, 톱니파의 파형의 비율에 대응시켜 파형을 더하여 음색을 정하고, 코돈에 매칭되는 아미노산의 분자량을 서열화하여 낮은음부터 높은음까지 총 20개의 음높이로 대응시켰다.

Fig. 13.

Determing ADSR (Attack-Decay-Sustain-Release) based on ATGC ratio and a species in <Ŏdŭme>

사운드 간 특성을 더 명확하게 하기 위해 생물의 종(포유류, 양서류·파충류, 조류, 어류, 무척추동물)별로 특성이 다른 엔벨로프(Envelope) 프리셋(Preset)을 적용하였다. 앞서 염기의 비율에 따라 결정된 엔벨로프에 종의 분류에 따른 엔벨로프를 합성하여 최종 소리를 생성하여, 청각 아이콘과 유사하지만 데이터와 소리의 연관관계가 비직접적인 이어콘(Earcon) 방식으로 재생하였다.

먹이그물 상에서 각 종의 위치를 포식자–피식자에 따라 3단계로 구분하고, 포식자에 가까울수록 3단계로 구분한 음역대 중 낮은 음역에, 피식자에 가까울수록 높은 음역에 배치하였다. 이렇게 결정된 음역에 앞서 아미노산의 분자량에 따라 결정된 음높이를 더해 최종적인 음높이를 결정하였다.

먹이그물 유향 그래프상에서 생태계 시뮬레이션 알고리즘에 따른 개체 수 변화를 시뮬레이션하는 가상의 생태계를 생성하고, 생태계의 변화 과정에 따라 각 생물의 소리 크기와 위치, 잔향(Reverb)의 양을 결정하였다. 개체 수의 변화로 소리의 크기 변화를 결정하고, 종의 육지, 바다, 하늘 등 주요 활동 공간에 따라 음원의 입체음향 상의 주요 높이를 결정하였다. 육지에 서식하는 포유류 등의 경우 주로 감상하는 사람과 비슷한 높이에서, 하늘에 서식하는 조류 등의 경우 머리보다 위쪽에서, 물에 서식하는 어류 등의 경우 머리보다 아래에서 음원의 이동이 발생하게 하였다. 마지막으로 생태계의 균형 여부를 잔향의 정도로 표현하였다.

Fig. 14.

Example of simulating a food web ecosystem in <Ŏdŭme> (Cube size proportional to number of objects)

소리를 보조하기 위한 수단으로 16개의 LED 조명을 설치해서 시각화하였다. 돔 외부의 둘레에 12개의 LED 미니 무빙 라이트를 설치하였고, 상단의 원형 트러스에 4개의 LED 무빙 라이트를 설치하였다. 하단의 12개의 조명은 재생되는 사운드를 12개 채널로 다운 믹싱(Down mixing)한 사운드에, 상단의 4개의 조명은 4채널로 다운 믹싱한 사운드에 매핑하였다. 조명의 수평 움직임(Panning)은 인접한 두 개의 채널에서 재생되는 소리의 비율에 따라, 오른쪽 소리가 크게 나면 왼쪽으로 밀리는 형태로 매핑하였다. 하단 조명의 수직 움직임(Tilt)은 고주파수 대역의 에너지 분포 수준에, 밝기는 소리의 세기에, 주요 색상은 산악, 해양, 논지 평야의 권역에 따른 분류에 각각 매핑하여 소리의 특징이 감각화되는데 보조 역할을 하게 하였다.

Fig. 15.

Geodesic dome structure and speaker installation layout in <Ŏdŭme>

6) 전시 관람 디자인

관람자는 8m×8m×5m 크기의 지오데식 돔 공간 안에 들어가서 20.2채널의 입체음향이 만들어 내는 소리와 16채널의 조명이 만들어 내는 빛을 자유롭게 감상하였다.


Ⅳ. 관람객 반응

4-1 조사 방법

생물학적 순차 데이터를 소리화하는 세 개의 소리화 예술 작품이 대중에게 어떻게 수용되는지 알아보기 위해 <식물의 소리>는 전시장에 방문한 10명의 참가자를 대상으로, <ViViD>는 코로나 상황으로 인해 사전 예약을 받고 전시장에 방문한 44명의 참가자를 대상으로, <어드메>는 전시장에 방문한 52명의 참가자를 대상으로 관람 후 설문조사와 인터뷰를 실시하였다. 설문 문항은 소리화가 데이터 이해[19]에 기여한 정도와 예술의 낯설게 하기[20] 기능을 통해 관람자에게 관심과 흥미를 일으킨 정도를 측정하게 구성하였다.

4-2 관람객 평가

1) <식물의 소리> 관람객 평가

<The Sound of Plants> audience evaluation items and results(N=10)

소리화의 대상에 대한 관람객의 관심과 이해가 높아졌는지 알아보기 위한 5점 리커트 척도로 구성된 정량 평가에서 관람객의 평가는 모두 3점과 4점 사이로 중간 이상으로 보고되었다. 정성적인 주요 의견으로는 생소한 식물 종을 ‘소리화’라는 새로운 방법으로 표현한 것이 소리화의 대상인 DMZ 식물에 대한 흥미를 유발했다는 점과, 감상자의 사운드에 대한 사전 지식 및 친숙도에 따라 감상 경험이 다르다는 점이 도출되었다. 아래는 이와 관련하여 관람객이 보고한 사항의 일부이다.

<The Sound of Plants> select audience comments

2) <ViViD> 관람객 평가

<ViViD> audience evaluation items and results(N=44)

소리화의 대상에 대한 관람객의 관심과 이해가 높아졌는지 알아보기 위한 5점 리커트 척도로 이루어진 정량 평가 결과, 입체 사운드로 표현된 바이러스 확산이 효과적이었다는 점이 가장 높은 평균 점수를 기록하였고(B4, M=4.23), 소리화가 바이러스의 RNA 데이터를 이해하는 데 도움을 주었다(B6, M=3.16)가 낮은 평균 점수를 보였다. 정성적인 주요 의견으로는 소리 자체의 질감, 작품이 제공하는 몰입감, 자신에 대한 반추에 대한 긍정적인 평가가 도출되었다. 부정 평가로는 11분의 다소 긴 관람 시간과 RNA 데이터에 대한 사전 지식이 부족한 관람객들이 소리를 이해하기 어려워하는 점이 언급되었다. 아래는 이와 관련하여 관람객이 보고한 사항의 일부이다.

<ViViD> select audience comments

3) <어드메> 관람객 평가

<Ŏdŭme> audience evaluation items and results(N=52)

작품이 생물학적 데이터의 이해에 도움을 주고 흥미를 유발하는지 알아보기 위해 실시한 7점 리커트 척도로 이루어진 정량 평가에서 모든 항목에서 4점과 6점 사이의 점수를 기록하여(평균 5.15) 대체로 긍정적인 관객의 반응을 확인하였다. 관람객의 정성적 주요 의견으로는 DMZ 공간의 어려운 접근성을 소리화로 감각할 수 있게 만든 참신성, 생태계의 균형을 소리화로 표현한 참신성에 대한 언급이 많았다. 주요 부정적 의견으로는 입체 음향에 익숙하지 않아 개별 소리 요소를 분리하여 인지하고 이해하는 데 어려움을 겪었다가 있었다. 아래는 이와 관련하여 관람객이 보고한 사항의 일부이다.

<Ŏdŭme> select audience comments


Ⅴ. 논 의

감상자가 가진 소리화의 대상이 되는 데이터에 대한 사전이해도의 차이가 소리화(Sonification) 작품을 감상하는 경험에 영향을 미치는 것을 확인하였다. 관람객은 DNA 및 RNA 데이터보다는 코로나바이러스 확진자 수 증가 추이 데이터를 더 잘 이해하고 있어 <ViViD> 작품에서 해당 부분을 보다 깊이 이해하고 풍부한 경험을 보고 하였다. 다시 말해, 관람객에게 충분한 사전 정보를 제공하여 사운드와 의미의 연결을 유도하는 것이 소리화 작품의 성공에 기여할 것으로 판단된다. 정성 평가에서 일부 관람객이 제안한 인터랙티브 시스템이 도움이 될 수 있을 것이다.

인간의 인지 모델과 소리화의 구성이 유사할수록 더 직관적인 이해를 유도하는 것으로 나타났다. <ViViD>에서 바이러스의 확산을 공간음향에서 음원이 퍼져나가는 형태로 표현한 것이 높은 평가를 받았다.

본 연구의 주요 한계는 주로 20대 여성을 중심으로 한 일반 관람객의 평가에 기반하고 있다는 점이다. 추후 다양한 연령대 및 관심 그룹을 대상으로 한 평가를 수행하거나, 생물학에 대한 높은 관심을 가진 사람들로 대상 집단의 성격을 명확히 하여 보다 심층적인 연구를 수행할 필요가 있다.


Ⅵ. 결 론

본 연구는 생물학적 순차 데이터를 중심으로 생명 현상에 관련된 데이터들의 소리화 방법을 저자의 세 가지 소리화 예술 작품의 사례를 통해 탐구하였다. 각 작품은 소리화를 활용하여 종 다양성(Species Diversity), 생태계 다양성(Ecosystem Diversity), 원 헬스(One Health) 등 생명 현상과 관련된 다양한 개념을 주제로 다루었다.

세 전시 사례에서 얻은 관람객 평가 결과는 소리화 작품이 과학적 순차 데이터에 대한 이해와 흥미를 증진시킬 수 있는 가능성을 시사한다. 특히, 관람객과의 인터뷰 등을 통해 소리화 예술 기법은 아직 대중에게 낯선 방식이기에 색다른 흥미를 유발할 수 있음을 확인할 수 있었다.

소개된 개별 사례에서 시도된 방법들은 향후 예술적 표현의 수단으로 소리화를 활용하려는 창작자들에게, 그리고 보다 실용적으로는 생물학 교육시 학생들의 흥미를 높일 수 있는 참고 사례로서 기여할 수 있을 것으로 기대한다. 아울러, 본 연구는 예술적 실천으로서 순차 데이터 소리화를 통한 과학-음악 간 융합 연구가 새롭고 의미 있는 결과를 생성했다는 데 의의가 있다.

References

  • P. Sinclair, “Sonification: What Where How Why Artistic Practice Relating Sonification to Environments,” AI & Society, Vol. 27, No. 2, pp. 173-175, May 2012. [https://doi.org/10.1007/s00146-011-0346-2]
  • G. Ritschard, “Exploring Sequential Data,” in Proceedings of the 15th International Conference on Discovery Science, Lyon, France, pp. 3-6, October 2012. [https://doi.org/10.1007/978-3-642-33492-4_3]
  • G. Kramer, B. Walker, T. Bonebright, P. Cook, J. H. Flowers, N. Miner, and J. Neuhoff, Sonification Report: Status of the Field and Research Agenda, National Science Foundation, Alexandri: VA, NSF Sonification White Paper - Master 12/13/98, 1999.
  • S. Gresham-Lancaster, “Relationships of Sonification to Music and Sound Art,” AI & Society, Vol. 27, No. 2, pp. 207-212, May 2012. [https://doi.org/10.1007/s00146-011-0337-3]
  • T. Hermann and H. Ritter, “Sound and Meaning in Auditory Data Display,” in Proceedings of the IEEE, Vol. 92, No. 4, pp. 730-741, April 2004. [https://doi.org/10.1109/JPROC.2004.825904]
  • E. Rutherford and H. Geiger, “An Electrical Method of Counting the Number of α-Particles from Radio-Active Substances,” in Proceedings of the Royal Society of London. Series A, Containing Papers of a Mathematical and Physical Character, Vol. 81, No. 546, pp. 141-161, August 1908. [https://doi.org/10.1098/rspa.1908.0065]
  • E. E. Fournier d’Albe, “On a Type-Reading Optophone,” in Proceedings of the Royal Society of London. Series A, Containing Papers of a Mathematical and Physical Character, Vol. 90, No. 619, pp. 373-375, July 1914. [https://doi.org/10.1098/rspa.1914.0061]
  • M. Quinton, I. McGregor, and D. Benyon, “Sonification of an Exoplanetary Atmosphere,” in Proceedings of the 15th International Audio Mostly Conference (AM ’20), Graz, Austria, pp. 191-198, September 2020. [https://doi.org/10.1145/3411109.3411117]
  • M. Asendorf, M. Kienzle, R. Ringe, F. Ahmadi, D. Bhowmik, J. Chen, ... and T. Ziemer, “Tiltification - An Accessible App to Popularize Sonification,” in Proceedings of the 26th International Conference on Auditory Display (ICAD 2021), Online, pp. 184-191, June 2021. [https://doi.org/10.21785/icad2021.025]
  • Wired. Smog Musicians Turn Pollution Data into Jagged Melodies [Internet]. Available: https://www.wired.com/2010/10/smog-music/, .
  • Sonic Acts. Dolmen [Internet]. Available: https://sonicacts.com/archive/mario-de-vega-dolmen, .
  • Algorithmic Arts. Genetic Music from DNA and Protein [Internet]. Available: http://www.geneticmusic.com/music.htm
  • T. Ingalls, G. Martius, M. Hellmuth, M. Marz, and S. J. Prohaska, “Converting DNA to Music: COMPOSALIGN,” in Proceedings of German Conference on Bioinformatics (GCB 2009), Halle (Saale), Germany, pp. 93-103, September 2009.
  • M. D. Temple, “An Auditory Display Tool for DNA Sequence Analysis,” BMC Bioinformatics, Vol. 18, 221, 2017. [https://doi.org/10.1186/s12859-017-1632-x]
  • DNA Sonification. The Sound of Genes [Internet]. Available: http://dnasonification.org/, .
  • Sound Cloud. Viral Counterpoint of the Coronavirus Spike Protein (2019-nCoV) by Markus J. Buehler [Internet]. Available: https://soundcloud.com/user-275864738/viral-counterpoint-of-the-coronavirus-spike-protein-2019-ncov, .
  • KBS Data Journalism Team. COVID-19 Spreading Network [Internet]. Available: https://dj.kbs.co.kr/resources/2020-01-31/, .
  • NCBI (National Center for Biotechnology Information). Severe Acute Respiratory Syndrome Coronavirus 2 Isolate Wuhan-Hu-1, Complete Genome [Internet]. Available: https://www.ncbi.nlm.nih.gov/nuccore/NC_045512, .
  • D. Worrall, Data Sonification: A Prehistory, in Sonification Design: From Data to Intelligible Soundfields, Cham, Switzerland: Springer, ch. 1, pp. 3-21, 2019.
  • L. Crawford, “Viktor Shklovskij: Différance in Defamiliarization,” Comparative Literature, Vol. 36, No. 3, pp. 209-219, 1984. [https://doi.org/10.2307/1770260]

저자소개

이다영(Dayoung Lee)

2018년:서강대학교 (예술공학사-아트&테크놀로지)

2021년:서강대학교 대학원 (예술공학석사-아트&테크놀로지)

※관심분야:XR, 미디어 아트

김주섭(Jusub Kim)

2000년:연세대학교 (공학사-전자공학)

2002년:연세대학교 대학원 (공학석사-전자공학)

2008년:미국 메릴랜드대 대학원 (공학박사-컴퓨터공학)

2012년~현 재: 서강대학교 아트&테크놀로지학과 교수

※관심분야:휴먼컴퓨터인터랙션, 컴퓨테이셔널 미디어

Fig. 1.

Fig. 1.
<The Sound of Plants> (Seoul Forest Community Center & Culture Station Seoul 284, 2019)

Fig. 2.

Fig. 2.
8 DMZ native plants used in the <The Sound of Plants> exhibition* The plant is native to Korea, so the Korean name is written with their scientific name.

Fig. 3.

Fig. 3.
Overview of the life phenomenon data hierarchy used in <The Sound of Plants>

Fig. 4.

Fig. 4.
Melodical Sound form of sonification based on the characteristics of amino acids

Fig. 5.

Fig. 5.
Percussive sound form of sonification based on the number of amino acids per peptide

Fig. 6.

Fig. 6.
Ambient sound based on the percentage of different types of amino acids per peptide

Fig. 7.

Fig. 7.
<ViViD> (Seoul Art Space Mullae, 2020)

Fig. 8.

Fig. 8.
Changes in daily COVID-19 cases in Korea during 2020

Fig. 9.

Fig. 9.
Tone mapping of virus structural elements (S, E, M, N)

Fig. 10.

Fig. 10.
Examples of sonification of accessory gene

Fig. 11.

Fig. 11.
Installation diagram of <ViViD>

Fig. 12.

Fig. 12.
<Ŏdŭme> (Asia Culture Center, 2020 ~ 2021)

Fig. 13.

Fig. 13.
Determing ADSR (Attack-Decay-Sustain-Release) based on ATGC ratio and a species in <Ŏdŭme>

Fig. 14.

Fig. 14.
Example of simulating a food web ecosystem in <Ŏdŭme> (Cube size proportional to number of objects)

Fig. 15.

Fig. 15.
Geodesic dome structure and speaker installation layout in <Ŏdŭme>

Table 1.

DMZ native species utilized in <Ŏdŭme>

Region DMZ Native Species
Freshwater·Plains 16 species in total, including white-tailed eagles, otters, bullfrogs, etc.
Mountain·Mountain valleys 15 species in total, including leopard cat, yellow-throated marten, musk deer, etc.
Coastal 12 species in total, including common seal, black-tailed gull, spoonbill, etc.

Table 2.

<The Sound of Plants> audience evaluation items and results(N=10)

Visitor Info age 10’s: 10%, 20’s: 80%, 30’s: 10%
sex Male: 10%, Female: 90%
Questionnaire
(5-point Likert Scale)
A1 I became more interested in the native plants of the DMZ. M=3.60
(SD=0.84)
A2 The sonification made me more aware of the differences between the plants on display. M=3.30
(SD=0.82)
A3 I noticed similarities between the sounds of plants that were visually perceived as similar M=3.60
(SD=0.70)
A4 I am more inclined to look for plants native to the DMZ. M=3.50
(SD=0.85)

Table 3.

<The Sound of Plants> select audience comments

"I didn't know the name of the plant, but hearing the sound of the plant for the first time made me curious and wanted to look it up.", P1 (female, 20s)
"I'm not used to listening in this way, so after listening to it several times, I could feel the difference.", P8 (female, 20s)

Table 4.

<ViViD> audience evaluation items and results(N=44)

Visitor Info age 20‘s: 80%, 30’s: 16%, 40’s: 4%
sex Male: 34%, Female: 66%
Questionnaire
(5-point Likert Scale)
B1 I think the sonification helps me understand the work. M=3.98
(SD=0.79)
B2 The bass instruments and beeping barcode-like sounds were effective in representing the RNA data of the coronavirus. M=3.66
(SD=1.01)
B3 A sustained 'boom' sound and a sudden "boom!" sound were effective in representing the spread of the coronavirus. M=4.16
(SD=1.01)
B4 The movement of sound presented in spatial audio form through eight channels of speakers was effective in conveying the spread of the coronavirus. M=4.23
(SD=0.86)
B5 The artwork helped me to imagine the coronavirus. M=3.82
(SD=0.99)
B6 The work helped me understand the [RNA data] of the coronavirus. M=3.16
(SD=0.99)
B7 The work helped me understand the [spread data] of the coronavirus. M=4.00
(SD=1.01)
B8 I am more interested in the [RNA data] of the coronavirus. M=3.80
(SD=1.02)
B9 I am more interested in the [spread data] of the coronavirus. M=4.02
(SD=0.70)

Table 5.

<ViViD> select audience comments

"I think the sound went well with the alien feeling of the coronavirus. I felt like I was being attacked by aliens and immobilized in the water", P21 (female, 20s)
"It was immersive, and the theme really hit home when the sound and lighting became more colorful as the time goes.", P31 (female, 20s)
"The changing dates, sounds, and lights made me think about what happened on those dates that caused the spike in cases and what I was doing. At the beginning of the outbreak in April, the sounds were really scary, but as I got more and more desensitized to the sounds, I felt like I was experiencing myself getting desensitized to the number of cases.", P41 (Female, 20s)

Table 6.

<Ŏdŭme> audience evaluation items and results(N=52)

Visitor Info age 10‘s: 14%, 20’s: 67%, 30’s: 10%, 40’s: 8%
sex Male: 23%, Female: 77%
Questionnaire
(7-point Likert Scale)
C1 This piece helped me envision the ecosystem of the DMZ. M=4.71
(SD=1.49)
C2 It was interesting to hear the DNA data rather than read it. M=5.44
(SD=1.26)
C3 Listening to the DNA data rather than reading it helped me understand the data intuitively. M=5.40
(SD=1.29)
C4 Listening to the spatial audio from 20 speakers in the dome helped me intuitively understand the ecosystem of the DMZ. M=4.94
(SD=1.39)
C5 I became more interested in the ecosystem of the DMZ. M=5.29
(SD=1.29)

Table 7.

<Ŏdŭme> select audience comments

"It was interesting and unique to represent the balance of the ecosystem with sound.", P35 (female, 20s)
"It sparks the imagination.", P41 (female, 20s)
"Before entering the dome-shaped structure, I think it would have been more interesting to be able to hear the sequence of sounds for a particular species separately beforehand.", P32 (female, 20s)