상호작용적 디지털 가드닝을 이용한 가상과 물리 공간 통합 연구: 그림자 꽃 프로젝트

Ⅰ. 서 론

첨단 IT 기술의 발전은 환경, 문화, 교육, 산업 등에 빠른 변화를 가져오고 있고, 이로 인해 사람들의 문화생활은 더욱 다채로워지고 있다[1]. 최근 전시도 이 변화에 발맞춰 메타버스와 웹 3.0이 결합된 창작자 시대의 콘텍스트를 반영하고 있다. 이렇게 해서 관람객은 직접 참여할 수 있고, 전시물 역시 그에 따라 변화하게 된다. 더 나아가, 전시는 하나의 시스템으로 작동해 관람객을 인식하고, 그에 맞는 전시를 추천하는 등 상호작용에 중점을 둔다. 이런 변화는 인공지능, 데이터 처리 기술, 통신, 네트워크 기술, 사용자 인식 기술, 첨단 디스플레이 등의 기술 발전 덕분에 가능해졌다.

디지털 미디어를 통한 상호작용은 강력한 커뮤니케이션 도구로 작용하며, 관람객을 수동적인 감상자에서 능동적인 참여자로 전환시킨다[2]. 전통적인 전시 콘텐츠는 주로 관람객과의 심리적 상호작용에 중점을 뒀으나, 뉴미디어 콘텐츠는 '즉각적인 피드백'이 가능한 물리적 상호작용이 추가되어 있다. 이러한 피드백은 관람객에게 '몰입' 효과를 주며, 작품 간의 상호작용을 통해 새로운 의미를 창출한다.

본 연구는 '가상 가드닝(Virtual Gardening)'이라는 주제를 중심으로, 관람객의 심리, 감정, 그리고 행위에 실시간으로 반응해 콘텐츠를 재생성하는 방향으로 구성되었다. 본 연구는 메타버스와 웹 3.0이 주요한 역할을 하는 뉴미디어 시대의 맥락을 반영하였다. 특히, 참여자는 이 과정에서 단순한 관람객에서 벗어나 창조자로서 역할을 하게 되고, 전시가 끝난 후에도 이 역할이 지속될 수 있도록 하였다. 이는 본 연구가 기존 유사한 프로젝트들과 구별되는 주요 차별점과 개선점을 가지고 있다고 볼 수 있다. 추가로, 이 연구는 가상 공간과 물리적 공간, 그리고 디지털 자산의 혼합 가능성에 대한 탐구도 포함하고 있다.

가상 가드닝에서는 자신만의 꽃을 키우는 것이 하나의 결과물이며, 이 과정은 과정의 개방성과 결과의 개방성을 내포한다. 이를 통해 관람객은 신체를 활용하여 꽃을 키우고, 이를 다른 사람들과 함께 즐기는 과정을 거친다. 전시가 끝난 후에도 실제로 식물을 키우는 경험을 통해, 전시가 더욱 의미 있게 느껴질 것으로 예상된다.

Ⅱ. 사례 연구

전시나 미술관에서의 경험은 단순한 관람을 넘어 다양한 가치를 방문자에게 제공한다[3]. 이 경험은 방문자와 그들의 다양한 상호 작용을 중심으로 하며, 이를 통해 미술관이나 전시가 더욱 생동감 있고 사회적으로 중요한 공간이 될 수 있다. 예를 들어, 디지털이 중요해지는 현재 사회에서는 디지털 미디어를 통한 경험과 참여가 더욱 중요하다[2]. 디지털 아트와 뉴미디어는 특히 젊은 세대의 학습과 문화 소비에 영향을 주며, 이러한 영역에서의 참여와 경험은 교육과 학습에도 적용될 수 있다.

다음으로, 식물을 돌보는 활동은 정신적 건강에 긍정적인 영향을 미친다는 연구 결과가 있다. 예를 들어, 초등학생들은 원예 활동을 통해 정서적 성숙과 사회성을 개발하였다. 뿐만 아니라, 보호 시설에서 생활하는 여성들은 원예 치료 프로그램을 통해 자아존중감과 삶의 만족도가 향상되었다. 이러한 체험을 더 깊게 이해하고 활용하기 위해 디지털 기술이 도입되고 있다.

먼저, 포셔니어(Potioneer)와 같은 프로젝트는 가상 환경에서 원예 체험을 가능하게 해주며[6], 디지털 기술의 접목을 통해 식물의 성장을 이해하고 자기 자신의 성장과 발전을 느낄 수 있게 한다. 그 다음으로, Interactive Plant Growing 프로젝트는 실제와 가상의 경계를 허물어 실제 식물에 손을 대는 것이 가상의 세계에 영향을 미치는 경험을 제공한다[7]. 이러한 접근법은 참여자의 심리와 감정 상태를 반영하여 흥미와 참여를 유도한다.

이런 맥락에서 "그림자꽃" 프로젝트는 기존의 가상 가드닝 게임, 예를 들어 플랜티파이(Plantify), 가든 스케이프(Garden Scapes), 홈스케이프스(Homescapes) 등과는 다르게, 관람객의 신체적 참여와 현실에서의 가드닝을 중심으로 한다[8]-[10]. 이는 Plant-for-the-Planet, 트리돔(Treedom), 원트리플랜티드(One Tree Planted)와 같은 실제 나무를 심는 활동을 온라인에서 제공하는 프로젝트와 연결된다[11]-[13].

본 논문은 관람자의 참여를 중심으로 삼아 가상과 현실을 연결하는 새로운 접근법을 제안한다. 이는 기존 체험형 전시의 한계를 넘어, 참여자가 전시에서 얻은 경험을 일상 생활까지 확장할 수 있음을 보여준다.

Ⅲ. 그림자꽃

3-2 연출방향

본 작업에서 '그림자꽃' 체험 콘텐츠는 전시 관람 중 창의적 활동을 할 수 있는 독특한 환경을 제공한다. 이 체험은 씨앗의 생성부터 꽃의 성장, 그리고 꽃을 공동체와 공유하는 과정까지 이어진다. 체험은 '드로잉 가든', '그림자 화분', '그림자 사운드', 그리고 일상에서의 '현실 가드닝'이라는 네 개의 다른 공간으로 구성되어 있다. 그림 1에서는 이러한 공간들이 어떻게 연계되는지 시각적으로 표현하고 있다.

Fig. 1.

Overall structure of the shadow flower experience

각 공간은 사용자의 참여와 몰입을 최대화하는 것을 목표로 설계되었다. 특히, 꽃을 가꾸는 연속적인 행위—'그림자 꽃잎 만들기', '그림자꽃 피우기', '그림자꽃 공유하기', 그리고 '실제 가드닝 체험'—를 중심으로 전개되어 참여자가 다음 단계로 자연스럽게 이동하게 된다.

그림 2의 전시평면도를 통해 볼 수 있는 전시 공간 배치도는 참여자의 인지 과정을 고려하여 설계되었다. 전시의 시작 부분에는 설명 패널이 참여자의 진입 시야에 자리하고 있어, 체험의 전반적인 이해를 쉽게 돕니다. 바로 옆에 위치한 스크린은 관람객의 시선을 자연스럽게 이끌어, 실시간으로 다른 관람객들이 만든 그림자꽃의 움직임과 소리를 체험할 수 있게 한다. 이러한 구성은 참여자가 "나도 이 체험의 일부가 될 수 있을까?"라는 호기심과 기대감을 느끼게 하는 동시에, 콘텐츠와 어떻게 상호작용할지에 대한 간접적인 가이드 역할을 한다.

Fig. 2.

Shadow flower experience space examples and flow path

이 전시는 단순히 눈으로 보고 지나가는 것이 아니라, 참여자 스스로가 주체가 되어 작품을 완성해 나가는 동적인 프로세스를 제안한다. 그 결과로 참여자는 전시를 통해 자신의 창조성을 발견하게 되며, 공동체와의 연결을 더욱 깊게 느낄 수 있다.

3-3 드로잉 가든

드로잉 가든에서 사용자는 '씨드페이퍼'(Seed Paper)에 펜으로 꽃잎의 윤곽선을 그려 개인화된 창작활동을 경험한다. 이 50x70mm 크기의 특수한 씨드페이퍼는 실제로 싹이 나와, 창작 활동의 가치와 자연과의 연결성을 높일 수 있다. 그림을 완성한 후에는 사용자가 가위로 꽃잎의 윤곽선을 따라 오린다. 이렇게 오려진 꽃잎은 이후의 체험에서 중요한 모티브로 사용된다.

시스템 내부에서는 고해상도 카메라로 오려진 씨드페이퍼의 꽃잎 형태를 인식한다(그림 3). 이 카메라는 '컨투어 디텍션 알고리즘'(Contour Detection Algorithm)[14]을 사용하여 꽃잎의 윤곽선 정보를 정확하게 추출한다. 컨투어 디텍션은 객체의 외곽이나 그림자를 탐지하는 기술로, 꽃잎의 윤곽선을 정확히 파악하는 데 유용하다.

Fig. 3.

Seed drawing processing steps

추출된 윤곽선 정보에 기초해 '회전 복제 알고리즘'(Rotation Replication Algorithm)을 적용한다. 이 알고리즘을 통해 사용자가 그린 하나의 꽃잎 모티브가 다양한 각도에서 회전하며 전체 꽃의 패턴을 만들어낸다[15]. 이 결과로 생성된 꽃 패턴은 사용자의 원래 꽃잎 디자인을 기반으로 하며, 다양한 각도에서 반복되어 완전한 꽃 형태를 이룬다.

데이터베이스에는 사용자의 꽃잎 윤곽선 데이터와 텍스트 형태의 개인 정보가 저장된다. 이 정보는 그림자꽃의 형태, 성장 패턴, 그리고 사용자의 참여 기록을 관리하는 데 사용된다. 키오스크를 이용해 참여자는 자신의 정보와 이 윤곽선을 시스템에 등록한다. 이런 절차를 통해 각 사용자는 자신만의 독특한 그림자꽃을 경험하며, 창작의 즐거움과 성취감을 느낀다.

3-5 그림자 화분

"그림자 화분"은 사용자의 창작적인 씨앗에서 꽃을 만들어내는 인터랙티브한 공간으로 설계되었다(그림 4). 이 프로젝트는 마이크로소프트의 키넥트 라이브러리를 활용하여 사용자의 움직임을 감지하고 인식한다. 키넥트를 통해 사용자의 신체를 촬영하며, 그 중에서 윤곽선만을 추출해 화면에 그림자 형태로 투영한다. 이 기술을 활용해 사용자는 자신의 모습이 가상의 세계에 존재하게 되고, 그 기반으로 꽃을 만드는 체험을 한다.

Fig. 4.

Configuration diagram of the Shadow Pot experience

꽃을 피우는 모듈은 사용자의 움직임을 실시간으로 캡쳐하고, 이 데이터를 바탕으로 필요한 정보를 얻는다. 이를 통해 사용자는 직관적이고 참여적인 인터랙션을 경험한다. 본 연구에서 필요한 정보는 햇빛, 거름, 물과 같은 생물학적 요소로 표현되며, 이들은 새싹의 길이, 꽃잎의 개수, 꽃이 피어나는 시각과 연결되어 있다. 사용자의 움직임은 이러한 요소를 조작하는 데 사용된다.

기술적인 측면에서, 이 모듈은 엘시스템(L-system)이라는 알고리즘을 기반으로 한다. 이 알고리즘은 1990년대에 출판된 <The Algorithmic Beauty of Plants>에서 처음 소개되었다[15]. 프로시쥬어 플라워 유니티 에셋(Procedural Flower Unity Asset)[16]은 엘시스템을 활용하여 꽃의 성장과 피어남을 3D 공간에서 자연스럽게 재현한다.

키넥트를 통한 사용자의 신체 위치 정보는 3D 좌표 데이터로 변환된다. 이 데이터는 엘시스템 알고리즘과 연동되어 꽃의 성장 방향과 속도를 조절한다. 예를 들면, 사용자가 양손을 들어 "햇빛"을 주면, 성장 속도가 가속화된다. 앉는 동작으로 "거름"을 주면 꽃잎의 개수가 늘어나고, 한 손을 들어 "물"을 주면 꽃이 빨리 피어난다.

키넥트 라이브러리는 또한 "양손 올리기", "앉기", "한손 올리기" 등 다양한 사용자 동작을 인식할 수 있다(그림 5). 이러한 동작들은 그림자 화분에서 입력 정보로 사용된다.

Fig. 5.

Demonstration images and conceptual diagram of the three actions by the Shadow Pot audience

• • 양손 올리기(햇빛): 사용자가 양손을 하늘로 들어올리면, 화면의 꽃은 햇빛을 받는 것처럼 반응한다. 이 동작은 꽃의 성장을 촉진시키며, 화면에서는 꽃이 밝게 빛나는 효과를 볼 수 있다.
• • 앉기(거름주기): 사용자가 앉을 경우, 화면은 꽃에게 필요한 영양분을 제공하는 것처럼 표현된다. 이 동작은 꽃에게 성장에 필요한 영양분을 공급하며, 화면에서는 꽃의 색깔이 더 진해지는 효과가 나타난다.
• • 한손 올리기(물주기): 사용자가 한 손을 들면, 화면은 꽃에게 물을 주는 것처럼 나타난다. 이 동작은 꽃에게 필요한 물분을 공급하고, 화면에서는 물방울이 내리는 효과를 볼 수 있다.

이 통합된 시스템은 사용자의 움직임과 식물의 자연스러운 성장을 논리적으로 결합해, 인터랙티브하고 생동감 있는 디지털 꽃을 창조한다. 각 동작에 따른 피드백은 사용자가 자신의 움직임이 꽃의 성장에 어떠한 영향을 미치는지를 체감하게 해준다. 이를 통해 사용자는 물리적 세계와 디지털 세계의 경계에서 독특한 그림자꽃을 창작하게 된다.

3-6 그림자 사운드

그림자 사운드는 센싱된 신체 동작 정보를 처리하여 사운드를 생성하는 모듈로 개발되었다. 사용자가 공간에 진입하면, 키넥트 센서와 동작 인식 알고리즘을 통해 사용자의 움직임을 정밀하게 파악한다. 이 움직임에 기반해 스크린 상에서는 그림자 꽃을 연출한다(그림 6).

Fig. 6.

Configuration and demonstration of the shadow sound experience

그림자 사운드에서 꽃의 움직임은 실시간으로 수집되는 사용자의 신체 동작 데이터와 연동된다. 이 데이터는 사운드 합성 알고리즘과 결합되어 다양한 음향 효과를 생성한다. FM(Frequency Modulation) 합성 기법이 주로 활용되며, 이 기법은 사용자의 움직임에 따라 소리의 주파수를 변조한다[17].

꽃이나 꽃잎의 동작은 사용자의 신체 부위별로 다르게 인식된다. 예를 들어, 사용자의 팔의 움직임은 한 종류의 사운드 패턴을 생성하며, 다리의 움직임은 다른 종류의 사운드 패턴을 만들어낸다. 이런식으로, 인식된 움직임에 따라 그림자 꽃은 다양한 소리 패턴, 주파수, 그리고 반주를 생성하는 독특한 사운드 프로파일을 만들어낸다.

음악적 매핑 알고리즘은 각 그림자 꽃의 고유한 특성과 사용자의 신체 움직임을 분석하여 특정한 음악적 표현을 생성하도록 프로그래밍되었다. 그림자 사운드는 사용자와 꽃의 움직임 사이의 깊은 상호 연계를 통해 다차원적인 음악 경험을 제공한다. 참가자들은 상호작용을 통해 새로운 음악적 창조 환경을 만들어나간다. 결론적으로, 그림자 사운드는 센서 데이터와 음악 생성 모듈의 결합을 통해, 사용자들에게 창조적 표현의 무대를 제공하면서 그들의 작품을 다양한 방식으로 경험하고 공유할 수 있는 이색적인 음악 공간을 제공한다.

Ⅳ. 결 론

본 연구는 콘텐츠 디자인 프로세스와 가이드라인을 통해 가상과 물리적 공간을 통합하는 체험형 콘텐츠를 개발했다. 관람객들은 개인의 심리와 감정 상태에 맞는 체험 매개를 직접 디자인하고, 그들의 행위와 반응에 따라 실시간으로 꽃을 만들고 연주하는 활동을 수행한다. 이 과정은 사용자가 직접 창작한 그림자꽃을 통해 가상 공간과 현실 세계를 연결하며, 뉴미디어와 물리적 공간 자산을 통합하는 새로운 방식을 제시하였다.

본 연구가 제시하는 인터랙티브 전시 콘텐츠는 '씨드페이퍼'를 통한 오프라인 창작활동, 개인별로 완성된 콘텐츠를 통한 가상 원예 체험, 그리고 신체를 활용한 개인화된 콘텐츠 생성 경험을 특성으로 가진다. 이러한 요소들은 그림자를 통한 가상공간 구성과 관람객의 신체를 그림자 형태로 투영하여 몰입도를 높이며, 꽃 피우기 모듈과 꽃 공유하기 모듈은 "그림자 가든" 가상 가드닝 콘텐츠 기획에 활용될 수 있다고 본다.

관람객은 가상의 가든에서 다른 관람객과 아이디어를 공유하고, 간단한 신체 움직임으로 체험 결과물과 상호작용한다. 이 과정은 시각적인 효과와 우연적인 사운드 연주를 통한 청각적 자극을 제공하여 관람객에게 공감각적인 경험을 제공한다. 마지막으로, 관람객은 실제 화분에 씨앗을 심어 실제 식물을 키우는 경험을 한다.

그림자 꽃은 관람객에게 심리적, 감정적 상태에 따른 개성있는 콘텐츠 요소를 창조하며, 이를 통해 공간의 변화를 유도하였다. 이를 통해 공간은 관람객의 생동감 있는 퍼포먼스로 변화하며, 이러한 변화가 관람객에게 어떠한 영향을 미쳤는지는 추가적인 연구가 필요하다. 이러한 적극적 참여는 관람객을 주체적인 창조자로 만들고, 가상과 실체 공간을 넘나들며 그림자꽃을 통해 가드닝 정보와 과정을 체험한다. 이러한 접근법은 교육적 효과와 감성적 효과를 동시에 제공하며, 이를 통해 관람객의 전시 경험을 의미있게 만든다.

Acknowledgments

본 연구는 2023년도 디엠씨산학진흥재단의 지원을 받아 수행되었음.

References

• H. Jho, “The Changes of Future Society and Educational Environment according to the Fourth Industrial Revolution and the Tasks of School Science Education,” Journal of Korean Elementary Science Education, Vol. 36, No. 3, pp. 286-301, August 2017.
• H. Lee and W. Kim, “Types of Media Combination and Strategy of Interactivity in Digital Signage: A Case Study in View of Media Creative,” Journal of Digital Contents Society, Vol. 17, No. 1, pp. 33-41, February 2016. [https://doi.org/10.9728/dcs.2016.17.1.33]
• N. Simon, The Participatory Museum, Museum 2.0, 2010.
• Y. Liu, Y. Chen, and Z. Li, “Effects of Gardening Activities on Elementary Students’ Emotional and Social Development,” International Journal of Environmental Research and Public Health, Vol. 15, No. 12, p. 2845, December 2018.
• M. González and M. Kirkevold, “Horticultural Therapy in a Long-term Care Facility: A Qualitative Study of the Experiences of Women Living with Dementia,” Dementia, Vol. 15, No. 4, pp. 745-762, July 2016.
• Potioneer: The VR Gardening Simulator [Internet]. Available: https://store.steampowered.com/app/544410/Potioneer_The_VR_Gardening_Simulator/, .
• C. Sommerer and L. Mignonneau, Interactive plant growing [Internet]. Available: http://www.interface.ufg.ac.at/christa-laurent/WORKS/FRAMES/FrameSet.html, .
• Plantify [Internet]. Available at: https://plantify.co.za/, .
• Gardenscapes [Internet]. Available: https://www.playrix.com/gardenscapes/, .
• Homescapes [Internet]. Available: https://www.playrix.com/homescapes/, .
• Plant-for-the-Planet [Internet]. Available: https://www.plant-for-the-planet.org/en/home, .
• Treedom [Internet]. Available: https://www.treedom.net/en/, .
• One Tree Planted [Internet]. Available: https://onetreeplanted.org/, .
• Contour Detection using OpenCV (Python/C++)” by LearnOpenCV [Internet]. Available: https://learnopencv.com
• P. Prusinkiewicz and A. Lindenmayer, The Algorithmic Beauty of Plants, Springer-Verlag, New York, 1990.
• Procedural Flower Generator for Unity [Internet]. GitHub Repository [Internet]. Available: https://github.com/mattatz/unity-procedural-flower
• J. Chowning, “The Synthesis of Complex Audio Spectra by Means of Frequency Modulation,” Journal of the Audio Engineering Society, Vol. 21, No. 7, pp. 526-534, 1973.