기술철학적 관점을 반영한 생성적 인공지능 예술창작 사례 연구

인공지능 예술은 그 영역의 특성상 현재 짧은 시간 내에 빠른 속도로 분화하고 있다. 예술 분야 이전에 본래의 분야인 공학에서의 인공지능 기술은 서비스의 형태에 더욱 특화하여 분화하는 중이다. 그 대표적인 분야로는 이미지 검출, 자연어 생성, 음성 인식, 가상 에이전트, 기계학습 플랫폼(machine learning platforms), AI 최적화 하드웨어, 의사 결정 관리, 깊은 학습 플랫폼(deep learning platforms), 로봇 프로세스 자동화, 텍스트 분석 및 자연어 처리(NLP, natural language processing) 등이라 할 수 있다. 특히 자연어 처리 분야와 이미지 생성 분야가 결합하는 과정에서, 생성적 인공지능 창작은 프롬프트 엔지니어링(prompt engineering)을 통해 더욱 대중화가 가속되고 있다.

프롬프트(prompt)는 거대언어모델(LLM)에 제공되는 일련의 지시 사항으로, 이를 통해 LLM을 사용자 맞춤화하거나 기능을 향상 및 개선하기 위해 사용한다[12]. 본래 프롬프트(prompt)란 표준국어대사전의 명사로 등재되기로는 연기 분야에 해당하는 용어로 ‘연극을 공연할 때 관객이 볼 수 없는 곳에서 배우에게 대사나 동작 따위를 일러 주는 일’로 명시되어 있다. 또 이 단어는 정보통신 용어로서의 명사로는 ‘시스템이 다음 명령이나 메시지, 또는 다른 사용자의 행동을 받아들일 준비가 되었음을 사용자에게 알려 주는 메시지’라 설명되어 있다. 즉, 인간의 언어 중에서 특정한 의도를 가지고 소통할 목적으로 생산한 모든 인공물을 이르는 용어로 텍스트를 기반으로 그 층위 자체에 어떠한 목적을 가지고 특정한 객체에 설명을 담은 형태이다. 이에 더하여 프롬프트 프로그래밍(prompt programming)이란 프롬프트라는 단어의 의미와 유사한 형태로 자연어를 기반으로 하며, 프로그래밍 언어를 사용하지 않고 적용할 수 있도록 구성된 형태이다. 프롬프트 엔지니어링(prompt engineering)은 LLM이 프롬프트를 통해 프로그래밍이 되는 방식을 의미한다.

프롬프트 엔지니어링은 이미지 분야보다는 우선 언어의 분야에서 먼저 발전을 이루었다. 특히 자연어 처리 분야는 인공지능 분야에서도 가장 많은 연구가 이루어진 분야였다. 이는 곧 딥러닝 분야에서 다양한 생성이 가능한 모델들로 확인되었지만, 2024년 현재 높은 성능 수준으로 평가되는 언어모델은 오픈에이아이(OpenAI)의 GPT-4o(Generative Pre-trained Transformer 4o)와 엔트로픽(Anthropic)의 Claude-3 등이다. 이러한 모델이 등장하는데는 트랜스포머(Transformer)모델이 큰 역할을 하였다. 구글(Google)의 2017년 논문에 처음 등장한 이 모델은 문장 속 단어와 같은 선형적인 순차의 데이터 내의 관계를 추적하여 맥락과 의미를 학습하는 신경망이다. 어텐션(attention)이라 불리며 진화를 거듭하는 수학적 기법을 응용해 데이터 요소들이 서로 떨어져 있는 상황에서, 관계에 따라 미묘하게 의미가 달라지는 부분까지 감지하는 것이 핵심이다[13].

텍스트 투 이미지(TEXT-TO-IMAGE)는 한글로 변환하면 ‘글에서 이미지로’이다. 이는 인공지능 예술 중에서 시각 분야에 대하여 프롬프트 엔지니어링을 적용한 분야에 대해서 다양한 모델을 장르 형태로 묶어서 부르는 명칭으로 굳어져 가고 있다. 이 명칭에 해당하는 인공지능 모델 들은 각각의 특성을 갖고 있으며, 데이터와 알고리즘에 따라 특화된 결과물을 생성한다. 또한 이때 사용되는 모델들은 거대 인공지능 모델로 분류되며, 그 데이터는 매년 더욱 큰 크기의 내용을 포함하고 있다.

인공지능 분야는 특성상 뛰어난 알고리즘과 학습 방법 등을 바탕으로 급속한 전개가 이루어지는 경우가 많다. 이 분야의 경우는 클립(CLIP)과 제로 샷(Zero shot)학습 등이 이에 해당한다. 본 논문에서는 공학적 접근을 통한 기술적인 분석은 다루고 있지 않지만, 간략하게 살펴보자면 클립은 언어를 이미지로, 이미지를 언어로 이해할 수 있도록 일종의 ‘연결고리’를 담당하는 딥러닝 모델에 해당된다. 제로 샷 학습은 인공지능 모델이 학습 과정에서 배우지 않은 작업을 수행하는 형태이다. 이 두 가지의 인공지능 모델의 조합으로 일종의 ‘연상’ 능력에 해당하는 기능을 수행할 수 있게 된 것이다. 이 부분이 핵심적인 작용의 원리에 해당한다[13].

텍스트를 바탕으로 이미지를 생성하는 인공지능은 현재 기업과 오픈소스 진영의 경합에서 벗어나 서비스의 영역으로 확대되고 있다. 2022년 당시의 대표적인 생성적 인공지능 이미지의 모델 혹은 애플리케이션은 다음과 같다. 달 리 3(Dall-E 3), 미드저니(Midjourney), 웜보(Wombo), 아트 브리더(Art breeder), 드림부스(DreamBooth) 등 인공지능 기술 바탕의 새로운 기업과 단체가 있다면, 구글의 이매겐(Imagen), 파티(Parti)와 메타(META)의 메이크 어 신(Make-A-Scene) 등 기존의 거대 IT 기업의 리서치 랩들이 다양한 인공지능 모델을 선보이는 중이였다. 이러한 인공지능 모델들의 가장 중요한 세 가지 시스템 자원(system resource)은 역시 데이터와 알고리즘, 컴퓨팅 파워(GPU)이다. 이 자원적 측면에서 기업이 이윤을 추구하면서 발생하는 불균형의 강도는 더욱 심화하고 있으며, 이를 타개하기 위한 오픈소스 진영의 반발도 만만치 않은 상황이다.

인공지능 예술 분야에서 현재는 텍스트 투 이미지를 넘어서 단순히 이미지 낱장을 생성하는 것이 아니라 연속적으로 이미지를 영상의 프레임 개념으로 생성하여 비디오로 전환하는 형태가 등장하였다.

이 형태는 확산(Diffusion) 모델에 해당하며, 특히 구글의 코랩(Colab), 아마존 웹 서비스(AWS, Amazon Web Services)와 같은 가상 컴퓨터(VM: Virtual Machine) 등의 인공지능 학습을 위한 보편적인 컴퓨팅 환경이 개선됨에 따라 더욱 쉽게 접근할 수 있게 되었다. 확산 모델은 기본적으로 GAN의 알고리즘과 동일한 배경을 가지고 있으며, 이 방식에 따라 노이즈와 안티노이징이 지속적인 관계를 형성하며 이미지를 생성하여 비디오로 전환되는 방식을 따른다. 또한 잠재확산모델(Latent Diffusion Model)을 통해 확산모델의 효율성이 증대하였고, 고해상도의 영상 제작이 어느 정도 가능해졌다[14].

2022년부터 본격적으로 가시화된 확산모델 기반 생성형 AI 모델은 디스코 디퓨전(Disco Diffusion)과 스테이블 디퓨전(Stable Diffusion)이 대표적이다. 디스코 디퓨전은 본질적으로 확산모델을 기반으로 했기 때문에 추상적이고 예술적인 이미지의 표현에 더 적합하다[15]. 파이썬(Python) 프로그래밍 언어로 제어 가능하고, 간단한 텍스트 설명에서 인공지능이 생성한 이미지를 프레임의 낱장으로 만들어 최종적으로는 영상으로 제작할 수 있도록 구성되어 있다. 스테이블 디퓨전은 잠재확산모델 기반으로 좀 더 사실적인 표현과 고해상도의 이미지 생성이 가능하여, 현재 인공지능 예술 창작에서 많이 사용되고 있는 모델이다. 두 모델의 경우는 깃헙(Github)과 구글의 코랩을 통해 사용 가능 하도록 오픈 소스로 공개되어 있다. 또한 둘 다 고정된 텍스트 인코더(CLIP ViT-L/14)를 사용하는 것이 가능하며, 해당 프레임 워크에서 창작물에 대한 텍스트 프롬프트를 최대한 자연어의 내용과 유사하게 생성할 수 있도록 구성되어 있다. 그 외 스테이블 디퓨전의 GUI 기반 시스템인 콤피UI(CompfyUI)나 또 다른 잠재확산모델 기반 모델인 런웨이 Gen-2(Runway Gen-2) 또한 2024년 현재 활발히 AI기반 영상 제작에 활용되고 있다.

이미지를 생성하는 방식 외에도 인공지능 기술을 바탕으로 한 예술의 창작은 끊임없이 발전하는 중이다. 음악이 그 대표적인 예이다. 구글의 텐서플로우 마젠타(Tensorflow Magenta) 이후 뚜렷한 프레임워크의 등장은 없는 실정이나, 기업에서 인공지능 알고리즘을 바탕으로 서비스 중인 에이바(AIVA), 부미(Boomy)등의 음악 생성기(music generator)는 보편적으로 통용될 만큼 사용성이 증대되었다.

사전적 의미로 창발(創發, emergence)은 ‘떠오름’이라는 의미가 있으며, 영어로는 ‘갑자기 솟아나는 특성’(emergent property) 또는 창출이라 한다. 데란다는 시스템이 개별 구성 요소로는 직접적으로 환원될 수 없는 특성이나 행동을 획득하는 과정을 창발이라 규정했다[21]. 이는 생물학적 유기체에서 사회 구조에 이르기까지, 복잡한 시스템이 어떻게 예측할 수 없는 새로운 행동과 특성을 나타내는지 이해하는데 중요하게 참조할 만하다.

인공지능 예술은 대규모 데이터에 대한 학습에 기인하지만, 결과적으로 새로운 생성물이 도출된다. 그리고 데이터에서 생성의 결과물로 도달하는 과정은 설명이 가능하지 못한, 즉 환원 불가능한 비가역적 과정이다. 이렇게 일련의 빅데이터는 군집을 이루는 대상체와 같은 선상에서 바라볼 수 있고, 알고리즘의 작용으로 인해 도출된 결과는 창발과 맞닿을 수 있다.

이러한 인공지능의 창발과 함께 살펴봐야 하는 개념은 복잡계(複雜系, complex system, complexity system)이다. 소규모의 네트워크에서 현재는 거대한 데이터를 바탕으로 한 네트워크의 한 형태로 등장한 인공지능 모델은 복잡계와 유사함을 가지고 있으며, 일정 부분은 그 안에 속한 특징이 맞물린다. 복잡계는 통상적으로 물리학, 경제학, 생명현상 등에 대하여 사용되는 용어로서 “완전한 질서나 완전한 무질서를 보이지 않고, 그사이에 존재하는 계로써, 수많은 요소로 구성되어 있으며 그들 사이의 상호작용 때문에 집단 성질이 떠오르는 다체문제”이다[20].

일반적인 기술 시스템적 접근으로 본다면 인공지능 기술은 인간의 지적 능력을 모방한 수학적 원리를 컴퓨팅 시스템에 의해 연산하여 생성, 적용, 구현하는 시스템에 해당한다. 그러나 현재 이 장치는 단순한 연산이 아닌 복잡성(complexity)을 내포하는 단계로 진화하고 있다. 물론 자신의 진화가 아닌 인간의 개입으로 인해 그 관계성이 더욱 단단해지고, 넓은 형태로 변모하고 있기에 인간이 인식하기에는 진화에 가까운 형태로 인지하게 되는 것이다.

마누엘 데란다의 경우는 복잡계와 사회의 상관관계를 질 들뢰즈(Gilles Deleuze)의 연구에서부터 찾았다. 그는 들뢰즈의 배치(Agencement)이론을 설명하며 “전체가 외재성의 관계들(Relations of exteriority)을 통해 이루어진다”라고 밝힌다. 또한 “무엇보다도 이러한 관계들이 함축하는 것은 배치를 구성하는 부분 들이 그 배치로부터 떨어져 나와서 상호작용이 다른 배치에 접속(Plug)될 수도 있다는 것”이라 한다[21]. 또한, 데란다는 인터뷰를 통해 “모든 문화가 그 자신의 세계 안에 있음을 근거로 경험의 언어적 성격을 거부하는 것은 공유된 인간 경험이라는 개념으로 가닿는다. 그리고 여기서 변화란 언어학적 개념의 의미작용(signification)에서의 차이가 아니라 화용론적 개념으로서의 함축성(significance)으로부터 나오는 것이다”라고 말한다[22].

이와 같은 데란다의 관점에서 인공지능을 바라보게 되면 그 존재가 인정될 수 있으나, 객체의 신체화가 이루어지지 않은 일종의 관념적인 대상이라 볼 수 있다. 또한, 이 관념 안에는 애초에 무수히 많은 표상과 기호 등의 의미가 연결되어 있음을 추론할 수 있다. 이는 딥러닝이라 불리는 인공신경망을 통한 연산 작용을 넘어 프롬프트 엔지니어링의 관점으로 더욱 깊게 상관성을 풀이할 수 있다. 이는 곧 자연어가 기존에 가지고 있는 의미와 이미지가 본래 내포하는 함의가 의미작용으로 일어나는 가운데 예술로서 창출될 수 있는 근거가 된다. 물론 현재의 인공신경망이 스스로 사고하는 존재는 아니기에 인간의 개입이라는 조건으로 이는 성립된다.

국내 기술철학자인 이재현은 그의 인공지능 기술비평에서 구글의 언어모델을 발터 벤야민의 순수언어와 연결해 통찰력 있게 해석한다. 벤야민은 순수언어를 통해 기존의 번역이 갖던 직접성이 아닌 내재적인 가능성에 무게를 두고 번역 가능성(Translatability)를 주장하였다. 이는 인간과 무관한 특정한 결과물이 내재한 그 형식 자체가 의미가 있음을 뜻하는 바이다[23]. 원작이라는 대상체가 있고 이에 대한 부차적인 형태로서의 번역이 아니라 원작이 내재한 그 가능성 자체가 선험성을 바탕으로 연계되어 있음을 말하는 것이다. 이는 ‘관계 표상물(Relational representations)’ 이라는 단어로 정리될 수 있으며, ‘가상적 네트워크’ 또한 ‘번역’을 계기로 현실화가 가능함을 의미한다[24].

2017년 구글의 번역이 GNMT(Google Neural Machine Translation)를 기점으로 중간언어 번역이 아닌 문장이 문장으로 번역되는 대변화가 있었다. 기존의 언어적인 변환은 매개체 역할을 하는 중간언어가 존재하고, 이를 통과하여 전해지는 방식이었다. 그러나 GNMT를 통해 직접적인 전환이 이루어진다는 점이 발견되고, 이는 문장이 내포하는 의미가 서로 맞닿았기에 가능한 변환임을 확인할 수 있다[25].

인공지능 창작의 경우도 데이터를 근간으로 하여 그 내재하여 있는 선험의 결과를 도출해 내는 형태로 볼 수 있다. 수학적인 알고리즘의 공식으로 변형하고 되짚고 해체하여도 그 본류의 데이터는 이미 구조화되어 있으며, 이 구조화된 상황에서 맥락이라는 것이 발생하여, 인공지능 창작의 결과가 나타나는 것이다. 이를 더 풀어서 논의하자면 맥락이라는 어문적 접근에서 사용되는 방식이 현재의 인공지능 알고리즘 속에서도 작동됨을 설명할 수 있다. 이는 소쉬르가 기표와 기의로 설명한 기호의 정의처럼, 동일한 의미의 특정한 표상만을 생성해 내는 것이 아니라 동일한 의미의 표상이 연계되어 또 다른 표상을 생성하는 형태가 바로 현재의 인공지능 알고리즘의 구조인 것이다. 이 형태는 기존의 인공지능 알고리즘이 갖는 한계를 넘어선 프롬프트 엔지니어링으로의 발전으로 더욱 확장된 형태로서 지능의 형태에 가까워지고 있다.

인간은 역사를 통해 매개되어있는 지적 생명체로서, 과거의 유산이 현재로 이어지고, 다음으로는 미래로 연결될 것을 알고 있다. 이 관점에서 현재의 인간은 창작에 대한 욕구가 현시점에서 기술과 미디어의 발전을 통해 또 다른 도전을 받고 있다. 위에 기술된 첫 관점으로 바라본다면 인간은 과거에도 매체와 기술의 발전에 의한 위협을 받았고, 미래에도 동일할 것이다. 낯선 것에 대한 두려움이다. 이 두려움을 넘어 이 변화 전체에 대한 행간을 읽게 된다면, 이 두려움에서는 해방될 수 있을 것이다. 셀드레이크의 형태 공명(Morphic resonance)[26]과 이재현의 공명[27] 개념은 이러한 두려움을 넘어설 행간의 유사성에 대한 관점이다. 인공지능에 대한 위협이 단순히 특정한 기술에 대한 무지에서 비롯된 것이 아닌 역사적이고 반복적인 순환의 일종으로 이해하고 대처할 수 있음을 알 수 있다. 또한, 셀드레이크는 “집단기억(collective memory)이라는 용어를 통해, 기술적 장치나 관념의 반복적 등장은 형상 장을 공유라는 특정 시기와 장소의 사람들, 특히 기술자들이 형태 공명을 하게 됨에 따라 나타나게 된 것”이라고 설명한다[27].

특히 이 두 개념 이에 인공지능을 과거에서 찾아보자면, 아마도 주술적인 환상에 대한 인간의 믿음과 연관될 수 있다. 인간이 믿고자 한 환상과 미신은 환영(illusion)적인 성격이며, 이 환영으로 인해 운명을 결정짓는 형태를 과거를 통해 우리는 알 수 있다. 인공지능 예술의 환영적인 성격이 이에 해당한다고 본다. 이는 카를 융이 말한 “정신적 본유 구조(innate psychic structures)”와 맞닿는다. 융 또한 임마누엘 칸트의 영향을 받아, 선험적 범주로서의 원형이 존재한다고 보았다[27]. 방대한 데이터는 과거에서 출발하여 인간이 가늠할 수 없는 수준으로 뻗어 나가고 있고, 이를 학습한 인공지능의 알고리즘 또한 계층적 단계 속에서 신경망과 같은 원리로 작동되어 인간이 상상하던 상황을 넘는 결과를 보여주고 있다. 그러나 그 결과들은 인간이 만들어 낸 데이터에서 현재의 결과로써 공명하고 있다.

덧붙이자면 인공지능이 만들어 내는 완료되지 못한 노이즈와 글리치한 영역은 인간이 인지에서 놓친 꿈 혹은 기억과도 같은 상상을 하게 만드는 것이 우연의 일치가 아닐 수도 있다. 앞서 설명한 딥드림의 경우는 신경과학 분야에서 연구 중인 환각 상태의 인간 뇌의 작용과 인공지능이 작동되는 원리의 상관성이 엔트로피(Entropy)의 작용이라 밝힌 바 있다[28]. 즉, 이것이 대상과 객체에 대한 공명일 수도 있는 것이다. 인간이 가진 무의식의 영역이 인공지능 특히 인공신경망이 결과를 도출하는 과정의 연속과 매우 흡사하기 때문에 이와 같은 결과가 생성되지 않는가 추론된다.

위에서 살펴본 바와 같이 인공지능을 바탕으로 한 예술 분야는 아직 명확한 사조로서 정립되었다고 보기는 어렵다. 그러나 인공지능이라는 새로운 기술이 예술에 영향을 주어 하나의 흐름으로 자리 잡아가는 흐름은 부정할 수 없는 상황이다. 또한, 기존의 기술철학적 관점을 바탕으로 살펴볼 때도 이 분야의 의미와 의의가 정립될 수 있는 여지는 여러 관점에서 찾아낼 수 있었다. 특히 인공지능 예술에서 현재의 흐름으로 볼 수 있는 다양한 인공신경망이 연결되어 사용될 앞으로의 상황을 바라볼 때, 발터 벤야민의 순수언어와 같이 특정한 대상이 수반하고 있는 본질적인 의미에 대하여 매체와 기술의 관점에서 이해할 수 있는 지점도 찾아낼 수 있었다. 수많은 데이터를 바탕으로 창출되는 결과에 대하여 창발적인 현현을 찾아볼 수 있었고, 기존에 보았던 특정한 형태가 언어적인 맥락을 포함한 유사성과 반복성을 통해 이루어지는 미디어 공명과도 한 맥락을 같이 함을 알 수 있었다. 이상에 기술한 기술철학적 개념과 관점을 적용해 연구자의 인공지능 예술 창작 사례인<까마귀속 연작>의 과정을 설명하고 분석하고자 한다.

이 작업은 언어로 구성된 문학 작품을 다양한 신경망의 작용을 거치는 프로세스를 통해 구성하는 첫 번째 시도이다.

각 시의 문장 속 텍스트를 근간으로 데이터를 구성하여 영상으로 생성해 낸다. 음악의 경우도 동일 데이터를 파라미터로 적용하여, 로파이(Lo-fi)의 사운드와 국악의 십이율(十二律) 구성을 반영한 인공지능 알고리즘 기반의 생성기로 제작한다. 이는 과거의 문학 작품을 인공지능이 재해석하여 현대의 작업으로 전환되는 일종의 제 2 저작물이다. 이에 시가 쓰인 당시의 배경인 조선말, 일제강점기에 대한 화풍의 해석을 추가하여 과거의 문학 작품이 영상으로 제작되었다는 가정에서 애니메이션으로 구현되는 과정을 담았다. 더불어, 원문인 오감도는 국내 문학 중 난해한 시로 평가되는 만큼 다양한 관점의 텍스트로 구성되어 있다. 이는 인공지능이 텍스트에 기반을 둔 이미지를 만들어 내고, 나머지 유추하지 못한 이미지에 대하여 데이터를 무작위적 링크로 생성하는 방식이 효과적인 표현을 구축하는지 확인하는 기회이다.

Fig. 9.

AI generated images of Crow Eye’s View – stanza 1(above), stanza 6(middle), stanza 10(below)

오감도 총 15편의 시를 표준 한국어로 1차 변환하고, 이를 다시 영문으로 재번역하여 텍스트를 데이터베이스로 구축하였다(표 1). 이 변환된 텍스트는 구글 코랩을 환경에서 각각의 행별로 프롬프트로 적용되었다. 각 프롬프트는 디스코 디퓨전(Disco Diffusion) 4.1 버전의 프레임워크를 사용하여, 60프레임의 이미지로 생성되도록 구성한다(그림 10, 그림 11).

Table 1.

Example texts of <Crow Eye’s View> to generate prompt original, Korean and English version

Fig. 10.

Production flowchart of <Crow Eye’s View>

Fig. 11.

Production process of <Crow Eye’s View> *This study utilizes Korean text data to derive results.

이때 사용된 인공지능 모델은 디퓨전 모델(Diffusion: 256×256 diffusion uncond)과 클립(CLIP: ViTB32, ViTB14, RN50×4)이며, 영상의 좌표계를 설정하여 공간감과 시적 상상을 영상화 하는데 초점을 맞추었다. 사운드의 경우는 프롬프트에서 사용된 어절들에 맞추어, 음악의 구성요소인 템포, 멜로디, 코드, 베이스, 드럼에 해당 값으로 입력하여 부미(Boomy)를 통해 생성하였다.

총 15편의 시에 대하여 제작된 영상은 전체 49분 25초 분량이며, 기존 시의 난해함 만큼 복잡다단한 영상의 형태로 구현되었다. 특히 디스코 디퓨전 4.1 버전의 모델을 사용할 경우, 완전한 문장으로 결과를 도출하려 하였음에도 아무런 형상이 출력되지 않는 노이즈에 머문 이미지도 약 절반 이상이 확인되었다. 이에 터치 디자이너(Touch Designer) 프로그램을 사용하여 잔상효과(feedback)를 적용해 연속되는 이미지가 끊어지지 않고 영상에서 좀 더 자연스럽게 이어질 수 있도록 하였다(그림 12).

Fig. 12.

The image(left) generated by applying Touch Designer's feedback effects for smooth transitions in the work <Crow Eye’s View> and its detail(right)

또한 영상의 분위기 경우는 기존의 시가 내포하는 분위기가 더욱 극적으로 연출될 수 있도록, 원작이 작성된 시기의 화풍 즉 프롬프트로는 “Oriental ink painting, 20^th century”(동양의 수묵화, 20세기)을 지정하였다. 이에 따라 15편 중 동양화의 특징에 편향된 스타일로 생성된 결과들이 도출되었다.

인공지능이 생성한 이미지를 살펴본다면 특정 단어에 대한 구체적인 이미지 생성이 뚜렷하지만, 전혀 반영되지 못한 단어도 존재하였다. 자세한 설명과 부사 등의 표현적인 측면은 이미지에 표현되지 않은 부분이 상당하였다. 전체 작품의 분위기를 위해 사용되는 프롬프트의 영역은 큰 변화 없이 대다수 적용되었다.

본 작품은 시인 이상의 난해한 시 연작인 <오감도>를 인공지능을 통해 시각화한 작업이다. 앞서 기술철학적 개념을 적용해 해석해 보자면, 먼저 복잡계 이론의 관점에서 볼 때, 원문의 난해함이 인공지능의 처리 과정을 거쳐 예측 불가능한 시각적 결과물로 나타나는 현상은 창발의 개념을 잘 보여준다. 앞서 언급한 노이즈에 머문 이미지도 약 절반 이상이 확인되었다는 점은 이러한 창발적 특성을 단적으로 드러낸다. 또한, 한국어 원문을 영어로 번역한 후 다시 이미지로 변환하는 과정은 발터 벤야민의 순수언어 개념을 실현한다. 이는 원작의 본질적 의미가 다른 형태의 언어로 전이되는 과정을 보여주며, 기술을 매개로 한 새로운 형태의 번역 가능성을 제시한다. 더불어, 일제강점기의 문학 작품을 현대 기술로 재해석하는 이 작업은 공명 개념을 구현한다. 또한 원작이 작성된 시기의 화풍(동양의 수묵화, 20세기)을 지정한 점은 과거와 현재의 기술, 예술적 요소들이 공명하며 새로운 의미를 창출하는 과정을 보여준다.

이 작업은 언어로 구성된 문학 작품을 다양한 신경망의 작용을 거치는 프로세스를 통해 구성하는 두 번째 시도이다.

갈까마귀는 에드거 앨런 포가 1845년 2월에 발표한 미국의 대표적인 시 중 하나이다. 시 속의 화자는 사랑하던 ‘레노어(Lenore)’라는 이름을 가진 여인을 잃고 슬픔에 잠겨 있을 때, 화자의 집으로 날아 들어온 까마귀에게 그 감정을 투사한다. 화자는 까마귀(Raven)에게 ‘두 번 다시는(nevermore)’이라는 이름을 지어주고, 까마귀에게 끊임없이 질문을 던진다. 하지만 까마귀는 자신의 이름과도 같은 ‘두 번 다시는’이라는 대답만 반복할 뿐이다. 이 내용의 시 전문을 행 단위로 나누어 문장별로 프레임을 생성하는 형태로 영상 작업은 제작되었다.

Fig. 13.

AI generated images of The Raven – stanza 2(above), stanza 6(middle), stanza 15(below)

미국의 문학가 에드거 앨런 포의 갈까마귀 텍스트를 데이터베이스로 구축하였다. 텍스트는 각 연으로 구별하여 프롬프트로 적용되며, 각 프롬프트는 디스코 디퓨전(Disco Diffusion) 5.4 버전의 프레임워크를 사용하여, 60프레임으로 구성한다. 특히 이 경우는 각 연을 하나의 영상으로 분리하고, 최종적으로는 하나의 시가 다수의 영상으로 출력되도록 하였다.

Fig. 14.

Production flowchart of <The Raven>

Fig. 15.

Production process of <The Raven>

Fig 16.

Sound MIDI Generation AIVA result of <The Raven>

Table 2.

Example texts of <The Raven> to generate prompt – stanza 2(above), stanza 6(middle), stanza 15(below)

이때 사용된 인공지능 모델은 디퓨전 모델(Diffusion: 512×512 diffusion uncond finetune 008100)과 클립(CLIP: ViTB32, ViTB16, RN50×16)이며, 3D 언리얼 엔진을 사용한 효과와 같은 공간적 설정으로 영상화 하는데 초점을 맞추었다. 이는 프롬프트에 “Like a 3D Unreal 5 engine”의 문장을 통해 구현을 유도했는데, 이 방식을 통해 실제 3D 엔진을 사용하지 않고도, AI 모델이 언리얼 엔진 5의 특징적인 조명, 텍스처, 깊이감 등을 모방한 이미지를 생성하도록 했다. 이는 2D 이미지 안에서 3D적인 공간감을 구현하는 효과적인 방법이었다.

사운드의 경우는 구글의 텐서플로우 마젠타(Magenta)의 톤 변환기(Tone Transfer), 신디사이징(NSynth Super)를 주로 사용하고, 명상 음악 부류의 멜로디를 부미(Boomy)를 통해 생성하였다. 예를 들어, 프롬프트로 적용되는 1연의 텍스트의 감정을 분석(Naver sentiment movie corpus v1.0)하여 "Nevermore"의 반복을 -0.8/1.0 척도의 우울함으로 수치화하였다. 이를 바탕으로 80 BPM의 템포와 A 단조 음계를 선택하여 음악적 기반을 마련하고, 사운드 생성 과정에서는 구글의 텐서플로우 마젠타 기술을 활용하였다. 톤 트랜스퍼를 통해 오픈소스 사운드인 까마귀 울음소리를 피아노 음색으로 변환하여 주 멜로디로 사용하였고, NSynth Super를 이용해 50-200Hz 주파수 범위의 저음 패드를 생성하였다. 또한, Boomy를 활용하여 80 BPM, A 단조 기반의 멜로디를 추가로 생성하였다. 이러한 과정을 통해 최종적으로 멜로디와 패드를 혼합한 트랙으로 구성된 에이바(AIVA) MIDI 파일을 생성 및 사용하였다. 생성된 사운드는 '갈까마귀' 영상의 배경음악으로 활용되었으며, 특히 "Nevermore"가 등장하는 장면에서는 반복적인 패턴을 통해 시의 핵심 메시지를 강조한다.

총 18연의 시로 제작된 영상은 전체 48분 분량이며, 기존의 시에서 느껴지는 분위기와 유사하게 어두운 배경의 구체적인 상황을 보여주는 3D 애니메이션 영상 형태로 최종 구현되었다. 각 영상은 연에 해당하는 텍스트를 바탕으로 하나의 챕터를 구현할 수 있도록 개별적으로 생성 및 영상화되었다. 이 경우는 이미지의 구현에 있어 더욱 큰 인공지능 모델을 사용하여 구체적이고 뚜렷한 형상이 대부분을 차지한다. 프롬프트 내의 구도 변환을 위한 시점이 다양하게 적용되었음에도, 영상은 각 연의 내용이 분명히 파악되도록 구성되었다.

<갈까마귀> 영상은 에드거 앨런 포의 시를 인공지능을 통해 재해석한 작업으로, 기술철학적 측면에서 다양한 의미를 내포하고 있다. 우선, 프롬프트 엔지니어링의 철학적 의미가 두드러진다. 각 연을 개별적인 프롬프트로 사용하여 영상을 생성하는 방식은 마누엘 데란다가 언급한 "화용론적 개념으로서의 함축성"을 실제로 구현한 사례다. 이는 인간의 언어적 지시와 인공지능의 해석 사이의 복잡한 상호작용을 보여준다. 기술의 존재론적 측면에서, ‘3D 언리얼 엔진’이라는 프롬프트를 활용한 공간적 설정은 기술이 단순한 도구를 넘어 새로운 예술적 공간을 창조하는 존재로 기능함을 보여준다. 이는 기술이 예술 창작의 본질적인 부분으로 통합되는 과정을 드러낸다. 또한, 19세기 미국 문학 작품을 현대적 영상 언어로 '번역'하는 과정은 벤야민의 순수언어 개념을 구현한다. 각 연의 내용이 분명히 파악되도록 구성된 점은 원작의 본질이 새로운 매체를 통해 전달되고 있음을 보여주며, 이는 기술을 통한 예술적 번역의 새로운 가능성을 제시한다.

이 작업은 언어로 구성된 문학 작품을 다양한 신경망의 작용을 거치는 프로세스를 통해 구성하는 세 번째 시도이다. 미완의 원작 소설의 방대한 내용을 줄거리 형태로 축약하고, 이 텍스트를 바탕으로 인공지능 언어모델이 미완의 부분을 추가로 작성했다. 기존 줄거리와 인공지능에 의해 추가로 작성된 문장들은 프롬프트 엔지니어링과 구글 마젠타 등의 딥러닝 프레임워크를 사용하여 영상으로 제작했다. 이에 원작 소설의 배경이 되는 시점을 22세기의 가상의 배경으로 추가하여 과거의 문학 작품이 미래의 시점에서 작성되었을 때, 만들어질 수 있는 애니메이션으로 가정되는 과정을 담았다.

소설 성의 원문을 바탕으로 줄거리를 각색하여 인공지능 언어모델의 데이터로 활용될 수 있도록 1차 가공하였다. 가공된 텍스트는 OPEN AI의 언어모델인 GPT-3를 통해 미완의 텍스트를 추가했다.

Fig. 17.

AI generated images of <Kafka’s The Castle> – chapter.1(above), chapter.3(middle), chapter.5(below)

이는 본 작품 연구가 수행된 2022년 당시 GPT-3는 가장 선진적인 공개 언어모델이었고, API를 통한 접근성이 용이하여 예술 창작 과정에서의 실험적 사용에 적합했기 때문이다. 당시 GPT-3는 문학적 텍스트 생성에 있어 우수한 성능을 보여, 카프카의 미완성 작품을 보완하는 본 연구의 목적에 부합했다. 현재 더 발전된 버전의 GPT 모델이 존재하지만, 본 연구의 역사적 맥락과 당시의 기술적 환경을 고려할 때 GPT-3를 사용한 본 작품의 기록과 분석은 급변하는 AI 기술의 발전 속에서 이를 이용한 예술적 실천의 과정을 기록한다는 점에서 의미 있다 할 수 있다.

우선 원문의 줄거리에 해당하는 부분을 위의 인공지능 언어 모델에 입력하고, 그 줄거리를 바탕으로 결과물이 생성되도록 구성했다. 각 프롬프트는 디스코 디퓨전 5.6 버전의 프레임워크를 사용하여, 60 프레임의 이미지로 생성되도록 구성했다. 이때 사용된 인공지능 모델은 디퓨전 모델(Diffusion: 512×512 diffusion uncond finetune 008100)과 클립(CLIP: ViTB32, RN101, RN50×64)이며, 영상이 네러티브를 포함할 수 있도록 초점을 맞추었다. 특히 22세기라는 가상 시점을 반영하기 위해 “Like the scene in the SCI-FI movie, cyber punk(공상과학 영화, 사이버펑크에 등장하는 장면처럼)”와 같은 프롬프트도 함께 사용했다.

주요 파라미터 설정으로는 템포를 125-140 BPM 사이로 조절하여 긴장감을 나타냈고, 화성 진행에 20%의 불협화음을 포함시켜 불안정한 분위기를 조성했다. 리듬 패턴은 4/4박자를 기본으로 하되, 30% 빈도로 불규칙한 악센트를 추가했다. 에이바(AIVA)를 활용하여 이러한 파라미터를 바탕으로 앰비언트 테크노 스타일의 음악을 생성했다. 생성된 사운드는 소설의 주요 장면에 따라 템포와 음색을 조절하여 적용했다. 예를 들어, K가 마을에 도착하는 장면에서는 낮은 템포와 미스터리한 패드 사운드를, 성을 향해 가는 장면에서는 템포를 높이고 전자음 비율을 증가시켰다. 이러한 과정을 통해 생성된 MIDI 파일은 소설의 내러티브 구조를 따라 변화하는 사운드스케이프를 형성하며, 카프카의 '성'이 가진 복잡하고 미스터리한 분위기를 AI 기술을 활용하여 청각적으로 재해석했다.

Fig. 18.

Production flowchart of <Kafka’s The Castle>

Fig. 19.

Production process of <Kafka's The Castle>

Fig. 20.

Sound MIDI Generation AIVA result of <Kafka’s The Castle>

Table 3.

Example of Korean summary and english translations of Kafka’s The Castle – stanza 1 for prompt

제작된 영상은 전체 35분 분량이며, 기존의 소설이 갖는 분위기에서 추가된 텍스트로 구성된 내용은 SCI-FI 타입의 영상으로 최종 구현되었다. GPT-3로 구현된 텍스트 일부는 다음과 같다.

“K는 계속 학교 행정관으로 일했고 계속해서 열악한 대우를 받았다. 하지만 프리다와 함께 할 수 있어서 만족했다. 어느 날 K는 건강이 나빠지기 시작했고 침대에 누워 있었다. 프리다는 그를 간호했지만, 그의 상태를 돕기 위해 그녀는 아무것도 할 수 없었다. 그런 다음 K는 성 관리들에게 마을에 머물 수 있는지 물었지만, 그의 요청은 거부되었다. 그러나 그들은 상황을 감안할 때 그가 머물고 일하는 것을 허용했다. K의 건강은 계속 악화하였고 결국 영양실조로 사망했다.”

위의 텍스트는 원작의 내용과 맥락을 같이 하며, 일단락되는 마지막 챕터 부분을 작성하여 새로운 결말로의 가능성을 타진할 수 있었다. 또한, 음악과 영상의 속도감을 다르게 구분하여 개별 이미지가 프레임별로 인지될 수 있는 장치적 구성을 진행하였다. 영상은 30프레임을 기준으로 만들어진 프롬프트 결과물을 120프레임까지 보간한 다음, 이를 다시 30프레임으로 전환하여 4배로 영상의 분량을 늘였고, 음악은 125-140 bpm 사이의 앰비언트 테크노 음악을 제작하여 영상의 흐름과 상이한 빠른 비트의 음악을 배치하였다. 이에 따라 일반적인 영상 관람의 형태인 전체 영상을 모두 관람하는 형태가 아닌, 일부의 영상을 관람하여도 해당 원문의 분위기가 영상 및 음악을 통해 느낄 수 있도록 표현하였다.

인공지능이 생성한 이미지는 세세한 부분의 내용이 이미지에 적용되었으나, 큰 흐름의 중요 텍스트만 반영된 형태에 가까워 한계가 지적된다. 또한, 이 경우에 프레임과 프레임 사이의 급격한 변환을 줄이고자 보간(interpolation) 프로그램과 업스케일링(up-scaling) 프로그램을 적용하여 전시에 적합한 영상으로 보정해야 했다.

<카프카의 성> 영상은 프란츠 카프카의 미완성 소설을 인공지능을 통해 완성하고 시각화한 작업으로, GPT-3를 통한 미완성 텍스트의 생성과 이를 바탕으로 한 이미지 생성 과정은 창발적 현상의 면모를 띄고 있다. 또한 20세기 초 유럽 문학 작품을 미래적 배경으로 재해석하고 이를 시각적으로 구성함으로써 과거의 서사와 미래적 이미지가 공명하도록 했다. 앰비언트 테크노 음악의 사용은 이러한 시간적, 공간적 공명을 청각적으로도 구현하고자 한 것으로 볼 수 있다. <카프카의 성>은 인공지능 기술이 이미지와 텍스트, 사운드 등 멀티모달한 형태의 창작 과정에 적극적으로 개입된 사례라 할 수 있다.