Journal Archive

텍스트를 영상으로 바꿔주는 영상 저작도구는 생성되는 요소의 종류에 따라 ➀지문 생성형과 ➁대사 생성형, ➂캐릭터 생성형으로 나눌 수 있다.

지문 생성형은 대본에서 지문에 해당하는 프롬프트를 영상으로 표현하는 유형이다. 장면에 관한 설명과 연출을 텍스트로 받아 영상으로 만드는 형태로 Runway Gen-2, Sora, Moonvalley, Pika, Genmo 등이 있다. 2024년 3월 기준, 대부분의 저작도구는 한 번에 긴 영상을 생성하진 못하고 한 프롬프트 당 샷(Shot, 영상을 구성하는 가장 작은 단위[13])과 유사한 형태의 초 단위 영상을 만들어 준다. 이를 보완하기 위해 가장 최근 공개된 Sora의 경우는 1분 분량의 고화질 비디오를 생성할 수 있다고 자체 홈페이지에 설명되어 있다[14]. Sora가 다른 저작도구와 비교해서 긴 영상을 생성하고 성능이 좋다는 평가를 받는 이유는 Diffusion 모델에 트랜스포머 아키텍처를 결합하여 저차원 latent 공간으로 압축하고 시공간 패치로 분해하는 등의 기술을 적용했기 때문이다. 이를 도식으로 표현하면 그림 4와 같다.

Fig. 4. 
Sora's video generation AI estimation architecture[15]

Runway Gen-2의 경우, 영상 생성 시 카메라 모션과 스타일을 선택할 수 있는 기능이 있어 일부분 연출도 가능하다. 하지만 네 프로그램 모두 별도의 자막이나 텍스트, 사운드는 생성하지 않고, 오로지 입력한 지문을 표현한 영상 그 자체만 출력한다. 그림 5처럼 생성 기능에 초점을 맞춘 대신, 영상을 자르고 붙이는 편집 기능은 없다는 특징이 있다. 기존 영상 저작도구와는 전혀 다른 인터페이스도 눈에 띈다. 영상을 입력물로 사용하지 않으므로 타임라인 방식의 인터페이스가 없고, 텍스트와 이미지를 입력하는 공간이 메인으로 설정되어 있다. 이는 인공지능이 메타미디엄으로써 초래한 변화라고 볼 수 있다.

Fig. 5. 
Screen capture of Runway Gen-2's video generation scene

대사 생성형은 입력한 텍스트를 대사(나레이션)로 보고 영상을 생성한다. 기본적으로 입력한 텍스트를 영상의 자막으로 변환하여 자막 기반의 씬(Scene)을 생성한 뒤, 해당 씬에 알맞은 이미지를 생성하거나, 데이터베이스에 있는 영상 클립을 조합하여 시퀀스(Sequence) 형태의 영상을 생성한다. 생성한 영상은 자막에 있는 정보를 반영한다는 특징이 있다. 대사 생성형은 영상 자체를 생성하지 않고 이미지에 효과를 주거나 이미 있는 클립을 조합하는 형태로, 지문 생성형보다 더 빠른 시간에 긴 길이의 영상을 출력할 수 있다. 출력된 영상에는 자막과 사운드, 이미지, 나레이션(더빙), 배경음악 등이 포함된다. 소프트웨어마다 영상 소스와 영상의 조합 방식이 조금씩 다르다는 특징이 있으며 대부분의 소프트웨어가 영상편집 기능을 동반한다. Vrew, InVideo, Wondershare Filmora, Pictory 등 다수의 제품이 출시되어 있다. 본 논문에서는 대표적으로 Vrew와 InVideo를 사례로 든다.

국내 스타트업 보이저엑스에서 출시한 Vrew는 텍스트의 정보를 바탕으로 생성한 AI 이미지에 모션그래픽 형태의 움직임을 주고, 미리 촬영되어 저장된 저작권 프리 영상 클립과 배경음악, 인공지능 성우의 목소리를 조합하여 영상을 제작한다. InVideo의 경우, AI 이미지보다는 고품질의 영상 클립 소스와 실제 촬영된 이미지, 배경음악, 그래픽 효과를 중심으로 영상 출력물을 만든다. 빠른 시간에 캐주얼한 정보전달 영상을 만들고자 하는 경우는 브루가 유용하게 쓰였고, 시간이 더 걸려도 역동적이고 감각적인 영상을 만들고자 한다면 템플릿과 그래픽적 요소가 많은 InVideo가 적합했다. 눈에 띄는 점은 그림 6처럼 두 저작도구 모두 텍스트 to 영상 기능을 활용할 때 편집 인터페이스가 타임라인 방식이 아닌 텍스트 중심의 편집 방식을 취한다는 것이다. Vrew의 경우는 텍스트를 행 단위로 편집하는 반면, InVideo는 씬 단위의 편집 방식을 취했다. 이는 유튜브 등 스트리밍 플랫폼의 대중화로 영상의 정보전달 기능이 커졌다는 점, 자연어처리 AI가 발전하며 Input, Output으로 텍스트를 널리 활용하는 점에서 생긴 변화라고 추측하며 AI가 메타미디엄으로써 초래한 변화라고 볼 수 있다.

Fig. 6. 
Vrew's text-based video editing screen[16]

캐릭터 생성형 저작도구는 입력한 텍스트를 가상 캐릭터가 말하는 형태의 영상으로 생성한다. 대사를 기반으로 영상이 만들어지는 것은 대사 생성형과 유사하나, 캐릭터 생성형은 대사 생성형 영상처럼 다양한 컷을 만드는 것이 아니다. 그림 7처럼 사람 형태로 만들어진 3D 모델이 입력한 텍스트를 정확한 발음으로 읽어주는 것이 핵심이다. 발음에 따라 입 모양 또한 움직이므로 잘 만들어진 모델은 실제 사람이 말하는 것처럼 보인다. 이에 해당하는 저작도구는 D-ID와 DeepBrain AI, synthesia, elai 등이 있다. 아나운서가 정보를 알려주는 형태의 영상이나, 제작자의 신상이 드러나지 않게 가상의 캐릭터로 영상을 제작하고 싶은 경우, 교육용 동영상 등에 유용하게 사용할 수 있다. AI가 3D 캐릭터와 결합한 캐릭터 생성형 저작도구는 혼종적 미디어라고 볼 수 있는 버추얼 휴먼 콘텐츠의 창작을 활성화할 수 있다.

Fig. 7. 
Screen capture of D-ID's authoring tool

이미지를 영상으로 만들어주는 AI는 입력한 이미지의 내부적 움직임을 표현하는 ➀애니메이션 생성형과, 이미지 외부에 모션이나 템플릿 등 디자인 요소를 추가하여 그래픽 효과를 주는 ➁모션그래픽 생성형이 있다. 애니메이션과 모션그래픽의 개념은 상당히 유사하므로 혼동의 우려가 있다. 본 논문에서는 입력한 요소와 출력한 요소의 그래픽요소를 기준으로 구분한다. 즉, 그림 8처럼 출력물에 입력한 이미지 이외에 추가된 그래픽적 요소가 없을 경우를 애니메이션 생성형이라 보았고, 출력물에 입력한 이미지 이외에 타이포그래피, 아이콘 등의 그래픽적 요소가 추가되었을 경우 모션그래픽 생성형이라 정의했다.

Fig. 8. 
Differentiate between animation and motion graphics based on output

애니메이션 생성형 AI는 2차원 이미지 내부에 있는 요소를 부분적으로 움직이거나, 3차원의 깊이감을 주거나, 카메라 앵글의 효과 등을 통해 애니메이션 영상을 만들어준다. 이에 해당하는 소프트웨어는 Runway Gen-2, LeiaPix 등이 있다. 아직 움직임이 상업적으로 활용할 정도로 자연스럽지는 않으나, 정지된 이미지를 영상처럼 만들 수 있다는 점에서 활용이 기대된다. 동일한 작업을 어도비 애프터 이펙트에서 수행하려면 굉장히 오랜 시간이 걸리는 것에 비해 애니메이션에 관한 지식 없이 손쉽게 이미지에 움직임을 줄 수 있다는 점이 제작 효율성을 높인다. 애니메이션 생성형 저작도구는 애니메이션의 강도와 움직임을 조절할 수 있는 기능은 있으나, 영상을 자르고 편집하는 기능이 없다. 향후, 자르고 편집할 수 있는 기능이 생긴다면 단순히 이미지가 움직임을 갖는 것을 넘어 이미지 수집만으로도 하나의 영상 콘텐츠가 제작될 수 있을 것이다.

모션그래픽 생성형 소프트웨어는 이미지 내부에 움직임을 주지 않고 이미지 전체가 동일한 좌표로 움직이거나 분할된다. 여기에 이미지 외부에 시스템 내부에 저장되어 있던 그래픽 심볼이나 템플릿을 활용하여 역동적인 영상을 만들어준다. 대표적으로 InVideo, Vita, CapCut 등이 있다. 모션그래픽 생성형은 애니메이션 생성형과 달리 독립적인 저작도구가 아니라, 종합적으로 영상편집을 할 수 있는 프로그램에 추가되어 있다는 특징이 있다. 이러한 프로그램을 사용하면 제작 과정이 까다로운 편이라 전문가의 영역이었던 모션그래픽도 손쉽게 활용할 수 있으므로, 모션그래픽의 대중화를 촉진할 것이다.

사운드 to 영상과 관련된 인공지능은 음성을 분석하여 텍스트로 변환 후 영상으로 만드는 ➀음성 인식형과, 음성 이외의 소리를 인식하여 영상으로 만드는 ➁소리 인식형으로 나눌 수 있다. 음성 인식형은 영상과 관련된 AI 중 비교적 오랜 역사를 가지고 있는 반면에, 소리 인식형은 이미지나 텍스트 등을 활용한 다른 AI 저작도구에 비해 나중에 개발되었다는 특징이 있다.

음성 인식형 AI는 음성을 분석하여 자막을 생성하고 자막 내용에 맞는 영상을 생성한다. 이에 해당하는 저작도구는 Vrew가 있다. 이외에도 Adobe Premiere Pro, CapCut, Vita도 목소리를 분석하여 자동으로 자막을 생성하는 기능이 있다. 전통적인 영상편집 프로그램에 추가되는 대표적인 인공지능 기능 중 하나이다.

소리 인식형 AI는 2024년 3월 시점으로 아직 초기 개발 단계에 해당하여 출시된 상품은 없지만, 포스텍 김성빈 등 4명의 연구진이 개발한 Sound2Scene Model이 개발되어 있다[17]. Sound2Scene Model은 입력된 오디오를 시각적으로 변환한 다음, 사전 학습된 생성기를 활용하여 영상을 만든다. 다만 아직 상업적으로 활용하기에는 생성된 영상 출력물의 품질이 떨어진다는 한계가 있으나[18], 발전 가능성이 큰 분야다. 사운드 to 영상의 경우, 기존 영상 제작 과정에서 영상편집 후에 적절한 사운드를 추가하는 방식과는 정반대 순서의 제작 방식이다. 따라서 이 유형에서만 볼 수 있는 독특한 형태의 영상이 제작되거나, 음악을 시각적으로 표현할 수 있는 혼종화된 미디어가 나타날 가능성이 있다.

변형 AI는 입력된 영상 소스를 AI로 인식하여 스타일이나, 효과 등에 변형을 준다. 편집 AI가 입력한 영상 소스를 삭제, 추가하여 영상 길이가 줄어들거나 늘어나는 것과 달리, 변형 AI는 입력한 영상 길이와 출력한 영상 길이가 동일하다는 특징이 있다. 변형 AI는 기능에 따라 ➀스타일 전이, ➁얼굴 합성, ➂조절 및 보정으로 나눌 수 있다.

스타일 전이는 입력한 영상의 스타일을 유명 화가의 작품이나 원하는 스타일로 바꿔주는 AI라고 할 수 있다. 일반 실사 영상을 애니메이션이나, 수채화 등 다양한 형태로 변형할 수 있어, 신기함을 강조하는 쇼츠 영상에 많이 활용된다. 대표적인 소프트웨어로 EbSynth, Kaiber가 있다.

얼굴 합성은 영상에 나오는 얼굴을 다른 사람 몸에 합성하거나, 표정 등을 바꿀 수 있다. 딥페이크(Deepfake)라고도 알려져 있으며, 영상뿐 아니라, 오디오, 사진, 문서 등 다양한 산업 현장에서 널리 활용되고 있다[19]. DeepFaceLab, Faceswap, Deepswap, Facemagic 등의 소프트웨어가 이에 해당한다. 얼굴 합성 AI는 저렴한 비용으로 특수효과 재현이 가능한지만, 무분별한 남용 또는 악의적 목적으로 제작된 콘텐츠는 영상의 진위를 알 수 없어 사회적으로 문제가 될 수 있으므로, 활용 시 법적 검토와 더불어 향후 관련 제도 정비 등이 필요하다.

조절 및 보정은 변형되는 범위가 스타일 전이와 얼굴 합성에 비해 미미하다. 따라서 영상 가공 시 후반작업에 많이 활용된다. 기능적 유사성 때문에 편집 AI와 혼동할 수 있지만 편집 AI와 달리, 기능 적용 이후에도 입력물의 영상 길이에 변함이 없다는 특징이 있다. 조절 기능에는 영상 리프레임, 사운드 리믹스, 세부 색상 조절, 자동 더킹(대화와 배경 오디오가 잘 어우러지게 하는 기능) 등이 있다. 보정 기능으로는 인물의 체형 보정, 자동 색상 일치, 색감 보정, 음성 강화 등의 기능이 있다. Adobe Premiere Pro, CapCut 등 전통적인 영상 저작도구에 지속적으로 추가되는 AI 기능이다.

편집 AI는 자동화라는 키워드 안에서 ➀제거, ➁추가, ➂조절 기능으로 분류할 수 있다. 영상의 스타일 보다는 작업의 효율성을 높이고자 하는 목적이 크다.

제거는 영상에 필요 없는 부분을 자동으로 제거하는 것이다. Adobe Premiere Pro에서는 컷 편집에서 대화가 끊긴 부분의 공백을 제거하고, “어”와 “음” 같은 추임새의 단어를 감지하여 삭제하는 기능이 있다. CapCut에서는 불필요한 영상 배경을 자동으로 제거해주기도 한다.

추가는 그래픽요소나 템플릿을 활용한 자동 편집이 대표적이다. 이미 만들어진 템플릿에 입력한 소스 영상을 넣어서 빠른 시간에 역동적인 영상을 만든다. 모션그래픽 생성형과 유사하나, 모션그래픽 생성형은 인풋이 jpg, png 등의 이미지이고, 편집 AI에서 추가 기능은 인풋이 avi, mp4 등의 동영상이다. 추가 기능이 있는 소프트웨어는 Capcut, Vita 등이 있다. 영상 소스를 모션그래픽 템플릿에 적용하면 손쉽게 자동으로 편집된 영상이 나오기 때문에, 영상 제작 초보자 들이 모바일 어플리케이션에서 자주 활용한다.

조합은 입력한 영상 소스에서 불필요한 컷과 필요한 컷을 구분하여 추출, 조합하여 장면을 자동으로 편집한다. 장면 편집, 자동 편집이라고도 하며 Adobe Premiere Pro의 플러그인 AutoPod, Adobe Premiere Pro의 장면 편집 감지 기능이 이에 해당한다.

편집 AI에 해당하는 제거, 추가, 조절 기능 모두 영상편집 시, 반복되는 작업을 인공지능이 자동으로 처리함으로써 후가공 작업에 들어가는 시간을 줄여준다는 특징이 있다. 이 같은 자동화는 영상 제작 인력의 구성을 단순화할 수 있으며, 나아가 영상 제작 산업 구조를 간소화할 수 있을 것이다.

본 연구에서 제시한 개념을 유형화하여 AI 기반 저작도구를 분석한 결과는 표 1과 같다. 2024년 3월 기준 가장 주목받는 분야는 형상화 AI였다. 특히 텍스트 to 영상 분류에 해당하는 소프트웨어의 출시가 이슈였다. 이는 인공지능과 영상 제작이 결합한 독특한 특징으로 향후 AI 기반 영상 저작도구가 보편화된다면, 기존 제작 방식과는 다른 발상의 영상이 늘어날 것이며 효율성 향상은 물론 일반인도 중간 이상의 품질의 영상 제작이 가능해지므로 표현의 기회가 확장될 것이다. 표현의 기회 확장은 창작자의 진입장벽 해소뿐만 아니라, 실제 영상 산업 현장에서도 활용할 수 있다. 이미 영화제작 시 AI 기능을 활용한 사례가 있으며[20], 사전시각화(Pre-visualization) 단계에도 활용할 수 있다. 예시를 들면 주로 이미지로 작업 되었던 콘티나 스토리보드 대신 AI 저작도구를 활용한 프로토타입의 영상으로 씬 구성을 제작하여 실제 촬영 시 제작진 간의 소통을 더 원활하게 할 수 있을 것이다. 또한, 기존의 전통적 영상 저작도구에는 작업의 효율성을 높일 수 있도록 변형 AI의 조절 및 보정 분류와 편집 AI의 전 분류에 해당하는 AI 기능이 꾸준히 추가되고 있다. 이는 영상 제작 인력의 간소화와 같은 변화를 야기할 수 있으며, 주로 팀으로 제작되는 영상 제작사의 구조가 개인화될 수 있음을 시사한다.

나아가 AI 영상 콘텐츠 저작도구의 보편화가 지속되면, 적은 비용으로도 영상과 다른 기술과의 융합 및 연계를 촉진하여, 증강현실, 인터랙티브 스토리텔링 등 기존 영상과는 다른 새로운 영상 경험을 만드는 데 유용하게 활용할 수 있을 것이다.

AI가 메타미디엄으로써 가져올 변화는 편집 단계보다는 제작 단계의 형상화 AI에서 시작될 가능성이 높다. 형상화 AI는 기존 영상 제작 방식과는 전혀 다른 방법으로 영상을 제작할 수 있게 개발된 반면에, 편집 단계에 해당하는 저작도구는 기존에 없던 새로운 형태의 변화를 가져오기보다는 기존 방식으로 수고롭게 작업했던 양식의 콘텐츠를 손쉽게 만들 수 있게 제작되었기 때문이다. 이는 AI 영상 콘텐츠 저작도구가 기존 제작 방식 대비 어떠한 효용을 주는지, 효과, 시간, 비용 측면에서 정리한 표 2에서도 드러난다.

편집(가공) 단계의 변형 AI와 편집 AI가 일부 인건비와 후가공 비용을 절감할 수 있지만, 영상 제작 단계의 형상화 AI는 획기적으로 영상 제작 단계에서 소모되는 시간과 비용을 절약할 수 있다. 또한 형상화 AI의 대사생성형 저작도구는 제작 단계뿐 아니라 기획 및 편집 단계 역할까지 수행할 수 있는 AI 기능을 갖추고 있다. 이는 주로 편집과 후가공에서 활용되던 영상 저작도구의 쓰임새가 영상 제작 파이프라인의 전 단계로 확대되었다는 것을 의미한다. 주요 저작도구의 성능을 비교하면 표 3과 같다.

성능이 공개된 AI 영상 저작도구의 기능 중 최대 영상 길이, 영상 연장 여부, 카메라 컨트롤, 모션 컨트롤로 나누어 성능을 비교한 결과 텍스트 to 영상에 해당하는 Runway Gen-2와 Pika 1.0의 경우 생성되는 영상의 길이는 초 단위로 짧았다. 하지만 영상을 연장하고 카메라와 모션 컨트롤이 가능했다. 반면에 Deepbrain AI, Pictory 등 생성되는 영상의 길이가 분 단위로 긴 저작도구는 영상을 연장하거나 카메라, 모션의 컨트롤이 불가능하다는 특징이 나타났다[15].

이 같은 저작도구의 변화 양상은 기호학의 통합체(syntagma), 계열체(paradigm) 모델을 도입하여 분석할 수 있다. 에드거와 세즈윅은 기호학을 광범위한 인간 행위와 생산물의 유의미한 관계를 지각하고 분석할 수 있는 힘을 지니고 있어, 문화연구 영역에서 중요하게 이용할 수 있는 이론적 도구 들의 모음이라고 했다[21]. 이런 점에서 AI라는 기호가 영상 저작도구를 통해 어떻게 콘텐츠를 생성하는지 분석하는 기호학적 접근은 적절한 분석 틀이라고 할 수 있다. 통합체는 기호의 배열이고 계열체는 기호의 집합이라고 할 수 있다. 이 개념은 구조주의 언어학자 페르디낭 드 소쉬르의 언어학에서 출발했다[22]. 에드거와 세즈윅에 따르면 ‘계열체’는 메시지가 구성되는 의미 있는 단위를 말하는데, 이러한 계열체로부터 하나의 의미 있는 전체를 구성하는 기호 들의 조합을 ‘통합체’라고 정의했다[21]. 버거에 따르면 모든 텍스트는 사건이 전개되는 순서에 의해 통합체 구조를 갖고, 텍스트 속에서 발견되는 숨겨진 대칭에 의해 계열체 구조를 가지며 이 두 가지 방식으로 의미를 생성한다[23]. AI 영상 저작도구 유형 역시 통합체 구조와 계열체 구조로 분석할 수 있다. 이를 그래픽으로 표현하면 그림 9와 같다.

Fig. 9. 
Types of AI video authoring tools based on syntagma and paradigm structure

영상 제작 단계를 기획, 제작(촬영), 편집, 후가공의 4단계로 분류하고 작업 순서대로 수평적으로 나열하여 그림 9처럼 통합체 구조를 정의했다. 계열체는 각각의 단계에서 AI 유형에 따라 수직적으로 구분하였다. 전통적으로 편집과 후가공 위주로 기능을 수행하던 영상 저작도구가 형상화 AI로 인해 제작과 기획 단계까지도 기능을 확장한 모습이 드러난다. 따라서 역사적으로 전례가 없는 변화를 일으키는 그 무엇인 메타미디엄의 정의에 가까운 것은 형상화 AI 중심의 영상 저작도구라고 볼 수 있다.

본 연구에서는 인공지능이 영상 저작도구에 가져온 변화를 메타미디엄 측면에서 바라보았다. 영상 제작 단계에 따른 입출력 개념을 적용하여 2024년 3월까지 공개된 AI 기반 영상 저작도구의 유형화를 시도하고 동향을 분석했다. 그 결과 AI 영상 저작도구는 크게 통합체 구조와 계열체 구조로 진화하고 있었다. 통합체 측면에서의 변화는 영상 제작 효율 상승뿐만 아니라, 영상 창작 주체의 확장과 기존 영상 콘텐츠 제작 방식의 다양화를 촉진한다. 계열체 측면에서의 변화는 영상 제작 시간과 비용을 절감하여 영상 제작 효율의 상승을 중심으로 이루어진다. 이 같은 변화는 지금까지 통용되었던 영상 제작 리터러시의 변화가 이루어질 수 있음을 시사하며, 향후 AI를 활용한 새로운 방식의 영상 콘텐츠 장르 등장과 소비 시장이 나타날 수 있음을 암시한다.