Current Issue

연구팀은 웹툰 제작 과정에서 실질적으로 AI 활용할 수 있는 가능성을 알아보기 위해 현재 활동하고 있는 웹툰 작가 8명을 대상으로 심층 인터뷰를 진행하였다. 참여자들은 질문지를 미리 숙지한 후 자유로운 분위기에서 인터뷰에 응하였다.

인터뷰는 표 3과 같이 웹툰의 제작 환경과 이 과정에서 AI가 활용될 가능성을 파악하기 위한 문항들을 중심으로 진행되었다. 참여자들 대부분이 현재 화제가 되고 있는 이미지 생성 AI를 중심으로 한 지식과 견해를 가지고 있었으므로, 현재 서비스되고 있는 네이버 웹툰의 ‘AI painter’와 같은 AI 기술의 사례들이 추가적으로 설명되었다.

웹툰 제작 환경에 대한 질문에서 대부분의 참가자는 효율적인 작업을 위해 분업을 해본 경험이 있었으며 웹툰 제작에 최적화된 프로그램을 사용하고 있었다. 하지만 오랜 연재 기간 동안 매주 마감을 위해 긴장감을 놓을 수 없다는 심리적 부담감이 있었다. 또한 제작의 효율성을 증대하기 위해 복수의 프로그램을 사용하는 것에도 비용과 시간적인 측면에서 어려움을 겪는다는 것을 알 수 있었다.

AI에 대한 인식과 활용 가능성 부분에서는 인터뷰 초반 참여자들 모두가 이미지 생성 AI가 창작 영역에 무분별하게 침해하는 것에 대해 우려하고 있었다. 이로 인해 AI 기술의 발전 속도에 대한 두려움을 표하기도 하였으나, 그에 못지않게 현재 웹툰 시장의 노동 강도가 자동화의 도입으로 개선될 수 있다는 부분에서는 과반수가 긍정적인 의견을 내비쳤다.

이는 그동안 AI로 인해 작가의 영역이 축소되는 것에 대한 거부감과 학습 데이터들의 저작권 침해 논란이 야기되어 온 것과는 달리, 명확한 범위의 목표를 가지고 올바른 절차를 거쳐 사용된다면 인공지능 기술이 창작 과정에서도 의미 있는 역할을 할 수 있다는 것으로 판단되었다.

웹툰 제작 과정에서 참가자들은 채색 또는 라인 작업과 같은 반복적인 노동에 극심한 피로감을 느끼고 있었으며, 이러한 부분에서 자동화 시스템의 필요성을 제기하였다. 또한, 웹툰의 서사에는 중요하지 않지만 필수적인 요소인 음식, 건물 같은 물체나 군중과 같은 엑스트라를 쉽게 생성할 수 있다면 작업 과정에 큰 도움이 될 것이라는 의견도 이야기하였다.

더불어, 참가자들은 AI가 글 작가와 그림 작가 및 여러 참여 인력들의 협력을 위한 가이드 작성에 도움이 될 것이라고 예상하였다. 글로만 스토리와 연출을 전달하는 것보다, AI 기술을 활용하면 기획 단계에서 글 작가의 구상을 시각적으로 구현할 수 있기 때문이다. 이를 통해 각기 다른 역할을 맡은 인력들이 정해진 연출을 통일되게 이해하고 협력할 수 있을 것으로 기대된다고 하였다.

앞선 인터뷰에서 확인한 웹툰 작가들의 고충과 현재 화제가 되고 있는 AI 기술의 흐름을 바탕으로 웹툰 제작 과정에서 활용할만하다고 여겨지는 AI 모델의 사례들을 조사하였다. 본 연구에서는 웹툰을 이미지 유형의 콘텐츠라고 분류하였고, 여러 사례들 중에서도 그래픽과 이미지 생성에 적용되는 모델들을 중심으로 서술하였다. 이 과정에서 연구팀은 주로 이미지 생성에 적용되는 기술인 GAN과 Diffusion 모델, 그리고 또 다른 딥러닝 방식 중 하나인 뉴럴 네트워크(Neural Network) 기술을 원천으로 하는 AI 모델들을 연구 목적에 적합한 사례로 판단하였다. 그리고 두 가지 이상의 기술을 함께 사용하여, 단일 기술을 사용할 때의 단점을 보완한 모델들도 함께 조사한 사례에 포함하였다.

GAN의 경우에는 인물의 얼굴에 특화된 모델로 JoJoGAN, AniGAN, Deep Style Transfer 등이 있다. 또한 채색 과정에는 컬러 포인트를 힌트로 하는 AlacGAN과 텍스트 프롬프트를 힌트로 하는 Tag2Pix, 이미지 학습을 가이드로 하는 Seg2pix가 있으며 인물을 제외한 물체들과 배경 이미지를 생성할 수 있는 Pix2Pix가 있다.

Diffusion 모델의 경우에는 특정한 스타일의 학습과 재현이 가능한 모델을 만들 수 있는 LoRA가 있으며 생성한 이미지에서 특정 부분을 지정하여 수정할 수 있는 SmartBrush가 있다. 특히 최근에는 2022년에 생성형 인공지능 스테이블 디퓨전(stable diffusion)이 출시되고 나서, 이를 쉽게 사용하기 위한 Web UI가 공개되었다. 이것으로 다양한 기능을 추가적으로 활용할 수 있게 되었는데, 인물의 자세를 학습한 이미지대로 생성해 주는 오픈포즈와 부분적인 이미지 수정이 가능한 인페인팅 기능이 대표적인 사례이다.

뉴럴 네트워크(Neural Network)는 이미지 생성에 특화된 기술은 아니지만 효율적인 딥러닝 방식으로 이미지 분야에서도 사용된다. 여기에는 겹쳐진 선을 벡터화하여 깔끔하게 만들어 주는 Sketch Simplification, 특정한 스타일을 가진 라인을 다른 이미지에도 적용시킬 수 있는 SketchPatch, 그리고 지정된 영역에 색을 채워 주는 Petalica paint를 예로 들 수 있다. 특히 Sketch Simplification의 경우 추후 GAN을 적용하는 과정을 한 번 더 거쳐 Stylized Sketch Simplification 모델로 발전하였으며 두 가지 모델을 함께 적용한 만큼 결과물의 질이 향상된 것을 확인할 수 있다.

이 외에도 특정 캐릭터의 배색을 학습하여 다른 캐릭터에 적용시키는 Attention-Aware Anime Line Drawing Colorization과 광원의 색을 설정하여 이미지의 빛 보정에 효과적인 ClipDrop Relight, 영역을 지정해 주면 자동으로 명암을 처리해 주는 SmartShadow, 자동화로 처리된 명암의 퀄리티를 향상시켜주는 Eliminating Gradient Conflict 등의 모델이 있다.

GAN(Generative Advarsarial Network)은 생성자와 판별자의 경쟁을 통해 학습하는 이미지 생성모델이다. 생성모델(generator)은 최대한 진짜 같은 데이터를 만들기 위한 학습을 하고, 분류모델(discriminator)은 진짜와 가짜를 판별하기 위한 학습을 하며 이 경쟁 관계를 이용해 이미지를 생성한다[11].

그림 2의 JoJoGAN은 참조된 스타일의 이미지를 학습하고, 입력된 이미지에 학습한 이미지의 스타일을 적용하여 이미지를 생성한다[12].

Fig. 2. 
JoJoGan

그림 3의 ‘침착한 생성 모델기’는 깃허브(github) 유저 bryandlee가 네이버 웹툰에서 서비스되었던 이말년 작가의 ‘이말년 시리즈’에서 약 500개의 캐릭터 얼굴 데이터를 추출하여 AI 모델을 학습시켰다. GAN Space는 안경과 같은 액세서리의 여부 및 표정 변화의 정도 등 기본값에서 학습 데이터를 기반으로 결괏값을 추정하여 이미지를 생성한다. 또 다른 방법인 Close-form factorization는 웹 브라우저에서 모델을 테스트할 수 있으며 머리카락, 얼굴의 각도 등을 조정하여 결과물을 보여준다[13].

Fig. 3. 
(A) GANSpace (B) Close-form factorization

그림 4의 AlacGAN은 학습 데이터와 사용자가 지정한 컬러를 가지고 의도에 좀 더 가까운 결과물을 얻을 수 있는 조건부 적대 네트워크(Conditional Adversarial Networks) 모델이다[14]. 또한 그림 5의 Tag2Pix는 GAN 기반의 라인 채색 방법으로 흑백 선화와 컬러 태그 정보를 입력하면 컬러링 된 이미지를 생성해 준다[15].

Fig. 4. 
AlacGAN

Fig. 5. 
Tag2Pix

Diffusion 모델은 본래의 데이터에 노이즈를 더하여 이미지를 뿌옇게 만들고, 이 이미지로부터 노이즈를 다시 점차 줄여가면서 조금씩 복원해 가는 과정을 통해 원래 데이터와 비슷한 이미지를 생성하는 모델이다[16].

그림 6과 같은 LoRA(Low-Rank Adaptation)는 확산 모델인 스테이블 디퓨전(stable diffusion)에 추가적인 학습을 더해 원하는 결과물에 더욱더 가깝게 만들도록 하는 모델로 캐릭터, 스타일, 자세 등 세부적인 요소들을 특화하여 학습시킬 수 있다[17]. LoRA는 기존 생성 AI 모델들에 비해 비교적 적은 데이터로 모델의 빠른 학습을 이끌어 낼 수 있는데, 특히 주목할 만한 점은 창작자가 직접 스스로의 창작물을 학습시킬 수 있다는 것이다[18],[19].

Fig. 6. 
Shukezouma LoRA model sample

그림 7의 SmartBrush는 주변의 이미지 정보를 참고하여 이미지를 재생성하는 일반적인 인페인팅 방식과 달리 사용자가 입력한 텍스트와 마스크 처리한 영역을 힌트로 하여 원하는 방향에 좀 더 가깝게 이미지를 재생성한다[20].

Fig. 7. 
SmartBrush

그림 8과 같이 2023년 Stability AI에서 출시한 Stable Doodle AI는 간략한 낙서를 구체화하고 다양한 스타일을 적용하여 이미지를 생성해 주는 모델이다[21].

Fig. 8. 
Stable Doodle

위에서 언급한 GAN과 Diffusion 모델 이외에 함께 사용되는 원천 기술로 뉴럴 네트워크(Neural Network)가 있는데, 이는 인간 뇌의 구조와 기능에 의해 영감을 받은 계산 모델이다[22]. 이 모델은 상호적으로 연결된 뉴런이 입력을 받고 복수의 단계를 처리하여 결과물을 출력한다.

Sketch Simplification은 Convolutional Neural Network 기술을 기반으로, 러프하게 그려진 그림 9(A)와 같은 스케치를 그림 9(B)와 같은 단일 라인으로 단순화시켜 준다. 이 모델에서 발전된 Stylized Sketch Simplification은 입력된 이미지에 Sketch Simplification과 같은 학습 과정을 적용하고 사용자가 원하는 방향에 더 가깝게 결과물이 도출될 수 있도록 GAN 기술을 한 번 더 거친다[23]. 이렇게 도출된 결과물은 위의 그림 9(C)와 같이 Sketch Simplification보다 더 섬세하고 형태감이 확실하다.

Fig. 9. 
(A)Input, (B)Sketch Simplification, (C)Stylized Sketch Simplification

그림 10의 ClipDrop-Relight는 Stability.ai에서 출시된 재조명 기술이다[24]. 이 모델의 장점은 광원과 반사광의 방향을 자유롭게 설정하고, 각 광원에 원하는 색을 지정할 수 있다는 것이다. 이것은 컬러와 명암 요소를 조절하여 이미지를 원하는 분위기로 연출하거나 수정하려 할 때 효과적이다[25].

Fig. 10. 
ClipDrop Relight

그림 11의 SmartShadow는 사용자가 원하는 영역에 그림자를 생성해 주는 모델이다[26]. 이 모델은 Shadow brush, Shadow boundary brush, Global shadow generator 세 가지의 기능을 사용하여 실시간으로 결과물을 보여준다.

Fig. 11. 
SmartShadow

표 7은 웹툰 제작 단계에서 다루는 이미지가 어떤 객체인지에 따라 AI 모델을 분류하여 정리한 것이다. 연구팀은 생성되거나 처리되는 이미지를 사람과 물체로 분류하고, 만약 두 요소를 포함한 이미지라면 완성되지 않은 초안인지 모든 과정을 거친 완성된 원고인지에 따라 나누었다. 그리고 표 8을 구성하기 위해 인물 이미지의 경우에는 스케치, 라인, 밑색, 명암의 단계를 적용하여 세부적으로 분류하였다. 각 단계별로 배치된 AI 기술들이 해당 과정을 아주 완벽하게 처리하는 것은 아니지만, 최대한 적절한 AI 모델을 배치하고자 하였다.

초고는 초안으로 제작된 콘티이며, 분업화되어 제작되는 작품의 경우 글 작가가 글 콘티를 작성한다. 이 단계에서는 콘티가 연출하려는 방향이 어떤 이미지인지 구체적인 텍스트로 서술하면서 설명을 돕는 이미지 레퍼런스를 첨부하기도 한다. 스케치를 완성된 이미지로 생성해 주는 Stable Doodle, 특정 스타일을 학습하고 텍스트를 입력해 이미지를 생성하는 LoRa, 가이드 이미지의 인물과 같은 자세로 이미지를 생성해주는 WebUI_openpose는 그림을 잘 그리지 못하는 글 작가들이 그림 작가들과의 소통에 활용할 수 있을 것이다.

물체의 제작에 해당하는 AI 모델은 다른 기술들에 비해 비교적 적은데, 이는 이미 웹툰의 배경 작업에서 스케치업과 같은 3D 프로그램이 활발하게 활용되고 있기 때문이다. 하지만 실사 이미지에 적절한 필터 효과를 거쳐 배경 이미지를 제작하는 경우에는 이미지 해상도를 높이고 다양한 스타일의 이미지로의 변환이 가능한 Pix2Pix가 적절한 효과를 보일 것으로 예상된다.

인물의 경우, 웹툰 제작 과정에서 가장 많이 시간이 소요되는 부분이며 정리된 표에서도 대부분의 AI 모델이 이 분류에 속하였다. 스케치를 포함한 라인 부분에서는 작가의 개성을 학습할 수 있는 AI 모델들을 활용할 수 있고 밑색과 명암 작업을 포함한 채색 단계에서는 자동화에 특화된 모델들을 사용하면 수월할 것이다.

완성 원고는 보정 혹은 수정 단계에 해당한다. 수정 작업에서는 특정 부분만 수정이 가능한 SmartBrush와 같은 모델을 포함한다. 또한 보정 작업에서는 광원의 색을 설정해 주면서 작품의 분위기에 맞게 빛 효과를 내줄 수 있는 ClipDrop Relight와 같은 모델이 포함되었다.