Current Issue

이미지 생성 AI가 본격화될 당시 저작권 문제로 주목받았던 스페이스 오페라 극장(Theatre D`opera Spatial, 2022)과 새벽의 자라야(Zarya of the Dawn, 2022) 웹툰 이미지 그림 1을 생성한 AI로써 프롬프트 사용에 익숙하지 않아도 높은 수준의 이미지를 생성할 수 있다. 모든 이미지 생성 AI는 전 세계에 몇 개 없는 대규모의 텍스트 라벨링을 마친 이미지 데이터를 학습하는 과정을 거치는데 그럼에도 초보 사용자의 프롬프트에도 다른 이미지 생성 AI보다 높은 수준의 이미지를 생성하는 것은 데이터 학습 결과인 매개변수를 효과적으로 미세 조정했기 때문이다. 누구나 쉽게 높은 수준의 이미지를 생성하므로 전 세계 많은 사용자가 있으며 그만큼 사용과 관련한 공유지식도 쉽게 찾을 수 있다. 이에 비교 대상으로 선정하였다.

Fig. 1. 
Zarya of the Dawn, 2022 / Theatre D`opera Spatial, 2022

게시판 형식의 채팅 플랫폼인 디스코드에서 명령을 내리고 이미지를 생성하는 인터페이스를 사용하므로 디스코드 가입과 채팅 방식이라는 불편함을 감수해야만 한다. 채팅으로 내린 명령으로 생성되는 이미지는 다음 이미지에 밀려 계속 위로 올라가므로 이전 그림을 찾기 위해 위아래로 움직이며 게시글을 찾아야 한다. 디스코드는 게임을 이용하면서 함께 사용하는 텍스트, 음성 채팅 플랫폼으로써 게임 사용자들에겐 익숙한 곳이다. 또한 디스코드에는 채팅봇이라는 부가 서비스를 개발하여 운영할 수도 있는데 미드저니 개발자들은 게임과 채팅이라는 익숙한 디스코드에서 최초 개발 협의와 테스트를 진행하였고 결국 최종 서비스까지 채팅봇 서비스 형태로 디스코드에서 운영하기로 하여 그림 3과 같은 게시판 형식의 인터페이스를 가지게 되었다. 디스코드를 처음 접하는 사용자는 채팅 명령형식의 결제 과정부터 프롬프트 입력법, 자기 서버 구성 등 구체적인 사용법 모두 새롭게 배우는 불편함을 거쳐야 하지만, 프롬프트에 익숙하지 않은 초보자들도 우수한 퀄러티의 이미지를 생성할 수 있어 사용자들이 꾸준히 늘고 있다. 사용료는 서비스 초기에는 생성 이미지를 경험해 볼 수 있도록 무료 횟수를 부여하였는데 현재는 무료로 사용할 수는 없으며 개인은 월 30달러를 결제해야 횟수에 상관없이 편하게 사용할 수 있다.

Fig. 2. 
Midjourney bulletin board-style interface running on Discord

Fig. 3. 
Differences when using Midjourney ‘--no’ prompt.

프롬프트 뒷부분에 ‘--’와 함께 추가적인 파라미터를 사용할 수 있다. 예를 들어 ‘--ar 16:9’는 16대9의 화면비율로 이미지를 생성하라는 의미이며 ‘--w 1920 --h 1080’과 같이 직접 생성 이미지 해상도를 지정할 수 있다. ‘--seed 숫자’로 생성 시드값을 지정하는 등 다양한 옵션을 사용할 수 있으나 대부분 전문적인 영역으로서 가로세로 비율 지정 외에는 잘 사용하지 않는다. 또한 ‘--no’ 프롬프트는 특정 요소를 제거할 때 사용한다. 그러나 똑같은 프롬프트에서 하늘의 행성을 제거하고자 ‘--no planet’ 옵션을 사용한 결과, 그림 3과 같은 전혀 다른 이미지가 생성되었음을 볼 때 ‘--no’ 프롬프트는 사용에 주의해야 한다.

디스코드에서 게시판 형식으로 운영되는 미드저니 인터페이스의 특성상 버튼이나 메뉴를 따로 둘 수 없으므로 이미지가 생성되면 그림 4에서와 같이 아래에 제어 아이콘이 생긴다. 기본적으로 하나의 프롬프트에 4개의 이미지를 생성하며 그중 한 개의 이미지를 선택하고 그것을 바탕으로 다시 4장의 이미지를 생성하거나 생성 이미지에서 확장하는 명령, 생성된 이미지를 확대하거나 내려받는 것 등, 아이콘을 선택해서 필수 기능 명령을 내릴 수 있다.

Fig. 4. 
Control icons displayed below the generated image

앞서 프롬프트 구성요소를 정리한 후 생성 이미지를 테스트하기 위해 만든 표 2의 Prompt 3종류를 미드저니에 적용하였을 때 생성된 이미지는 그림 5와 같다. 한 번에 4개의 이미지를 생성하지만, 제한된 지면 속에서 적절한 이미지 크기를 맞추기 위해 3개만 나열하였다.

Fig. 5. 
Test prompt results of Midjourney image generation

미드저니는 연구자의 선행연구에 이어 본 연구에서도 프롬프트의 구성요소에 맞는 단어 유무에 상관없이 안정되고 디테일이 좋은 이미지를 생성하는 것을 확인할 수 있다. Prompt 1을 해석하면서 디테일이나 생성된 내용, 색감, 구조적인 형태의 완성도 등 모든 면에서 높은 퀄러티를 보여주었다. Prompt 2에서는 약간의 상상력을 더하였지만 대체로 적절한 구조의 집을 세밀한 붓 터치로 표현하였다. Prompt 3에서는 의외로 우주 성운 표현에서 명령하지 않은 커다란 행성을 표현한 점이 특이하다.

현존하는 이미지 생성 AI 중에 유일하게 서비스에 접속하여 사용하지 않고 개인 컴퓨터에 설치하여 사용할 수 있다. 독일 뮌헨 대학서 여러 기업의 지원을 받아 개발하였으며, 오픈AI의 CLIP 멀티모달 모델에 어떤 학습모델을 추가하였는지 개발 과정은 물론 학습데이터와 매개변수 파일까지 모두 공개하였다. 학습데이터 역시 비영리 단체에서 오랫동안 구축한 공개데이터를 사용한 점도 흥미롭다. 공익적 의도로 만들어진 회사인 오픈AI도 초기에는 이미지 생성 AI의 핵심인 CLIP모델을 공개한 다음부터는 핵심기술은 공개하지 않고 있다. 그만큼 경쟁이 심한 상황임에도 스테이블 디퓨전은 모든 내용을 공개하였고, 특히 매개변수 파일을 공개함으로써 다른 소규모 벤처 기업들이 기본 매개변수를 미세조정 하는 것만으로도 차별적인 이미지를 생성할 수 있게 되었다. 이것으로 학습을 위해 대규모 서버에서 오랫동안 연산할 필요가 없게 됨에 따란 수많은 이미지 생성 AI 서비스가 출시되는 결과를 낳았다. 이러한 의미에서 비교 대상으로 선정하였다.

전 세계 개발자들이 모이는 커뮤니티이자 소스 코드 공유 플랫폼인 깃허브에서 누구나 내려받아서 설치할 수 있다. 프롬프트 입력과 함께 세부적으로 제어할 수 있는 조절 값이 가장 많은 점은 고급 사용자에게는 장점이지만 초보자들에게는 단점이라 할 수 있다. 오픈소스인 만큼 초기에는 개발자 중심으로 매우 불편하였지만, 최근에는 전 세계 개발자들이 참여하여 설치 과정의 간소화는 물론 그림 6과 같이 HTML로 컴퓨터 내부 IP에 웹브라우저로 접속하여 수치나 프롬프트를 입력하는 인터페이스를 개발하여 일반인들도 쉽게 사용할 수 있도록 발전하였다. 무엇보다 공개된 학습데이터를 미세 조정한 또 다른 많은 학습데이터가 공유되고 있는 점은 가장 큰 장점이다. 예를 들어 미야자키 하야오 스타일, 실사 사진 스타일, 건담 로봇 스타일과 같은 학습데이터들을 쉽게 구할 수 있다[14].

Fig. 6. 
Stable diffusion web browser interface

또한 컨트롤 넷(Control Net)이라는 일종의 플러그인을 설치하여 그림 7처럼 사람의 자세를 추출하고 제어하거나 간단한 스케치를 화려한 그림으로 만들 수도 있고 다른 사진의 구도를 빌려 새로운 이미지로 생성하거나 외곽선을 추출하여 새로운 색으로 칠하기도 하는 등, 여타 이미지 생성 AI가 웹사이트에 접속하여 서버에서 주어진 기능만 사용하는 것에 비해 다양한 기능을 추가하여 사용할 수 있다. 무엇보다 개인 컴퓨터에 설치하여 사용하므로 서버의 관리를 벗어나 프롬프트 사용에 제한이 없는 점은 불법적으로 사용할 수 있으므로 우려스러운 점이면서도 가장 많은 사용자가 있는 이유이기도 하다. 최근에 백악관 폭발[15]과 같은 조작된 사진으로 생긴 문제들은 스테이블 디퓨전으로 생성된 것들이다.

Fig. 7. 
Example of ControlNet for posture extraction and control

사용료는 공개된 소스 코드를 개인 컴퓨터 설치하는 형태이므로 무료이지만 컴퓨터 성능에 따라 이미지 생성 속도가 달라지는데 쾌적한 작업을 위해서는 100만 원 이상의 NVIDIA사의 고사양 그래픽카드를 설치해야 한다. 핵심 개발사인 스테이빌리티(Stability) AI에서 공식적으로 배포하는 모델데이터는 전 세계 사용자들이 미세 조정해서 만드는 모델데이터의 토대가 되는데, 23년 7월에 기존 모델보다 뛰어난 SDXL을 발표하면서 유일한 설치형 생성 AI로서의 위치를 계속 유지하고 있다.

유일하게 PC에 개별 설치하여 사용할 수 있으며 HTML로 만들어진 인터페이스를 사용하여 가장 복잡하면서도 세부적인 제어가 가능하다. 대표적인 특징으로 일반 프롬프트와 네거티브 프롬프트를 따로 적을 수 있으며 옵션이 많은 만큼 고유의 프롬프트 작성 문법도 있다. 기본적으로 앞에 단어가 중요하지만, 어떤 위치의 단어라도 ( )를 붙이면 중요도가 10% 더해지며, (((단어)))와 같이 최대 30%의 가중치를 부여할 수 있다. 반대로 [ ]를 붙이면 10% 가중치를 덜어낸다. 역시 30%까지 가능하다. 그림 8처럼 해상도는 물론 모든 제어 값은 슬라이더나 수치 입력으로 세밀하게 제어할 수 있다. 한 번에 생성할 수 있는 이미지 개수나 이미지 변화 정도, 컨트롤넷 제어 등, 처음 사용자는 오히려 너무 많은 옵션으로 어렵게 느낄 수도 있으나 디폴트 값으로 두고 일반 프롬프트와 네거티브 프롬프트, 해상도와 생성 시드 값 정도만 제어하여 쉽게 이미지를 생성할 수 있다.

Fig. 8. 
Detailed control interface

스테이블 디퓨전은 미세조정 학습데이터를 교체할 수 있으며 그에 따라 전혀 다른 느낌의 이미지가 생성되는 것이 가장 큰 장점이다. 그러므로 다른 이미지 생성 AI와 프롬프트 사용 방법의 차이를 비교하는 것이 의미가 있으나 생성한 이미지를 비교하는 것은 참고 사항이라 할 수 있다. 표 2의 3종류 Prompt를 똑같이 적용하였으며 스테이블 디퓨전만의 특징인 네거티브 프롬프트는 사용하지 않았다.

학습데이터는 모델 다운로드 사이트에서 가장 추천 수가 많은 Henmix_real_V2.2[16]을 설치하였으며 모델 특성은 이름과 같이 실제 사진과 같은 이미지를 생성하기에 적합하고 비현실적인 상상의 이미지를 생성하는 것은 부족할 수 있다.

생성된 이미지는 그림 9와 같으며 구체적으로 살펴보면 Prompt 1은 인간의 삶이라는 단어를 넣었지만, 사람은 없고 사물만 표현하였으며 사물들은 학습데이터 특성에 맞게 정확한 형태를 생성하였다. Prompt 2도 화려하고 특이한 형태의 집이라고 명령하였지만 전혀 특이하지 않은 집을 생성하였으며 집 내부를 표현하기도 하였다. 또한 직접 그린 듯한 붓 터치는 표현하지 못하고 그림 같은 색감을 표현하였다. Prompt 3에서는 H. R 기거 이미지 스타일, 고딕 양식, 두 단어를 연구자가 기대한 느낌으로 가장 잘 표현하였다. 그러나 야외라는 단어가 있었음에도 주로 건물 내부를 표현한 점은 아쉽다.

Fig. 9. 
Stable diffusion test prompt image creation results

그래픽 분야에서 가장 크고 영향력 있는 기업인 어도비는 이미 2016년부터 ‘어도비 센세이(Adobe Sensei)’라는 비교적 낮은 단계의 AI 서비스를 그래픽 프로그램들에 연동하고 있었으나 2021년부터 생성형 AI를 어도비 센세이에 도입하면서 그래픽 프로그램들의 기능을 극대화하고 있다. 그림 10처럼 파이어플라이는 어도비 웹에 접속하여 사용할 수 있지만 이보다는 기존 어도비 프로그램 속에서 구현하는 방식이 더 기대된다.

Fig. 10. 
Firefly interface on Adobe Web

24년 1월 현재 2.0 버전이 나왔으며 아직 개발 중인 기능들도 있지만 충분한 시험을 거친 완성된 기능들은 포토샵과 같은 기존 구독제 사용자들이 프로그램 안에서 생성 AI 기능을 사용할 수 있도록 기능 업데이트에 바로 반영하고 있다. 생성되는 이미지의 퀄러티는 미드저니보다는 다소 부족하지만, 대기업의 개발력과 어도비가 보유한 다양한 그래픽 프로그램과의 연동 가능성을 고려할 때 앞으로의 발전과 확장성이 기대되는 서비스다. 이러한 의미에서 비교 대상으로 선정하였다.

어도비는 교육기관에서 가장 많이 사용하는 프로그램 패키지를 제공하는 곳으로서 대부분 교육기관이 단체 사용권 계약을 맺고 있다. 미드저니나 달·이를 사용하기 위해 개인별로 비용을 지급해야 하거나 스테이블 디퓨전을 운용하기 위해 고사양의 컴퓨터를 구매해야 하는 점을 고려할 때 이미 기관별로 사용권 계약을 맺고 있는 어도비의 이미지 생성 AI 서비스는 매우 유용한 대안이 될 수 있다.

또한 해결되지 않은 학습데이터 저작권 문제는 앞으로 창작자가 이미지 생성 AI를 사용할 때 발생할 수 있는 문제로서 어도비는 자사가 저작권을 소유한 이미지뱅크 서비스인 어도비 스톡의 데이터를 학습하는 것으로 생성된 이미지에 대한 저작권 문제를 원천적으로 방지하였다. 또한 어도비 스톡에 사용자가 이미지를 업로드하여 학습데이터로 제공하면 이미지 생성 기여도에 따른 보상 체계까지 마련하여 선순환의 생태계를 구축하였다[17]. 여기에 더하여 어도비는 기업 고객에게는 자사의 생성 이미지로 인하여 법적 분쟁이 발생 시 법률지원 서비스까지 지원한다[18].

파이어플라이는 어도비 패키지 중 하나의 소프트웨어가 아니라 어도비의 생성형 AI 기능 전체를 일컫는 단어다. 그림 11처럼 23년 9월 업데이트된 포토샵 v25에서는 그동안 어도비 웹에서 베타테스트 하였던 생성형 채우기 기능과 프레임 확장 기능을 포토샵의 인터페이스 속에서 명령할 수 있도록 기능이 추가되어 특별한 재교육 없이 바로 사용할 수 있다. 포토샵에서 유용하게 사용하던 Content-Aware Fill 기능이 에프터이펙츠에도 적용되어 이미지를 합성에서 불필요한 부분을 지우는 기능으로 유용하게 사용했던 경우를 볼 때 지금의 이미지 생성 AI의 기능도 에프터이펙츠나 프리미어에 충분히 적용될 수 있을 것이라 기대한다. 어도비 프로그램들의 데이터 호환성은 매우 강력하여 포토샵의 비트맵 데이터와 일러스트레이터의 벡터 데이터 상호 호환은 물론 프리미어 편집 소스나 에프터이펙츠 특수효과 영상 소스로서 데이터의 특성을 온전하게 유지하면서 주고받을 수 있다. 여기에 생성 AI 기능 추가에 따른 다양한 시너지 효과가 기대된다.

Fig. 11. 
Firefly interface on Adobe Photoshop

사용료를 살펴보면 23년 11월부터 이월되지 않는 월간 크레딧 제도가 도입되었다. 크레딧은 생성 개수를 말하며 기존 어도비 사용 요금제에 따라 1000 크레딧부터 25 크레딧까지, 다양하게 구성되어 있다[19]. 베타테스트 기간에는 무료로 사용하였지만, 이미지 생성에는 서버의 연산 자원을 사용하므로 전 세계 사용자들을 고려해 볼 때 유료화는 필수 과정이라 할 수 있다. 교육기관에서 주로 사용하는 라이선스인 SDL (Shared Device License)에서는 이미지 생성 AI 기능을 사용할 수 없으므로 해당 관리자와 추가 비용에 대한 논의가 필요하다.

포토샵이나 일러스트레이터와 같은 프로그램에서 직접 사용할 수도 있으나 다른 생성 AI와 비교를 위해 웹사이트에 접속하여 사용하는 기준으로 설명한다. 여타 이미지 생성 AI에서는 화면비율이나 이미지 스타일 옵션을 프롬프트로 작성하지만, 파이어플라이처럼은 인터페이스 우측에 풀다운 메뉴로 선택할 수 있도록 제공하여 사용자가 쉽게 생성 이미지를 세부적으로 제어할 수 있도록 하였다. 실제 옵션은 효과, 기법, 색상 및 톤 구성 등, 다양한 제어 명령을 인터페이스의 풀다운 메뉴를 최대한 활용하도록 유도하고 프롬프트 자체 문법은 없으므로 단어 나열로 쉽게 프롬프트 작성이 가능하다.

생성한 이미지 퀄러티는 미드저니보다 다소 부족하지만 사용자 인터페이스 편의성은 가장 뛰어나다고 할 수 있으며, 어도비 프로그램 간의 호환성은 물론 어도비 스톡 데이터 학습으로 생성 이미지의 저작권 문제도 없으므로 거대 기업의 지속적인 연구 지원으로 생성 이미지 퀄러티를 높인다면 가장 강력한 이미지 생의 AI가 될 것으로 예상한다.

Fig. 12. 
Part of the Firefly pull-down selection menu

앞서와 같이 표 2의 Prompt 3종류를 적용하였으며 생성된 이미지는 그림 13과 같다. 어도비 웹 인터페이스도 한 번에 4개의 이미지를 생성하지만 3개만 나열하였다.

Fig. 13. 
Test prompt results of Firefly image generation

생성된 이미지를 구체적으로 살펴보면 Prompt 1은 인간의 삶이라는 프롬프트를 가장 강하게 반영하여 사람을 포함하여 생성한 점이 특이하였으며 3D라고 하였음에도 2D 일러스트 형식으로 생성한 것은 아쉽다. Prompt 2는 인상파 화가들의 붓 터치 표현이 부족하지만, 화려한 색의 일반적이지 않은 집이라는 단어는 비교적 잘 생성하였다. Prompt 3에서는 사진과 같은 디테일을 지정하였음에도 회화적인 느낌으로 생성하였다. 화려한 우주 성운은 잘 반영되었으나 ‘H. R 기거 이미지 스타일, 고딕 양식’이라는 단어는 잘 반영하지 못하였는데 이는 학습 데이터로 사용된 어도비 스톡의 특성상 개인이 촬영한 사진이 많고 유명 작가의 작품이 적은 것을 이유로 유추할 수 있다.

챗GPT로 유명한 오픈AI에서 21년 1월 텍스트를 이미지로 변환하는 핵심기술인 멀티모달 모델 CLIP(Contrastive Language -Image Pre-training)을 공개하면서 동시에 전 세계에서 가장 먼저 일반 사용자들이 사용할 수 있는 이미지 생성 AI를 발표하였다. 이후의 모든 이미지 생성 AI는 달·이의 멀티모달 기술로부터 발전했다고 할 수 있다. AI의 불법적인 사용을 막기 위해 기술을 공개하자는 의도로 만들어진 오픈AI는 챗GPT와 함께 다양한 생성 AI 분야에서 가장 선도적인 기술과 서비스를 출시하고 있으며 마이크로소프트가 100억 달러를 투자하면서 마이크로소프트 오피스 프로그램과 유기적으로 연동하는 AI 서비스 개발에 집중하고 있다. 그러나 달·이는 처음 관심과 달리 현재는 미드저니에 비해 언급이 거의 되지 않고 있다. 생성한 이미지 퀄러티는 후발 개발사인 미드저니에 비하여 부족하지만, 생성 AI 기술을 선도하는 회사이면서 가장 먼저 이미지 생성 AI 서비스를 오픈하였기에 비교 대상으로 선정하였다.

오픈AI 웹사이트의 서브 페이지 접속하여 사용할 수 있으며 서브 페이지로 운영 중인 것을 볼 때 서비스의 중요성을 높지 않게 보고 있음을 유추할 수 있다. 그림 14는 달·이 서비스에 접속하면 볼 수 있는 인터페이스로서 단순하고 직관적이다.

Fig. 14. 
DALL·E's simple web-page interface

달·이라는 이름은 픽사 애니메이션의 주인공 로봇 WALL·E 와 초현실주의 화가 살바도르 달리 이름을 합성한 것이다. 사용해 보면 세부적인 프롬프트가 아니면 다소 이미지 퀄러티가 떨어져 보일 수도 있지만 이름처럼 오히려 작가와 같은 개성 있는 작품처럼 보이는 이미지를 생성하는 경우가 많았다.

특히 오픈AI는 달·이 사용법을 상세하게 설명한 PDF 문서를 배포 중인데[20] 달·이와 더불어 다른 이미지 생성 AI를 사용하면서도 활용할 수 있는 좋은 지침서로서 AI 기술을 선도하는 연구소로서의 면모를 확인할 수 있다. 요금은 초기에는 무료로 경험할 수 있었지만, 현재 미드저니와 마찬가지로 무료 사용은 없으며 월 15달러를 결제하면 115번 생성할 수 있는 크레딧을 받을 수 있다.

가장 간단한 인터페이스를 가지고 있으며 프롬프트 사용법에서도 특별한 문법 없이 간단하다. 그림 15는 달·이의 특정 인터페이스 부분을 캡처한 것이다. 최초 생성 이미지는 1:1 비율로 1024×1024로 정해져 있으며 16:9 비율로 만들기 위해서는 원하는 이미지를 선택하면 보이는 서브 아이콘의 Edit로 들어가 어림짐작으로 16:9 정도 비율로 확장하는 과정으로 만들어야 한다. 그 외 Edit에는 우측과 같이 특정 이미지 부분만 지우고 새로 생성하는 것, 움직이고 저장하는 것, 총 4종류의 아이콘만 있다. 비교 대상 4개 중에서는 가장 직관적이고 쉬우므로 초급자에게는 좋지만, 전문적으로 사용하기에는 이미지 퀄러티 면이나 인터페이스 편의성 면에서 상대적으로 부족하다.

Fig. 15. 
L: Simple menu button / R: Function icons in edit mode

달·이도 같은 방법으로 표 2 Prompt 3종류를 적용하였으며 생성된 이미지는 그림 16과 같다. 달·이 역시 한 번에 4개의 이미지를 생성하지만 3개만 나열하였다.

Fig. 16. 
Test prompt Results of DALL·E image generation

구체적으로 살펴보면 Prompt 1은 생성된 이미지의 편차가 가장 심했으며 복잡하게 보이는 이미지도 자세히 보면 구조 면에서 틀린 형태의 이미지를 생성하였다. Prompt 2는 달·이라는 서비스 이름에 걸맞게 인간이 그린 듯한 페인팅 느낌을 생성하였다. 그러나 일반적이지 않은 집이라는 명령의 표현은 왜곡되기는 했으나 특이한 형태는 아니었다. Prompt 3은 많은 단어를 사용하여 세부적으로 명령한 만큼 의도에 근접한 이미지를 생성하였으나 ‘H. R 기거 이미지 스타일, 고딕 양식’이라는 단어표현은 조금 부족해 보인다. 또한 실제와 같은 표현을 요구하였으나, 이미지를 자세히 보면 형태를 명확히 들어내지 않고 생략하거나 붓 터치로 그린 듯한 질감 등, 다소 부족하였다.