Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 24, No. 10, pp.2489-2498
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Oct 2023
Received 17 Aug 2023 Revised 15 Sep 2023 Accepted 18 Sep 2023
DOI: https://doi.org/10.9728/dcs.2023.24.10.2489

GAN을 활용한 고품질 이미지 생성 플랫폼

가은성1 ; 김범기1 ; 이승철1 ; 조현민1 ; 조풍진2, *
1가천대학교 AI소프트웨어학부 학사과정
2가천대학교 AI소프트웨어학부 조교수
High-Quality Image Generation Platform using GAN
Eunseong Ka1 ; Beomgi Kim1 ; Seungcheol Lee1 ; Hyunmin Cho1 ; Poongjin Cho2, *
1Bachelor’s Course, School of Computing, Gachon University, Gyeonggi-do 13120, Korea
2Assistant Professor, School of Computing, Gachon University, Gyeonggi-do 13120, Korea

Correspondence to: *Poongjin Cho Tel: +82-31-750-5353 E-mail: pjcho@gachon.ac.kr

Copyright ⓒ 2023 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

본 논문은 이미지 생성 딥러닝 기법인 RealSR, Waifu2X 그리고 Bringing Old Photos Back to Life와 클라우드 컴퓨팅을 통합하여 접근성 및 확장성 높은 새로운 클라우드 기반 이미지 복원 서비스를 제안한다. 해당 서비스는 오래된 사진 복원, 저해상도 이미지 개선 기능을 제공하며, 다양한 디지털 미디어 콘텐츠의 사례에 적용할 수 있다. 또한, 사용자 친화적인 플랫폼을 제공함으로써, 다양한 분야의 사용자들이 인공지능에 대한 지식 없이 딥러닝 이미지 생성 모델을 쉽게 이용할 수 있다. 클라우드 기반 아키텍처는 확장성을 보장하며, 다양한 사용자의 요구를 처리하고 적응할 수 있게 한다. 본 논문에서는 딥러닝 이미지 생성 모델을 클라우드 서비스로의 통합을 통해, 보다 넓은 대중에게 고품질 이미지 복원 기능에 접근할 수 있게 하고, 이는 디지털 콘텐츠 분야에 큰 영향을 끼칠 것으로 기대한다.

Abstract

This study proposes a novel cloud-based image restoration service that integrates advanced image generation deep learning techniques such as RealSR, Waifu2X, and Bringing Old Photos Back to Life with cloud computing, which enhances accessibility and scalability. The service provides features for restoring aged photographs and enhancing low-resolution images, and can be applied to various cases of digital media content. By constructing a user-friendly platform, users from various fields can easily utilize deep learning image generation models without extensive AI knowledge. The cloud-based architecture guarantees scalability, enabling the service to manage diverse user demands and adapt accordingly. This study illustrates how the integration of deep learning image generation models into a cloud service enables broader accessibility to high-quality image restoration capabilities for the general public. Moreover, it is anticipated that it can significantly impact the digital content industry.

Keywords:

Deep Learning, Generative Adversarial Network, Image Generation, Image Enhancement, Cloud Computing

키워드:

딥러닝, 생성적 적대 신경망, 이미지 생성, 이미지 개선, 클라우드 컴퓨팅

Ⅰ. 서 론

디지털 기술의 급속한 발전으로 인해 고품질의 디지털 콘텐츠에 대한 수요가 증가하고 있다. 이미지 복원 및 개선은 이러한 수요를 충족시키는 핵심 요소로서, 세부적인 묘사를 복원하고 노이즈를 제거하는 등 전체적인 이미지 품질을 개선할 수 있다. 위와 같은 복원을 수행하기 위해, 기존의 전통적인 복원 기술을 사용하였으나 이는 만족스러운 결과를 보여주지 못했으며, 이에 보다 발전된 방법의 필요성이 대두되었다.

딥러닝 기반의 복원 기술로는 다양한 방법론이 존재하고, 그 중에서도 생성 모델 기반의 RealSR, Waifu2X 그리고 Bringing Old Photos Back to life(이하 BOPB)는 각 도메인에서의 문제 해결에 있어 좋은 성능을 거두었다. 하지만, 이와 같은 기술들을 활용하기 위해서는 해당 분야에 대한 지식과 컴퓨팅 자원이 필요한 경우가 많아, 일반 대중으로부터의 접근성이 제한된다. 이러한 제한을 극복하기 위해, 본 논문에서는 클라우드 기반 딥러닝 이미지 복원 서비스를 제안한다. 해당 서비스는 클라우드 기반 플랫폼으로 통합하였기에 확장 가능하며 접근성이 높고, 다양한 전문 지식을 가지지 않은 사용자들도 자원 없이, 수준 높은 이미지 복원 기술의 혜택을 누릴 수 있다.

이 논문에서는 사용된 이미지 복원 기술의 개요를 제시하고, 클라우드 서비스에 통합되는 방법을 논의하며, 위 솔루션의 개발 과정을 설명한다. 또한, 이 서비스가 디지털 콘텐츠 산업에 미치는 잠재적 영향과 이미지 복원 기능을 더 많은 대중에게 있어 접근성을 높이는 역할에 대해서도 강조한다.

Ⅱ절에서는 본 연구와 관련한 기존의 연구들에 대해서 조사한다. Ⅲ절에서는 서비스에 사용한 고품질 이미지 생성 모델에 대해 상세히 설명하고 고품질 이미지 생성 모델과 클라우드 서비스의 융합 과정을 묘사한다. 또한, 클라우드 기반 융합의 중요성 및 장점을 소개한다. Ⅳ절에서는 제안하는 플랫폼에 대해 UI/UX 평가를 진행하며, 앞서 설명한 장점들을 API 서비스와 직접적으로 비교하며 제안하는 본 콘텐츠의 장점을 강조한다. 또, 본 콘텐츠의 운영 비용에 대한 분석 또한 진행한다. Ⅴ절에서는 본 콘텐츠의 새로운 기여점을 다루며 의의와 중요성을 강조한다.


Ⅱ. 관련 연구

이미지 복원 기술은 이미지나 비디오를 향상 시키는데 사용되며 다양한 분야에 활용되고 있다. 그러나 이러한 기술을 적용하려면 상당한 컴퓨팅 자원과 높은 계산능력이 필요하다[1]. 이에 따라, 많은 사용자들이 초해상화를 비롯한 이미지 복원 기술을 이용하는 데 어려움을 겪고 있다. 클라우드 기반 서비스는 이러한 문제를 해결하기 위해서 대안을 제시한다. 클라우드 서비스의 대표 격인 구글 클라우드, 마이크로스프트 원 드라이브 혹은 Next 클라우드와 같은 클라우드 기반의 서비스들은 사용자가 올린 데이터를 저장할 뿐, 개선 등의 작업을 통합한 서비스는 제공하지 않았다. 또, Topaz LABS, Stability AI, Deep AI를 비롯한 이미지 복원 서비스는 클라우드 요소가 없거나 사용자의 컴퓨팅 파워를 사용한다는 문제점이 있다. 이러한 한계점을 극복하고자 본 논문에서는 클라우드 기반 구조 및 모델 융합을 중심으로 사용자가 쉽게 이미지 복원 기술을 사용할 수 있는 프로그램을 제안함으로써, 고사양의 PC나 별도의 서버를 보유하지 않아도 개선된 이미지를 생성하고 저장 및 관리할 수 있다. 이러한 방식으로 사용자는 이미지 복원 기술을 보다 쉽고 효율적으로 이용할 것으로 기대한다.

이미지 복원 기술은 손상되거나 저해상도의 이미지에 대해서 개선 혹은 복원하는 기술로, 낡은 사진의 복원, 저해상도 이미지의 해상도 향상, 디지털 미디어 콘텐츠 향상 등 다양한 분야에서 중요한 역할을 하는 기술이다[2]. 본 논문에서는 이미지 복원을 위해 세가지 주요 딥러닝 기반 모델인 RealSR, BOPB, Waifu2X를 사용하였다. 각 모델은 각각 다른 유형의 이미지 복원에 특화되어 있으며, 이들을 클라우드 기반 서비스로 통합함으로써 복원의 편의성을 개선하였다.

RealSR[3]은 다양한 실세계의 저해상도 및 고해상도 이미지 쌍을 사용하여 학습된 딥러닝 기반 알고리즘이다. 특히, 기존의 초해상도(SR; Super-Resolution) 모델과의 차별점으로, 저해상도 이미지를 만들 때 주로 사용하는 바이큐빅(Bicubic) 보간법을 사용하지 않고 새로운 Realistic degradation 방법을 소개한다. 일반적으로 저하된 이미지, ILR 은 원본 이미지, IHR 에 대한 수식 (1)과 같이 구할 수 있다:

ILR=IHR*Ks+n(1) 

(1)의 수식에서 ILR은 저하된 이미지, IHR은 원본 이미지, K는 커널, s는 다운샘플링 연산자, n은 노이즈 값을 의미한다. 이 때, 테스트 이미지는 커널 K와 노이즈 값 n을 모르는 상태로, 바이큐빅 보간법을 사용하여 저하를 진행하게 된다면 실제 도메인과 간극이 생길 수 있다. 따라서 K값과 s값을 같이 추정하여 정확한 학습용 저하된 이미지 셋을 얻을 수 있도록 수행한다. 이러한 과정을 통해, RealSR은 다른 초해상도 모델보다 현실적인 이미지를 더 잘 표현할 수 있게 된다.

오래된 이미지 복원의 경우, 복잡한 손상이 포함되어 있어 모델링이 어렵다는 점과, 단순한 학습만으로는 실제 사진에 대해 제대로 일반화하기 어렵다는 점이 주요 도전 과제로 뽑힌다[4]. 특히, 이미지의 손상이 단일 도메인에서 발생하는 것이 아니라 다양한 요인들이 복합적으로 작용하기 때문에, 다양한 복원 전략들이 요구된다. 이러한 문제를 해결하기 위해 BOPB[5]는 잠재 공간 변환을 통해 문제를 해결한다. BOPB는 깨끗한 Ground Truth 이미지 Y와 오래된 이미지 R을 1:1로 대응시켜 학습시키는 것이 어렵다는 점을 지적한다. 이에, BOPB는 R에서 Y로의 변환 과정을 두 단계로 분해하여 진행한다. 우선, Y를 블러링, 노이즈 추가 등을 통해 인위적으로 손상시킨 이미지를 합성 도메인 X로 정의한다. X에서 Y로의 변환은 이미 알려진 손상 방법을 통해 진행되므로, 모델은 지도학습 방식으로 X에서 Y로의 변환을 학습할 수 있게 된다. 그리고 R과 X를 각각 인코딩하여 잠재 공간으로 변환하고 변환된 잠재 공간인 Zr을 변분 오토인코더(VAE; Variational Autoencoder)를 통해 합성 이미지의 잠재 공간인 Zx와 같은 공간으로 매핑한다. 매핑된 Zr은 깨끗한 이미지의 잠재 공간인 Zy로 매핑하게 되고, 이를 생성기를 통해 Y로 변환하여 이미지를 복원하는 과정을 거친다. 위와 같은 접근 방식을 통해, BOPB는 다양한 문제가 복합적으로 발생하는 오래된 이미지 복원에 훌륭한 성능을 보이게 된다.

Waifu2x[6]는 2차원 애니메이션 이미지에 대해 노이즈를 제거하고 복원 하는데 특화된 오픈 소스 모델로, 합성곱 신경망(CNN; Convolutional Neural Network)을 이용한다. 이 모델은 2D 이미지에 대한 시각적 특성을 활용하여 JPEG 노이즈 처리와 이미지 확대에 대한 효과적인 처리능력을 보여준다. CNN을 사용함으로써 Waifu2x는 이러한 이미지들에 존재하는 깔끔한 라인과 단색을 더 잘 예측하고 유지할 수 있다.


Ⅲ. 고품질 이미지 생성 플랫폼 구조 설계

이 장에서는 오래된 사진을 복원하고 저해상도 이미지를 개선할 수 있는 클라우드 기반 고품질 이미지 생성 플랫폼 구조를 제안한다. 제안하는 플랫폼 구조를 설계하기 위해 사용할 이미지 생성 모델을 선정하고, 선정된 모델의 성능을 평가한 후, 클라우드 구조 내에서의 모델 구동 과정이 진행된다.

3-1 고품질 이미지 생성 모델

해당 서비스에서는 고품질 이미지 생성, 오래된 이미지 복원, 2D 이미지 초해상화 기능을 제공하기 위해 세 가지 이미지 복원 모델인 RealSR[3], BOPB[5] 및 Waifu2x[6]을 사용한다. 텐센트에서 개발한 초해상도 모델인 RealSR은 적대적 생성 네트워크(GAN; Generative Adversarial Network) 아키텍쳐와 라플라시안 피라미드 기반 커널 예측(LP-KPN; Laplacian Pyramid based Kernel Prediction Network)을 활용해 저해상도 이미지를 효과적으로 향상시키며, 보안, 의료 영상 및 디지털 콘텐츠 개선과 같은 분야에서 응용이 가능하다. 그림 1은 RealSR[3] 모델을 사용하여 개선된 그림의 예시이고, 왼쪽 그림 대비 오른쪽 그림의 해상도가 높아진 것을 확인할 수 있다. 마이크로소프트에서 개발한 오래된 사진 복원 모델인 BOPB[5]는 GAN, 비지도학습 및 심층 강화 학습의 조합을 사용해 오래된 사진의 색상, 질감 및 구조를 효과적으로 복원한다. 이 모델은 역사적인 사진 복원, 가계도 연구 및 개인 기억 보존과 같은 목적에 적합하다. 그림 2는 BOPB 모델을 사용하여 오래된 사진을 개선하였다. 오래된 사진의 찢어진 부분이나 오염된 부분에 대해서 효과적으로 복원하는 모습을 확인할 수 있다. 마지막으로 Waifu2x 알고리즘을 기반으로 한 이미지 초해상화 및 노이즈 감소 모델인 Waifu2x 은 디지털 2D 이미지용 초해상화 및 품질 개선에서 뛰어난 성능을 보인다. 그림 3은 Waifu2x 모델을 사용하여 2D 이미지를 초해상화하였다. 화질이 낮고 선명하지 않은 2D 이미지에 대하여 해상도가 높은 이미지로 개선된 것을 확인할 수 있다.

Fig. 1.

Enhancement of image using RealSR model

Fig. 2.

Enhancement of image using BOPB model

Fig. 3.

Enhancement of image using Waifu2X model

개선된 이미지에 대한 수치적 결과를 얻기 위해, 다양한 이미지 생성 모델들의 성능을 평가해보았다. RealSR 모델의 성능 측정은 NTIRE2020 워크샵[7]의 테스트 데이터셋을 이용하여 평가하였고, BOPB 모델은 DIV2K[8]를 활용하여 성능을 평가하였다.

먼저, RealSR에 대한 성능 평가를 진행하기 위해 NTIRE2020 워크샵 데이터를 바탕으로 여러 이미지 개선 모델의 성능을 평가하였다. 여기서 평가한 모델은 RealSR, Samsung-SLSI, BIE-IOT-AIBD, MSMers, 그리고 KU-ISPL이며, 언급한 수치적 내용들은 Ji et al.[3]의 내용을 바탕으로 작성되었고, 모델 성능은 PSNR, SSIM, MOS 지표를 사용하여 측정되었다. 모델들 간에는 PSNR과 SSIM 지표에서는 큰 차이가 없었지만, MOS 척도에서는 두드러진 성능 차이가 나타났다. MOS 척도는 PSNR 및 SSIM과 달리, 실제 사용자의 지각을 반영하는 척도로서 사용자 경험을 보다 정확하게 나타내는 지표이다. 특히, RealSR은 Samsung-SLSI와의 비교에서 PSNR 및 SSIM은 서로 비슷했지만, MOS에서는 9.5% 이상 높은 점수를 기록하였다. 이는 RealSR이 사용자의 지각을 더 잘 반영하였다는 것을 의미한다. BOE-IOT-AIBD, MSMers, 그리고 KU-ISPL과 같은 다른 모델들도 MOS에서 다양한 성능을 보였지만, RealSR만큼의 높은 결과는 나타내지 못했다. 세부적인 성능 차이는 Ji et al.[3] 에서 확인할 수 있다.

다음은 오래된 사진을 복원하는 모델을 비교하기 위해 DIV2K 데이터셋의 이미지를 활용하여 사진 복원 모델의 성능을 평가하였다. 이 평가에는 BOPB, Pix2Pix, Attention 등 다양한 모델이 포함되었다. 모델 성능은 PSNR, SSIM, 그리고 LPIPS 척도로 측정되었으며, 이러한 수치적 내용은 Wan et al.[5]의 내용을 바탕으로 작성되었다. LPIPS는 인간의 시각적 지각을 바탕으로 이미지 패치의 유사성을 측정하는 척도로, PSNR 및 SSIM과는 달리 사람이 느끼는 이미지의 복잡한 왜곡을 보다 잘 반영한다. Attention 모델은 이미지의 특정 부분에 초점을 맞춰 세밀한 복원을 진행하는 특성을 갖고 있어, BOPB 모델에 비해 PSNR 및 SSIM에서 더 높은 성능을 보인다. 그러나, 실제로는 복원된 이미지가 얼마나 자연스럽고 원본에 가깝게 복원되었는지가 중요하다. 이런 관점에서 BOPB는 LPIPS 척도에서 0.25로, Attention 모델보다 더 우수한 성능을 보였다. 반면, Pix2Pix는 LPIPS에서 0.23의 결과를 보였다. 또한, 22명의 사용자를 대상으로 복원 품질에 대한 주관적 평가도 진행되었다. 이 평가 결과, BOPB를 사용한 방법이 약 64.86%의 사용자로부터 1순위로 선정되었으며, Pix2Pix나 Attention 등의 모델에 비해 더 우수한 평가를 받았다. LPIPS 수치에서는 Pix2Pix가 BOPB보다 약간 우수한 결과를 보였지만, 실제 사용자 평가에서는 BOPB가 크게 우세했다는 점에서, BOPB를 선택했다.

다음으로 Waifu2X[6]의 경우, AVC-RealLQ 데이터셋을 활용하여 평가하였다. AVC-RealLQ[9] 데이터셋은 NIPS 2022에서 발표된 Tencent의 Anime-SR 논문에서 같이 나온 애니메이션 전용 데이터셋이다[9]. 애니메이션에 특화된 공식 데이터셋이 없었기 때문에 Tencent 팀은 이러한 데이터셋을 직접 구축하였다. 이 데이터셋을 활용하여 평가할 때, 실제로 저품질의 애니메이션 동영상에는 기준이 되는 ground truth가 없어, 참조하지 않는 이미지 품질 평가(NR-IQA; No-Reference Image Quality Assessment) 지표인 Natural image quality evaluator (NIQE)[10]를 사용하여 정량적으로 평가하였다. NIQE는 실세계의 초해상도 모델 평가에 널리 사용되며, 자연한 장면 통계와 수작업 특징을 기반으로 한다[11]-[13]. NIQE 방법을 사용하여 평가하기 위해, Anime-SR의 수치는 Wu et al.[9]의 내용을 바탕으로 작성하며, Waifu2X의 경우 모델을 통해 이미지를 도출한 뒤, 직접 측정하였다. NIQE는 이미지 품질의 정량적 평가를 위한 주요 지표로, 이 지표의 점수가 낮을수록 이미지 품질이 더 우수함을 의미한다[10]. 이러한 측정 기준 하에 Anime-SR의 경우 NIQE 결과가 8.1444를 보여주었다[9]. 반면에, Waifu2X는 4.9527의 점수로, Anime-SR보다 훨씬 우수한 이미지 품질을 나타내었다. 따라서, 이러한 결과와 함께 전체적인 모델 성능을 고려하였을 때, Waifu2X를 최종 모델로 선정하기로 결정하였다.

3-2 클라우드 기반 구조 설계

위의 세가지 모델은 모두 딥러닝 기술을 활용한 방법으로, 높은 연산 비용과 딥러닝에 대한 기반 지식이 필요하다. 즉, 개인 사용자가 이러한 모델을 직접 이용하기 위해서는 높은 성능의 컴퓨팅 연산과 알고리즘에 대한 이해 등이 필요하다. 이와 같은 점들은 일반 사용자로 하여금 딥러닝 기반 모델들과의 거리감을 느끼게 한다. 이에 본 논문은 딥러닝 기반 모델을 클라우드 서비스에 통합하여 문제를 해결하고자 한다. 클라우드를 사용함으로써 개인의 컴퓨팅 자원을 소모하지 않으면서도 복잡한 기술적 지식 없이도 딥러닝 모델을 사용할 수 있게 되며, 이는 언급했던 개별 사용 대비 분명한 이점을 지닌다. 이 장에서는 선정된 생성 모델을 클라우드 기반 하에서 구현하기 위해, 위에서 제안된 서비스의 구조에 대해서 서술한다. 우리는 각 모델을 클라우드 환경에서 호환성 및 효율적인 성능을 보장하기 위해 최적화했다. 이처럼 훌륭한 결과를 보이는 모델을 솔루션에 통합함으로써, 우리의 서비스는 고품질 및 효율적인 이미지 복원에 대한 수요를 충족시킬 수 있으며, 뿐만 아니라 모델이 추가적으로 개발됨에 따라 다양한 모델을 붙일 수 있다는 점에서 사용자 친화적인 이미지 복원 시장에서의 위치를 점유할 수 있다.

제안하는 서비스는 크게 세 부분으로 나누어 개발을 진행한다. 첫째는 사용자에게 보여질 프론드엔드 웹 앱(frontend web app) 으로 리액트(React.js) 프레임워크를 사용해 개발한다. 두번째는 프론트엔드의 여러 요청을 처리해 줄 API 서버로 고(Go lang) 언어와 진 웹 프레임워크(Gin web framework) 를 사용해 개발한다. 이미지 저장과 실행에 대한 요청, 앨범 등의 부가적인 기능은 모두 이 API 서버에서 구성한다. 세번째는 이미지 처리를 위한 실행 서버로 파이썬(Python) 을 사용해 구현한다.

프론트엔드 설계는 그림 4의 구조도와 같이 구성된다. 일반적인 리액트 프레임워크 설계에 따라 앱 요소가 최상위 요소로 존재하며 로그인 여부에 따라 로그인 요소와 메인 요소를 호출한다. 메인 요소는 프론트엔드의 주요 기능들을 구현하는 요소로, 사용자가 앨범을 생성하고, 이미지를 업로드하며, 이미지 화질 개선 결과를 받아볼 수 있는 등의 다양한 주요 기능들을 제공한다. 이 요소들은 리액트-부트스트랩(react-bootstrap) UI 라이브러리를 사용해 UI를 구현하고, 리액트-이미지-업로드(react-image-upload) 라이브러리를 사용해 이미지 업로드를 구현한다.

Fig. 4.

Frontend architecture

그림 4에서 제안한 리액트 컴포넌트 구조는 앱의 상위 계층에는 앱 컴포넌트가 위치하며, 이 하위에 로그인과 메인 컴포넌트가 존재한다. 로그인 컴포넌트에서는 회원가입 컴포넌트로 이동할 수 있으며, 로그인에 성공하면 메인 컴포넌트가 로드된다. 메인 컴포넌트의 하위에는 Topbar, OffCanvas, ImageListBody, AlbumNavigation 컴포넌트가 위치하며, Topbar는 상단 메뉴바를 나타내고, 메인 화면으로 이동하거나 세팅 및 계정 설정으로 이동하는 버튼이 포함된다. OffCanvas 는 작은 화면에서 숨길 수 있는 왼쪽 사이드 메뉴바로, 기본적으로 AlbumNavigation 컴포넌트가 왼쪽에 표시되어 앨범을 선택하는 기능을 제공한다. ImageListBody 컴포넌트는 업로드된 이미지가 나열되어 선택하여 볼 수 있는 화면으로, 이러한 리액트 컴포넌트 구조는 사용자가 로그인하고 로그인에 성공한 후에 메인 컨텐츠를 볼 수 있도록 구성된다. 이 같은 구조는 편리한 사용자 경험을 제공하고 모바일 기기와 같은 작은 화면에서도 앱을 효과적으로 사용할 수 있도록 한다.

API 서버는 고 언어와 진 웹 프레임워크를 사용하여 구현하였는데, 고 언어는 대규모 웹 서버 혹은 분산 시스템을 구축하는 데 적합한 언어로 평가되고, 진 웹 프레임워크는 고 언어를 기반으로 개발된 경량 웹 프레임워크로, 높은 성능과 편리한 라우팅 기능 등을 제공한다. 특히, Gin은 고-마티니(Go martini)와 비슷한 기능을 제공하지만, http router 덕분에 최대 40배 빠른 속도를 제공한다[14]. 이는 다른 언어나 프레임워크와 비교했을 때 매우 높은 성능을 보여주는 수치이다[15]. 이는 Gin 아키텍쳐가 본 서비스에 적합함을 보여주며, 구조 설계에 있어 도움이 되는 아키텍쳐임을 보여준다. 사용자의 정보와 이미지를 관리할 데이터베이스로는 포스트그레스큐엘(PostgreSQL) 을 사용해 개발한다. 포스트그레스큐엘은 다양한 색인 기능과 쿼리 최적화 기능을 제공하고, 대규모 데이터를 처리하는 데 적합한 데이터베이스이며, 높은 확장성을 보장한다. 따라서 포스트그레스큐엘을 사용하여 데이터베이스를 구현하면 높은 안정성과 성능을 보장하면서도 확장성과 다양한 지원을 받을 수 있다. 그림 5는 API 서버의 구조도를 간략하게 보여주며, 사용자는 모바일과 웹을 통해 서비스에 접근할 수 있다. 이러한 플랫폼은 리액트와 Axios를 이용해 구현되어 있으며, 그들은 모두 도커 컨테이너 내 엔진엑스(NGINX) 서버와 통신하게 된다. 이 엔진엑스는 고, 진 웹 프레임워크, BCypt 기술을 활용하여 구성된 다른 도커 컨테이너와도 연결이 되어 있고, 해당 컨테이너는 SQL 데이터베이스와 연동되어 있어 사용자 정보나 기타 데이터를 저장 및 관리한다.

Fig. 5.

API server architecture

실행 서버는 파이썬을 사용해 구현하였다. 파이썬 및 파이토치(PyTorch) 라이브러리를 이용해 쉽고 빠르게 RealSR, BOPB, Waifu2X 와 같은 딥러닝 모델을 구현할 수 있다. 실행 서버는 데이터베이스에 저장된 데이터를 실시간으로 처리하기 위해 데이터베이스의 변화를 주기적으로 확인한다. 이를 위해 실행 서버는 데이터베이스 핸들러 객체를 구현해 일정 시간 간격으로 데이터베이스에 대한 쿼리를 실행한다. 이 쿼리를 통해 데이터베이스에 저장된 데이터의 변화를 감지하고 이를 처리할 수 있도록 구현한다. 제안하는 서비스의 개발은 모두 도커 컨테이너 환경을 기반으로 구축한다. 일반적인 도커 이미지는 GPU를 사용할 수 없기에 NVIDIA와 AMD에서 제공하는 파이토치 이미지를 이용해 가속 라이브러리를 지원한다. 그림 6은 실행 서버 구조도에 대한 전체적인 그림으로서 도커, 포스트그레스큐엘로 구성된 데이터베이스와 파이토치 모델 및 GPU 서버로 이루어진 프로세싱 서버 및 그것들을 제어하는 다양한 핸들러로 이루어져 있다. 데이터베이스는 데이터베이스 핸들러(Database Handler)와 앨범 핸들러(Album Handler)를 통해 request/response를 관리하는데, 특히 데이터베이스 핸들러는 처리 핸들러(Processing Handler)에게 데이터 처리 지시를 전달하는 인디케이터 역할을 수행한다. 처리 핸들러는 이 지시를 받아 GPU 서버와 파이토치 모델을 제어하여 실질적인 데이터 처리 작업을 진행한다. 앨범 핸들러는 각 사진들을 앨범 별로 구분하는 정보를 데이터베이스에 전달하며 관리한다.

Fig. 6.

Processing server architecture

프로젝트의 아키텍처는 크게 프론트엔드, API 서버, 그리고 실행 서버의 세 가지 주요 요소로 구성되어 있다. 그림 4는 사용자와 직접적으로 상호작용하는 프론트엔드의 리액트 컴포넌트 구조를 설명하며, 이를 통해 사용자는 원활한 경험을 누릴 수 있다. 그림 5에서는 사용자의 요청을 처리하고 데이터를 관리하는 API 서버의 구조를 상세하게 나타내며, 특히 데이터 저장 및 검색에 필요한 백엔드 구조와 그 관련 기술들을 포함하고 있다. 마지막으로 그림 6은 실제 이미지 처리와 같은 핵심 작업을 수행하는 실행 서버와 그 구성 요소를 보여준다. 이 세 구성 요소는 서로 긴밀하게 연결되어 있어, 통합된 플랫폼을 구축하며 사용자에게 안정적이고 효율적인 서비스를 제공한다.


Ⅳ. 고품질 이미지 생성 플랫폼 개발 결과

클라우드 서비스 및 API의 등장으로 복잡한 어플리케이션을 보다 쉽게 구축할 수 있게 되었지만 API를 사용하기까지의 학습이 필요하며, 특히 다수의 API를 통합하는 것까지 고려한다면 학습에 대한 문제 뿐 아니라 호환성 문제, 느린 응답 시간 등을 포함한 다양한 문제가 발생할 수 있다. 이에, 제안하는 콘텐츠가 언급한 API의 문제들을 효과적으로 해결함과 동시에 추가적으로 얻을 수 있는 플랫폼 구축 효과에 대해서 소개한다.

4-1 플랫폼 디자인 설계 및 사용자 경험 평가

클라우드 기반 이미지 저장 및 업스케일링 플랫폼의 UI 및 UX 디자인을 제시한다. 이 플랫폼을 통해 사용자는 이미지를 등록, 저장 및 관리할 수 있으며, 다양한 이미지 개선 기능을 제공하여 이미지 품질을 향상시킬 수 있다. 최종 사용자를 위한 원활하고 직관적이며 사용자 친화적인 경험을 만들기 위해, UI 및 UX를 설계하는 데 사용한 방법을 서비스 화면과 함께 설명한다.

1) UI & UX

그림 7은 제안하는 서비스의 주된 웹 화면과, 화면 내 앨범 기능 및 설정에 대한 UI를 보여준다. 화면 구성을 최대한 간단하게 구성해 사용자들로 하여금 편리하게 이미지를 등록, 저장하고 앨범을 만들어서 관리할 수 있게 구성된 모습을 보여준다.

Fig. 7.

Main page description with preferences

Add album 버튼을 눌러 새로운 앨범의 이름을 설정하고 다양한 앨범을 만들어 사진을 쉽게 관리할 수 있도록 앨범 생성 및 이동 기능을 구현한다. 모든 이미지가 나오는 장과 각 앨범에 저장한 사진만 볼 수 있는 앨범 화면을 따로 구현하여, 사용자가 원하는 주제별로 사진을 정리하고 볼 수 있다.

Click or Drop here 버튼을 클릭해 사용자의 로컬 컴퓨터에 있는 사진을 골라서 등록할 수 있고, 사진을 버튼 위에 떨어트려 직관적으로 사진을 등록할 수도 있다. 여러 장의 사진을 등록할 때는 모두 동일한 크기로 정렬되어, 자신이 올린 사진을 한눈에 볼 수 있도록 하는 틀을 구성한다.

그림 8은 사용자 인터페이스를 통해 사진을 선택할 수 있는 그림을 나타낸다. 사용자가 사진을 클릭하면, 해당 사진이 확대되어 보여지며, 동시에 Select type 버튼을 통해 여러 이미지 개선 옵션을 선택할 수 있다. None 옵션은 원본 이미지로 복구하는 기능을 제공한다. SR은 RealSR 모델을 사용하여 초해상화를 적용해 이미지의 해상도를 향상시키는 기능이며, Restoration-w/-wo scratches는 BOPB를 활용한 모델로, 각각 이미지에 스크래치가 있을 경우와 없을 경우의 이미지 복원 기능을 제공한다. 또한, 2D SR은 Waifu2X를 사용하여 애니메이션 이미지의 해상도를 향상시키는 기능을 가지고 있다. 사용자는 이 중 원하는 기능을 선택한 후 Run 버튼을 클릭하면 이미지 개선 작업이 시작되며, 작업 진행 상태는 화면에 직관적으로 표시된다.

Fig. 8.

Image selection UI

완료되기까지 약간의 시간이 소요되며 작업이 완료되면 사용자에게 알림을 보내 사용자가 바로 확인할 수 있는 기능 또한 제공되어 있어, 시간에 구애받지 않으면서 원하는 작업을 제공받을 수 있다. 이렇게 개선된 이미지는 직접 사용자가 다운로드 받을 수도 있다.

4-2 이미지 생성 모델의 플랫폼 구축 효과

제안하는 플랫폼은 사용 및 설정의 편의성, 성능 및 확장성, 일관성 및 신뢰성, 그리고 보안 측면에서 사용자에게 우수한 경험을 제공한다는 장점을 갖는다. 또한, 개발자뿐 아니라 일반 사용자들도 이 플랫폼을 쉽게 이용할 수 있도록 설계되었으며, 이러한 접근성은 본 플랫폼의 보다 넓은 범위에서의 활용을 가능케 한다. 이러한 장점은 본 플랫폼이 앞으로 더욱 발전하고 성장하게 될 강력한 기반을 제공한다. 후속 문단에서 각각의 장점에 대해 보다 구체적으로 설명하며, 이를 통해 효율성과 실용성을 짚어본다.

1) 사용 및 설정의 편의성

본 콘텐츠의 경우 기존 API의 단점으로 부각되었던 복잡한 API 관리에 대한 부담을 크게 덜어준다. API를 사용한 개발은 종종 다양한 API를 사용하여 개발해야 한다는 점에 있어 API 간 통합이 필수적인데, 이러한 통합 과정에 있어 복잡성이 증가하고 예측치 못한 문제점들이 발생할 수 있다. 본 서비스는 이러한 통합 과정 없이 사용할 수 있도록 개발되었기 때문에 손쉽게 접근하고 시작할 수 있는 기회를 제공한다. 또한 본 콘텐츠는 리액트, 고, 파이썬과 같은 친숙하고 접근성이 높은 기술들을 활용해 개발되었다는 점에서 진입장벽을 낮추고 넓은 개발자 커뮤니티를 확보할 수 있고, 그러한 커뮤니티를 기반으로 개발 속도 향상 및 공유 지식을 제공한다는 장점이 있다.

2) 성능 및 확장성

성능은 오늘날 디지털 콘텐츠에 있어 대부분의 분야에서 중요한 요소로 간주된다. 우리가 제안하는 콘텐츠는 웹 서버로 고 언어를 사용함으로써 특히 대량의 요청을 처리할 때 유의미한 빠른 속도를 보인다. 또, 파이썬 및 파이토치로 개발된 다양한 최신 모델들은 훌륭한 수치적 결과를 보여줄 뿐만 아니라 정량적 결과 또한 구글 포토를 비롯한 기존의 서비스들 보다 좋은 성능을 보인다.

본 서비스는 성능 뿐만 아니라 확장성 측면에서도 이점을 갖는데, 개발과정에서 사용한 도커 컨테이너를 사용한 부분에 있어서도 서비스의 각 구성 요소를 독립적으로 확장할 수 있다는 점에서 기존의 API가 갖는 장점을 동일하게 갖는 것을 확인할 수 있다.

3) 일관성 및 신뢰성

서비스의 일관성과 신뢰성은 사용자 경험을 결정짓는 핵심적인 요소로 작동한다. 제안하는 콘텐츠는 이와 같은 부분에서 API 대비 큰 이점을 지닌다. API를 사용하는 경우, 종종 API 제공자의 업데이트나 변경에 의해 예상치 못한 콘텐츠의 동작 혹은 심각할 경우 콘텐츠의 중단 사례가 발생하기도 한다. 이러한 상황은 최종적으로 사용자 경험에 있어 매우 부정적인 영향을 미치게 된다. 반면 제안하는 서비스의 경우엔 이 서비스 전체가 독립적인 서비스로 제공되며, 일종의 완제품 형태로 제공되기 때문에 내부 API의 변화에 있어 의존성이 적다.

4) 보안 및 개인정보 보호

클라우드 사진 플랫폼은 다른 플랫폼보다 더욱이 데이터 개인정보 보호 및 보안에 대해서 민감하여, 오늘날 데이터 중심 콘텐츠를 개발하면서 타협할 수 없는 요소이다. 제안하는 콘텐츠는 모든 사용자 데이터가 우리의 콘텐츠 내부에서 제어되고 관리한다. 이를 통해, 사용자 데이터에 대한 전체적인 통제 권한을 가지고, 제3자와의 불필요한 데이터 공유를 최소화하게 된다. 이는 플랫폼이 독자적으로 데이터를 처리하면서 동시에 사용자의 데이터를 안전하게 보호할 수 있다는 장점으로 볼 수 있다. 또, 사진 저장의 데이터베이스로 ACID를 준수하는 포스트그레스큐엘을 사용함에 있어 데이터의 일관성 및 신뢰성을 보장한다.

4-3 플랫폼 운영 비용 분석 및 기존 방법과의 비교

본 연구에서 제안한 플랫폼이 이론적 가치를 넘어 실제 상용화나 실무 적용 가능성을 검토하려면 운영 비용의 분석이 필요하다. 이를 통해 플랫폼의 실용성과 경제성을 판단하고, 이 플랫폼이 실제 상용화가 가능하다는 것을 보여주고자 한다. 우선 기존의 방법을 간단히 살펴보면, 대부분의 서비스는 고정된 서버 비용에 의존하며, 확장성이 제한적이라 트래픽이 늘어날 경우 추가적인 인프라 투자가 필요하다. 또한, 기존의 방법은 데이터 관리와 보안에 있어서도 복잡성이 높았다. 이에 비해, 아마존 AWS를 기반으로 한 우리의 시스템은 클라우드 환경에서의 확장성을 활용해 트래픽 변동에 유연하게 대응할 수 있으며, AWS의 보안 및 데이터 관리 솔루션을 통해 기존의 방법보다 효율적인 서비스 제공이 가능하다. 이제 아마존 AWS를 기반으로 한 본 시스템의 운영 비용 측면에 대해서 살펴본다.

표 1은 예상 운영 비용을 대략적으로 계산한 결과로, 클라우드에서의 비용 계산에는 여러 요인이 영향을 미칠 수 있으므로 여기서는 대략적으로 계산해 보았다. 우선 GPU 인스턴스의 경우, AMD의 RX6900XT GPU와 유사한 성능을 제공하는 NVIDIA Tesla T4 GPU 인스턴스의 사용을 가정하고 계산한다. 하나의 이미지를 처리하는 데는 약 500KB의 이미지를 기준으로 약 10초가 소요되며, 이 기준으로 계속 이미지를 처리한다고 가정하면, 한 달에 25만 장의 이미지를 처리할 수 있다. 이렇게 25만 장의 이미지를 처리하려면, GPU 인스턴스에는 고정적으로 월 600달러의 비용이 들게 된다.

One-month operating costs for the platform.

25만 장의 이미지를 저장하기 위한 스토리지 비용은 기본적으로 월 3달러이지만, 트래픽에 따라 추가 요금이 발생한다. 만약 한 명의 사용자가 조회 수를 10회 기록하게 된다면, 대략 월 120달러의 비용이 발생한다. 이를 넉넉하게 계산할 시 서비스를 위해 한 달에 약 730달러가 필요하게 되는데 변수를 고려해 1,000달러가 소요된다고 가정 했을 때, 안정적인 서비스 제공을 위해 모든 과정을 이중화하면, 한 달 기준 AWS 비용은 약 2,000달러가 필요하다고 가정할 수 있다. 이 때 이미지 크기에 따라서 추가적인 비용이 더 발생할 수 있다.

이런 비용이 소요될 경우, 몇 명의 사용자에게 서비스 제공이 가능한지 예상은 다음과 같다. 유명한 클라우드 회사인 구글 포토를 예로 들면, 2017년 기준 약 500만 명의 사용자가 약 12억 장의 사진을 업로드했다. 이는 한 명의 사용자가 한 달에 약 60장의 사진을 업로드한다는 것을 의미하며, 이로써 약 4,000명의 사용자를 수용할 수 있다는 결론을 도출할 수 있다. 우리의 서비스는 freemium 모델을 채택하여, 다양한 모델 기능 중에서 일부만 무료로 제공하고, 월 5달러의 구독료로 전체 모델에 접근을 허용한다. 이렇게 하면, 월 20,000달러의 수익을 얻을 수 있게 되며, 이 경우 원가율은 약 20%로 충분히 서비스를 유지할 수 있는 수준임을 알 수 있다.

다음으로 표 2는 클라우드를 사용하지 않는 기존의 방법과 본 연구에서 사용된 방법을 비교한다. 우선, 서버 비용 측면에서 AWS 클라우드 기반의 GPU 인스턴스를 사용한 연구 방법은 트래픽에 유연하게 대응 가능하며 추가 인프라 투자가 필요하지 않다. 반면, On-Premise 서버는 고정된 서버 비용을 지불해야 하며 확장성이 제한된다.

Comparison of our method and traditional method

데이터 관리 및 보안 측면에서, AWS를 기반으로 한 연구 방법은 AWS의 보안 및 데이터 관리 솔루션을 활용하여 기존 방법보다 높은 수준의 보안 및 효율성을 제공한다. 반면, On-Premise 서버에서는 데이터 관리 및 보안을 직접 구현해야 하며 이로 인해 복잡성이 증가할 수 있다.

수익 모델 측면에서, 우리의 연구 방법은 freemium 모델을 도입하여 무료 기능과 구독 모델을 조합하여 수익을 창출한다. 이를 통해 월 수익을 얻을 수 있으며, 비용을 상쇄할 수 있다. 반면, 기존 방법에서는 이러한 유연한 수익 모델을 적용하기 어렵거나 불가능할 수 있다.

최종 월 비용 및 수익 측면에서, 본 연구 방법은 GPU 인스턴스와 스토리지 비용을 고려한 월별 비용을 가지고 있다. 반면, On-Premise 서버는 고정 서버 비용을 가지며 유지 보수 등의 추가 비용이 발생할 수 있다.

이를 통해 본 서비스는 기존 방법에 비해 클라우드 기반의 운영 비용, 확장성, 데이터 관리의 효율성 등에서 우위를 차지하며, 단순히 이론적 가능성에 머무르는 것이 아니라 실제 비용 분석을 고려하여도 지속적으로 경쟁력을 유지할 수 있다는 것을 확인하였다. 특히, freemium 모델의 도입은 사용자들에게 기본 서비스를 제공하면서, 전체 기능을 원하는 사용자로부터의 안정적인 수익 창출 가능성을 높였다. 따라서, 본 서비스는 이론적 뿐만 아니라 실제로도 꾸준히 유지될 수 있으며, 비용 효율적인 방식으로 운영될 수 있는 서비스임을 알 수 있다.


Ⅴ. 결론

본 논문은 다양한 GAN 기반의 딥러닝 기술인 RealSR, Waifu2X, BOPB 모델들을 통합하는 클라우드 기반 이미지 복원 콘텐츠를 제안한다. 클라우드 기반의 아키텍처를 제시함으로써 API 대비 다양한 장점들을 확인할 수 있다. 특히, 클라우드는 사용자의 요구에 따라 확장성이 뛰어나고, 고정된 하드웨어 리소스에 구애받지 않아 유연하게 서비스를 제공할 수 있다. 이러한 이점을 바탕으로 많은 사람들이 진입장벽 없이 딥러닝 기반의 콘텐츠를 사용할 수 있게 한다. 또한, 앞서 분석했던 운영 비용 및 지속 가능성에 대한 결과도 본 콘텐츠가 향후에도 지속적인 운영이 가능함을 보여준다.

사용자 친화적인 플랫폼을 통해 지식이 전무한 사용자더라도 전문가 수준의 결과를 제공하며, 이는 복잡한 기술과 사용자 접근성 사이의 격차를 해소한다. 우리는 플랫폼을 확장성이 높도록 제작하였기 때문에, 향후 성능이 더욱 높은 딥러닝 생성 모델이 출시될 경우에도 손쉽게 적용할 수 있다. 이를 통해 지속적으로 콘텐츠의 기능성과 다양성을 향상시키며, 인식된 제한 사항들을 쉽게 개선할 수 있다. 이를 통해 보다 다양한 사용자에게 딥러닝 생성 모델 기술들을 손쉽게 사용하도록 하는 역할을 하며, 이는 디지털 콘텐츠 산업의 발전으로 이어질 것을 기대한다.

Acknowledgments

이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. RS-2022-00166875).

이 논문(보고서)은 2023년도 가천대학교 교내연구비 지원에 의한 결과임. (GCU-202300670001)

References

  • Y. Strümpler, J. Postels, R. Yang, L. Van Gool, and F. Tombari, “Implicit Neural Representations for Image Compression,” in Proceedings of the 17th European Conference on Computer Vision (ECCV 2022), Tel Aviv, Israel, pp. 74-91, October 2022. [https://doi.org/10.1007/978-3-031-19809-0_5]
  • S. W. Zamir, A. Arora, S. Khan, M. Hayat, F. S. Khan, and M.-H. Yang, “Restormer: Efficient Transformer for High-Resolution Image Restoration,” in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans: LA, pp. 5718-5729, June 2022. [https://doi.org/10.1109/CVPR52688.2022.00564]
  • X. Ji, Y. Cao, Y. Tai, C. Wang, J. Li, and F. Huang, “Real-World Super-Resolution via Kernel Estimation and Noise Injection,” in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle: WA, pp. 1914-1923, June 2020. [https://doi.org/10.1109/CVPRW50498.2020.00241]
  • F. Stanco, G. Ramponi, and A. de Polo, “Towards the Automated Restoration of Old Photographic Prints: A Survey,” in Proceedings of the IEEE Region 8 EUROCON 2003: Computer as a Tool, Ljubljana, Slovenia, pp. 370-374, September 2003. [https://doi.org/10.1109/EURCON.2003.1248221]
  • Z. Wan, B. Zhang, D. Chen, P. Zhang, D. Chen, J. Liao, and F. Wen, “Bringing Old Photos Back to Life,” in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle: WA, pp. 2744-2754, June 2020. [https://doi.org/10.1109/CVPR42600.2020.00282]
  • GitHub. Waifu2X Official PyTorch Implementation [Internet]. Available: https://github.com/nagadomi/nunif, .
  • NTIRE2020. New Trends in Image Restoration and Enhancement Workshop and Challenges on Image and Video Restoration and Enhancement in Conjunction with CVPR 2020 [Internet]. Available: https://data.vision.ee.ethz.ch/cvl/ntire20/, .
  • E. Agustsson and R. Timofte, “NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study,” in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Honolulu: HI, pp. 1122-1131, July 2017. [https://doi.org/10.1109/CVPRW.2017.150]
  • Y. Wu, X. Wang, G. Li, and Y. Shan, “AnimeSR: Learning Real-World Super-Resolution Models for Animation Videos,” in Proceedings of the 36th Conference on Neural Information Processing Systems (NeurIPS 2022), New Orleans: LA, pp. 11241-11252, November-December 2022. [https://doi.org/10.48550/arXiv.2206.07038]
  • A. Mittal, R. Soundararajan, and A. C. Bovik, “Making a “Completely Blind” Image Quality Analyzer,” IEEE Signal Processing Letters, Vol. 20, No. 3, pp. 209-212, March 2013. [https://doi.org/10.1109/LSP.2012.2227726]
  • K. Zhang, J. Liang, L. Van Gool, and R. Timofte, “Designing a Practical Degradation Model for Deep Blind Image Super-Resolution,” in Proceedings of IEEE/CVF International Conference on Computer Vision (ICCV), Montreal, Canada, pp. 4771-4780, October 2021. [https://doi.org/10.1109/ICCV48922.2021.00475]
  • X. Wang, L. Xie, C. Dong, and Y. Shan, “Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data,” in Proceedings of IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Montreal, Canada, pp. 1905-1914, October 2021. [https://doi.org/10.1109/ICCVW54120.2021.00217]
  • K. C. K. Chan, S. Zhou, X. Xu, and C. C. Loy, “Investigating Tradeoffs in Real-World Video Super-Resolution,” in Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans: LA, pp. 5952-5961, June 2022. [https://doi.org/10.1109/CVPR52688.2022.00587]
  • Gin Web Framework. Introduction [Internet]. Available: https://gin-gonic.com/docs/introduction/, .
  • Gin Web Framework. Benchmarks [Internet]. Available: https://gin-gonic.com/docs/benchmarks/, .

저자소개

가은성(Eunseong Ka)

2017년~현재:가천대학교 AI/소프트웨어학과 학사과정

※관심분야:프론트엔드(Frontend), 안드로이드(Android), AI

김범기(Beomgi Kim)

2018년~현재:가천대학교 AI/소프트웨어학과 학사과정

※관심분야:클라우드 컴퓨팅(Cloud Computing), 웹(Web), 분산시스템(Distributed Computing)

이승철(Seungcheol Lee)

2017년~현재:가천대학교 AI/소프트웨어학과 학사과정

※관심분야:벡엔드(Backend), 네트워크(Network), 서버(Server)

조현민(Hyunmin Cho)

2020년~현재:가천대학교 AI/소프트웨어학과 학사과정

※관심분야:신호처리(Signal Processing), 압축(Compression)

조풍진(Poongjin Cho)

2013년:포항공과대학교 산업경영공학과 (공학사)

2019년:서울대학교 산업공학과 (공학박사)

2019년~2022년: 에프앤가이드 전임연구원

2022년~2023년: 한양대학교 산업공학과 조교수

2023년~현 재: 가천대학교 AI소프트웨어학과 조교수

※관심분야:데이터사이언스, 금융공학

Fig. 1.

Fig. 1.
Enhancement of image using RealSR model

Fig. 2.

Fig. 2.
Enhancement of image using BOPB model

Fig. 3.

Fig. 3.
Enhancement of image using Waifu2X model

Fig. 4.

Fig. 4.
Frontend architecture

Fig. 5.

Fig. 5.
API server architecture

Fig. 6.

Fig. 6.
Processing server architecture

Fig. 7.

Fig. 7.
Main page description with preferences

Fig. 8.

Fig. 8.
Image selection UI

Table 1.

One-month operating costs for the platform.

Cost factors Expected usage Unit rate Total fee
GPU instance (g4dn.xlarge) 1month $0.752/hour $600
Storage 125GB $0.023/GBmonth $3
Data transfer (internal) 250GB $0.01/GBmonth $3
Data transfer (external) 1250GB $0.09/GBmonth $120
Total cost - - $730

Table 2.

Comparison of our method and traditional method

Criteria Our method (AWS) Traditional method (On-Premise)
Server cost
(GPU instance)
Built on AWS cloud, Scalable, Capable of handling high traffic Fixed server costs, limited scalability
Data management and security Utilization of AWS security and data management solutions Direct data management and security implementation.
Cost efficiency Cost-effective service delivery Limited flexibility with a fixed cost structure.
Service reliability Cloud-based flexibility for traffic fluctuations. Limited reliability requiring additional infrastructure investment
Revenue model
(Adoption of freemium model)
Free features, revenue from subscriptions Fixed revenue model
Final monthly costs and revenue
(Example)
GPU instance: $600, Storage: $3 (base) + approximately $120 (10 additional queries). Fixed cost model
Number of users and revenue model
(Example)
Approximately 4,000 free users, 1,000 subscribers. N/A