Journal Archive

GAN[1]은 적대적 생성이라는 이름에서 알 수 있듯이 생성망(Generator)과 판별망(Disciminator)의 경쟁을 통해 학습한다. 실제 데이터의 분포를 학습하여 실제 이미지와 유사한 이미지를 생성하는 것이 목표이며 이 때 생성망은 판별망을 통해 전달 받는 정보를 기반으로 학습을 하게 된다. 또 다른 생성 모델인 VAE[7]에 비해 하이퍼 파라미터에 민감하지만 더욱 깔끔한 이미지를 생성한다는 장점이 있다.

DCGAN[2]은 기존 GAN의 MLP 구조를 Convolution layer로 바꾸었다. 그 결과, mode collapsing 현상이 완화되었으며 더욱 고해상도의 이미지를 생성하는 것이 가능해졌다.

대표적인 생성모델의 평가지표로는 Inception Score(IS)와 Frechet Inception Distance(FID)가 있다. 하지만 두 가지 지표 모두 품질과 다양성에 대해 종합적으로 나타내기 때문에 이 둘을 독립적으로 확인하고 싶을 때는 적합하지 못하다는 단점이 있다.

이러한 단점을 보완하기 위한 지표로는 Precision & Recall[8]이 있다. Precision은 생성 이미지의 분포에 들어가는 실제 이미지의 비율로 얼마나 실제 같은 이미지를 생성하는지를 나타냄으로 품질을 나타낸다. Recall은 실제 이미지의 분포에 들어가는 생성 이미지의 비율로 다양성을 나타내 mode collapsing의 정도를 확인할 수 있다. 그러나 이 지표 또한 완전 동일한 분포임에도 불구하고 둘 다 1이 되지 않으며, 이상치에 취약하다는 문제점이 있어 이를 해결한 DC[6](Density와 Coverage)가 발표되었다. DC에서는 각각의 샘플 포인트가 아닌 샘플들의 분포를 이용하여 측정함으로써 문제를 해결하였다.

Density(D)는 품질을 나타내는 지표로 얼마나 실제 이미지와 유사한 이미지를 생성하는가를 나타내며, Coverage(C)는 다양성을 나타내는 지표로 얼마나 다양한 클래스의 이미지들을 생성하는가를 나타낸다.

GAN의 목표는 생성망이 생성하는 데이터의 분포를 실제 데이터의 분포와 최대한 유사하게 만들어 실제 데이터와 구별하기 어려운 이미지를 생성하는 것이다. 이 때 생성망은 실제 이미지에 직접적으로 접근할 수 없기 때문에 판별망의 판단을 근거로 학습을 하게 된다. 기존 GAN의 판별망에서 사용하는 이진 분류의 경우 True/False 만으로 판별망이 학습한 학습 정보를 생성망으로 가져오기 때문에 학습이 잘 안 되고 mode-collapsing 문제가 발생하며 학습데이터의 특징을 많이 포함하는 다양한 이미지를 만드는데 어려움이 있다. 즉, 판별망의 True/False만으로 피드백을 받아 생성망의 가중치를 갱신하므로 초기에 확률값이 높았던 특정 이미지만을 지속적으로 생성할 확률이 높아진다.

위와 같은 문제를 해결하고자 우리는 판별망의 출력을 단순히 True/False만을 출력하는 것에서 나아가 학습 데이터의 클래스를 원-핫으로 출력하는 ClassGAN을 제안한다. 그림 1은 기존 GAN과 ClassGAN의 차이를 보여준다. 기존 GAN에서는 그림 1(a)처럼 판별망을 학습할 때 실제 데이터는 1로, 생성망이 만들어낸 가짜 데이터는 0으로 타겟을 설정하여 학습한다. 그리고 생성망을 학습할 때는 생성망이 만든 가짜 이미지에 대하여 판별망의 타겟을 1로 두고 학습한다.

Fig. 1. 
GAN’s structure (a) Original GAN (b) ClassGAN

이에 비하여 본 논문에서 제안한 ClassGAN에서는 다음과 같이 학습한다. 판별망은 클래스의 종류에 Fake 라벨을 더해 총 N + 1개로 분류를 한다. 손실함수로 Cross Entropy Loss를 사용하며 실제 이미지는 각자 해당하는 클래스의 라벨을, 가짜 이미지는 Fake Label(N + 1)을 타겟으로 두고 학습한다.

기존의 GAN과 달리 손실함수로 Cross Entropy Loss를 사용하기 때문에 생성망으로 보내는 정보를 제어할 수 있다. Cross Entropy Loss는 수식(1)에서 q가 p의 분포를 따라가도록 학습하므로 p의 설정을 통해 의도성을 부여할 수 있다. 방법 1에서는 판별망의 출력 중 가장 큰 것의 타겟만 1로 설정하여 생성망을 학습한다. 따라서, 실제 이미지 중 가장 유사한 클래스의 이미지의 분포를 따라가도록 학습한다. 그 결과 실제 이미지 못지않게 선명한 이미지들을 생성해낸다.

방법 2에서는 판별망의 모든 출력별로 하나씩 타겟으로 설정하여 생성망을 학습한다. 따라서 생성망은 혼란스러운 학습을 하게 되며 그 결과 특정 클래스와 유사한 이미지보다는 여러 클래스들의 특징들이 섞인 이미지들을 많이 생성한다. 이러한 특징은 GAN을 이용한 디자인과 같은 응용에서 좀 더 다양한 디자인을 생성할 수 있는 장점을 부여한다.

동일한 데이터셋에 대하여 우리는 방법 1과 2를 통해 2가지의 매니폴드를 형성할 수 있다. 방법 1의 매니폴드에는 각 클래스가 강조되어 학습되며 방법 2의 매니폴드에는 여러 클래스가 강조되어 학습된다.

ClassGAN은 두 가지 방식에 이외에도 무수한 조합이 가능하다. 최대 출력의 타겟을 1로 두는 방법 1과 모든 타겟을 각각 1로 두는 방법 2 사이에는 최대 출력값의 타겟을 기점으로 다른 타겟들을 섞어주는 방식들을 고려할 수 있다. 1개부터 N - 1개까지 섞어줄 수 있으며 N - 1개를 섞어주는 경우 방법 2와 동일하다. 그 결과 타겟 설정 방식을 달리함으로써 매니폴드를 제어할 수 있으며 이는 의도에 따른 다양한 이미지를 생성할 수 있다는 점에서 활용성이 크다.

그림 2는 MNIST를 활용하여 학습한 후 생성된 이미지들을 interpolation을 통해 비교한 결과이다. 그림 2(a) DCGAN의 경우 대부분의 이미지들이 식별 가능 하지만 구불거리고 뚜렷하지 못하다.

Fig. 2. 
MNIST interpolation results

그림 2(b) 방법 1은 DCGAN에 비해 뚜렷한 숫자 모양을 보이며 식별이 어려운 이미지들이 거의 없다. 즉, 매니폴드 상에서 대부분의 데이터가 클래스 공간에 존재한다. 그림 2(c) 방법 2는 클래스를 특정하기 어려운 이미지들이 많이 보인다. 즉, 매니폴드 상에서 대부분의 데이터가 클래스 사이 공간에 존재한다. 그림 2(d) Target mix는 숫자들이 잘 섞이는 것을 보이기 위해 4, 5, 7(0, 1, 2로 라벨링)의 세 가지 클래스만 사용하였다. 타겟의 구성은 출력의 최대값 인덱스와 추가적인 하나의 클래스를 더해주어 학습한다.

예를 들어 0이 최대값 인덱스인 경우 0과 1을 타겟으로 두고 학습하였다. 그 결과 해당 클래스들이 섞인 새로운 매니폴드가 형성됨을 볼 수 있다.

그림 3은 이미지에 라벨을 무작위로 부여하여 학습한 결과이다.

Fig. 3. 
MNIST random label result

무작위 라벨임에도 불구하고 숫자 형태의 이미지를 만들어내 ClassGAN이 제한적으로 지도학습으로만 활용되는 것이 아니라 비지도학습 형태로도 쓰일 수 있음을 보인다. 이는 특정 목적에 따라서 클래스를 배치해서 학습을 할 수 있다는 것으로 제안한 방법의 확장성을 보여준다.

그림4는 CIFAR-10을 활용하여 학습한 후 DCGAN과 방법 1에서 유사한 이미지를 생성했을 때의 모습을 비교한 결과이다. 방법 1의 이미지에서 배의 그림자, 말의 갈기, 자동차 바퀴의 휠과 같은 세부 특성들을 더욱 세밀하고 다양하게 표현하고 있음을 볼 수 있다. 기존 GAN은 여러 클래스를 함께 학습하여 특성들이 혼합되는 반면 방법 1에서는 클래스별로 특성을 생성망에 넘겨주기 때문에 이와 같은 장점을 가진다.

Fig. 4. 
CIFAR-10 result images

그림 5(a)는 MNIST를 DCGAN과 ClassGAN으로 학습시켜 얻은 생성 이미지를 DC[6]로 평가한 결과이다. Density(D)와 Coverage(C)는 각각 품질과 다양성을 평가하는 요소로 방법 1이 DCGAN에 비해 각각 약 160%, 50% 의 성능향상을 보여준다. 그림 5(b)는 MNIST, Fashion MNIST, CIFAR-10에서 각 방법별로 Density와 Coverage를 보여준다. 이 실험에서도 방법 1이 Density와 Coverage 모두에서 가장 좋은 결과를 보였으며 방법 2의 경우에는 DCGAN과 유사한 결과를 보여주었다. 이를 통해 우리의 방법이 mode collapsing 현상을 완화하고 더 좋은 품질의 이미지를 생성하는데 효과적임을 알 수 있다. 뿐만 아니라, 의도적으로 학습에 혼동을 준 방법 2도 DCGAN과 유사한 성능을 보였는데 이는 방법 2가 클래스 사이 공간의 이미지들을 많이 생성할지라도 클래스 공간에서의 이미지들은 충분히 다양하고 좋은 품질의 이미지들을 생성함을 나타낸다.

Fig. 5. 
DC result (a) on training at MNIST (b) after training at CIFAR10, Fashion MNIST, MNIST