Journal Archive

CNN[4]은 현재 딥러닝 분야에서 가장 많이 사용되는 알고리즘이다. Convolutional layer를 통해 특징을 자동으로 추출하며, 추출된 특징은 pooling layer를 통해 강화된다. 특징을 기반으로 CNN의 마지막 layer에서 분류 작업이 수행된다. CNN은 같은 크기의 fully-connected layer보다 더 적은 파라미터를 사용하여 더 높은 분류 성능을 보인다.

이러한 CNN을 사용하여 이미지 데이터를 분류하는 작업이 다양한 분야에서 이루어졌다. Zhang[5] 등은 CNN의 강력한 특징 학습 및 추론 능력을 통해 인공위성 원격 탐사 이미지를 분류하고자 하였다. Wallelign[6] 등은 LeNet 기반의 CNN을 사용하여 콩잎 이미지를 분류하여 콩과 관련된 식물 질병을 식별하는 연구를 진행했다. 한편, Razzak[7] 등은 딥러닝 기반의 의료 이미지 처리에 관한 연구들을 비교하면서 의료 이미지를 통한 질병 탐지에 CNN 구조의 모델이 많이 채택되면서 분류 성능도 높음을 보였다.

이미지 데이터에 대한 랜덤 오버샘플링은 소수 클래스의 이미지를 지정한 개수만큼 무작위로 선택하고 다수 클래스와 균형을 이룰 때까지의 이미지 복제를 통해 구현할 수 있다. 이 경우 복제된 이미지를 저장하기 위해 추가적으로 물리적인 저장 공간이 필요하다.

한편 코드를 통해 메모리에서 반복적으로 이미지 데이터를 불러옴으로써 랜덤 오버샘플링을 수행할 수 있다. 프로그램을 통해 읽어 들인 이미지 데이터를 변수에 저장하고 해당 변수를 원하는 횟수만큼 호출해서 사용한다. 이는 이미지를 가상 공간에 복제한 것이나 실제로 복제한 것과 같은 효과를 줄 수 있다. 프로그램의 종료와 함께 가상으로 복제했던 이미지 데이터는 소멸하게 되므로 추가적인 공간을 요구하지 않는다.

오버샘플링을 통한 데이터 확장의 과적합 등의 한계를 해결하기 위해 다양한 분야에서 Goodfellow등이 제안한 GAN[8][12]을 활용한 이미지 데이터 확장 연구가 진행되었다.

Pinetz[9] 등은 MNIST 데이터를 불균형하게 조절하여 DGAN, RGAN, DAGAN을 통한 이미지 데이터 확장 후의 CNN 분류기 성능을 비교하였다. 세 모델 모두 DCGAN의 변형 모델이며 이미지 렌더링을 활용한 데이터 확장과 비교하여 GAN을 통한 데이터 확장 기법이 이미지 분류에 긍정적인 영향을 미칠 수 있음을 보였다. Maayan[10] 등은 데이터 수집에 어려움을 겪는 의료 분야에서 GAN 기반의 이미지 확장을 통한 간 병변 CNN 분류기의 성능 개선 방법을 제안하였다. 데이터의 label 정보를 같이 학습시키고 생성된 데이터의 클래스를 구분할 수 있는 ACGAN(Auxiliary Classifier GAN)과 DCGAN 모델을 사용하여 이미지 데이터를 확장하였고 두 모델을 비교하여 DCGAN이 ACGAN보다 간병변 분류기의 성능 향상을 이끌 수 있음을 보였다. 또한 Fang[11] 등은 바람과 비의 유무에 따른 레이더 탐지 이미지를 인식하는 CNN 모델의 성능을 개선하기 위해 DCGAN을 통한 이미지 확장을 제안하였다.

이 논문에서는 식물 질병, 특히 토마토 질병 이미지를 분류하는 CNN 분류기에서 발생할 수 있는 데이터 불균형의 문제를 DCGAN 기반의 이미지 데이터 확장을 통해 해결할 수 있는지를 평가한다.

이 논문에서 사용하는 이미지 데이터 셋은 머신러닝 플랫폼 kaggle에서 제공하는 식물 질병 데이터 셋인 plant-disease를 사용하였다. plant-disease는 사과, 토마토 등 다양한 식물에서 나타나는 질병의 종류별로 train 데이터와 test 데이터를 제공한다.[13]

토마토의 질병 데이터 4종류와 Healthy 데이터를 선택하여 실험에 사용하였다. 질병은 각자의 증상을 가지는데, Bacterial Spot의 경우 잎에 외부는 황색, 내부는 암갈색의 작은 병반이 발생한다. Late Blight는 회록색의 병반이 발생하여 잎 전체에 다갈색으로 확대된다. Target Spot은 1mm 미만의 불규칙한 모양의 노란 반점이 잎 전체로 확대된다. Yellow Leaf Curl은 잎이 위축되고 뒤틀리며 노랗게 변색된다. Healthy는 어떠한 질병에도 걸리지 않은 정상의 데이터를 의미한다. 한편, 유사한 색상이나 형태의 병반이 발생하는 질병의 경우 분류 시 혼동될 수 있으며 보이는 증상이 굉장히 작은 경우도 잘못된 분류가 일어날 수 있다.

데이터는 질병의 피해가 보이는 토마토의 잎을 하나씩 분리하여 각각의 이파리를 촬영한 이미지이다. 분류 모델의 학습에 방해가 될 수 있는 외부 요소의 영향을 최소화하기 위하여 단색 배경을 바탕으로 이파리의 형태가 모두 보이도록 촬영되었다. 촬영된 데이터는 256x256 픽셀 사이즈를 가지며 그림 1과 같이 R, G, B 3개의 채널을 가지는 컬러 이미지이다.

Fig. 1. 
Examples of tomato disease dataset

식물 질병의 경우 각 종류마다 발병될 수 있는 온도, 습도 등의 조건과 발병 원인이 다르기 때문에 데이터 불균형이 발생할 수 있다. 특히, 토마토의 경우 질병 종류마다 데이터 개수의 차이가 있었으며, Yellow Leaf Curl의 경우에는 데이터가 다른 질병에 비해 3배 이상의 데이터가 존재하는 불균형한 상황을 확인할 수 있었다.

제안하는 질병 분류 모델의 구조는 그림 2와 같다. 특징 추출을 통해 다양한 분야에서 이미지 분류 작업에 뛰어난 성능을 보인 CNN을 사용하여 5개의 클래스를 구분하도록 한다. CNN 분류기의 입력 이미지는 메모리상에서의 수월한 연산을 위하여 32x32 픽셀 사이즈로의 다운샘플링을 진행하고 각 픽셀의 값을 0~1 사이로 정규화 하였다.

Fig. 2. 
Architecture of tomato disease image classifier CNN

제안하는 질병 이미지 분류 모델에는 convolutional layer와 그 후에 적용되는 max pooling layer의 쌍이 세 개 존재한다. 또한 다섯 개의 멀티 클래스 분류를 위해 마지막 fully-connected layer의 activation function으로 softmax를 사용하여 분류 모델의 예측값에 따라 클래스를 결정한다. Convolutional layer의 activation function으로는 ReLu 함수를 사용하였고 loss function으로 categorical cross-entropy를 지정하였다.

모델의 학습은 500 epoch, 100 batch size로 이루어지며 최적화를 위해 optimizer로 Adam을 사용하였다. 한편, 학습 중 분류 모델이 과적합되지 않도록 early stopping 객체를 callback 함수로 지정했으며, 25%의 뉴런이 dropout 되도록 설정했다 .

실험은 3.1절에서 기술한 데이터 셋을 이용해, BASE (균형 잡힌 이미지 데이터 셋), IMBALANCE (불균형한 이미지 데이터 셋), OS-AUG (오버샘플링 데이터 확장이 적용된 데이터 셋), DCGAN-AUG (제안한 DCGAN 모델 기반의 데이터 확장이 적용된 데이터 셋)의 네 가지 상황에 따른 CNN 토마토 질병 분류기의 성능을 비교 하였다. 사용하는 데이터 셋은 4개의 질병 클래스(Bacterial Spot, Late Blight, Target Spot, Yello Leaf Curl)와 질병에 걸리지 않은 Healthy 클래스의 총 5개의 클래스로 분류되어 있다.

BASE의 경우, 모든 클래스의 이미지 데이터 셋의 크기가 4000장으로 통일되어 있다. 반면, IMBALANCE의 경우, BASE에서 토마토 질병 클래스 하나의 이미지 데이터 개수를 400장으로 줄인다. 이는 하나의 질병 클래스가 다른 데이터에 비해 1/10의 비율을 가진 불균형한 상황을 가정한 것이다. 이 과정을 모든 질병 클래스에 적용한다.

OS-AUG는 IMBALANCE의 상황에서 랜덤 오버샘플링을 사용하여 불균형한 클래스가 가지는 400장의 이미지 데이터를 메모리상에서 10번 복제하여 4000장으로 확장시킨다.

마지막으로 DCGAN-AUG는 IMBALANCE의 상황에서 제안하는 DCGAN모델을 사용하여 불균형한 클래스의 이미지 데이터 확장을 수행하는 상황을 가정한다. 먼저 IMBALANCE의 불균형한 클래스 이미지 데이터 400장을 제안하는 DCGAN 모델에 학습시켜 3600장의 새로운 이미지를 생성하였다. 이를 기존의 불균형 클래스의 데이터에 추가하여 모든 클래스의 이미지 데이터 셋의 크기를 4000장으로 통일하였다. 그림 6은 DCGAN으로 Yellow Leaf Curl 클래스에 대해 생성한 이미지 중 일부이다.

Fig. 6. 
Yellow Leaf Curl image generated by DCGAN

각 상황별로 주어지는 이미지 데이터 셋을 이용하여 CNN기반 토마토 질병 이미지 분류기를 학습시키고, 그 분류기의 성능 평가를 위해 각 클래스별 Precision, Recall, Accuracy, F1-score를 측정하였다. 질병 이미지 분류를 위한 CNN 모델과 질병 이미지 확장을 위한 DCGAN 모델 구현을 위해 Keras framework를 사용하였다. 모든 학습 과정은 NVIDIA GeForce RTX 2080을 사용하는 GPU 환경에서 수행하였다.

한편, 토마토 질병 클래스의 이름이 길기 때문에, 이후에는 Bacterial Spot을 ‘bacteria’, Late Blight는 ‘lateblight’, Target Spot은 ‘targetspot’, Yellow Leaf Curl은 ‘yellowleafcurl’로 변경하여 기술한다.

각 상황별 주어진 이미지 데이터 셋을 이용하여 5-fold 교차 검증을 통해, CNN 분류기의 성능을 평가하였다. 교차 검증을 위해 각 클래스의 데이터 셋을 5개 세트로 나누고 4개 세트는 학습에, 남은 1개 세트는 평가에 사용하였으며 평가 세트를 다른 세트로 바꿔가며 총 5번의 평가를 진행하고, 결과의 평균을 구하여 최종 성능으로 선택하였다. 교차검증에 따른 각 데이터 상황별 질병 클래스의 분류 성능 결과인 Precision, Recall, F1-Score, Accuracy에 대해 그림 7, 그림 8, 그림 9, 그림 10에서 각각 나타낸다.

Fig. 7. 
Comparison of Precision with 5-fold cross validation

Fig. 8. 
Comparison of Recall with 5-fold cross validation

Fig. 9. 
Comparison of F1-score with 5-fold cross validation

Fig. 10. 
Comparison of Accuracy with 5-fold cross validation

(1) BASE : 성능 평가 결과는 <표 1>과 같으며 BASE의 경우 모든 클래스의 분류 Accuracy가 95% 이상인 것을 확인할 수 있었다.

(2) IMBALANCE : 데이터를 400장으로 줄인, 즉, 불균형한 클래스의 성능이 BASE와 비교해 하락하는 것을 확인하였다. 특히 5~10% 이내로 감소한 Precision과 달리 Recall은 Precision의 약 2배인 10~25% 정도 하락했다. Precision과 Recall의 조화평균인 F1-score도 이에 영향을 받아 감소했으며 Accuracy의 경우 Recall과 매우 유사한 하락폭을 보였다.

(3) OS-AUG: IMBALANCE와 비교하여 모든 클래스의 성능이 향상됨을 볼 수 있었다. Precision은 5~10%, Recall의 경우 3~10% 증가하였으며 F1-score와 Accuracy도 유사한 모습을 보였다. Precision의 경우 BASE와 거의 차이가 나지 않을 정도로 향상되었으나 Recall은 아직 BASE의 Recall과 5~13% 정도의 차이가 나는 것을 확인할 수 있었다.

(4) DCGAN-AUG: 질병 이미지 분류기의 학습 및 평가 결과 전반적인 성능이 IMBALANCE에 비해 크게 향상되었고, OS-AUG에 비해서도 좋은 성능을 보임을 확인하였다. Accuracy의 경우 DCGAN-AUG는 IMBALANCE에 비해 최대 30%의 성능향상을 보이며 OS-AUG에 비해서도 최대 16%의 성능향상을 보인다.

전반적인 성능평가 결과에 따라, 이미지 데이터 불균형에 따른 CNN 기반 분류기의 성능 하락을 DCGAN 기반의 이미지 데이터 확장 기법을 통해 방지 할 수 있음을 확인 할 수 있었다. 이미지 데이터 셋이 불균형할 때 CNN 분류기의 성능은 확연히 감소하며 오버샘플링이나 DCGAN을 사용한 이미지 데이터 확장 후 성능이 향상되는 것을 확인할 수 있었다. 특히 오버샘플링보다 DCGAN을 통한 데이터 확장에서 성능이 뛰어난 것을 보아 DCGAN 기반의 이미지 데이터 확장은 데이터 불균형에 따른 토마토 질병 이미지 분류 성능하락을 방지할 수 있는 가능성이 있다고 판단된다.

5.2절에서 수행하였던 교차검증과 달리, 학습데이터에 대해 독립적인 이미지 데이터 셋을 대상으로 이미지 데이터 확장이 분류기에 미치는 성능을 평가하였다. 이를 위해, 추가 이미지 데이터 셋을 테스트 셋으로 활용하여 각 상황별 CNN 분류기 성능 평가를 수행하였다. 그 결과, 교차검증 결과와는 달리, DCGAN기반의 이미지 데이터 셋 확장에 따른 성능향상이 두드러지지 않는다는 점을 확인할 수 있었다. 이는, 기존의 적은 수량의 데이터로 학습된 DCGAN 모델로 생성한 인공적인 이미지로 학습된 CNN 분류기가 같은 클래스로 분류되는 새로운 이미지와 유사도가 떨어지기 때문에 일어나는 현상으로 분석된다. 즉, DCGAN으로 생성한 이미지가 해당 토마토 질병의 범용적 특징을 따라가지 못할 경우, 데이터 확장에 따른 CNN 분류기의 성능향상에 한계가 있다고 평가된다.