Korea Digital Contents Society
[ Article ]
Journal of Digital Contents Society - Vol. 21, No. 10, pp.1855-1862
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Oct 2020
Received 20 Sep 2020 Revised 07 Oct 2020 Accepted 07 Oct 2020
DOI: https://doi.org/10.9728/dcs.2020.21.10.1855

장수말벌 이미지 퓨전 전처리를 통한 딥러닝 영상인식

권기현1 ; 이형봉2, *
1강원대학교 전자정보통신공학부
2강릉원주대학교 컴퓨터공학과
Vespa mandarinia Image Recognition using Image Fused Preprocessing and Deep Learning
Ki-Hyeon Kwon1 ; Hyung-Bong Lee2, *
1Department of Electronics, Information & Communication Engineering, Kangwon National University, Samcheok 25913, Korea
2Department of Computer Science & Engineering, Gangneung-Wonju National University, Wonju 25457, Korea

Correspondence to: *Hyung-Bong Lee Tel: +82-33-760-8668 E-mail: hblee@gwnu.ac.kr

Copyright ⓒ 2020 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

이미지 퓨전은 여러 장의 이미지에서 모든 중요한 정보를 모아 한 장의 이미지로 만드는 것이다. 한 장의 이미지에는 소스 이미지보다 더 많은 정보를 내재하고 정확하게 만들어져야 한다. 객체의 추적이나 인식을 위해 양질의 이미지를 취득하는 것은 매우 중요하다. 이를 위해, 취득된 이미지를 이미지 퓨전을 통해 합성이나 보상하여 개선된 이미지를 만들어내는 작업이 요구된다. 본 논문에서는 장수말벌의 인식률을 높이기 위해서 취득된 이미지의 퓨전 및 인식 응용 방법에 대하여 제시하고자한다. 장수말벌 이미지에서 임의 영역 블러링된 소스 이미지를 생성하고, 주성분분석 기반 이미지 퓨전으로 통해 합성하였으며, RMSE, PFE, MAE, CORR, SNR, PSNR를 통해 이미지 퓨전 성능을 측정한다. 또한, 심층 합성곱 신경망 기반인 AlexNet을 이용하여, 퓨전 이미지에 대한 인식 스코어와 분류 정확도를 제시한다.

Abstract

The image fusion process is defined as gathering all the important information from multiple images to a single image. This single image is more informative and accurate than any single source image, and it consists of all the necessary information. It is important to acquire a high quality image for tracking and recognizing object. So, it is required to create a refined image by synthesizing or compensating the acquired image through image fusion. In this paper, we would like to present a fusion and recognition application method of the acquired image in order to increase the recognition rate of Vespa mandarinia. Generating a random area blurred source image in a Vespa mandarinia image, and synthesized through the PCA(principal component analysis) based image fusion, and measures the image fusion performance through RMSE, PFE, MAE, CORR, SNR, PSNR. In addition, using the AlexNet based on the DCNN(Deep Convolutional Neural Networks), it presents the recognition score and classification accuracy for the fused image.

Keywords:

Vespa mandarinia, Image Fusion, AlexNet, DCNN(Deep Convolutional Neural Networks)

키워드:

장수말벌, 이미지 퓨전, 심층 합성곱 신경망

Ⅰ. 서 론

사물 인터넷(IoT)과 농업분야의 비전 데이터 기반 딥러닝 기술을 활용한 스마트팜 기술은 큰 발전을 이루고 있으며[1], 특히 심층 합성곱 신경망(DCNN; deep convolutional neural networks) 기반의 다양한 알고리즘의 등장과 함께, 영상 인식 및 분류의 정확도는 매우 높은 수준이다 [2].

양봉(beekeeping)은 벌을 기르는 분야로, 양봉에 영향을 끼치는 매개변수가 다양하여(온도, 습도, 분봉, 말벌, 진드기 등) 관리가 어렵고 스마트팜 기술을 도입하기가 까다롭다[3]. 양봉가에게 봉군 유지의 가장 큰 장애는 말벌류의 공격이다[4]. 말벌 중에서도 집단공격형을 가진 장수말벌 (Vespa mandarinia)로 부터의 피해가 전체 말벌 피해의 88.5%에 이르는 것으로 보고되고 있다[5].

양봉장에 접근하는 장수말벌을 효과적으로 방제하기 위해서는, 정지 상태가 아닌 비행 중에 추적, 인식하는 것이 필요하다. 그러나 말벌의 영상을 양질의 이미지로서 취득하는 것은 말벌의 비행형태, 카메라의 촬영 각도 및 날씨, 말벌을 부분적으로 가리는 잡음이나 장애물 그리고 느린 셔터스피드에 따른 블러링 등의 영향으로 인해 양질의 이미지 취득이 쉽지 않다. 따라서 취득된 이미지를 합성이나 보상 즉, 퓨전을 통해서 개선된 이미지를 만들어내는 작업이 필수적인 요소가 된다.

이미지 퓨전을 할 때 기준 이미지(reference image)가 없는 경우도 많지만, 장수말벌은 기준 이미지가 있는 경우로, 인식을 하려는 여러 이미지 소스 간의 합성이나 기준 이미지와의 합성을 통해 입력 이미지의 품질을 높이는 것이 가능하다.

본 연구에서는 다양한 형태의 잡음 또는 번짐(blur)이 있는 말벌의 이미지 소소를 주성분 분석(PCA; principal component analysis) 기반 이미지 퓨전(fusion)을 통해 기준 이미지와 합성하여 이미지 소스의 품질을 개선한다. 그리고 개선된 퓨전 이미지를 심층 합성곱 신경망 기반의 인식 알고리즘의 입력으로 사용하여 심층 합성곱 신경망의 스코어 변화나 분류 인식률의 차이가 있었는지를 평가한다.

2장에서는 주성분분석 기반 이미지 퓨전과 이미지 퓨전 성능을 측정하는 기준에 대해서 설명하고, 3장에서는 이미지 퓨전을 수행하고 측정된 성능 지표를 살펴보며, 4장에서는 AlexNet을 이용한 분류 실험을 통해 인식 스코어와 분류 정확도 제시하고, 5장에서 실험결과 제시 및 결론을 맺는다.


Ⅱ. 이미지 퓨전과 DCNN

2-1 픽셀 수준 이미지 퓨전(image fusion)

픽셀 수준 이미지 퓨전은 하나 이상의 소스 이미지를 합성하여 개선된 이미지를 생성하는 알고리즘으로, 목표로 하는 대상을 검출, 인식하고 식별하는데 도움을 주는 기법이다. 퓨전된 이미지는, 적용 대상에 따라 달라질 수는 있으나, 소스 이미지의 관련 정보가 대부분 보존되도록 하는 것이 요구된다. 관계없는 부분이나 잡음을 최대한 제거하거나 줄이는 것이 중요하다[6].

이미지 퓨전을 효과적으로 수행하기 위해 그레이 이미지로 변환하고 픽셀 단위 평균을 구해 적용하게 된다. 이미지 퓨전을 처리하는 방법은 전체 이미지를 사용하여 퓨전하는 방법과, 이미지를 블록으로 분해하고 퓨전하는 방법이 있다[7]. 후자의 방법은 블록 크기나 임계치 조정이 까다로운 면이 있으므로, 본 논문에서는 전체 이미지를 대상으로 PCA(주성분 분석)를 구해 퓨전하는 방법을 적용한다.

1) PCA(Principal Component Analysis)

주성분 분석은 고유치(eigen value)를 이용하여 상관 변수를 주성분(PC)이라는 비상관 변수로 분해한다. 고유치(λ)와 고유벡터(Vi)는 (식 1)로 구해진다[8].

λVi=covXVi(1) 

단, i = 1,2,...,d이고 Vicov(X)의 고유벡터이다.

2) PCA기반 이미지 퓨전

PCA기반 이미지 퓨전은 (식 2)와 같이 제1주성분(PC1)과 제2주성분(PC2)을 이미지 소스1(I1)과 이미지 소스2(I2)에 각각 곱하여 구한다.

If=PC1I1+PC2I2(2) 

2-2 이미지 퓨전 성능 측정 기준

이미지 퓨전의 성능 및 오차를 측정하기 위해 다음의 측정 기준을 사용한다.

1) RMSE(Root Mean Square Error)

RMSE는 기준 이미지(Ir)와 퓨전 이미지(If)의 차이가 없을 때는 0에 가까운 값이 되고, 픽셀 차이가 클 때 증가한다(식 3)[9].

RMSE=1MNy=1Mx=1NIr x,y-Ifx,y2(3) 
2) PFE(Percentage Fit Error)

PFE는 기준 이미지(Ir)와 퓨전 이미지(If)의 norm 차이를 구할 때 사용하며, 차이가 없을수록 0에 가까운 값이 되고, 픽셀 차이가 클 때 증가한다(식 4)[9].

PFE=normIr-IfnormIf*100(4) 
3) MAE(Mean Absolute Error)

MAE는 기준 이미지(Ir)에 대응하는 퓨전 이미지(If) 픽셀의 평균 절대치 에러를 구한다(식 5)[9].

MAE=1MNi=1Mj=1NIr i,j-Ifi,j(5) 
4) CORR(Cross Correlation)

CORR은 기준 이미지(Ir)와 퓨전 이미지(If)의 상관관계를 구할 때 사용한다(식 6)[9].

CORR=2CrfCr+Cf(6) 

단,Cr=i=1Mj=1NIr i,j2, Cf=i=1Mj=1NIf i,j2, Crf=i=1Mj=1NIri,jIf i,j

5) SNR(Signal to noise Ratio)

이미지 내의 잡음의 영향은 신호대 잡음비로 구할 수 있다. 기준 이미지(Ir)와 퓨전 이미지(If)가 같을 때 큰 값이 나오며, SNR이 크면 퓨전이 잘된 것으로 판단한다(식 7)[10].

SNR=20log10i=1Mj=1NIri,j2i=1Mj=1NIri,j-If i,j2(7) 
6) PSNR(Peak signal to noise ratio)

기준 이미지(Ir)와 퓨전 이미지(If)가 유사할 때 큰 값이 나오며, PSNR이 크면 퓨전이 잘된 것으로 판단한다(식 8)[10].

PSNR=10log10L21MNy=1Mx=1NIrx,y-If x,y2(8) 

단. L은 이미지의 최대 픽셀 값이다.

2-3 DCNN(Deep Convolutional Neural Networks)

이미지 퓨전으로 통해 개선된 이미지를 객체의 분류와 관련된 합성곱 신경망의 입력으로 사용하여 인식성능을 평가하고자 한다. 평가 대상 합성곱 신경망으로는 최근 ILSVRC(ImageNet Large-Scale Visual Recognition Challenge)[11]에서 좋은 인식성능을 보인 AlexNet[12]을 사용하였으며 이미지 퓨전 수준에 따른 AlexNet의 인식 정확도 및 인식 스코어를 비교하여 이미지 퓨전에 따른 AlexNet의 성능 변화를 평가하고자 한다.

1) AlexNet

AlexNet은 8개 계층으로 구성된 컨벌루션 신경망이다[12]. ImageNet 데이터베이스의 1백만 개가 넘는 영상에 대해 훈련된 신경망의 사전 훈련된 모델을 불러올 수 있다. 사전 훈련된 신경망은 영상을 키보드, 마우스, 연필, 각종 동물 등 1,000가지 사물 범주로 분류할 수 있다[2]. 본 논문에서는 5종류의 클래스를 분류할 수 있도록 신경망을 변경하여 사용하였다. 신경망의 영상 입력 크기는 227 × 227 픽셀이다.

2) 전이 학습(Transfer Learning)

전이 학습은 딥러닝 응용 분야에서 널리 사용되는 기법으로, 사전 훈련된 신경망을 새로운 작업을 학습하기 위한 출발점으로 사용할 수 있다. 전이 학습으로 신경망을 미세 조정하는 것은, 무작위로 초기화된 가중치를 사용하여 신경망을 처음부터 훈련시키는 것보다 일반적으로 훨씬 더 빠르고 용이하다. 학습된 특징을 보다 적은 개수의 훈련 영상을 사용하여 새로운 작업으로 빠르게 전이할 수 있다.

본 논문에서는 여러 전이학습 방법 중에서 AlexNet을 사용하여 분류 정확도 및 인식 스코어를 구하며, 이를 위해 Matlab Deep Learning Toolbox를 활용하였다[13]. AlexNet에서 학습된 모델을 전이학습을 통해 확장하여 말벌 데이터를 입력 소스로 사용하고 출력 층의 구조를 5종류의 말벌 이미지 소스에 따른 분류에 적합하도록 변경하여 사용하였다. 학습에 사용한 데이터는 “동해안청정꿀벌영농협협동조합”에서 받은 장수말벌 사진 중에서 선별된 장수말벌 사진을 사용하여 소스 이미지를 생성하였으며, 훈련과 테스트 비율은 7:3으로 설정하였다.


Ⅲ. 이미지 퓨전과 성능 측정

이미지 퓨전을 위한 실험 환경은 CPU i5, RAM 8GB, Windows10 64bit 컴퓨터에서 CUDA v10.1, Cudnn v10.1, NVIDIA TITAN X(Pascal) GPU와 Matlab R2018b를 사용하였다.

3-1 소스 이미지 퓨전

장수말벌 소스 이미지 퓨전에 사용될 기준이미지를 선별하여 그림1에 나타내었다. 기준 이미지와의 합성을 통해 소스 이미지의 품질을 높이게 되고 퓨전 이미지와의 오차율을 계산하는데 사용된다.

Fig. 1.

Reference Image of Hornet

1) 소스 이미지 작성

기준이미지를 바탕으로 블러된 소스 이미지를 작성한다. 소스 이미지는 훼손된 이미지의 수준에 따른 퓨전과 인식 정확도를 살펴보기 위하여, 직경 12픽셀 가우시안 마스크를 사용하여, 좌우 블러된 이미지, 4분의 1영역만 블러된 이미지 그리고 8분의 1영역만 블러된 이미지로 구분하여 준비한다.

그림2는 5종류의 기준 이미지에 대하여 좌우 블러된 이미지와 퓨전이미지 그리고 퓨전이미지와 기준이미지의 차이를 나타내는 에러 이미지를 제시하였다. 그림3은 동일한 기준 이미지에 대하여 4분의 1영역만 블러된 이미지와 퓨전이미지를, 그림4는 동일한 기준 이미지에 대하여 8분의 1영역만 블러된 이미지와 퓨전이미지를 보여준다.

Fig. 2.

(a)(b) Half Blurred, (c) Fused Image, (d) Error Image

Fig. 3.

(a) 1st Quarter Blurred, (b) 2nd Quarter Blurred, (c) 3rd Quarter Blurred, (d) 4th Quarter Blurred, (e) Fused Image

Fig. 4.

(a)~(h) nth(1/8) Blurred, (i) Fused Image

3-2 이미지 퓨전 성능 측정

표 1그림2에 대하여 이미지 퓨전 성능을 측정한 결과를 보여준다. 5가지 이미지 소스(Ii)의 PCA기반 이미지퓨전을 수행하고 성능을 측정한 값으로, 이미지 소스(Ii)와 퓨전후(If)의 성능 및 오차를 변화를 보여준다.

Metrics of Image Fusion by PCA(Fig. 2)

그림5에서 부터 그림 10까지는 그림2, 그림3 그리고 그림4의 이미지 소스에서, RMSE, PFE, MAE, CORR, SNR, PSNR 각각을, 퓨전 수행전 이미지 소스(Ii)와 퓨전 수행후 이미지(If)에 대한 성능 및 오차를 도식화하여 제시한 것이다. 이미지 소스간의 편차는 있으나, 공통적으로 5가지 이미지 소스에 대해 RMSE, PFE, MAE는 퓨전후에 오차가 감소하였고, CORR은 상관도가 높아졌으며, SNR, PSNR은 값이 증가하여 퓨전 효과가 있는 것으로 판단된다.

Fig. 5.

RMSE of Fused Image

Fig. 6.

PFE of Fused Image

Fig. 7.

MAE of Fused Image

Fig. 8.

CORR of Fused Image

Fig. 9.

SNR of Fused Image

Fig. 10.

PNSR of Fused Image


Ⅳ. AlexNet 분류 실험

소스 이미지 퓨전으로 통해 개선된 이미지를 AlexNet의 입력으로 사용하여 인식 스코어 및 분류 정확도를 비교하여 이미지 퓨전에 따른 분류 성능 변화를 평가한다.

AlexNet에서 사용된 하이퍼파라메타는 표 2와 같다.

Hyperparameters used in the implemented AlexNet network

4-1 AlexNet 인식 스코어

그림11은 좌우 50%로 블러링한 소스 이미지에 대한 AlexNet 인식 스코어를 퓨전하기전(a)과 퓨전후(b)로 나타낸 것이고, 표 3에 인식 스코어를 제시하였다. 퓨전하기전에는 인식 스코어가 I1 0.3284, I3 0.0149와 같이 다른 이미지에 비해 상대적으로 낮은 경우가 있어 인식이 잘 되고 있지 않음을 보여준다. 퓨전한 경우에는 I2의 경우 0.4530에서 0.9812(I2f)로 인식 스코어가 높아진 것을 알 수 있으나, I4의 경우 0.4548에서 0.1674(I4f )로 낮아진 경우도 있음을 알 수 있다.

Fig. 11.

AlexNet Score between Half Blurred and Fused Image Source

AlexNet Score of Half Blurred Image

그림12는 4분의 1로 블러링한 소스 이미지에 대한 AlexNet 인식 스코어를 퓨전하기전(a)과 퓨전후(b)로 나타낸 것이다. 퓨전하기전에는 인식 스코어가 대체로 높고 일부 낮은 경우가 있으나, 퓨전한 경우에는 인식 스코어가 모두 높아진 것을 알 수 있다.

Fig. 12.

AlexNet Score between Quarterly Blurred and Fused Image Source

그림13은 8분의 1로 블러링한 소스 이미지에 대한 AlexNet 인식 스코어를 퓨전하기전(a)과 퓨전후(b)로 나타낸 것이다. 퓨전 전후 모두 인식 스코어 모두 매우 높게 나타남을 알 수 있다. 8분의 1 정도의 훼손이나 블러링은 이미지 퓨전에 관계없이 인식 스코어가 높게 나타나는데 이는 AlexNet의 성능에 기인한 것으로 판단된다.

Fig. 13.

AlexNet Score between Octa(1/8) Blurred and Fused Image Source

4-2 AlexNet 분류 정확도

그림14는 블러 이미지 영역에 따른 인식 스코어 변화를 나타낸 것이다. 블러링한 소스 퓨전 이미지를 AlexNet에 사용한 경우, 블러 영역이 큰 경우에는 인식 스코어 오류가 발생하는 경우가 있으나, 블러 영역이 작아질수록 인식 스코어가 높게 나타나는 것으로 볼 수 있으며, AlexNet의 인식 스코어는 좌우 블러된 경우를 제외하고, 대부분의 퓨전 데이터 세트에서 90% 이상의 인식 스코어를 보이고 있으므로, 이미지 소스의 퓨전을 통해 AlexNet의 분류 정확도는 표 4과 같이 우수한 분류 성능을 기대할 수 있다.

Fig. 14.

AlexNet Score between Blurred and Fused Image Source

Accuracy of AlexNet DCNN for Fused Image


Ⅴ. 결론

객체의 추적이나 인식을 위해 양질의 이미지를 취득하는 것은 매우 중요하다. 이를 위해, 취득된 이미지를 이미지 퓨전을 통해 합성이나 보상하여 개선된 이미지를 만들어내는 작업이 요구된다.

장수말벌 기준 이미지로부터 임의 영역 블러링된 소스 이미지를 만들고 이미지 퓨전 성능을 측정하기 위하여 RMSE, PFE, MAE, CORR, SNR, PSNR를 측정하였고, 측정 결과를 통해 퓨전 수행후 이미지에 기준이미지와의 오차가 줄어든 것을 확인하였다. 또한, 심층 합성곱 신경망(DCNN; deep convolutional neural networks) 기반인 AlexNet의 입력으로 퓨전 이미지를 사용함에 따라 인식 스코어가 개선되고 있음을 제시하였고, AlexNet의 분류 정확도도 우수한 결과를 보이는 것으로 확인하였다.

References

  • J. Muangprathub, "IoT and agriculture data analysis for smart farm," Computers and Electronics in Agriculture, Vol.156 pp.467-474, January, 2019. [https://doi.org/10.1016/j.compag.2018.12.011]
  • Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks," Advances in neural information processing systems, 2012.
  • K. Kwon, "Forecast of Bee Swarming using Data Fusion and LSTM", Journal of Digital Contents Society, Vol. 20, pp. 1-6, 2019 [https://doi.org/10.9728/dcs.2019.20.1.1]
  • C. Jung, "Spatial Expansion of an Invasive Hornet", Vespa velutina nigrithorax Buysson (Hymenoptera: Vespidae) Vol.27 pp.87-93, 2012.
  • Y. D. Chang, "Species and visiting patterns of wasps (Hymenoptera: Vespoidea) in apiary", Journal of Apic, Vol.8 pp.22-28, 1993.
  • Manyika, J., "Data fusion and sensor management:A decentralized information.Theoretic approach", Ellis Horwood Series, 1994.
  • Mitchell, H. B., "Multi-sensor data fusion", Berlin: Springer, 2007.
  • M. A. Turk and A. P. Pentland, "Face Recognition Using Eigenfaces", in IEEE CVPR, pp.586-591, 1991.
  • VPS Naidu, Girija G. and J.R. Raol, "Evaluation of data association and fusion algorithms for tracking in the presence of measurement loss", AIAA Conference on Navigation, Guidance and Control, Austin, USA, 11-14, August 2003. [https://doi.org/10.2514/6.2003-5733]
  • Gonzalo R. Arce, "Nonlinear Signal Processing . A statistical approach", Wiley-Interscience Inc., Publication, USA, 2005.
  • Russakovsky, O., Deng, J., Su, H., et al. "ImageNet Large Scale Visual Recognition Challenge." International Journal of Computer Vision (IJCV). Vol.115, Issue 3, pp.211–252, 2015. [https://doi.org/10.1007/s11263-015-0816-y]
  • Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." Advances in neural information processing systems, 2012.
  • The MathWorks, "AlexNet convolutional neural network", https://kr.mathworks.com/help/deeplearning/ref/alexnet.html, , 2020.

저자소개

권기현(Ki-Hyeon Kwon)

1993년 : 강원대학교 컴퓨터과학과(학사)

1995년 : 강원대학교 대학원 컴퓨터과학과(석사)

2000년 : 강원대학교 대학원 컴퓨터과학과(박사)

1998년 ~ 2002년: 동원대학 인터넷정보과 교수

2002년~ 현 재: 강원대학교 정보통신공학과 교수

※관심분야:사물 인터넷 (IoT), 인공지능 응용

이형봉(Hyung-Bong Lee)

1984년 : 서울대학교 계산통계학과(학사)

1986년 : 서울대학교 대학원 계산통계학과(석사)

2000년 : 강원대학교 대학원 컴퓨터과학과(박사)

1986년 ~ 1994년: LG전자 컴퓨터연구소

1994년 ~ 1999년: 한국디지털(주)

2004년 ~ 현 재: 강릉원주대학교 컴퓨터공학과 교수

※관심분야:무선 통신 (Wireless Networks), 센서 네트워크 (Sensor Networks), 임베디드 시스템 (Embedded Systems), 사물 인터넷 (IoT)

Fig. 1.

Fig. 1.
Reference Image of Hornet

Fig. 2.

Fig. 2.
(a)(b) Half Blurred, (c) Fused Image, (d) Error Image

Fig. 3.

Fig. 3.
(a) 1st Quarter Blurred, (b) 2nd Quarter Blurred, (c) 3rd Quarter Blurred, (d) 4th Quarter Blurred, (e) Fused Image

Fig. 4.

Fig. 4.
(a)~(h) nth(1/8) Blurred, (i) Fused Image

Fig. 5.

Fig. 5.
RMSE of Fused Image

Fig. 6.

Fig. 6.
PFE of Fused Image

Fig. 7.

Fig. 7.
MAE of Fused Image

Fig. 8.

Fig. 8.
CORR of Fused Image

Fig. 9.

Fig. 9.
SNR of Fused Image

Fig. 10.

Fig. 10.
PNSR of Fused Image

Fig. 11.

Fig. 11.
AlexNet Score between Half Blurred and Fused Image Source

Fig. 12.

Fig. 12.
AlexNet Score between Quarterly Blurred and Fused Image Source

Fig. 13.

Fig. 13.
AlexNet Score between Octa(1/8) Blurred and Fused Image Source

Fig. 14.

Fig. 14.
AlexNet Score between Blurred and Fused Image Source

Table. 1.

Metrics of Image Fusion by PCA(Fig. 2)

Ii RMSE PFE MAE CORR SNR PSNR
I1 33.1256 24.2892 21.1120 0.9709 12.2917 32.9632
I1f 16.8685 11.8204 10.7806 0.9927 18.5473 35.8940
I2 30.3695 31.9582 19.9579 0.9509 9.9083 33.3404
I2f 15.4448 15.1277 10.1799 0.9878 16.4045 36.2770
I3 38.0568 23.5468 23.9594 0.9721 12.5614 32.3605
I3f 19.3021 11.5329 12.2297 0.9930 18.7612 35.3088
I4 29.5739 23.4886 19.1835 0.9726 12.5829 33.4557
I4f 15.2969 11.6715 9.8802 0.9929 18.6575 36.3188
I5 45.0021 28.3904 30.6951 0.9597 10.9366 31.6325
I5f 22.8149 13.6900 15.6169 0.9901 17.2720 34.5826

Table. 2.

Hyperparameters used in the implemented AlexNet network

Momentum Mini Batch MaxEpochs Initial
LearnRate
Shuffle Validation
Frequency
SGDM 10 6 1e-4 every-epoch 3

Table. 3.

AlexNet Score of Half Blurred Image

Ii I1 I2 I3 I4 I5
I1 0.3284 0.3472 0.0042 0.1933 0.1267
I1f 0.8906 0.0205 0.0558 0.0112 0.0216
I2 0.1017 0.4530 0.0149 0.3066 0.1236
I2f 0.0008 0.9812 0.0009 0.0160 0.0009
I3 0.3071 0.1975 0.0149 0.2575 0.2228
I3f 0.0534 0.0027 0.9168 0.0133 0.0135
I4 0.3906 0.0518 0.0009 0.4548 0.1017
I4f 0.0093 0.7901 0.0228 0.1674 0.0102
I5 0.0208 0.0285 0.0003 0.0116 0.9385
I5f 0.0359 0.0712 0.1100 0.2388 0.5439

Table. 4.

Accuracy of AlexNet DCNN for Fused Image

Image Source Ii If
Half Blurred 60% 80%
Quartly Blurred 100% 100%
1/8 Blurred 100% 100%