엑스선 이미지 기반 결핵 예측 시스템을 위한 데이터 증강 전처리 조합법

Ⅰ. 서 론

X-선 검사는 비용 효율적이며 비침습적인 검사 방법으로, 흉부 질환인 폐렴, 결핵, 유방암 등의 조기 발견과 치료에 필수적이다. 최근 헬스케어 및 의료 분야에서는 이러한 X-선 검사에 인공지능 활용이 증가하고 있다. 이러한 변화는 컨볼루션 신경망(CNN; Convolutional Neural Network)[1] 기반의 비전 모델 발전과 이미지 분석 연구에 높아진 관심을 배경으로 한다.

의료 도메인은 심각한 인력 부족에 시달리고있다. 이에 대응하기 위해 의사의 진단을 보조하고 조기 질병 발견이 가능한 인공지능 모델[2]-[4]의 필요성이 대두되었고, 특히 X-선 이미지를 사용한 CNN 기반 딥러닝 기법[5]-[7]을 의료 도메인에 적용하여 질환 판별, 분류, 예측하는 연구들이 활발하게 진행되고 있다.

하지만 기존의 X-선 이미지 기반 질환 진단 모델[2]-[4]은 주로 여러 비전 모델을 동시에 사용하는 방식을 채택하여 복잡한 아키텍처를 가지고있다. 여러 비전 모델의 동시 사용은 많은 훈련 데이터와 파라미터가 필요하며 데이터 수집, 라벨링, 전처리, 검증 등의 모든 과정에 많은 시간과 비용이 드는 단점을 가진다[8],[9]. 또한, 개인정보 보호와 프라이버시 이슈가 발생할 수 있는 의료 데이터의 대용량 구축은 현실적인 제약이 있을 수 있다[10].

본 논문에서는 적은 양의 X-선 이미지 데이터로 높은 결핵 예측 정확도를 달성할 수 있는 효과적인 전처리 조합법을 탐색하고 제안한다. 제안된 전처리 조합은 데이터 증강에서 주로 사용되는 Random Erase, Random Flip, Random Augmentation을 조합한것으로 ResNet50[6]과 Efficient Net-b0[7] 모델에서 정량적으로 평가되었다. 또한, 사용자가 쉽게 접근하고 사용할 수 있도록 웹 프레임워크를 개발하였다. 이 프레임워크에 우리가 제안한 인공지능 결핵 판별 모델이 포함되며, 사용자는 grad-CAM[11]정보를 제공받아 인공지능 결핵 판별 정보를 얻을 수 있다.

논문의 구성은 다음과 같다. 2장에서 이미지 처리와 데이터 전처리에 대한 기본 개념을 소개하고 의료 도메인에서 인공지능을 활용한 기존 연구들을 소개한다. 3장에서는 결핵 판별을 위해 제안한 전처리 조합법의 세부적 구성 및 실험 결과를 기술한다. 마지막 4장에서는 본 논문의 주요 결론와 향후 연구 방향에 대해 소개한다.

Ⅱ. 관련 연구 분석

Ⅲ. 설계 및 실험결과

3-1 데이터셋 분석

본 연구에서 Tuberculosis Chest X-ray Database[4]와 Tuberculosis Chest X-rays(Shenzhen)[32] 데이터베이스를 사용하여 데이터셋을 구축하였다. 데이터셋은 8:2의 비율로 훈련 데이터와 테스트 데이터로 분할하여, 총 4900장의 이미지 중 결핵 훈련 이미지는 3920장, 테스트 이미지는 980장이 포함되었다. 이러한 비율 설정은 충분한 모델 학습과 객관적 평가가 가능한 테스트 데이터 확보를 위함이다[33],[34]. 표 1은 데이터셋의 분포를, 그림 1은 데이터의 상태를 보여준다. 모델에서 처리되는 이미지 크기를 고려하여 데이터셋의 이미지는 512×512 픽셀로 스케일링하였다. 원래 데이터셋 이미지는 32bit RGB형식이었으나, 모델에서는 OpenCV 라이브러리를 활용하여 255 grayscale로 변환하였다. 이 변환 과정은 폐의 음영과 조직을 더욱 선명하게 보여주어 이미지 분석에 정확성을 높일 수 있다.

Table 1.

Distribution of data in the dataset

Fig. 1.

Example of X-ray image dataset (Left: Tuberculosis, Right: Normal)

3-2 아키텍쳐

전체적인 시스템의 아키텍처는 그림 2에 표현되어 있다. 본 시스템은 프론트엔드와 백엔드로 나뉘어져 있으며 프론트엔드는 Streamlit을 사용하여 환자의 X-선 사진을 PC 또는 모바일 디바이스에서 입력 받을 수 있는 구조로 구현되었다.

Fig. 2.

System architecture (Frontend: Streamlit, Backend: Pytorch)

시스템을 시작하면 사용자에게 그림 3과 같은 인터페이스가 제공된다. 사용자는 사이드바 및 크롭박스를 사용하여 X-선 이미지의 크기, 명도, 밝기, 선명도 등을 변경하여 입력할 X-선 이미지를 원하는 대로 수정하고 입력한다.

Fig. 3.

Frontend to apply the trained model

X-선 이미지 입력 후, 시스템은 백엔드에서 PyTorch 기반 X-선 이미지 분류 모델을 실행한다. 그림 4는 이에 대한 모델 스키마를 보여준다. 입력된 이미지는 512×512×1 크기의 Grayscale 이미지로 변환되고 이미지 인코더에 전달되어 저차원 공간에 임베딩된다. 이미지 인코더는 FPN(feature-pyramid network)[35] 기반 ‘Neck’ 구조를 활용하여 이미지에 대한 피쳐를 보강한다. 이 보강된 피쳐들은 Fully Connected Layer와 softmax 함수를 거쳐서 결핵 여부를 예측한다. 예측 후 사용자 인터페이스에는 결핵 여부, confidence score, 그리고 Grad-CAM을 통해 분석된 결과사진을 확인할 수 있다. 이 결과 사진에 제공된 시각적 정보는 모델이 입력 이미지의 어느 부분에 주목하여 결핵 판별을 하였는지 보여준다. 이러한 정보 제공은 블랙박스로 느껴지는 모델의 작동 방식을 사용자가 이해하는데 도움을 줄 수 있다.

Fig. 4.

X-ray image classification model schema

3-3 전처리 조합에 따른 결과 분석

본 연구에서는 ResNet50[6]과 EfficientNet-b0[7]에 데이터 증강 전처리 과정을 추가하였다. 이 모델들은 이미지를 기반으로 학습하는 모델이며 서로 다른 모델 구조를 가진다. 본 연구에서 적용한 전처리 과정은 그림 5-7에 의사코드로 제공되어 있으며, 전처리 과정은 각 훈련 데이터 이미지에 적용되어 데이터 증강에 사용되었다. 전처리된 이미지들은 ResNet50과 EfficientNet-b0 모델에 각각 입력되어 학습이 진행되었다. 두 모델은 동일한 학습 데이터를 사용하였으며 전처리의 성능을 평가하기 위해 독립적으로 학습되었다. 모델의 성능 평가는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score의 4가지 척도를 사용하여 진행되었으며 Accuracy는 모델이 올바른 예측을 한 비율을 나타내는 수식으로 다음 식 (1)과 같다.

$\[ Accuracy=\frac{\left(TP+TN\right)}{\left(TP+FN\right)+\left(FP+TN\right)} \]$

(1)

Fig. 5.

Random erasing pseudo-code

Fig. 6.

Random augment pseudo-code

Fig. 7.

Random flip pseudo-code

Precision은 모델이 True라고 예측한 경우 중 실제로 True인 비율을 나타내며 수식으로는 다음 식 (2)와 같다.

$\[ \text{Pr}ecision=\frac{\left(TP\right)}{\left(TP+FP\right)} \]$

(2)

Recall은 실제 True인 케이스 중 모델이 True라고 예측한 비율을 나타내며 수식으로는 다음 식 (3)과 같다.

$\[ Recall=\frac{\left(TP\right)}{\left(TP+FN\right)} \]$

(3)

F1-Score는 Precision과 Recall의 조화 평균을 나타내고 수식으로는 다음 식 (4)와 같다.

$\[ F1Score=\frac{\left(2\mathrm{*}TP\right)}{\left(2\mathrm{*}TP+FN+FP\right)} \]$

(4)

데이터 증강 전처리 과정을 통해 얻은 데이터로 훈련된 모델 성능 평가는 표 2와 같다. ResNet50 모델의 경우, 전처리를 적용하지 않았을 때의 정확도는 85.6%, 정밀도는 78.2%, 재현율은 90.0%, F1-Score는 81.1%였다. 하지만, 'RandErasing' [25], 'RandAugment'[31], 'RandFlip'[5] 전처리를 순차적으로 적용하면 모든 성능 지표가 개선되었다. 특히, 세 가지 전처리 모두를 적용했을 때의 정확도는 96.3%, 정밀도는 93.6%, 재현율은 94.6%, F1-Score는 94.1%으로 개선되어 가장 높은 성능을 보였다. EfficientNet-b0 모델 역시 전처리를 적용하였을 때 정확도가 85.9%에서 94.2%, 정밀도는 78.0%에서 89.8%, 재현율은 88.0%에서 92.3%, F1-Score는 80.9%에서 91.0%으로 각각 증가하는 것을 확인할 수 있었다.

Table 2.

Preprocessing combination evaluation result(Top: ResNet50, Bottom: EfficentNet-b0)

본 연구의 결과는 ResNet50과 EfficientNet-b0 모델을 사용하여 X-선 이미지 분석을 진행하였을 경우 제안한 전처리 조합이 모델의 성능을 개선하는 것을 확인하였다. 특히 Random Erase나 Random Flip같은 기하학적인 증강과 Random Augment 같은 광학적인 증강을 같이 사용하였을 때 가장 좋은 성능 향상을 보여주었다.

Ⅳ. 결론 및 향후 연구

본 연구에서는 제한된 양의 X-선 이미지 데이터셋을 사용하여도 높은 결핵 예측 정확도를 달성할 수 있는 효과적인 전처리 조합법을 제안하였다. 실험 결과, ResNet50 모델은 전처리를 적용할 경우 평균 11%의 성능 향상되었고 EfficientNet-b0 모델은 전처리 후 평균 9%의 성능 향상이 있음을 확인하였다. 이 결과는 우리가 제안한 전처리 조합법이 X-선 결핵 이미지를 분석하는 모델의 성능을 향상시키는 데 효과적임을 입증한다.

또한, 제시한 전처리 조합법이 적용된 이미지 처리 모델을 쉽게 사용할 수 있도록 사용자 인터페이스를 개발하였다. 향후 연구에서는 제시한 전처리 조합법을 다양한 의료 이미지 데이터셋이나 다른 도메인의 이미지 데이터셋에 확대 적용하여 성능 향상에 도움이 되는지 알아보겠다. 또한, 본 연구에서 제안한 전처리 조합법의 효과를 최대화할 수 있는 다른 모델 구조나 학습 전략에 대한 연구도 필요하다.

Acknowledgments

이 논문은 전남대학교 학술연구비(과제번호: 2023-0483-01) 지원과 과학기술정보통신부 및 정보통신기획평가원의 지역지능화혁신인재양성사업의 연구결과로 수행되었음(IITP-2023-RS-2022-00156287)

References

• P. Y. Simard, D. Steinkraus, and J. C. Platt, “Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis,” in Proceeding of Seventh International Conference on Document Analysis and Recognition, Edinburgh, UK, pp. 958-963, August 2003. [https://doi.org/10.1109/icdar.2003.1227801]
• L. Kong and J. Cheng, “Classification and Detection of COVID-19 X-Ray Images Based on DenseNet and VGG16 Feature Fusion,” Biomedical Signal Processing and Control, Vol. 77, 103772, August 2022. [https://doi.org/10.1016/j.bspc.2022.103772]
• A. Shelke, M. Inamdar, V. Shah, A. Tiwari, A. Hussain, T. Chafekar, and N. Mehendale, “Chest X-ray Classification Using Deep Learning for Automated COVID-19 Screening,” SN Computer Science, Vol. 2, No. 4, 300, 2021. [https://doi.org/10.1007/s42979-021-00695-5]
• T. Rahman et al., “Reliable Tuberculosis Detection Using Chest X-Ray With Deep Learning, Segmentation and Visualization,” IEEE Access, Vol. 8, pp. 191586-191601, 2020. [https://doi.org/10.1109/access.2020.3031384]
• K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” arXiv, 2014, [https://doi.org/10.48550/arxiv.1409.1556]
• K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” in Proceeding of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 770-778, 2016. [https://doi.org/10.1109/cvpr.2016.90]
• M. Tan and Q. V. Le, “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks,” arXiv, 2019, [https://doi.org/10.48550/arxiv.1905.11946]
• L. Alzubaidi, J. Zhang, A. J. Humaidi, A. Al-Dujaili, Y. Duan, O. Al-Shamma, ... and L. Farhan, “Review of Deep Learning: Concepts, CNN Architectures, Challenges, Applications, Future Directions,” Journal of Big Data, Vol. 8, 53, pp. 1-74.
• I. H. Sarker, “Deep Learning: A Comprehensive Overview on Techniques, Taxonomy, Applications and Research Directions,” SN Computer Science, Vol. 2, No. 6, 420, 2021. [https://doi.org/10.1007/s42979-021-00815-1]
• W. N. Price and I. G. Cohen, “Privacy in the Age of Medical Big Data,” Nature Medicine, Vol. 25, No. 1, pp. 37-43, 2019. [https://doi.org/10.1038/s41591-018-0272-7]
• R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra, “Grad-Cam: Visual Explanations from Deep Networks via Gradient-Based Localization,” in Proceeding of the IEEE International Conference on Computer Vision(ICCV), pp. 618-626, 2017.
• L. Tanzi, E. Vezzetti, R. Moreno, and S. Moos, “X-ray Bone Fracture Classification Using Deep Learning: A Baseline for Designing a Reliable Approach,” Vol. 10, No. 4, p. 1507.
• W. Ausawalaithong, A. Thirach, S. Marukatat, and T. Wilaiprasitporn, “Automatic Lung Cancer Prediction from Chest X-ray Images Using the Deep Learning Approach,” in Proceedings of 11th Biomedical Engineering International Conference (BMEiCON), Chiang Mai, Thailand, 2018. [https://doi.org/10.1109/BMEiCON.2018.8609997]
• E. Ayan and H. M. Ünver, “Diagnosis of Pneumonia from Chest X-ray Images Using Deep Learning,” in Proceeding of 2019 Scientific Meeting on Electrical-Electronics & Biomedical Engineering and Computer Science (EBBT), Istanbul, Turkey, 2019.
• M. Ghaderzadeh and F. Asadi, “Deep Learning in the Detection and Diagnosis of COVID-19 Using Radiology Modalities: A Systematic Review,” Journal of Healthcare Engineering, Vol. 2021, 6677314, 2021. [https://doi.org/10.1155/2021/6677314]
• E. Rashed and M. S. A. El Seoud, “Deep Learning Approach for Breast Cancer Diagnosis,” in Proceedings of the 8th International Conference on Software and Information Engineering, pp. 243-247, April 2019.
• F. M. Shah, S. K. S. Joy, F. Ahmed, T. Hossain, M. Humaira, A. S. Ami, ... and S. Ahmed, “A Comprehensive Survey of COVID-19 Detection Using Medical Images,” SN Computer Science, Vol. 2, No. 6, 434, 2021. [https://doi.org/10.1007/s42979-021-00823-1]
• I. U. Khan and N. Aslam, “A Deep-Learning-Based Framework for Automated Diagnosis of COVID-19 Using X-ray Images,” Information, Vol. 11, No. 9, 419, 2020. [https://doi.org/10.3390/info11090419]
• G. Huang, Z. Liu, L. V. D. Maaten, and K. Q. Weinberger, “Densely Connected Convolutional Networks,” in Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2261-2269, 2017. [https://doi.org/10.1109/cvpr.2017.243]
• O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” in Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015. [https://doi.org/10.48550/arXiv.1505.04597]
• O. Yadav, K. Passi, and C. K. Jain, “Using Deep Learning to Classify X-ray Images of Potential Tuberculosis Patients,” in Proceedings of 2018 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), Madrid, Spain, pp. 2368-2375, 2018. [https://doi.org/10.1109/BIBM.2018.8621525]
• C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, ... and A, Rabinovich, “Going Deeper with Convolutions,” in Proceeding of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015. [https://doi.org/10.1109/cvpr.2015.7298594]
• K. He, R. Girshick, and P. Dollár, “Rethinking ImageNet Pre-training,” arXiv, 2018. [https://doi.org/10.48550/arxiv.1811.08883]
• C. Shorten and T. M. Khoshgoftaar, “A Survey on Image Data Augmentation for Deep Learning,” Journal of Big Data, Vol. 6, 60, 2019. [https://doi.org/10.1186/s40537-019-0197-0]
• Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang, “Random Erasing Data Augmentation,” arXiv, 2017, [https://doi.org/10.48550/arxiv.1708.04896]
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Communications of the ACM, Vol. 60, No. 6, pp. 84-90, 2017. [https://doi.org/10.1145/3065386]
• L. Taylor and G. Nitschke, “Improving Deep Learning with Generic Data Augmentation,” 2018 IEEE Symposium Series on Computational Intelligence (SSCI), Bangalore, India, 2018. [https://doi.org/10.1109/ssci.2018.8628742]
• E. D. Cubuk, B. Zoph, D. Mane, V. Vasudevan, and Q. V. Le, “AutoAugment: Learning Augmentation Policies from Data,” arXiv, 2018. [https://doi.org/10.48550/arxiv.1805.09501]
• D. Ho, E. Liang, I. Stoica, P. Abbeel, and X. Chen, “Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules,” arXiv, 2019. [https://doi.org/10.48550/arxiv.1905.05393]
• S. Lim, I. Kim, T. Kim, C. Kim, and S. Kim, “Fast AutoAugment,” arXiv, 2019, [https://doi.org/10.48550/arxiv.1905.00397]
• E. D. Cubuk, B. Zoph, J. Shlens, and Q. V. Le, “RandAugment: Practical Automated Data Augmentation with a Reduced Search Space,” arXiv, 2019. [https://doi.org/10.48550/arxiv.1909.13719]
• S. Jaeger, S. Candemir, S. Antani, Y.-X. J. Wáng, P.-X. Lu, and G. Thoma, “Two Public Chest X-ray Datasets for Computer-aided Screening of Pulmonary Diseases,” Vol. 4, No. 6, p. 475.
• V. R. Joseph, “Optimal Ratio for Data Splitting,” Vol. 15, No. 4, pp. 531-538.
• P. Baheti, “Train Test Validation Split: How To & Best Practices [2022]”.
• A. Kirillov, R. Girshick, K. He, and P. Dollar, “Panoptic Feature Pyramid Networks,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, June 2019. [https://doi.org/10.1109/cvpr.2019.00656]
• I. Loshchilov and F. Hutter, “Decoupled Weight Decay Regularization,” arXiv, 2017. [https://doi.org/10.48550/arxiv.1711.05101]