홍채 이미지를 이용한 뇌질환 바이오 마커 분류 딥러닝 알고리즘

Ⅰ. 서 론

4차 산업혁명과 ICT 기술의 발전에 따라 인공지능(AI), 빅데이터(Big Data), 사물인터넷(IoT) 등 다양한 기술들이 경제, 사회 전방에 융합되어 많은 변화가 발생하고 있다. 이러한 기술 중 인공지능의 경우 빅데이터와 연계되어 사회, 경제, 문화, 과학기술, 보건의료 등의 분야에서 다양하게 적용되고 있다. 특히 보건의료에서는 X-Ray, CT, MRI의 영상 장치를 통해 얻은 데이터, 유전 데이터를 이용하여 개인 유전자 검사, 질병 진단 및 관리를 효율적으로 개선하고 있으며, 최소 10년 이상의 기간과 막대한 비용을 발생하는 신약 개발의 경우 머신러닝(Machine Learning)을 통한 학습과 실험 대상 선택 등으로 단축하며, 부작용을 예측하게 되었다[1]-[3].

한의학 또한 4차 산업혁명과 ICT 기술 발전으로 이전부터 축적되어 있는 한의학 데이터를 이용하여 체계적으로 수집, 분석하기 위한 인공지능 플랫폼을 구축, 개발하기 시작했으며, 이를 이용하여 난치성, 노인성, 환경성 질환을 극복하기 위해 많은 연구들이 진행되고 있다[4]. 한의학의 대표적인 진단 방법으로는 설진, 맥진, 홍채진단 등이 있고, 본 연구의 기반이 된 홍채진단의 경우 홍채 분석학을 이용하며, 홍채 분석학에서 홍채는 색소와 구조상의 변화를 통해 인간의 몸속에 있는 조직들과 장기들의 비정상적 상태를 나타낸다. 이러한 상태는 홍채 전반부 조직구조들에 대해서 세포 구조물들이 조직적으로 반응하며, 각각의 장기 조직들은 좌측, 우측 그리고 양쪽 홍채 상에 자신들만의 위치를 가지고 있다. 또한 홍채 조직의 상태를 통하여 장기의 유전적 강·약을 분석하고 해당 장기의 상태를 판단하는 것을 말하는 것이다. 예를 들어 당뇨의 경우 홍채에는 당뇨라는 질병이 나타나는 것이 아니라 당뇨의 원인이 되는 장기의 상태를 보여준다. 즉 췌장의 기능의 문제로 발병하는 당뇨와 신장 기능의 저하로 발생하는 당뇨가 있을 때 각각에 해당하는 원인이 되는 장기의 상태를 분석하여 올바른 치료를 위한 바른길을 제시해 준다. 사람의 몸은 척추를 중심으로 좌우로 신경이 분리되어 있고, 각 장기가 그 역할에 따라 배치되어 있다[5].

이러한 특징이 홍채에 반영되어 좌측 눈은 척추를 중심으로 신체의 좌측에 있는 장기와 지체들이, 우측 눈에는 우측에 위치한 장기와 지체들이 홍채에 반영되어 나타난다. 이러한 특징이 나타나는 것을 맵으로 쉽게 이해하고 기억하기 위해 홍채 분석학자들은 우리가 일반적으로 사용하고 알고 있는 시계의 시간대를 도입하여 홍채의 영역을 구분한다. 본 논문에서 다루는 뇌 질병의 경우 홍채 맵상 11~1시 영역에 나타난다[6].

현재 딥러닝(Deep Learning) 또는 심층학습(Deep Structured Learning)은 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습의 알고리즘 집합이며, 현재 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory models), GAN(Generative Adversarial Networks), GPT-3 등과 같은 딥러닝 기법들이 연구‧개발 되고 있으며, 음성 인식, 자연어 처리, 음성/신호처리 등의 분야에 적용되고 있다[7]. 본 논문에서는 홍채 맵을 기준으로 뇌의 상태, 특징이 나타나는 영역을 전처리 과정을 통해 추출, 분리한 후 영상, 이미지 분류에서 좋은 성능을 보여주는 CNN 알고리즘을 이용하여 뇌 질환 분류 알고리즘을 제안한다.

본 논문의 구성은 2장에서 관련 연구로 뇌 질환, 홍채 진단, 딥러닝 알고리즘에 관해 설명, 3장에서는 본 논문에서 제안한 뇌 질환 분류 알고리즘, 4장에서는 알고리즘의 실험·결과에 관해 기술, 마지막으로 5장에서는 논문의 결론에 관해 기술한다.

Ⅱ. 관련 연구

Ⅲ. 홍채 이미지를 이용한 뇌질환 바이오 마크 분류 딥러닝 알고리즘

본 연구에서는 홍채 이미지 기반 뇌질환 바이오 마커 분류를 위한 딥 러닝 알고리즘으로 데이터 셋, 데이터 전처리방법, 학습 모델을 제안한다.

3-1 데이터 셋

본 연구에서는 의료이미지를 기반으로 바이오 마커 추출에 적합한 딥 러닝 모델을 설계하고 연구하기 위해 흉부 X-ray 이미지와 홍채이미지 데이터 셋을 활용하였다. 홍채이미지 데이터 셋의 크기가 작아 모델 평가의 정확도를 위해 캐글[15]에 공개된 데이터 셋을 이용하였다.

흉부 X-ray 이미지는 코로나, 폐렴, 정상인 라벨을 가진 데이터이며, 데이터 크기는 299×299, 데이터 총 개수는 19,691개이다.

홍채 데이터의 학습 데이터는 뇌 영역 결합조직이 체질적으로 약한 상태의 홍채 이미지와 건강한 홍채 이미지를 사용해 클래스를 나누고, 클래스 1은 뇌 결합조직이 약한 조직으로 홍채 이미지 데이터, 클래스 2는 건강한 홍채 이미지 데이터로 구분한다.

그림 1에서 (a)는 뇌역역 12시 방향에 라쿠나(Lacuna)가 있는 이미지 데이터이며, (b)는 건강한 홍채 이미지 데이터를 나타낸 것이다. 데이터 셋은 총 2개의 클래스이고, 384개의 이미지로 구성하였다. 데이터 셋의 크기가 작아 9:1의 비율로 학습데이터와 검증 데이터 셋을 나누어 진행하였다. (c)는 흉부 X-ray 이미지로 총 3개의 클래스이며, 학습과 검증 데이터 셋의 비율은 7:3으로 나누어 진행하였다.

Fig. 1.

(a) Brain Area Lacuna, (b) Healthy Iris, (c) Chest X-ray

3-2 데이터 전처리

데이터 전처리는 홍채 분석학과 논문[16]에서 제시된 홍채맵을 기준으로 전처리를 진행한다. 의료 데이터이므로 원본데이터에서 최대한 데이터의 손실, 변형이 없도록 진행하였다.

그림 2은 홍채맵에서 시간대의 따라 나눈 것이며, 11시부터 1시 방향은 뇌 영역을 1시부터 2시 방향은 얼굴부위의 조직 그리고 2시부터 3시 방향은 목(편도, 성대, 갑상선, 식도), 3시부터 4시 방향은 상부 쪽 등 부위, 4시에서 5시 방향은 하부 쪽 등 부위, 5시에서 6시 방향은 골반, 6시부터 7시 방향은 하복부, 7시에서 8시 방향은 상 복부, 8시에서 9시 방향은 흉부, 9시에서 10시 방향은 폐, 10시부터 11시 방향은 목 부위(목, 귀, 어깨)를 나타낸다. 그림 2를 기반으로 데이터 전처리를 진행한다.

Fig. 2.

Iris Map By Time Zone

그림 3는 홍채 이미지 데이터 전처리 과정이며 (a)번 이미지의 경우 1280×1080크기의 이미지이다. (b)번 과정에서 (a)번의 이미지에서 동공의 중심을 기준으로 정사각형 형태로 잘라내었으며, 동공의 형태가 무너지지 않고 홍채가 포함되는 크기인 512×512으로 이미지의 크기를 변경 하였다. (c)번 과정에서는 11~1시 방향의 홍채 병소를 보기 위해 OpenCV를 이용하여 512×256의 크기로 변경 하였고, 클래스 1과 클래스 2의 데이터 모두 동일하게 해당 데이터 전처리 과정을 진행하였다. 최종적으로 이미지 데이터 셋은 512×256의 크기이며, 총 데이터 수는 384개이다. 학습, 검증, 테스트 셋의 분리 비율은 7:2:1으로 분리하여 실험하였다.

Fig. 3.

Preprocessing Iris Image Data

3-3 학습모델

본 연구에서 사용한 학습 모델의 구조는 그림 4와 같다.

Fig. 4.

Structure Of Learning Model

그림 4는 홍채 뇌 영역에 나타난 바이오 마커를 분류하기 위해 grayscale을 적용한 1채널 데이터를 사용한다. 첫 번째로 input Data를 Grayscale 과정을 거친 홍채 이미지 데이터가 들어온다. 모델은 6개의 컨볼루션 층과 1개의 완전연결 계층으로 구성하고, 컨볼루션 레이어에서 각 레이어별 필터 수는 64, 128, 128, 256, 512, 64개이며, 커널 사이즈는 7×7, 3×3, 3×3, 1×1, 1×1, 1×1순으로 한다. 스트리드(Strides)는 모든 레이어에 공통적으로 1x1, Padding은 ‘Same’를 적용, 활성화 함수는 Leaky Relu(x=0.3)을 사용한고, Pooling은 Max Pooling을 사용하였다. 레이어 사이에 배치 정규화(Batch Normalization)을 적용하여 기울기 손실, 지역 최적화 문제의 가능성을 줄이며, 학습을 가속화하기 위해 사용하였고, 손실함수는 Sparse Categorical Crossentropy, 옵티마이저는 Adam(Learning Rate = 5e−7)을 사용하였다.

Ⅳ. 실험 및 결과

본 연구의 실험을 위해 표 1과 같은 환경에서 실험을 수행하였고, 홍채 이미지를 이용한 뇌질환 바이오 마커 분류 딥러닝 알고리즘을 평가를 위해 활성화 함수로 Relu를 사용하여 하였다.

Table 1.

PC Specifications

학습 환경에서 그림 5의 (a)는 활성화 함수로 Relu, (b)는 Leaky Relu로 사용했을 경우 Feature Map을 추출한 결과이며, 동일하게 Conv2D 1번 레이어 이후 진행된 첫 번째 활성화 함수에서 추출하였다.

Fig. 5.

Feature Map

Relu함수가 0보다 작을 때 0을 반환하는 함수이므로 (a)의 Feature Map에서 추출되지 않은 부분이 많다. Leaky Relu의 경우 0보다 클 경우 Relu와 같은 값을 반환하지만 0보다 작을 때 입력된 Alpha값에 따라 0값이 아닌 음의 영역이 반환되며 (b)와 같은 피처가 추출되었다. 따라서 본 학습 모델에서 활성화 함수로 Leaky Relu를 사용하였다.

그림 6은 학습 결과 정확도와 손실률을 그림으로 나타낸 것이며, 그림 7은 검증 데이터 셋에 대한 정확도와 손실률을 나타낸 것이다. 학습 횟수가 높아질수록 정확도는 1로 손실률은 0으로 수렴하고 있는 것을 볼 수 있다. 학습 정확도는 99%으로 1에 가까이 수렴하고 있으며, 학습 손실율의 경우 1.9%가 도출되었다. 검증 데이터에 대한 결과의 경우 정확도는 76%, 손실율은 68%가 도출되었다. 그림 7에서 나타난 손실률의 경우 200번의 학습 횟수 이후 다시 증가하는 것을 볼 수 있으며, 이는 많은 데이터를 학습용으로 사용하기 위해 검증 데이터에는 소량의 데이터를 사용하게 되었고 이로 인해 그림 7과 같은 결과가 도출되었다. 따라서 모델의 학습 능력을 검증하기 위해 본 연구에서 사용한 모델을 사용하여 흉부 X-ray이미지 데이터를 기반으로 학습을 진행하였고, 학습 결과는 그림 8과 같다. 학습 정확도는 99%, 손실률은 1%이고, 검증 데이터에 대해서는 정확도가 89%, 손실률은 28%가 도출되었으며, 학습 능력을 검증할 수 있다.

Fig. 6.

Training Accuracy and Loss

Fig. 7.

Validation Accuracy and Loss

Fig. 8.

Model validation results with chest x-ray images

그림 6은 학습 결과 정확도와 손실률을 그림으로 나타낸 것이며, 그림 7은 검증 데이터 셋에 대한 정확도와 손실률을 나타낸 것이다. 학습 횟수가 높아질수록 정확도는 1로 손실률은 0으로 수렴하고 있는 것을 볼 수 있다. 학습 정확도는 99%으로 1에 가까이 수렴하고 있으며, 학습 손실율의 경우 1.9%가 도출되었다. 검증 데이터에 대한 결과의 경우 정확도는 76%, 손실율은 68%가 도출되었다. 그림 7에서 나타난 손실률의 경우 200번의 학습 횟수 이후 다시 증가하는 것을 볼 수 있으며, 이는 많은 데이터를 학습용으로 사용하기 위해 검증 데이터에는 소량의 데이터를 사용하게 되었고 이로 인해 위와 같은 결과가 도출되었다. 따라서 모델의 학습 능력을 검증하기 위해 본 연구에서 사용한 모델을 사용하여 흉부 X-ray이미지 데이터를 기반으로 학습을 진행하였고, 학습 결과는 그림 8과 같다. 학습 정확도는 99%, 손실률은 1%이고, 검증 데이터에 대해서는 정확도가 89%, 손실률은 28%가 도출되었으며, 학습 능력을 검증할 수 있다.

테스트 셋을 이용한 결과의 경우 정확도는 91.67%, 손실율의 경우 17.4%가 도출되었다. 또한 모델의 학습을 통해 나타난 결과를 이용하여, 학습 평가 지표로써 사용되는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1 Scroe를 실험하였다. 학습평가 지표에서 표현되는 요소들은 테스트 셋을 사용하여 실험한 결과이며, 좋은 결과를 나타내는 것을 선택하였다.

표 2는 학습 평자 지표이며, 정확도는 분류의 정확도를 나타낸다. 정밀도는 예측을 긍정으로 한 대상 중에 예측과 실제값이 긍정으로 일치한 비율이고. 재현율은 실제 값이 긍정인 대상 중 예측값과 실제값이 긍정으로 일치한 비율이다. F1 Score는 정밀도와 재현율을 이용하여 표현한 지표이며 조화평균으로써 모델의 정확도를 나타낸다.

Tabel 2.

Learning Evaluation Indicatorr

Ⅴ. 결 론

보건의료 분야에서는 AI 기술과 융합하여 X-Ray, CT, MRI 등을 사용한 영상진단, 유전데이터를 이용한 유전자 진단, 신약 개발 등의 많은 부분에서 연구가 진행되고 있다. 또한 한의학에서도 ICT기술과 이전부터 축적되어 있는 한의학 데이터를 이용하여 체계적으로 수집, 분석하기 위한 인공지능 플랫폼을 구축, 개발하기 시작했으며, 이를 이용하여 난치성, 노인성, 환경성 질환을 극복하기 위해 많은 연구들이 진행되고 있다. 한의학의 다양한 진단 방법 중 하나인 홍채 진단학은 지속적으로 데이터가 수집되고 있다. 본 연구을 진행하며, 중점적으로 본 질환은 치매이다. 치매를 유발할 수 있는 원인은 고혈압, 당뇨, 고령, 뇌질환, 외부 요인 등 다양하게 있으며, 본 연구에서는 홍채 진단학을 기반으로 치매를 유발하는 원인중 하나인 뇌 질환에 대한 분류 알고리즘을 연구하였다.

분류 알고리즘은 딥 러닝 분류 기법 중 하나인 CNN을 사용하였고, 필터 수, 커널 사이즈, 배치 정규화, 활성화 함수, 손실 함수 등의 파라미터 값을 조정하며, 실험을 진행하였다. 그 결과 학습 정확도는 99% 손실률은 1%, 테스트 데이터에 대해 정확도는 91%, 손실률은 17.4%가 도출되었다. 학습 시간은 약 26분이 소요되었다. 분류 평가 지표를 이용하여 평가 한 결과 정확도는 91%, 정밀도는 99%, 재현율은 83%, F1 Score는 90%가 도출되었다. 위 결과를 통해 다소 손실률은 높지만 높은 정확도을 가진 모델을 만들어 분류를 진행 할 수 있으며, 정밀도, 재현율, F1 Score를 통해 모델의 신뢰성을 확보했다.

향후 연구로는 치매 유발에 영향을 주는 원인인 고혈압, 당뇨, 고령, 외부요인 등에 대한 홍채 바이오 마커를 분석하여 홍채상에 나타난 바이오 마커를 통한 진단 보조 알고리즘을 개발하고자 한다. 향후 연구가 지속되어 치매 유발 원인에 대한 바이오 마커가 정리된다면 조기에 발생 가능성을 추측하여 치매를 방지할 수 있을 것이라 기대된다.

Acknowledgments

이 논문은 정부(과학기술정보통신부)의 재원으로 한국 연구재단의 지원을 받아 수행된 연구임.(No. 2018R1C1B5083789)

References

• G. T. Song, S. J. Song, “Recent Research Trends in Smart Medical Devices and ICT Convergence Medical Industry“, The Journal of The Korean Institute of Communication Sciences, Vol. 35, No.6, pp. 50-55, May, 2018
• K. C. Nam, H. C. Kim, B. S. Kwon, “ICT Converged Medical Devices“, The Journal of The Korean Institute of Communication Sciences, Vol. 31, No. 12, pp. 44-50, Nov, 2014
• S. H. Lee, J. Y. Kim, “AI Technology Trends Based on Medical Big Data”, The Journal of The Korean Institute of Communication Sciences, Vol. 37, No. 9, pp. 85-91, Auj, 2020
• E. J. Kim, Y. B. Park, K. H. Choi, Y. W. Lim, J. M. Ok, E. Y. Noh, T. M. Song, J. H. Kang, H. S. Lee, S. Y. Kim, “Application of Machine Learning to Predict Weight Loss in Overweight, and Obese Patients on Korean Medicine Weight Management Program”, The Journal of Korean Medicine, Vol. 41, No. 2, pp. 58-79, Jun, 2020 [https://doi.org/10.13048/jkm.20015]
• Y. B. Cho, S. H. Woo, S. H. Lee, An Iris “Detection Algorithm for Disease Prediction based Iridology”, Journal of the Korea Institute of Information and Communication Engineering, Vol. 21, No. 1, pp. 107-114, Jan, 2017 [https://doi.org/10.6109/jkiice.2017.21.1.107]
• J. B. Seo, S. H. Woo, Y. B. Cho, “Image Processing-Based Diagnosis Algorithm for Dementia using iris”, Women's ICT Conference of the Korean Association of Information and Communication, Busan, pp. 38-41, 2019, Oct
• S. J. Kim, three-minute deep learning, korea, Hanbit Media, 2018
• Diagnosis and Treatment of Cerebrovascular Disease [Internet]. Available:https://www.cmcism.or.kr/popup/brain01.html
• D. Y. Lee, B. K. Sohn, “New Diagnostic Criteria for Alzheimer’s Disease : NIA-AA Diagnostic Guidelines”, Journal of Korean Geriatric Psychiatry, Vol. 16, No. 1, pp. 7-12, 2012
• Y. B. Chan, “20 methods of prediction of stroke”, Other Publications of the Korea Institute of Oriental Medicine, pp. 20-23, Mar, 2006
• Effectiveness of acupuncture and herbal medicine in treating premenstrual syndrome. [Internet]. Available: https://www.kmcric.com/knowledge/inlife/view_inlife/34134?cat=12&page=2
• Y. W. Lim, S. I. Park, Y. J. Park, Y. B. Park, “Research Trends in Domestic and Foreign iris Studies”, The Journal of the Society of Korean Medicine Diagnostics, Vol. 17, No. 1, pp.1-16, Apr, 2013
• N. K, Vooduma, Fundamentals of Deep Learning, Hanbit Media, 2018
• Y. S. Sugomori, a standard deep learning, Wikibooks, 2017
• Extensive and Local Phase Enhanced COVID-19 X-Ray [Internet].Available: https://www.kaggle.com/endiqq/largest-covid19-dataset
• J. P. Kim, Y. B. Cho, “Image Processing of Lesion in Iris Image Using OpenCV”,Journal of Korea Digital Contents Society, Vol. 19, No. 11, pp.2035-2040, Nov, 2018 [https://doi.org/10.9728/dcs.2018.19.11.2035]