OpenCV를 이용한 홍채 영상에서 병변 추출 영상처리 기법

Ⅰ. 서 론

생체 계측학을 기반으로 개인 확인 및 인증을 하는 생체보안시스템의 연구가 활발하게 이루어지고 있다. 그중 생체인식의 장점은 개개인 마다 서로 다른 신체적 특징을 사용하기 때문에 열쇠나 비밀전호처럼 타인의 도용이나 복제에 의하여 위조되어 사용될 수 없을 뿐 아니라 변경되거나 분실될 위험성이 없어 보안 분야에 활용도가 뛰어나며, 사용자의 사후 추적이나 관리적인 측면에 있어서도 안전한 시스템을 구축 할 수 있다는 장점이 있다[1]. 그 중 홍채는 이러한 개인의 특징을 잘 나타내며 고유성을 지니고 시간의 경과 유무에 상관없이 일정해야 하는 조건을 만족한다. 따라서 개인에 대한 변별력이 가장 높다. 이러한 특징이 나타나는 이유는 홍채는 사람의 고유한 정보를 가진 섬유결합 조직이며 이것은 유전적으로 결합되어 만들어지기 때문에 개개인이 무수히 많고 다양한 패턴을 가진다. 또한, 홍채의 결은 태어날 때부터 일생동안 거의 변하지 않는 지문과도 같은 신체부위기 때문에 효과적인 인식의 지표로 사용이 가능하다[2]. 홍채는 이러한 보안적인 활용 측면뿐만 아니라 개개인의 고유한 패턴을 보여주는데 홍채는 뇌의 연장조직으로서 수십만 가닥의 신경말단과 모세혈관 및 근섬유조직을 가지고 있다. 그러므로 홍채는 뇌와 신경계 조직에 연결되어 전신 건강에 대한 직접적인 진단 지표로서의 역할을 수행할 수 있고 홍채 학에서는 바로 이 점에 착안하여 홍채 상에 나타난 모든 변화로부터 연관된 조직의 질병상태를 진단하고 신체의 병변 가능성을 알아내게 된다[3].

기존의 홍채진단은 많은 의료진들이 진단기술의 습득에 어려움이 있어 홍채에 관한 진단 과정이 활성화 되어있지 않고 전문가가 아니라면 판별하기 어려워 시장이 활성화 되어있지 않은 단점이 있다. 따라서 본 논문에서는 영상처리를 이용하여 홍채로 부터 병변의 가능성을 진단하고 비전문가도 쉽게 홍채진단을 할 수 있도록 홍채 맵과 일는 알고리즘을 제시한다. 홍채진단의 지표가 되는 홍채의 열공을 영상처리의 경계선 도출 방법을 사용하여 홍채 맵과 맵핑하는 과정을 거쳐 병변의 진단을 판별한다.

Ⅱ. 관련연구

2-1 홍채 검출 구조

홍채 진단 검사를 통해 환자 개인의 체질 및 건강상태를 파악이 가능함에 따라 관련 연구가 이루어졌다. 뇌와 신경계를 통해 모든 장기와 조직에 연결 되어 있는 홍채는 유전 정보들을 해석해 신채의 개별적 특성을 살펴보는 진단이 활용되고 있다.

이를 바탕으로 본 연구에서는 홍채 영상으로부터 병변의 특징을 영상 처리를 통해 추출 하였다. 홍채 영상의 판별은 전문가가 아닐 경우 상당히 판단하기 어려운데 열공이 개인마다 크기와 방향, 특색이 모두 다르게 나타나기 때문이다[4]. 이는 올바른 병변 가능성을 추출하는데 큰 어려움을 겪는다. 기존 방식을 통해 홍채 영상의 열공을 추출하더라도 홍채 조직은 섬유조직으로 이루어져있어 병변이 아닌 정상적인 결의 모양 까지도 함께 추출되어 기술적인 판단의 어려움이 존재 한다. 따라서 이러한 문제를 해결하기 위해 다양한 전처리 과정과 정확한 알고리즘 모델이 필요하다.

한의학에서는 홍채에 나타나는 열공은 개인적 생물병변표지로 이용할 수 있다. 홍채의 세포 분화 과정에서 유전정보의 원형이 되는 홍채의 신경섬유가 각 인체 부위마다 뇌를 통해 연결되어 나타난다. 그러나 기존의 홍채학 진단은 컴퓨터 시스템을 이용하는 것이 아닌 육안에 의존하여 판별해 많은 불편함과 대중화가 되지 못했다. 또한 개별적인 진단에 의존하다 보니 기준점이 불확실한 단점이 존재한다. 또한 임상에 의존하여 진단되던 홍채학의 체계화가 근대에 들어서야 이루어져서 데이터가 부족한 단점도 있다. 이러한 단점들을 보완하고자 홍채학에서 이를 체계화 한 것이 홍채 맵이다. 그림 1의 홍채병변 지도는 한의학에서 사용하는 홍채진단법 중 하나이며 홍채에 나타나는 열공의 위치에 따라 각 신체의 기관이 나타내는 곳이 다르다고 보고 있다. 홍채의 전반적인 색과 구멍, 선등의 위치를 홍채 맵과 비교를 통해 환자의 건강을 진단하여 특정 부분의 질환의심 혹은 예측이 가능하다. 거기에 육안에 의존하지 않고 홍채촬영 전문 디바이스 및 컴퓨터를 이용한 영상처리가 등장하면서 그러한 문제들을 해결하고 있다.

Fig. 1.

Iris lesion map (left, right)

2-2 Edge Detection

영상처리에서 윤곽선 검출을 위해서는 마스크가 필수적이다. 영상에서의 윤곽선 이란 다른 명암을 가진 두 영역 사이의 경계를 말하며 픽셀의 밝기가 임계값 보다 크게 변하는 부분을 뜻한다. 윤곽선에 해당하는 픽셀을 구하는 것을 윤곽선 검출(Edge Detection)이라고 하며 윤곽선에 해당하는 픽셀을 마스크를 사용하여 구하는 것이다[5,6,7]. 그림 2와 같이 편미분 연산자의 계산에 근거하여 기울기를 구하게 되는데 1차 미분 값에서 그래프의 기울기의 크기로 영상의 윤곽선 존재여부를 판단한다. 이후 2차 미분을 통해 그래프의 부호를 통한 밝고 어두운 부분을 찾아내며 이러한 미분을 통해 얻어지는 Gradient의 결과 값을 이용하여 윤곽선을 검출하게 된다[8].

Fig. 2.

Contour Waveform by Differential Operator

영상에서는 데이터가 일정 간격으로 나열되어 있기 때문에 수학적 미분연산을 직접 하지 않는 대신 마스크를 사용한다. 마스크란 미분 연산자의 수학적 조건을 만족하고 가중치를 기준으로 만든 일종의 필터이다. 각 마스크의 특징으로는 마스크 내의 모든 픽셀의 합은 0이며 가중치는 작은 2차원 배열로 주어지고 평균치를 산출 할 때 개별치에 부여되는 중요도를 바탕으로 윤곽선 검출을 진행 하게 된다. 대표적인 마스크로는 Sobel, Canny, Laplacian 등이 있다. Sobel 마스크의 경우 잡음까지 검출 할 정도로 밝기에 민감하며 Canny의 경우 잡음을 크게 배제하여 강한 윤곽선들만 검출이 된다. Laplacian의 경우 날카로운 윤곽선을 검출하며 연산속도가 빠르고 모든 방향의 윤곽선을 검출한다.

Ⅲ. OpenCV를 이용한 이미지 러닝 기반의 특징 추출 기법

3-1 시스템 구성

본 논문에서는 영상처리 기반의 병변탐지를 위한 알고리즘을 제안한다. 제안 알고리즘을 수행하기 위한 시스템 구성도는 그림 3과 같다. 한방에서 활용하는 홍채 영상을 이용해 내몸에 나타난 병변을 찾기위한 특징 추출 방법을 사용한다. 홍채 영상의 영상처리를 통하여 수집 가능한 열공을 탐지하고 병변의 가능성을 확인한다. 열공이란 한의학에서 결절의 모양을 말하며, 깊게 파여 있는 구멍 형태로 유전적인 요인이 강하며 선천적으로 허약한 부분을 나타내는 것으로 판단하고 있다. 입력 영상에서 먼저 홍채영상의 정상적인 결의 무늬는 그 깊이가 얇고 일정한 패턴으로 이루어져 있다. 따라서 전처리 과정으로 정상적인 결의 패턴을 최소화 하고 병변 특징을 최대한으로 포착하기 위해 이진화 및 히스토그램 평활화의 과정을 거쳐 명암대비를 개선시킨다[9,10].

Fig. 3.

Algorithm process

히스토그램 평활화는 총 3단계의 과정을 거치며 먼저 1단계에서 입력영상의 밝기 값에 대한 히스토그램을 구한다. 2단계에서는 그림 4의 예시 코드를 이용해 생성된 히스토그램의 정규화된 값의 합으로 변형, 3단계에서 정규화합(Normalization-sum)된 히스토그램값을 이용하여 원본 입력영상을 변환하는 과정을 거치게 된다.

Fig. 4.

Source code to obtain the sum of the silicified histograms

히스토그램을 적용할 때에는 영상의 정규화합 값을 이용하여 적용하게 되는데 영상의 한 점을 기준으로 하였을 때 해당 좌표로부터 표 1에서와 같이 밝기 0~9의 영상크기4x4 정규화합의 값이 0.625 일 때 원본 영상의 밝기는 반올림한 값으로 변환된다. 정규화합의 값은 소수점 첫 번째 자리에서 반올림 하여 영상의 편중된 부분 밝기를 다시 설정하며 결과적으로 영상의 편중된 부분의 질을 향상하는 효과를 나타나게 된다.

Table 1.

Cumulative harmonic accumulation value according to brightness

이후 전처리 단계의 마지막으로 Gaussian Blur를 적용하여 경계 값을 찾기 쉬운 상태로 만들어준다. 다음 그림 4과 같은 5x5 가우시안 마스크를 이미지에서 이동시킴으로 Gaussian Blur를 적용 시킨다. 관심 픽셀의 값은 가우시안 마스크 5x5내에 포함되어 있는 주변 픽셀 값에 가우시안 weight를 곱한 값의 합을 전체 마스크의 가중치로 나누어 준다.

Fig. 4.

5x5 Gaussian mask

$\[ G\left[f\left(x,y\right)\right]=\left[\begin{array}{c}{G}_x\\ G_y\end{array}\right]=\begin{array}{c}\partial f/\partial x\\ \partial f/\partial y\end{array} \]$

(1)

여기서,

$\[ \frac{\partial f}{\partial x}=f\left(x+1,y\right)-f\left(x,y\right), \frac{\partial f}{\partial x}=f\left(x,y+1\right)-f\left(x,y\right) \]$

$\[ G\left[f\left(x,y\right)\right]=\sqrt{G_x^2+G_y^2}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\theta ={\mathrm{t}\mathrm{a}\mathrm{n}}^{-1}\left(\frac{G_y}{G_x}\right) \]$

(2)

식 1에서 기울기 벡터를 구하고 식 2에서 벡터의 크기를 구하여 윤곽선의 Gradient 값과 방향을 구한다. 윤곽선의 Gradient 방향 값은 x축을 기준으로 한다. 계산된 그래디언트 값을 통해 영상에서의 가중치를 판별하고 가중치가 높은 점들은 남겨놓고 가중치가 낮은 지점은 제거하여 원하는 부분은 뚜렷하게 나타내고 불필요한 노이즈를 제거한다[11,12]. 히스토그램 평활화, 가우시안 블러의 전처리 단계 과정이 끝난 영상으로부터 필요한 홍채 부분의 병변을 도출하기 위해 관심영역 중심좌표를 영상에서 찾아낸다. 홍채의 중심좌표 값과 홍채 맵의 중심좌표 값을 일치시켜 병변 진단용 홍채 맵과 홍채 영상을 대응시켜 그림 5의 상태가 된다.

Fig. 5.

iris mapping image

전처리된 이미지로부터 마스크까지 적용하여 홍채 맵과 맵핑되면 발견된 열공의 위치 좌표를 토대로 홍채 맵에서 대응되는 곳의 병변의 가능성을 추출한다. 그림 6은 맵핑된 홍채의 영상을 기준으로 7시 방향의 열공을 확인하고 그림 7의 예시 코드를 이용하여 좌표를 근거로 병변의 가능성을 획득한다.

Fig. 6.

Determination of vulnerability of lesion through iris map

Fig. 7.

Vulnerability determination based on coordinates

Ⅳ. 실험 및 결과

4-1 실험환경

본 연구에서 홍채의 특징 추출 검출에 사용한 영상은 640 x 480 크기의 24비트/픽셀 영상으로 총 40장으로 구성되어 있다. 검출에 사용된 소프트웨어의 개발 및 테스트는 i5 3.20Hz 16GB 메모리의 PC에서 수행되었으며 주 개발언어는 Microsoft Visual C++ .NET(Ver. 2012,), 영상처리 라이브러리인 OpenCV가 사용되었다. 홍채 영상에 대해 제안하는 알고리즘을 적용한 결과 전처리 과정 포함한 방법의 시간은 742ms 가 소요되었다.

본 논문에서 제안한 알고리즘으로 병변추출을 위한 알고리즘을 실험하였다. 그림 7의 경우 신장 및 장기능이 저하된 환자의 영상을 이용해 전처리 과정에 사용된 경계선 추출 알고리즘을 교체하며 실험한 결과를 나타낸 것이다. 그림 7에서 각각의 (a) Canny, (b) Laplacian, (c) sobel을 적용 한 결과 값이다.

실험을 위해 동일 질환 환자의 홍채 사진 12장을 이용하였으며, 이미지 크기 640x480, 24bit, 921,600 Byte, 카메라 해상도 640x480 에서 실험하였고 병변 판별의 정확도를 전문가의 판별과 비교하여 실험하였다. 실험 결과 표 2와 같이 열공의 검출이 전문가의 식별 결과와 90% 이상 일치 된 경우에 검출 된 것으로 판별 한다. 또한 각 필터를 이용해 병변을 추출하는데 소요되는 시간을 검증하였다. 그림 8의 알고리즘을 비교 하였을 때 Canny Edge를 사용한 결과가 가장 높은 만족도를 보였고 Laplacian Edge의 경우 검출되지 않아야 할 정상적인 홍채 패턴마저 전부 검출하는 결과를 나타내었고 Sobel Edge의 경우 전처리 과정에서 광원에 따라 변별력이 떨어지는 결과를 나타내었다.

Table 2.

Accuracy based on boundary detection algorithm

Fig. 8.

Canny, Laplacian, Sobel Mask lesion detection results

Ⅴ. 결론

홍채학은 대체의학이 추구하는 전체성적 치료를 위한 최초의 관문이며, 이곳을 통과하지 않고는 질병의 중앙에 도달할 수가 없다. 홍채학이 단순한 치료테크닉이 아니라 IRIDOLOGY라는 학문체계인 관계로 그 학문의 기초와 응용을 모두 습득하는 데에는 2∼4년의 기간이 필요하다. 이점이 대중화되지 못하는 원인도 되고, 또한 값지고 소중한 학문의 증거이기도 하다. 홍채학은 대체의학에서 체질분류, 자율신경분석 및 조정, 생약치료, 영양요법, 정골 요법, 심신치료에서 중요 진단법중의 하나이며, 유전학연구에서 조기 암 진단 및 치료대책에서도 필수불가결한 위치에 도달할 것이다.

본 연구에서는 홍채영상의 경계선 검출 및 전처리 방법을 이용해 홍채의 열공을 추출하여 병변 가능성을 찾아내는 알고리즘을 제안하였다. 제안한 기법의 에지 검출 모델에서 병변을 찾아내는 과정에서의 오차를 줄이기 위해 검출율이 우수한 Canny를 선택함을 보였으며 추가적인 인식 문제를 해결하기 위해 히스토그램 평활화와 같은 전처리 과정을 사용하여 신뢰성을 높이는 방법을 보였다. 실험 및 결과를 통해 Laplacian이나 Sobel보다 Canny가 더 높은 신뢰도의 알고리즘인 것을 증명하였다. 향후 본 연구의 결과를 토대로 추가적인 알고리즘의 개선으로 정확도 및 문제점을 해결한다면 더욱 정확한 병변 추출이 가능할 것이다.

Acknowledgments

This research was supported by the CHUNGBUK TECHNOPARK, Korea, under the (Development of Prediction and Diagnosis System for Pediatric Adolescents Using Iris based Image Mining) support program(20180186)

References

• Y. D. Joung, “Effective Utilization and Problems of Biometrics”, Hongik University, p1-39, (2007).
• Commercializations Promotion Agency for R&D Outcomes, “Korea Biotechnology Promotion Agency, Biometrics Technology and Market Trend”, Technology Market Trend Report, (39), p3-21, (2016).
• Y. W. Lim, “A Review of Iridology”, Korean Journal of Diagnostic Radiolog,y, 17(1), p1-16, (2013).
• G. R. Do, and W. J. Hwang, and K. S. Keum, and S. Y. Choi, and J. U. Kim, and J. U. Jo, “Study on Relationship between Abdominal Connective Tissue Weakness and Interleukin-1 Gene Polymorphism in Iris Constitution Analysis Study on Relationship between Abdominal Connective Tissue Weakness and Interleukin-1 Gene Polymorphism in Iris Constitution Analysis”, Journal of Korean Oriental Medicine, 25(1), p31-39, (2004).
• C. Y. Lee, and N. H. Kim, “A Study on the Edge Detection using Region Segmentation of the Mask”, The Journal of the Korea Information and Communications Society, 17(3), p718-723, (2013). [https://doi.org/10.6109/jkiice.2013.17.3.718]
• C. Y. Lee, and N. H. Kim, “A Study on Edge Detection using Modified Histogram Equalization”, The Journal of the Korea Information and Communications Society, 17(5), p1221-1227, (2015). [https://doi.org/10.6109/jkiice.2015.19.5.1221]
• J. K. Beck, and J. H. Jang, and Y. G. Seo, “Extracting the Slope and Compensating the Image Using Edges and Image Segmentation in Real World Image”, Journal of the Digital Contents Society of Korea, 17(5), p441-448, (2016).
• J. K. Beck, “The Slope Extraction and Compensation Based on Adaptive Edge Enhancement to Extract Scene Text Region”, Journal of the Digital Contents Society of Korea, 18(4), p777-789, (2017).
• D. G. Kim, and C. J. Hwang, “Change Area Detection using Color and Edge Gradient Covariance Features”, Journal of the Korea Academia-Industrial cooperation Society, 17(1), p717-724, (2016). [https://doi.org/10.5762/kais.2016.17.1.717]
• S. Y. Chung, and M. G. Chung, “Histogram Equalization using Gamma Transformation”, KIISE Transactions on Computing Practices, 20(12), p646-651, (2014). [https://doi.org/10.5626/ktcp.2014.20.12.646]
• Y. B. Cho, and S. H. Woo, "Algorithm for Extraction of ROI Using Fast Binarization Image Processing", Journal of the Korea Institute of Information and Communication Engineering, 22(4), p0634-0640, Apr), (2018.
• Y. B. Cho, and S. H. Woo, “A GPU-based Filter Algorithm for Noise Improvement in Realtime Ultrasound Images”, Journal of the Digital Contents Society of Korea, 19(6), p1207-1212, (2018, Jun). [https://doi.org/10.9728/dcs.2018.19.6.1207]