Korea Digital Contents Society

Journal Archive

Journal of Digital Contents Society - Vol. 19 , No. 7

[ Article ]
Journal of Digital Contents Society - Vol. 19, No. 7, pp. 1397-1403
Abbreviation: J. DCS
ISSN: 1598-2009 (Print) 2287-738X (Online)
Print publication date 31 Jul 2018
Received 23 Jun 2018 Revised 15 Jul 2018 Accepted 25 Jul 2018
DOI: https://doi.org/10.9728/dcs.2018.19.7.1397

CIE L*a*b* 칼라 공간의 성분 영상 a*을 이용한 효과적인 여드름 검출
박기홍1 ; 노희성2, *
1목원대학교 융합컴퓨터․미디어학부
2한국건설기술연구원 국토보전연구본부

Effective Acne Detection using Component Image a* of CIE L*a*b* Color Space
Ki-Hong Park1 ; Hui-Seong Noh2, *
1Division of Convergence Computer & Media, Mokwon University, Daejeon 35349, Korea
2Department of Land, Water and Environment Research, KICT, Goyang 10223, Korea
Correspondence to : * Hui-Seong Noh, Tel: +82-31-910-0548, E-mail: huiseongnoh@kict.re.kr


Copyright ⓒ 2018 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록

오늘날 현대인들은 피부 관리를 신체적 건강관리의 일환으로 인식하고 있으며, 일반적으로 얼굴에서 발견되는 피부 질환 문제는 여드름이다. 본 논문에서는 CIE L*a*b* 칼라 공간을 이용한 효과적인 여드름 검출 알고리즘을 제안하였다. 성분 영상 a*의 값이 양수일 경우에 적색이므로 피부 영상에서 적색 계통의 여드름 검출에 적합하다. 먼저 RGB 칼라 공간 기반의 피부 영상은 칼라 밸런싱을 통해 광 보상을 수행하고, CIE L*a*b* 칼라 공간으로 변환한다. 추출된 성분 영상 a*을 정규화하고, 임계값 처리를 통해 피부 영역과 여드름 영역을 추정하였다. 실험 결과, 제안하는 방법이 기존의 밝기 정보를 이용한 방법보다 효과적으로 여드름을 검출하였고, 반사되는 광원에 강인함을 보였다.

Abstract

Today, modern people perceive skin care as part of their physical health care, and acne is a common skin disease problem that is found on the face. In this paper, an effective acne detection algorithm using CIE L*a*b* color space has been proposed. It is red when the pixel value of the component image a* is a positive number, so it is suitable for detecting acne in skin image. First, the skin image based on the RGB color space is subjected to light compensation through color balancing, and converted into a CIE L*a*b* color space. The extracted component image a* was normalized, and then the skin and acne area were estimated with the threshold values. Experimental results show that the proposed method detects acne more effectively than the conventional method based on brightness information, and the proposed method is robust against the reflected light source.


Keywords: Acne detection, Skin color detection, Skin analysis, HSV color space, CIE L*a*b* color space
키워드: 여드름 검출, 피부색 검출, 피부 분석, HSV 칼라 공간, CIE L*a*b* 칼라 공간

Ⅰ. 서론

오늘날 아름다운 피부를 유지하기 위해 다양한 뷰티 클리닉(beauty clinic)이 늘어나고 있으며, 피부 관리는 신체적 건강관리의 일환으로 인식되고 있다[1][2]. 피부 분석은 스킨케어(skin care) 치료를 받기 전에 수행되어야 하는 중요한 절차이며, 일반적으로 얼굴에서 발견되는 피부 질환 문제는 여드름이다. 기존의 여드름 분석 방식은 수기로 여드름을 세고 표시하고 있으며, 많은 시간과 노력이 필요하다[3][4]. 이에 최근에는 외부 측정 장치와 스마트 기기 기반의 비접촉 형태의 여드름 검출 연구가 지속적으로 제안되고 있다. 기존의 다양한 선행 연구들에서는 여드름 검출을 위해 YCbCrHSV(hue, saturation, value) 칼라 공간을 이용하여 밝기(brightness) 정보를 이용한 방법들이 제안되었다[1][3][4].

본 논문에서는 CIE L*a*b* 칼라 공간을 이용한 여드름 검출 방법을 제안하였고, 기존 방법의 성능을 개선한다. 본 논문의 구성은 다음과 같다. 2장에서는 얼굴영역과 여드름 검출을 위해 적용한 칼라 공간들에 대해 정의하고, 3장에서 기존의 여드름 검출 방법을 설명한다. 4장에서는 제안하는 여드름 검출 방법에 대해 기술하고, 5장에서 결론을 맺는다.


Ⅱ. 칼라 공간들

본 논문에서는 피부색 기반의 얼굴영역 검출을 위한 YCbCr 칼라 모델과 여드름 검출을 위해 HSVCIE L*a*b* 칼라 모델을 적용하였다.

2-1 YCbCr 칼라 공간

YCbCr 칼라 공간은 디지털 영상에서 광범위하게 사용되고 있으며[5], 피부색 기반의 얼굴영역 검출을 위해 선행연구들에서 전반적으로 적용되고 있다[2]-[4]. YCbCr 칼라 공간에서 Y는 휘도(luminance) 정보이며, 색차신호 CbCr은 각각 청색과 적색 성분들의 기준 값과의 차이를 나타낸다. RGB 칼라 공간을 YCbCr 칼라 공간으로의 전환은 식 1과 같다.

YCbCr=16128128+65.481128.55324.966-37.797-74.203112.000112.000-93.786-18.214RGB.(1) 
2-2 HSV 칼라 공간

HSV 칼라 공간은 인간의 시각 시스템과 가장 유사한 칼라 공간으로 색상(hue), 채도(saturation) 및 명도(value)의 좌표를 나타내 색을 지정하며, RGB 칼라 공간에서 HSV 칼라 공간으로의 변환은 식 2식 3에 의해 정의된다[6][7].

r=R255,g=G255,b=B255,Cmax=max(r,g,b),Cmin=min(r,g,b),=Cmax-Cmin.(2) 
H={60(g-bmod6),Cmax=r60(b-r+2),Cmax=g60(r-g+4),Cmax=b,S={0,Cmax=0Cmax,Cmax0,V=Cmax.(3) 
2-3 CIE L*a*b* 칼라 공간

CIE L*a*b*(CIE 1976) 칼라 공간은 실제 빛의 파장과 비선형 관계를 가지고 있으며, 서로 다른 두 색의 거리는 인간이 느끼는 색의 차이와 비례하도록 설계되었다. CIE L*a*b* 칼라 공간은 CIE XYZ(CIE 1931) 칼라 공간으로 변환한 후 획득 할 수 있으며, RGB 칼라 공간에서 CIE XYZ 칼라 공간으로 변환은 식 4와 같다[8].

XYZ=0.4124530.3575800.1804230.2126270.7151600.0721690.0193340.1191930.950227RGB.(4) 

식 5식 4에 의해 구해진 CIE XYZ 칼라 공간으로부터 CIE L*a*b* 칼라 공간을 획득하는 과정을 보이고 있다[9].

L*=116×fYY0-16,a*=500×fXX0-fYY0,b*=200×fYY0-fZZ0,where,ft=t13,if  t>6293132962t+429,otherwise(5) 

성분 영상 L*은 영상의 밝기로 0이면 검은색, 100이면 흰색이다. 성분 영상 a*의 값이 음수일 경우 초록, 양수일 경우 적색에 치우친 색을 의미하고, 성분 영상 b*의 값이 각각 음과 양이면 청색과 노랑에 가까운 색을 나타낸다. 그림 1RGB 칼라 영상을 YCbCr, HSVCIE XYZ 칼라 영상으로 변환된 영상들이며, 그림 2그림 1(a)의 칼라 영상을 식 5에 의해 구해진 CIE L*a*b* 영상과 각각의 성분 영상들을 보이고 있다.


Fig. 1. 
RGB color image and various images converted to other color space


Fig. 2. 
CIE L*a*b* color image and component images


Ⅲ. 기존의 얼굴영역과 여드름 검출 알고리즘
3-1 피부색 기반의 얼굴영역 검출

얼굴이 포함된 영상에서 피부색 기반의 얼굴영역 검출은 YCbCrHSV 칼라 공간을 이용하는 방법이 제안되었으며[10][11], 피부색 참조 맵(map)을 이용하여 이진 영상을 획득하여 최종 얼굴영역을 검출하고 있다. YCbCr 칼라 공간과 HSV 칼라 공간을 이용한 피부 영역 추정은 식 6식7에 의해 검출된다. 또한 그림 3과 같이 YCbCrCIE L*a*b* 칼라 공간을 적용한 피부 영역 검출도 제안되고 있다[10]-[13].

Bimg={1,if(77Cb127)(133Cr173)0,otherwise.(6) 
Bimg={1,if(0H50)(0.23S0.68)0,otherwise.(7) 

Fig. 3. 
Result images of skin color based face detection

3-2 여드름 검출

기존의 여드름 검출은 HSV 칼라 공간을 이용한 방법이 다양하게 제안되고 있으며[14][15], 일반적으로 여드름 검출 과정은 그림 4와 같다. 그림 4에서 그레이 스케일(gray-scale) 영상과 HSV 칼라 공간은 각각 식 8식 3에 의해 획득된다.

Grayimg=(0.2989×R)+(0.587×G)+(0.114×B).(8) 

그레이 스케일 영상의 정규화는 영상의 화소 값의 중복을 최소화하기 위해 정보를 축소하는 것을 의미하며, 식 9에 의해 구해진다. 이때 Ni 정보의 범위는 0에서 1의 사이 값을 갖는다.

Ni=iR+G+B,wherei{R,G,B}.(9) 

여드름 검출을 위한 후보군 추정은 그레이 스케일 영상과 밝기 영상 V와의 차이 값으로 계산되며, 이는 밝기가 더 강해지는 특징을 갖는다[14]. 이 과정에서 이진 영상 획득을 위한 임계값(binary threshold value)은 실험적 경험에 의해 적절한 값이 적용되었다. 선행 연구 [14]에서는 이진 임계값을 0.2로 설정하였으며, 그림 5는 전체적인 결과 영상들을 보이고 있다.


Fig. 4. 
Acne detection block diagram using HSV color space


Fig. 5. 
Images detected by reference [14]


Ⅳ. 제안하는 여드름 검출 알고리즘

기존의 여드름 검출 방법들은 그레이 스케일 영상과 HSV 영상의 밝기 정보를 기반으로 밝기가 높은 피부 영역과 밝기가 낮은 여드름 영역 간의 정보 관계를 이용하였다. 본 논문에서 제안하는 여드름 검출은 RGB 칼라 영상을 CIE L*a*b* 칼라 공간으로 변환한 후 성분 영상 a*의 색의 치우친 정도를 분석하였다. 성분 영상 a*의 값이 음수일 경우 초록, 양수일 경우 빨강에 치우친 색을 나타내므로 피부 영상에서 적색 계통인 여드름 검출에 적합하다. 그림 6은 제안하는 여드름 검출 과정을 보이고 있다. 먼저, 성분 영상 a*를 획득하기 전에 피부 영상에 포함된 빛(light)을 제거하기 위한 광 보상(light compensation) 과정이 필요하다.


Fig. 6. 
Block diagram of proposed acne detection

식 10은 성분 영상 a*을 획득하기 전 RGB 칼라 영상의 빛 보상을 수행하는 과정이다. mVi는 각 성분 영상들의 평균의 반전 값을 나타내며, SimVi의 최대치 M으로 정규화 된 각 성분 영상의 스케일링 계수이다.

mVi=1arg meani,M=maxmVR, mVG, mVB,Si=mViM,CB=cat3, R×Si, G×Si, B×Si,where iR,G,B.(10) 

광 보상이 된 RGB 칼라 영상 CBCIE L*a*b*칼라 공간으로 변환한 후 성분 영상 a*을 이용하여 여드름 후보군 AC식 11에 의해 추정한다. 식 11에서 A는 성분 영상 a*의 화소 최대치이며, mAA로 정규화 된 화소 정보이다. 최종 여드름 영역은 획득한 mA 영상에서 임계값 0.2보다 큰 값들이다.

A=arg maxa*x,y,mA=a*A,ACimg={0,if mA>0.21,otherwise.(11) 

그림 7은 제안하는 방법의 여드름 검출 과정의 결과 영상으로 식 11의 주요 결과 영상들을 보이고 있으며, 그림 7(c)mA 영상으로 화소 값이 0.2 보다 큰 값들이 여드름 영역이다.


Fig. 7. 
Images obtained by (11)

그림 7(d)의 여드름 후보군 AC 영상에서 최종 여드름 검출과정은 잡음 제거를 위한 침식과 팽창 연산을 수행하였으며, 여드름 후보군 영역의 크기가 20보다 작고 7,000개보다 큰 영역은 여드름 후보군에서 제외하였다. 그림 8은 제안하는 방법과 [14]의 방법의 여드름 검출 결과를 보이고 있다. 그레이 스케일 영상과 HSV 칼라 공간의 밝기를 이용하는 [14]의 방법은 빛이 포함된 영상에서 여드름 검출 성능이 낮으며, 실험 영상 #1과 #2에서 여드름이 검출되지 않았다. 본 논문에서 제안하는 방법인 CIE L*a*b*칼라 공간의 성분 영상 a*을 이용한 여드름 검출 방법이 그림 8에서 보여주듯이 효과적으로 수행되며, 반사광에도 강인한 결과를 보였다.


Fig. 8. 
Acne detection comparison of proposed method and reference [14]; (a) skin images; (b) acne detection results obtained by reference [14]; (c) acne detection results of the proposed method

그림 9그림 7(c) 영상의 화소 분포를 보이고 있다. 그림 9에서 화소 값이 양수이면 적색에 가까운 색으로 여드름 영역으로 추정하였으며, 본 논문에서도 임계값을 0.2롤 설정하였다. 향후, 여드름 추정을 위한 임계값이 다양한 피부색에 변화되는 적응적인 임계값 추정 연구를 수행할 계획이다.


Fig. 9. 
Pixel distribution in Fig. 7(c)


Ⅴ. 결론 및 향후 연구

본 논문에서는 피부 영상에서 여드름을 효과적으로 검출하기 위한 방법을 제안하였다. 먼저 RGB 칼라 공간 기반의 피부 영상에 포함된 빛을 보상하기 위해 광 보상을 수행한 후 CIE L*a*b* 칼라 공간으로 변환한다. 여드름의 주요 특징이 적색 계통이므로 성분 영상 a*을 이용하면 여드름의 후보 영역을 효과적으로 추정할 수 있다. 즉, 성분 영상 a*의 화소 값이 양수인 영역이 적색이다. 본 논문에서 최종 여드름 검출은 성분 영상 a*의 최대치로 정규화 하여 임계값 0.2보다 작은 값은 피부 영역, 0.2보다 큰 값은 여드름 영역으로 판별하였다. 실험 결과 기존의 밝기 정보를 이용한 방법보다 제안하는 방법이 효과적으로 여드름을 검출하였고, 반사되는 광원에 강인함을 보였다. 향후, 색소침착, 홍조, 모공 및 기미 등과 같은 다양한 피부 질환 검출과 스마트기기 기반의 자동피부진단 연구를 계속하고자 한다.

본 논문은 중소기업청에서 지원하는 2017년도 산학연협력 기술개발사업(No. C0563933)의 연구수행으로 인한 결과물임을 밝힙니다.


References
1. J. D. Kim, and J. E. Seol, “A Study on the State of Acne Awareness and Care”, The Journal of the Korean Society of Knit Design, 13(2), p1-9, June, 2015.
2. Y. B. Kim, J. H. Baek, and B. C. Ahn, “An Implementation of a Skin Care System for Android Phones”, in Proceedings of International Conference on Embedded Systems, Cyber-physical Systems, & Applications, p57-61, (2016).
3. Humayun, J., Malik, A.S., Belhaouari, S.B., Kamel, N., Yap, F.B.B., et al, "Localization of acne lesion through template matching", in Proceedings of 4th International IEEE ICIAS Conference, p91-94, (2012).
4. H. Fuji, T. Yanagisawa, M. Mitsui, Y. Murakami, M. Yamaguchi, N. Ohyama, T. Abe, I. Yokoi, Y. Matsuoka, and Y. Kubota, “Extraction of acne lesion in acne patients from multispectral images”, in Proceedings of 30th Annual international IEEE EMBS conference, p4078-4081, (2008).
5. R. C. Gonzalez, R. E. Woods, S. L. Eddins, Digital image processing using MATLAB, 1st ed, New Jersey, NJ, Pearson Prentice Hall, (2004).
6. VOCAL Technologies, RGB and HSV/HSI/HSL Color Space Conversion[Internet]. Available: https://www.vocal.com/video/rgb-and-hsvhsihsl-color-space-conversion/
7. H. J. Yang, D. H. Kim, and Y. G. Seo, “Noise-robust Hand R egion Segmentation In RGB Color-based Real-time Image”, The Journal of Digital Contents Society, 18(8), p1603-1613, Dec, 2017.
8. Wikipedia, CIE 1931 color space[Internet]. Available: https://en.wikipedia.org/wiki/CIE_1931_color_space.
9. Wikipedia, CIELAB color space[Internet]. Available: https://en.wikipedia.org/wiki/CIELAB_color_space.
10. H. B. Kwon, D. J. Kwon, U. D. Chang, Y. B. Yun, and J. H. Ahn, “A Facial Region Detection using the Skin Color and Edge Information at YCbCr”, The Journal of Korea Multimedia Society, 7(1), p27-34, Jan, 2004.
11. S. Kolkur, D. Kalbande, P. Shimpi, C. Bapat, and J. Jatakia, “Human skin detection using RGB, HSV and YCbCr color models”, in Proceedings of the International Conference on Communication and Signal Processing, Lonere, India, p324-332, (2016).
12. C. G. Woo, J. H. Kim, K. H. Park, and Y. H. Kim, “Skin Region Detection using YCbCr and L*a*b* Color Space”, in Proceedings of the 2018 KIIT-DCS Summer Conference, p63-65, (2018).
13. P. Yogarajah, J. Condell, K. Curran, A. Cheddad, and P. McKevitt, “A Dynamic Threshold Approach For Skin Segmentation in Color Images”, in Proceedings of 2010 IEEE International Conference on Image Processing, Hong Kong, p2225-2228, Sep, 2010.
14. T. Chantharaphaichit, B. Uyyanonvara, C. Sinthanayothin, and A. Nishihara, “Automatic Acne Detection for Medical Treatment”, in Proceedings of International Conference of Information and Communication Technology for Embedded Systems, p33-38, (2015).
15. Nasim, A., Kouhyar, T., Minhal, A., and Reza, F.-R., “Detection and Classification of Acne Lesions in Acne Patients: A Mobile Application”, in Proceedings of 2016 IEEE International Conference on Electro Information Technology, p739-743, (2016).

저자소개
박기홍(Ki-Hong Park)

2005년: 목원대학교 일반대학원 IT공학과 (공학석사)

2010년: 목원대학교 일반대학원 IT공학과 (공학박사)

2008년~2009년: 방재정보통신지역혁신센터 연구원

2010년~2012년: ㈜인코넥스 책임연구원

2012년~현재: 목원대학교 융합컴퓨터․미디어학부 교수

2014년~현재: 안전문화운동추진 대전시연합회 생활안전 분과위원장

2015년~현재: 안전모니터봉사단 대전시연합회 부회장

※관심분야: 컴퓨터비전, 패턴인식, 영상코덱(H.26x), 디지털콘텐츠, 항공응용기술, 방재응용기술 등

노희성(Hui-Seong Noh)

2011년 : 한경대학교 대학원 (공학석사)

2015년 : 인하대학교 대학원 (공학박사-수자원/지형정보)

2007년~2008년: 한국시설안전공단 시설안전네트워크연구단

2015년~현재: 한국건설기술연구원 국토보전연구본부

※관심분야:수재해, 레이더영상처리, 머신러닝(딥러닝), 데이터마이닝, 사물인터넷(IoT) 등