멀티미디어 데이터의 색상분포 분석을 통한 3차원 시각화 연구

Ⅰ. 서론

디지털 시대에 효율적인 소통을 위해서 데이터시각화는 중요한 경쟁력이 될 수 있다. 데이터 시각화란 말 그대로 데이터를 시각화하는 것이다. 데이터 시각화란 데이터나 정보를 그래프 등을 활용하여 시각화하는 것이며[1], 주요 목적은 정보를 보다 명확하고 효과적으로 전달하는 것이다. 인간의 뇌구조는 말이나 글보다 이미지를 더 쉽고 빠르게 받아들인다. 뇌는 글을 읽을 때는 저장된 의미를 순차적으로 이해한다[2].

시각화된 데이터나 정보가 다른 소통방식보다 더 효율적으로 정보를 전달할 수 있는 이유는 시각화된 보기 좋은 자료는 사람들의 호기심을 자극하여 시선을 사로잡을 수 있으며, 정보의 습득시간이 절감되는 효과가 있다. 또한 잘 만들어진 시각화 자료는 우리가 쉽게 정보를 이해할 수 있도록 도와준다.

데이터 시각화는 여러 가지 용어로 표현된다. 예를 들어, 인포그래픽, 정보시각화, 정보디자인 등 다양하게 불리고 있으며, 최근 인포그래픽이란 용어가 가장 많이 사용되고 있다[3].

본 연구에서는 디지털 시대에 많이 활용되는 영상과 비디오데이터를 구성하는 색상정보의 분포와 그로부터 얻어지는 다양한 분석 정보들을 효과적으로 시각화 할 수 있는 방법을 소개한다. 일반적으로 영상을 구성하는 색상은 RGB와 같은 표준 색상모델을 기반으로 표현된다. 이미지의 색상분포를 시각화하는 기법은 전통적으로 2차원 기반의 히스토그램을 사용한다. 전통적인 히스토그램은 색상의 각 채널을 기반으로 같은 색상을 갖는 화소의 누적 개수를 2차원 평면상에 막대그래프 형식으로 시각화한다. 이러한 3차원 시각화 방법을 이용할 경우 실제 색상의 분포가 갖는 3차원의 구조를 명확히 이해하기 힘들다. 또한 표준 색상모델을 기반으로 연구되는 영상처리 알고리즘에서 사용가능한 다양한 계산 모델(화소 색상의 거리, 화소간의 관계성, 다양한 분석 데이터)의 수치적 데이터를 한눈에 보기 힘든 단점이 있다. 이미지 정보의 효과적인 정보전달을 위해서는 실제 색상모델의 기반이 되는 3차원 공간을 반영한 시각화 기법이 필요하다. 또한 컴퓨터에서 사용되는 다양한 표준 색상모델로의 3차원 시각화가 요구되어 진다.

본 논문에서는 다음의 내용을 다루 있다. 첫째 영상처리 분야에서 사용되는 표준 색상모델(RGB, HSV, L*a*b)을 기반으로 이미지의 색상분포를 3차원으로 시각화 하는 방법을 소개한다. 이러한 연구는 본 연구의 이전연구[4]를 기반으로 하여 개발되었다. 둘째, 각 색상모델을 기반으로 분석된 다양한 데이터를 3차원색상분포에 중첩하여 시각화함으로써 다양한 연구 분야에 활용 가능하도록 하였다. 특히 그 예시로서 색상분포로부터 얻어지는 팔레트를 표현하는 시각화방법을 소개한다. 마지막으로 한 장의 이미지는 물론 여러 장의 이미지와 동영상등에도 적용 가능하도록 확장성 있는 시스템을 소개하고 실험결과를 도출한다.

Ⅱ. 관련 연구

색상을 활용한 다양한 시각화 방법이 소개되고 있다. 특히 최근에는 빅데이터 기술의 발전과 함께, 정보시각화가 다양한 데이터 분석 응용프로그램에 활용되고 있다[5, 6]. 특히 영상과 비디오에 관련된 시각화 연구가 활발하게 진행되고 있다[7, 8, 9] 이러한 영상 및 비디오의 정보를 시각화하는 연구는 연구자 또는 일반사용자에 효과적인 시각 정보를 제공해준다. 특히 방대한 양의 멀티미디어 데이터로부터 요약된 시각적 정보를 추상화하여 보여줌으로써 전체적인 정보의 분포를 이해시킬 수 있으며 수치적으로 찾을 수 없는 특징을 효과적으로 찾고 이해시킬 수 있다.

본 연구에서는 영상의 색상을 표현하는 기존 연구와 같이 다양한 표준 색상모델을 기반으로 하고 있다. 표준 색상모델들 중에 일반적으로 많이 사용되는 색상 모델은 RGB, HSV, Lab이 있다. 이러한 여러 가지 색상모델은 각기 다른 사용 목적에 따라 다르게 이용된다. RGB 모델은 기본 삼원색인 빨강(Red), 초록(Green), 파랑(Blue)의 세 가지 색 채널로 구성되며, 각 색상의 분광 요소들이 부가적으로 복합되어 다른 색상을 만들어 낸다. HSV 색상모델은 지각에 의한 색공간의 일종으로 색상(Hue), 채도(Saturation), 명도(Value)를 3차원 공간으로 모델화 하여 표현한 좌표계이다. Lab 색상모델은 인간의 색채지각 시스템과 비슷하게 만들어진 색상모델로 밝기 값을 대변하는 L채널과 색상을 표현하는 ab 채널로 구분된다. 이는 사람이 느끼는 색의 차이를 색 공간에서의 거리 차이와 비슷하도록 만들어져 다양한 색상관련 영상처리 알고리즘에 활용되고 있다. 그림 1은 각 색상모델의 3차원 형태를 보여주고 있다[10].

Fig. 1.

Standard Color Models

다양한 표준 색상모델을 기반으로 다양한 영상 분석 기법들이 소개되고 있다. 대표적인 기법으로 클러스터링 기법이 있다. 이는 색상의 분포를 군집화하여 영상분포를 대표하는 색상들을 추출하는 기법으로 활용된다[11]. 대표적인 기술로 K-Means 클러스터링 알고리즘을 이용한 색상 군집화 기술을 예로 들 수 있다. 색상 클러스터링 기법은 실제 회화 작품을 구성하는 기초 색상을 추출하는데 주로 사용되기도 하였으며[12], 이미지를 구성하는 대표 색상을 추출하여 색상감성을 연구하는 분야에도 활용되었다[13]. 또한 이미지의 색을 재구성하는 리컬러링 알고리즘에 사용하기 위한 팔레트를 추출하는 기반 기술로 활용되기도 하였다[14]. 본 연구에서는 색상 클러스터링 기법을 각 표준색상모델을 기반으로 적용하여 분석데이터 시각화를 위한 기반 데이터로 활용하였으며, 그를 효과적으로 시각화 할 수 있는 방법을 소개한다.

Ⅲ. 색상분포와 분석데이터의 3차원 시각화

본 논문에서는 3차원 색상 분포에 대한 정보와 그를 활용한 클러스터링 데이터를 시각화를 소개하고 있다. 입력으로 영상, 다중 영상, 비디오등을 사용할 수 있으며, 색상분포를 위한 기반 색상모델로서 RGB, HSV, Lab를 활용하였다. 각 색상모델에서의 색 분포데이터를 기반으로 클러스터링 알고리즘을 적용하여 그 결과를 함께 시각화한다. 시각화를 위해서 3차원 시각화 해상도 및 3차원 기본 객체의 최대 크기 등을 파라미터로 설정하다. 그림 2는 제안된 3차원 시각화 기법의 시스템 흐름도를 보여주고 있다.

Fig. 2.

System flow

제안된 시스템에서는 [표 1]에 정의한 파라미터 값을 이용해 시각화 방법을 제어한다. 제공 파라미터로는 색상모델, 해상도, 클러스터링 개수, 시각화 단위 객체의 크기가 있다. 입력된 영상 멀티미디어 데이터의 각 화소들은 사용자가 설정한 시각화 파라미터에 의해 분석되고 3D 기본 객체로 변환되고 3차원 공간상에 시각화 된다.

Table 1.

User parameter for Visualization

3-1 표준 색상모델을 이용한 색상분포 3차원 시각화

그림 3은, 입력한 이미지가 다양한 색상모델(RGB, HSV, Lab) 모델로 변환되어 시각화를 진행한다. 이미지의 화소들은 RGB 색상으로 이루어져 있으므로, 다른 색상 모델(HSV, Lab)로 시각화하기 위해서는 색상 변환식을 이용하여 처리하며 시각화를 위한 기본 각 채널들의 축을 1로 정규화 시켜 표현한다.

RGB 색상모델에서 X, Y, Z축은 각각 R, G ,B 채널로 매핑시킨다. 비슷한 방법으로　HSV 색상모델에서 H는 Y축을 기준으로 360도 회전시키고, X과 Y축에 각각 S,V채널을 매핑시켜 3차원 공간상에 배치한다. Lab또한 HSV와 같은 방법을 사용한다[*].

Fig. 3.

3D Color Distribution based on Three Basic Color Models

Fig. 4.

3D Color Distribution according to Vresolusion

3-2 영상 클러스터링 시각화

이미지 색상 군집화는 각각의 화소를 비슷한 성질을 가진 화소끼리 묶어준다. 이 방법은 이미지를 단순화하여 분석하기 편한 형태로 만들어준다. 그렇기 때문에 색상 군집화는 팔레트 추출과 같이 이미지의 대표색상을 뽑아낼 때 쓰이기도 한다. 본 연구에서는 이미지의 색상을 군집화 하기 위해, K-means 알고리즘을 사용한다. 또한 현재 지원하는 색상모델 중 HSV 모델은 인간의 색인지에 기반한 모델로써, 색상간의 거리 계산이 의미가 없다. 그러므로 HSV 모델의 군집화는 제공하지 않는다.

그림5는 그림 3에서 입력한 이미지를 이용했다. 위 그림은 색상모델 파라미터와 군집개수 파라미터값을 조절하여 시각화 한 결과를 보여준다.

Fig. 5.

3D Color Distribution according to Color Clustering

이미지는 기본적으로 RGB 색상모델로 표현된다. 그래서 색상모델 파라미터를 RGB 모델로 선택하였을 경우, 이미지 색상을 군집화여 3차원 공간상에 배치한다. 만약 파라미터의 값을 L*a*b 색상모델로 선택하였을 경우, 이미지의 색상모델을 RGB 모델에서 L*a*b 모델로 변환 시킨 후 이미지 색상 군집화를 진행한다.

군집개수 파라미터를 바꾸게 되면 이미지 군집화개수를 조절하여 3차원 공간상에 시각화 할 수 있다.

만약 이미지의 색상을 분석한 결과와 이미지를 군집화 한 결과를 제한된 공간상에 보여주게 된다면, 두 개의 정보를 구별하기 쉽지 않을 것이다. 그러므로 본 논문에서는 두 개의 정보가 겹쳐도 결과를 잘 인지할 수 있도록, 도형과 투명도에 차별을 두어 시각화 하였다.

그림 6은 제한된 3차원 그래픽 공간상에 색상분석 정보와 색상 군집화 정보를 표현한 결과이다. 위의 그림에서 구 형태의 도형은 색상 분석 정보이고, 큐브형태의 도형은 색상 군집화 정보이다. 색상 군집화 정보에 투명도를 줌으로서, 군집화 된 결과 안에 어떠한 색상이 들어갔는지 대략적으로 알 수 있게 된다.

Fig. 6.

Overlap visualization of color distribution and color clustering results

Ⅳ. 실험 결과

본 연구에서는 입력영상의 색상정보를 세가지 표준 색상모델을 이용하여 3차원 시각화하는 방법과 영상의 주요 특징이 될 수 있는 색상을 추출하기 위한 색상 군집화를 수행하여 이를 중첩하여 시각화 하는 방법을 제안한다. 이러한 기술은 기본적으로 색상의 분포를 확인하는 분야에 사용될 수 있으며, 색상 클러스터링 시각화는 비사실적 분야, 색상 감성분야, 리컬러링 분야등에 활용이 가능하다. 입력 데이터를 비디오에 적용하여 연속적인 3차원 시각화 또한 가능하다.

영상의 색상분포에 대한 시각적 이해를 도울 수 있도록 제안된 네 가지 파라미터를 제어할 수 있다. 그림 7과 8은 입력 영상에 대한 다양한 3차원 색상분포 시각화 결과를 보여 주고 있다. 그림 7은 사용된 세 가지 표준색상 모델에서 해상도를 조절하여 시각화한 결과와 RGB 모델에서의 색상군집화 결과를 함께 보여주고 있으며, 그림 8은 같은 세 가지 색상모델에서의 3차원 시각화와 Lab 모델에서의 색상 군집화 결과를 보여 주고 있다.

Fig. 7.

3D visualization using color clustering I

Fig. 8.

3D visualization using color clustering II

그림 9는 동영상에 적용하여 실시간으로 보이는 3차원 시각화 결과를 몇 개의 프레임 별로 보여 주고 있다. 색상의 실시간 변화를 인지할 수 있다. 비디오의 키 프레임을 인식하고 각 프레임의 색상구성을 분석한 후에 실시간으로 3차원 시각화함으로써 사용자로 하여금 색상의 변화 나 영상 필터링 등을 적용한 후의 색상 분포를 직관적으로 이해할 있다.

Fig. 9.

3D Visualization using Video Input

그림 10은 실제 리컬러링 분야중 하나인 색상 전이[15] 분야에 적용시킨 결과를 보여주고 있다. 이는 실제 색상을 이용한 연구 분야에 시각화를 적용시킴으로써 연구의 결과물이 어떻게 변화 되고 있는지 수치적인 것 이외에 색상변화의 결과를 시각적으로 확인이 가능하도록 도움을 줄 수 있다. 색상전이 기술은 입력 이미지를 주어진 이미지의 색 분포를 따르도록 색상을 변화시켜주는 기술이다. 그림 10-(a)는 이러한 색상전이 기술의 적용 프로세스를 보여주고 있다. 그림 10-(b)는 색상전이 기술의 적용 전과 후를 3차원 시각화 하여 보여 주고 있다. 그림에서 보듯이 입력 영상이 주어진 이미지의 색상분포를 따르도록 색상변화 되었음을 직관적으로 확인할 수 있다.

Fig. 10.

3D color distribution before and after applying color Transfer Technology

Ⅴ. 결론

본 논문에서는 이미지의 색상정보 및 분포에 대한 3차원 시각화 방법을 소개하고 있다. 시각화를 위해 표준 색상모델(RGB, HSV, L*a*b)의 3차원 구조를 이해하고 이를 시각화할 수 있도록 시각화 공간을 디자인 하였다. 또한 다양한 시각화를 방법을 제공하기위해 색상모델 뿐만 아니라 시각화의 정밀도를 제어할 수 있도록 해상도 파라미터를 제공하였다. 이를 통해 색상 분포도의 복잡도, 위치, 관계 등을 3차원프로 표현함으로써, 사용자로 하여금 직관적으로 이해하고 인지할 수 있도록 시스템을 구현하였다. 또한 영상처리 응용프로그램에 널리 사용할 수 있도록 확장된 기능을 제공한다. 이를 위해 이미지의 색상정보의 시각화 분포뿐만 아니라. 색상 군집화(Clustering)기술을 적용시켜 시각화 하였다. 색상 군집화 기술은 최근 각광 받고 있는 색상감성에 대한 색의 관계성, 색상감성 분석에 활용되고 있다. 향후, 이미지 색상 화소의 군집화뿐만 아니라, 색상심리 감성분석기술[16]과의 접목을 통해 3차원 시각화 기능을 제공한다면, 더욱 다양하게 활용 가능한 시각화 도구가 될 수 있을 것이다.

References

• Ware, C., Information Visualization, Third Edition: Perception for Design (Interactive Technologies), 3rd Edition, Morgan Kaufman, 2012.
• Moreland, K., "A survey of visualization pipelines", IEEE Transactions on Visualization and Computer Graphics, Vol. 19. No.3, pp.367-378, 2013. [https://doi.org/10.1109/TVCG.2012.133]
• Liu, S., Cui,W., Wu, Y., and Liu, M., "A survey on information visualization: recent advances and challenges," The Visual Computer, Vol. 20, No.12, pp.1373-1393, 2014 [https://doi.org/10.1007/s00371-013-0892-3]
• C. Lee and S Seo, "3D interactive visualization using image color distribution," International Journal of Engineering & Technology, Vol.7, No.2.33, pp.397-400, June. 2018.
• Wee, M. C., "An improved diversity visualization system for multivariate data". Journal of Visualziation, Vol.20, No.1, pp.163-179, 2017. [https://doi.org/10.1007/s12650-016-0380-8]
• Spence and Robert, Information Visualization, ACM press Books, 2001.
• Chen, T., Lu, A., &Hu, S.-M., "Visual storylines: semantic visualization of movie sequence," Computer&Graphics, Vol. 36, No.4, pp.241–249, 2012. [https://doi.org/10.1016/j.cag.2012.02.010]
• S. Kim, "Methods to Maximize 3D Space Usage in Information Visualization," Journal of Digital Design, Vol. 16, No. 3, pp. 11~20, 2016.
• A.J. Pretorius, M.-A. Bray, A.E. Carpenter and R.A. Ruddle, "Visualizationof parameter space for image analysis," IEEE Transactions on Visualization and Computer Graphics, Vol.17, No.12, pp.2402–2411, 2011. [https://doi.org/10.1109/TVCG.2011.253]
• R.C. Gonzalez and R.E. Woods, Digital Image Processing, Prentice Hall, 2002.
• I. Lee, C.H. Lee and J. Park, “Automatic Color Palette Extraction for Paintings Using Color Grouping and Clustering,“ Journal of KIISE : Computer Systems and Theory, Vol. 35, No. 7·8, pp. 340~353.2008.
• J. Park, D. Kang and K. Yoon, "An Artistic Texture Transfer Method considering Colors Patterns," Journal of KIISE : Computing Practices and Letters, Vol. 20, No. 4, pp. 224~228, 2014.
• B.J. Meier, A.M. Spalter and D.B. Karelitz, "Interactive color palette tools", IEEE Computer Graphics and Applications, Vol. 24, No. 3, pp. 64-72, 2004. [https://doi.org/10.1109/MCG.2004.1297012]
• Huiwen Chang, Ohad Fried, Yiming Liu, Stephen DiVerdi, and Adam Finkelstein, "Palette-based photo recoloring," ACM Transaction on Graphics, Vol.34, No.4, Article No. 139, July .2015.
• E. Reinhard, M. Adhikhmin, B. Gooch and P. Shirley, "Color transfer between images," IEEE Computer Graphics and Applications, Vol. 21, No. 5, pp. 34-41, July-Aug. 2001. [https://doi.org/10.1109/38.946629]
• T. Lee, D. Kang, K. Cho, S. Park and K. Yoon, "Developing application depend on emotion extraction from paintings,", Journal of DCS, Vol.8, No.6, pp.1033-1040, October, 2017.