디지털카메라의 장노출 노이즈와 고감도 노이즈 패턴 분석

1-1 선행연구

디지털카메라의 장노출 노이즈와 고감도 노이즈의 패턴 분석에 앞서, 노이즈의 정의와 발생 경로 및 종류를 파악하는 것이 우선하여 이루어져야 한다. 선행연구에서 이루어진 노이즈의 정의와 발생 경로 및 종류는 다음과 같다.

ISO 15739에 의하면 노이즈란 이미지 시스템에서 영상이 원래 가지고 있던 신호나 성분 이외의 것들이라고 정의하고 있다. 즉, 디지털 사진에서 노이즈는 이미지 센서의 비균일성으로 인한 기술상 요인 및 외부영향으로 인해 의도하지 않은 신호들이 이미지에 나타나는 것을 의미한다.[1] 이미지센서의 픽셀(Pixel)은 빛에 민감한 포토다이오드(Photodiode)를 포함하고 있으며, 포토다이오드는 빛 에너지를 전기 에너지로 바꾸어주는 광센서의 한 종류이다. 디지털카메라에서는 이미지 센서에 들어오는 빛을 전기 신호로 바꾸어주는 역할을 하며 최종 이미지의 픽셀에 컬러 정보를 제공해준다. 이때 같은 픽셀에 여러 차례 노출이 되거나 주변 온도에 의해서 또는 센서 자체의 전기적인 활동에 의해 노이즈는 발생한다. 또한, 노이즈에 영향을 미치는 요인들로는 노출 시간과 감도, 이미지 센서 타입, 픽셀의 크기, ADC (Analog to Digital Converter) 프로세스 등이 있다.[2] 이렇게 발생 원인을 기준으로 노이즈를 나누면 센서 자체의 원인으로 노출에 상관없이 나타나는 고정 패턴 노이즈(Fixed Pattern Noise) 와 촬영할 때마다 여러 요인으로 인해 그 형태가 달라지는 불규칙 노이즈(Temporally Varying Noise) 등이 있다.[3] 그러나 이러한 기준으로 측정된 노이즈는 이미지 센서의 성능을 테스트하는 것으로써 사용자에게 실용적인 데이터를 제공하기는 어렵다. 그래서 노이즈를 눈으로 평가할 수 있는 개념이 필요하게 되었고, 이는 인화지 등의 출력이나 모니터에 기반을 둔 비주얼 노이즈 (Visual Noise)가 바로 그 역할을 한다. 디지털 카메라의 센서 중심의 노이즈가 절대적으로 인간의 눈에 인지되는 것은 아니기 때문에, 인간의 눈에 지각되는 노이즈를 측정하는 비주얼 노이즈라는 개념이 주목받기 시작했다. 비주얼 노이즈는 센서에서 얻어진 영상이 모니터로 확인하거나 인화를 했을 경우 인간의 눈에 실제로 인지되는 시각적인 수치이므로 기존의 공학적 수치의 노이즈보다 사용자적인 측면에서 활용 가능한 실용적인 정보라고 볼 수 있다.[4] 따라서 본 연구의 궁극적인 목적인 장노출과 고감도 노이즈 패턴을 다루기에 실제 인지되는 시각적인 수치와 패턴으로 분석하고 데이터를 전달할 필요가 있다.

1-2 비주얼 노이즈 (Visual Noise)

비주얼 노이즈의 종류로는 광도 노이즈(Luminance Noise) 와 색상 노이즈(Chroma Noise) 가 있다. 광도 노이즈가 발생하면 이미지가 거칠게 나타나고 색상 노이즈가 발생하면 이미지에 컬러 표현 결함으로 나타난다. 광도 노이즈는 이미지의 한 채널, 일반적으로는 블루 채널에서 더 두드러지게 나타날 수 있다. 또한 비주얼 노이즈 정도는 측정 거리, 공간주파수, 농도, 색, 측정 조건에 따라 달라진다. 위와 같이 인간의 지각 능력에 기반을 둔 비주얼 노이즈는 이미지에 가시화되어 나타나는 노이즈를 의미하며 실제적인 디지털 이미지의 노이즈 평가 기준이다.[4]

2-1 장노출 노이즈 정의

그림 1은 장노출 촬영 시 발생하는 노이즈의 발생 원인에 대한 설명 그림이다. 장노출 노이즈는 Dark Fixed Pattern Noise와 Dark Random Noise로 나타난다. 먼저 Dark Fixed Pattern Noise는 빛이 없는 상황에서 카메라는 0 감도(DN)의 출력을 갖는 것이 맞으나 픽셀에 포함된 잔류편차(Offset) 값들에 의해 빛이 없는 상황에서도 0DN 이상의 출력을 가지거나 그 이하의 출력을 가지기도 한다. 광량이 없는 상황에서도 각각의 RGB 픽셀은 밝기에 편차가 있으며 각 픽셀은 고유의 Offset 값을 가지게 된다. 이 고유의 Offset 값은 빛과 시간에 관계없이 일정하고 이미지센서의 온도, 회로부의 출력을 0으로 만들기 위해 입력 단자에 흘리는 전류(Offset current)에 의해 발생한다. Dark Random Noise는 빛이 없는 환경에서도 이미지센서는 온도에 의해 일정량의 전류가 생성되며 생성된 전류는 지속해서 출력(Read Out)이 일어난다. 온도에 의해 전류가 생성되더라도 모든 픽셀에 일정하게 발생하지 않으며 Random 분포를 가지고 발생한다.[6] 다시 말해 이미지센서에 전류가 흐르고 있는 상태에서 노광시간이 지속함에 따라 픽셀이 열을 받게 되는데, 이 열이 빛이라 착각하여 생기는 노이즈이다. 픽셀에 따라서 유독 열을 많이 받은 픽셀을 핫픽셀이라고 하며 주위 픽셀까지 열이 전달됨에 따라 Dot 형태의 노이즈패턴을 가지게 된다.

Fig. 1.

Cause of long exposure noise[5]

2-2 고감도 노이즈 정의

그림 2는 고감도 촬영 시 발생하는 노이즈의 발생 원인에 대한 설명 그림이다. 디지털카메라의 감도는 입력되는 광량에 대비하여 얼마나 높은 출력을 가지는가를 말한다. 감도에 의한 노이즈는 Photon Response Non-uniformity로 나타난다. 각각의 RGB 픽셀은 입력되는 빛의 양이 일정하게 증가하더라도 출력값에 편차를 가진다.

Fig. 2.

Cause of high sensitivity noise[5]

디지털 데이터는 0과 1의 단위인 2진법을 사용하기 때문에 모호한 값이 있을 수 없고 정확한 단위로 표현된다.[7] 그러나 고감도 노이즈는 연산의 실수, 즉 연산알고리즘에 오차가 생겨 발생한다. 이는 오차범위가 존재하고 이미지센서로 입사하는 빛이 범위내에 들어오게 되면 각각의 픽셀이 밝기에 편차가 생겨 이미지가 거칠어 보이게 된다. 그림 3은 적은 양의 빛이 감도증가에 따라 높은 출력을 가지려 할 때 발생하는 연산 오차에 대한 그림이다. 디지털카메라의 데이터는 0과 1 백과 흑이다. 하지만 오차범위가 20%라고 가정한다면, 0.4에서 0.6구간은 오차범위 내에 존재하게 되고 0.41에서 0.59 사이에 입사한 빛은 흑 또는 백에 인식되어 연산 오차가 생긴다. 따라서 적은 양의 빛으로 높은 출력을 가지려 한다면 빛을 증폭시킬 때 오차범위 또한 증가하여 감도 ISO(International Organization for Standardization)가 높아질수록 노이즈가 많아지는 것이다. 고감도에 의한 노이즈는 연산의 실수로 인해 발생하기에 픽셀의 개별적 형태가 집약돼 전체적으로 백과 흑의 패턴으로 나타난다.

Fig. 3.

High Sensitivity Computation Error

3-1 연구방법

표 1은 자세한 실험환경 설정 사항이다. 일반적으로 노이즈 측정 방법은 ISO 15739를 이용하고 있다. 렌즈 없이 측정하는 방법과 렌즈를 포함하여 측정하는 방법이 있으나 렌즈 없이 측정하는 방법은 환경 조건의 통제 등 준수해야 하는 상황이 많아 실용적인 측면에서 잘 사용되지 않는다. 본 연구에서는 ISO 15739에 따라 렌즈를 포함한 측정 방법이 실용적인 측면과 실질적인 데이터 전달에 더 용이하다 판단되어 적용하였다. 표1은 본 연구에서 사용된 측정 방법의 세부 조건들에 대하여 서술하고 있다.

Table 1.

Noise measurement method used in the experiment

1) 노이즈 타깃

그림 4는 이번 실험에 사용할 타깃인 ISO 12233, 2014 (eSFR ISO) 20-patch OECF이다. 이 타깃은 기본적인 OECF(Opto Electronic Conversion Function) 측정과 Chroma noise, Scene-referred noise, Raw pixel noise, ISO 15739 Visual noise, SNR, Dynamic range를 측정할 수 있다.

Fig. 4.

ISO 12233, 2014 (eSFR ISO) 20-patch OECF[8]

OECF는 광전변환 관계를 측정하여 함수형태로 표현하고, 디지털카메라의 특성을 그래프로 표현함으로써 입출력 특성을 알 수 있다.[9] 이 데이터는 디지털카메라의 노이즈와 해상도, 다이나믹 레인지 등을 측정하기에 기본 데이터로 이용한다. 따라서 정확한 광전변환 함수를 요구한다. 본 연구에서는 정확한 광전변환 값이 대입된 ISO 15739 Visual noise를 장노출과 고감도에서 측정하기 위해 OECF와 Visual noise를 동시에 측정할 수 있는 그림 4와 같은 타깃을 이용한다.

3-2 비주얼 노이즈 측정실험

본 연구의 목적인 장노출 노이즈와 고감도 노이즈의 패턴 분석에 앞서 두 요인에서의 비주얼 노이즈 수치를 측정한다. 장노출과 고감도 모두 조리개는 F8로 고정한다. 그림 5는 실험에 사용할 렌즈의 MTF(Modulation Transfer Function)차트이며 이를 통해 촬영할 타깃의 크기에 비례하여 최적의 조리개 수치이기에 고정하였다. 장노출은 빛의 양만 조절시키는 가변 ND(Neutral Density Filter) 필터와 셔터스피드를 조절하여 적정노출을 유지하고, 고감도는 ND필터를 사용하지 않고 셔터스피드와 감도만 조절하여 적정노출을 유지한다. 표 2는 자세한 실험 노출값에 대한 표이다.

Fig. 5.

MTF Chart[10]

Table 2.

Exposure value to assign to experiment

노이즈 측정은 각각의 노출값에 8장 촬영하여 Imatest V5.1.24로 분석하고 타깃의 1번부터 20번 패치의 평균값을 산출한다.

1) 실험에 사용할 장비

실험에 사용될 카메라는 표 3과 같은 Nikon 사의 D5와 D800 기종이고 렌즈는 AF-S NIKKOR 24-70 F2.8N이다. 고화질 기종의 경우 D850 기종은 BSI(Back Side Illumination) 센서 탑재와 로우패스필터 제거 사양이다. D810 기종은 로우패스필터가 제거된 기종이기에 FSI(Front Side Illumination) 센서와 로우패스필터가 탑재된 고감도기종과 비교하는 것은 어려움이 있다. 따라서 화상처리 엔진이 동일하지는 않지만 최대한 화소 수 차이만 있는 고화질 기종인 D800을 사용한다.

Table 3.

Experimental camera specifications

3-3 수치적 분석결과

표 4는 고감도 특화 기종 D5의 비주얼 노이즈 수치 결과이며 타깃의 1번부터 20번 패치의 평균 수치이다.

Table 4.

High Sensitivity Specialized Camera Visual Noise Average Value

고감도 특화 기종 D5의 경우 1초에서 120초까지는 평균 수치에 있어 차이가 없었으며, 상대적으로 감도에 의한 노이즈는 변화의 폭이 컸다. 이는 디지털카메라의 모든 파라미터 설정을 OFF로 하였으나 일정 노출 시간까지는 소프트웨어적으로 노이즈 감소기능이 활성화되는 것이라 판단된다. 셔터스피드 960초와 ISO800까지의 이미지들은 육안으로 노이즈 구분이 어려웠으며 그 이상의 수치들은 육안으로 확인할 수 있었다.

Fig. 6.

Nikon D5 Long Exposure Imatest Results

Fig. 7.

Nikon D5 High-Sensitivity Imatest Results

특히 960초 이상의 장노출에서는 노이즈 발생 수치가 급격히 늘었고, 고감도에서는 ISO3200 이상부터 노이즈가 많이 발생한다는 것을 알 수 있다. 아래 표 5는 고화질 특화 기종 D800의 비주얼 노이즈 평균 결과값이다.

Table 5.

High resolution specializing camera Visual noise Average value

고화질 특화 기종 D800의 경우에도 전체적으로 셔터스피드가 길어지거나 감도가 높아질수록 비주얼 노이즈 수치는 증가하였다. 고화질 기종의 경우 장노출에서는 노이즈의 변화폭이 크지 않았으며 감도에 의한 노이즈는 상대적으로 변화의 폭이 크다는 것을 알 수 있다. 장노출의 경우 1920초부터 육안으로 노이즈가 확인되었으며 감도의 경우 ISO800부터 확인할 수 있었다.

Fig. 8.

Nikon D800 Long Exposure Imatest Results

Fig. 9.

Nikon D800 High-Sensitivity Imatest Results

D800의 경우 D5보다 1920초 이상의 장노출에서는 노이즈가 적었으며 240초 이하의 셔터스피드에서는 모두 D5보다 노이즈가 많이 발생하였다. 실제 이미지를 육안으로 확인하였을 때도 1920초 이상에서는 D5보다 노이즈가 적었다. 감도 200부터는 모든 영역에서 D5의 1스탑 높은 감도와 유사한 수치를 보였다. 두 기종 모두 장노출 1920초와 고감도 6400부터는 노이즈의 패턴이 서로 다르다는 것을 육안으로 확인할 수 있었다.

3-4 시각적 패턴 분석결과

장노출의 경우 열에 의해 발생하기에 블랙으로 촬영해야 한다. 따라서 장노출 노이즈를 효과적으로 표현할 수 있는 검은색 벨벳 천과 날카로운 물체들로 구성한 타깃을 제작하여 촬영하였으나 천의 입자로 인해 노이즈가 효과적으로 보이지 않았다. 그래서 카메라 바디 캡 장착 및 아이피스 셔터를 닫고 외부의 빛이 카메라로 들어가지 않게 구성한 다음 암실에서 촬영하였다. 고감도의 경우 자연광에서 회색 타깃을 촬영하는데 적정 노출에서 1스탑 단위로 어둡게 하여 블랙의 첫 번째 이미지를 이용하였다. 감도에 의한 노이즈는 블랙의 첫 번째가 아니면 노이즈는 급감한다. 감도에 의한 노이즈는 연산 오차에 의한 노이즈 이기에 블랙의 첫 번째가 아니면 오차범위를 벗어나기 때문이다. 그림 10~12는 이에 대한 그림이다.

Fig. 10.

Nikon D5 ISO6400 -2EV 200% magnification

Fig. 11.

Nikon D5 ISO6400 -3EV 200% magnification

Fig. 12.

Nikon D5 ISO6400 -4EV 200% magnification

그림 13, 14는 고감도 기종 D5의 3840초 장노출과 ISO6400 이미지를 500% 확대한 모습이다. 장노출 노이즈는 열에 의한 노이즈 이기에 유독 열을 많이 받은 픽셀은 핫픽셀 현상이 일어나며 주위 픽셀까지 열이 전달되어 Dot형태 의 패턴과 컬러노이즈가 발생한다. 감도에 의한 노이즈는 연산 오차로 인해 발생하기에 0과 1 즉 백과 흑의 패턴으로 나타난다.

Fig. 13.

Nikon D5 3840s 500% magnification

Fig. 14.

Nikon D5 ISO6400 500% magnification

고감도기종 D5의 장노출 노이즈 패턴은 핫픽셀이 듬성하게 발생하였고 감도에 의한 노이즈는 화면 전체에 촘촘히 퍼져 있는 형태로 나타났다. 그림 15, 16은 그림 13, 14의 전체 이미지에서 3200% 확대하여 가로세로 25개의 픽셀을 수치화해 3차원 그래프로 표현한 그림이다. 픽셀을 수치화 한 과정은 포토샵 Eyedropper Tool을 이용하여 Gray Scale 정보를 추출하여 제작하였다.

Fig. 15.

Nikon D5 3840s 3D Graph

Fig. 16.

Nikon D5 ISO6400 3D Graph

그래프에서도 확인할 수 있듯 장노출에 의한 노이즈는 듬성하게 발생하여 상부 면이 고르다는 것을 알 수 있다. 반면 감도에 의한 노이즈는 촘촘하게 발생하여 상부면이 들쭉날쭉하다. 그래프의 뾰족한 부분은 노이즈가 발생하여 모니터 화면상에 튀는 것이라고 해석하면 된다. 특히 3840초 그래프의 하부 면이 유독 뾰족한 패턴을 띄고 있는데 이것이 핫픽셀에 의한 노이즈이다. 그림 17, 18은 고화질 기종 D800의 3840초 장노출 이미지와 ISO6400 이미지를 500% 확대한 모습이다. 고화질 기종 또한 장노출 노이즈는 듬성하게 발생하였고 고감도 노이즈는 촘촘하게 발생하였다.

Fig. 17.

Nikon D800 3840s 500% magnification

Fig. 18.

Nikon D800 ISO6400 500% magnification

그림 19, 20은 D800 기종의 장노출 노이즈와 고감도 노이즈를 3차원 그래프로 표현한 그림이다. 3840초 장노출에서 D5 기종과 비교해 전체적인 노이즈는 적었지만, 핫픽셀이 보다 강하게 튀어 하부 면이 더 뾰족한 형태이다. 하지만 전반적인 패턴들은 D5 기종과 매우 유사하다. 이는 화소 수로 인해 노이즈의 양이 많고 적음을 떠나, 두 상황에서 발생하는 노이즈 패턴은 완전히 다르며 장노출에 의한 노이즈는 듬성하게 발생하고 감도에 의한 노이즈는 촘촘히 발생한다는 것을 알 수 있다.

Fig. 19.

Nikon D800 3840s 3D Graph

Fig. 20.

Nikon D800 ISO6400 3D Graph