스마트폰을 위한 광학식 손떨림 보정 설계 탐색에 관한 연구
Copyright ⓒ 2018 The Digital Contents Society
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons.org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 연구에서는 스마트폰에 적용 가능한 광학식 손떨림 보정 시스템의 저복잡도, 저면적, 저전력 설계를 위하여 자이로스코프의 샘플링 레이트 최적화, 간단한 구조의 정확도가 우수한 자이로필터 설계, 움직임 보정부의 동작속도 최적화, AD/DA 변환기의 비트폭 최적화, 액츄에이터 구동전력을 낮추기 위한 PWM 구동 시 노이즈 평가 등을 제안하였다. 자이로 샘플링 주파수는 5KHz 이상에서 에러 값이 크게 변화가 없는 것으로 확인 되었다. 자이로필터는 퍼지부를 적용하여 손떨림 각도 및 위상 오차에 대한 보상 효과를 검증하였다. PWM 구동은 선형모드 대비 약 50% 이상 소모전력이 감소하는 것을 확인하였으며, 구동 주파수 2MHz 이상에서 영상 노이즈가 감소하는 것을 확인하였다. 움직임 보정부의 동작속도는 제어부 5KHz, 구동부 10KHz로 낮추어도 특성에 문제없는 것으로 확인되었다. AD/DA 변환기의 비트폭은 AD 변환기는 11비트, DA 변환기는 10비트로 최적화되었다.
Abstract
In order to achieve the low complexity and area, power in the design of Optical Image Stabilization (OIS) suitable for the smart phone, this paper presents the following design explorations, such as; optimization of gyroscope sampling rate, simple and accurate gyroscope filters, and reduced operating frequency of motion compensation, optimized bit width in ADC and DAC, evaluation of noise effects due to PWM driving. In experiments of gyroscope sampling frequencies, it is found that error values are unvaried in the frequency above 5KHz. The gyroscope filter is efficiently designed by combining the Fuzzy algorithm, to illustrate the reasonable compensation for the angle and phase errors. Further, in the PWM design, the power consumption of 2MHz driving is shown to decrease up to 50% with respect to the linear driving, and the imaging noises are reduced in the driving frequency above 2MHz driving frequency. The operating frequency could be reduced to 5KHz in controller and 10KHz in driver, respectively, in the motion compensation. For ADC and DAC, the optimized exploration experiments verify the minimum bit width of 11bits in ADC as well as 10bits in DAC without the performance degradation.
Keywords:
Optical Image Stabilization, Low Power, Gyroscope, Pulse Width Modulation Driving, Motion Compensation키워드:
광학식 손떨림 보정, 저전력, 자이로스코프, 펄스 폭 변조 구동, 움직임 보상Ⅰ. 서론
최근 출시되는 스마트폰의 고성능화 추세에 따라서 요구되는 카메라의 성능이 증가하고 있으며, 고화소 및 고속의 이미지 센서 장착, 위상차 검출을 통한 고속 자동초점 (Phase Detection AF) 등의 기능이 확대되고 있다.[1] 특히 이미지 센서의 고화소로 인한 픽셀 사이즈의 소형화 및 민감도가 높은 렌즈를 채용함에 따라 손떨림에 의한 이미지의 화질 열화(Blur) 현상이 더욱 커지게 되었다. 이에 따라 노출 시간이 길어지는 저조도 환경에서의 영상 촬영에 대한 기기의 떨림 또는 손떨림을 보정하는 기술이 스마트폰에 적용되기 시작하였다. 또한 듀얼 카메라 기술을 이용한 광학줌(Optical Zoom) 기능의 적용이 확대 됨에 따라 광학 2배 줌 뿐만 아니라 광학 5배 줌 기술[2]에 대한 개발까지 진행되면서, 줌 기능을 통한 영상을 확대하게 되면 영상의 떨림양도 증가하기 때문에 손떨림 보정 기술은 스마트폰의 필수 사양으로써 적용이 확대되고 있다.
손떨림 보정 기술은 광학식 손떨림 보정(Optical Image Stabilization, OIS)[3]과 디지털 손떨림 보정(Digital Image Stabilization, DIS)[4], 전자식 손떨림 보정(Electrical Image Stabilization, EIS)[5] 등으로 나누어지며, 최근 동영상 촬영에 대해서 광학식과 디지털 손떨림 보정 기술의 장점을 적절하게 결합한 Fused Image Stabilization[6] 방식 및 인공지능과 전자식 손떨림 보정을 결합하여 흔들림을 예측하고, 보정 성능을 개선한 AIS (AI Image Stabilization)[7]에 대해서도 개발이 진행되고 있다. 광학식 손떨림 보정은 자이로스코프(Gyroscope)로부터 떨림양을 입력받아 흔들림에 반대되는 방향으로 렌즈를 이동시켜 영상의 열화를 보정하는 기술이다. 최근에는 자이로스코프와 가속도 센서를 이용하여 수직/수평의 직선 운동에 대해서도 보상이 가능한 4축 광학식 손떨림 보정 기술[8]까지 확대 적용되고 있다. 디지털 손떨림 보정은 영상의 프레임과 프레임간의 차영상(Difference image)을 기반으로 움직임 벡터를 추출하고, 이를 이미지 프로세싱을 통해 선명도를 증가시키는 방식이며, 전자식 손떨림 보정 기술은 자이로스코프를 이용하여 움직양을 추출하고, 이후 디지털 손떨림 보정과 동일하게 영상처리를 통하여 이미지를 안정화시키는 기술이다. 광학식 손떨림 보정 기술은 저조도 환경에서의 손떨림에 대하여 디지털 손떨림 보정 기술 대비 우수한 보정 성능을 보이고 있으며, 기구적 제약으로 대개 1~2도 정도의 떨림양을 보상할 수 있는 특징을 갖는다. 반면에 디지털 손떨림 보정은 광학식 손떨림 보정에 비하여 큰 움직임에 대한 보정에 적합하며, 회전(Rotate) 및 젤로(Jello), 롤링셔터 왜곡(Rolling shutter distortion) 등 다양한 보상이 가능하여 주로 고성능의 동영상 촬영에 많이 적용되어 진다.[6] 그러나 디지털 손떨림 보정 및 전자식 손떨림 보정 기술은 크로핑(Cropping)과 같은 영상처리를 기반으로 왜곡된 영상을 개선하기 때문에, 광학식 손떨림 보정 기술 대비 영상 화질 및 화각 측면에서 성능이 제한적일 수 밖에 없다. 특히 고화소의 듀얼 카메라에 실시간 손떨림을 처리하기 위해서 디지털 및 전자식 손떨림 보정 기술을 적용할 경우에는 이를 처리하기 위한 고사양의 하드웨어, 프레임 메모리 및 고속의 메모리를 접근하기 위한 광대역폭을 필요로 하게 된다.
광학식 손떨림 보정 기술의 시스템은 움직임을 감지하기 위한 자이로스코프, 움직임 양을 산출하기 위한 움직임 검출부, 렌즈를 구동하기 위한 액츄에이터, 움직임 양에 따라 액츄에이터를 구동하는 움직임 보정부 등으로 구성되어 있다. 본 연구에서는 스마트폰에 내장하기 위한 사양을 만족하면서 광학식 손떨림 보정 기술의 시스템 관점에서의 저복잡도, 저전력, 저면적을 구현할 수 있는 방안에 대하여 기술한다. 자이로스코프는 떨림양을 각속도로 출력하는데, MEMS 기반의 자이로스코프는 오프셋과 드리프트 등의 오류 성분을 가지고 있어서 움직임 검출부에서 이를 적절히 필터링하고 적분하여 회전 각도를 구해야 한다. 자이로스코프의 오프셋과 드리프트를 제거하기 위하여 가속도 센서 출력을 함께 이용하여 필터링[9]하거나, 칼만 필터[10][11] 등을 이용한 연구 등이 있으나, 추가적인 센서를 사용해야 하고 연산 복잡도가 증가하는 문제가 있다. 본 연구에서는 스마트폰에 적용이 가능하도록 자이로스코프 출력만을 이용하고 연산 복잡도 낮으면서도 정확도가 높은 BACF/DCF 필터[12] 및 퍼지연산[13]을 이용한 방법을 고려한다. 또한 자이로 센서의 샘플링 주파수를 가변하면서 전력소모에 관한 영향을 분석한다. 움직임 보정부는 움직임 검출부에서 출력한 회전 각도와 렌즈의 현재 위치를 입력으로 받아 제어값을 산출하여 액츄에이터를 구동하게 된다. 액츄에이터의 구동 전력을 낮추기 위하여 PWM(Pulse width modulation) 구동 방식을 적용하고, 이때 발생하는 노이즈를 저감할 수 있는 방안에 대하여 탐색한다. 또한 움직임 보정부의 전체적인 전력소모를 낮추기 위하여 동작속도를 가변하면서 시스템 성능을 탐색하고, 움직임 보정부의 면적을 최소화하기 위하여 AD/DA 변환기의 비트폭을 최적화 설계한다.
본 연구에서는 스마트폰에 적용 가능한 광학식 손떨림 보정 기술의 구현을 위하여 저복잡도, 저전력, 저면적의 광학식 손떨림 보정 회로를 설계한다. 이를 위하여 움직임 검출부의 자이로스코프 샘플링 주파수를 최적화하고, 연산 복잡도가 낮으면서 비교적 정확도가 높은 BACF/DCF 및 퍼지 연산기를 설계하고, 움직임 보정부의 소형화 구현을 위한 동작속도 및 AD/DA 변환기의 비트폭에 따른 성능 영향, 액츄에이터 구동전력 저감을 위한 PWM 구동에 따른 노이즈 영향 등을 분석한다. 본 논문의 구성은 다음과 같다. II장에서 모바일 손떨림 보정 기술과 관련한 기존연구 분석 및 해결방안을 제시하고, III장에서 모바일 광학식 손떨림 보정 기술의 구조 및 동작을 설명하고, IV장에서 실험 및 결과를 제시하며, 마지막 V장에서 결론을 맺는다.
Ⅱ. 모바일 손떨림 보정 기술과 최적화 방안
2-1 모바일 손떨림 보정 기술
모바일 손떨림 보정 기술은 디지털 손떨림 보정, 전자식 손떨림 보정, 광학식 손떨림 보정 기술로 나눌 수 있으며, 각각의 특성은 표 1과 같이 비교된다. 디지털 손떨림 보정 기술[4]은 영상의 프레임과 프레임간의 차영상(Difference image)을 기반으로 움직임 벡터를 추출하고, 이를 이미지 프로세싱을 통해 선명도를 증가시키는 방식이다. 따라서 디지털 손떨림 보정 기술은 실시간 이미지 프로세싱을 위한 고사양의 프로세서를 필요로 하고, 대용량의 고속 프레임 메모리를 요구한다. 또한 영상에 기반하여 움직임 벡터를 추출하기 때문에 손떨림 외에 피사체 자체의 움직임에 대해서도 떨림으로 인지하는 오류가 발생할 수 있으며, 저조도 환경에서 정확한 움직임 벡터를 추출할 수 없는 단점을 가지고 있다. 전자식 손떨림 보정 기술[5]은 자이로스코프를 이용하여 손떨림양을 추출하고, 이후 움직임 보정과정은 디지털 손떨림 보정과 동일하게 영상처리를 통하여 이미지를 안정화시키는 기술이다. 전자식 손떨림 보정 기술은 디지털 손떨림 보정 기술의 단점인 피사체의 움직임을 손떨림으로 인지하는 오류 및 저조도 환경에서의 동작 특성은 개선되었지만, 디블러링(Deblurring)과 크로핑(Cropping) 등과 같은 영상처리를 기반으로 왜곡된 영상을 개선하기 때문에, 그림 1과 같이 영상 화질이 저하될 수 있으며, 크로핑으로 인하여 화각이 축소 될 수 밖에 없다.[14] 특히 디지털 및 전자식 손떨림 보정 기술을 이용하여 듀얼 카메라에 각각의 손떨림 보정을 처리하기 위해서는 고사양의 프로세서, 대용량의 프레임 메모리 및 고속의 메모리를 접근하기 위한 광대역폭을 필요로 하게 된다.
광학식 손떨림 보정은 자이로스코프로부터 손떨림양을 입력받아 액츄에이터에 장착된 렌즈를 그림 2와 같이 흔들림에 반대되는 방향으로 이동시켜 빛의 왜곡을 줄임으로서 영상의 열화(Blur)를 감소시키는 기술이다.[3] 이러한 렌즈의 물리적 구동을 통한 보정은 표 1에서와 같이 영상처리 기반의 디지털/전자식 손떨림 보정기술에 비하여 화질이 우수한 장점을 가지고 있다. 광학식 손떨림 보정 기술은 자이로스코프를 이용하여 움직임 양을 추출하기 때문에 저조도 환경에서 노출시간이 길어졌을 때에도 보정성능이 우수한 장점을 가지고 있다. 그러나 광학식 손떨림 보정은 디지털/전자식 손떨림 보정기술 대비 추가적으로 렌즈를 물리적으로 구동할 수 있는 액츄에이터를 포함하며 이를 구동하기 위한 전력을 필요로 한다.
광학식 손떨림 보정 기술은 손떨림양을 산출하기 위한 자이로스코프 및 렌즈를 구동하기 위한 액츄에이터, 이를 구동하고 제어하기 위한 컨트롤러 IC를 필요로 한다. 이에 따라 카메라 모듈의 크기가 증가하고, 구동 및 제어를 위한 전력을 소모하는 단점을 가지고 있다. 따라서 광학식 손떨림 보정 기술을 스마트폰에 구현하기 위해서는 저전력, 저면적, 저복잡도 등을 고려해야 한다.
2-2 광학식 손떨림 보정 기술의 구현
광학식 손떨림 보정 기술이 탑재된 스마트폰의 카메라 모듈은 그림 3과 같이 자이로스코프, 컨트롤러 IC, 액츄에이터, 렌즈 등으로 구성되어 있다.[15] 광학식 손떨림 보정 기술 카메라는 스마트폰의 어플리케이션 프로세서 (Application Processor)로부터 동작에 관한 제어 명령어를 입력받아 실행된다. 어플리케이션 프로세서는 카메라 내부의 컨트롤러 IC 및 이미지 센서의 동작을 제어한다. 실제로 광학식 손떨림 보정 기술 데이터패스는 자이로스코프, 컨트롤러 IC, 액츄에이터, 이미지 센서 등으로 그림 4(a)와 같이 이루어진다. 자이로스코프는 손떨림양을 컨트롤러 IC로 출력한다. 움직임 검출부와 움직임 보정부로 구성된 컨트롤러 IC는 움직임 검출부에서 손떨림양을 산출하고, 움직임 보정부에서 렌즈의 현재 위치를 입력받아 액츄에이터를 적절히 구동한다. 액츄에이터는 컨트롤러 IC로부터 구동신호를 입력받아 렌즈를 이송시키며 렌즈의 위치를 컨트롤러 IC로 피드백한다.
컨트롤러 IC(그림 4(b))는 스마트폰의 어플리케이션 프로세서로부터 제어 명령어를 입력받아 동작을 수행하며, 자이로스코프로부터 움직임양과 액츄에이터로부터 렌즈의 현재 위치를 입력받아서 제어값을 산출하여 액츄에이터를 구동한다. 컨트롤러 IC 데이터패스는 움직임 검출부(ME; Motion Estimation)와 움직임 보정부(MC; Motion Correction)로 나누어 진다. 움직임 검출부는 자이로스코프로부터 회전 각속도를 입력받아 적분을 수행하여 회전각을 산출하여 움직임 보정부로 출력한다. 움직임 보정부는 회전각과 렌즈의 현재 위치를 입력받아 액츄에이터의 제어신호를 생성하고 액츄에이터를 구동한다.
움직임 검출부(그림 4(b))는 자이로스코프에서 출력된 회전 각속도를 회전각도로 산출하기 위한 적분기가 필요하며, MEMS 기반 자이로스코프에서 발생되는 드리프트 에러와 오프셋 같은 노이즈를 제거할 수 있는 필터를 필요로 한다. 자이로스코프 필터에 관한 연구는 칼만 필터를 이용한 방법[9]-[11]과 칼만 필터를 사용하지 않는 방법[12],[13]으로 나눌 수 있다. 칼만필터를 이용하는 방법은 대부분의 노이즈를 제거할 수 있어 특성이 우수하지만, 연산이 복잡하여 소형 하드웨어로 구현이 불가능하다. 또한 [9]-[11]는 자이로스코프 및 가속도계의 출력을 동시에 사용하여 노이즈를 제거하는데, 스마트폰의 카메라 모듈은 가격 및 사이즈 문제로 인해 그림 3에서와 같이 자이로스코프만을 적용하기 때문에 적용이 어렵다. 따라서 본 연구에서는 가속도계를 사용하지 않고 자이로스코프만을 이용하여, 간단하면서도 정확도가 우수한 BACF/DCF[12]와 퍼지 알고리즘[13]을 적용하는 방안을 검토한다. 또한 자이로스코프의 샘플링 주파수를 가변하면서 성능에 대한 영향을 평가하여 최적의 샘플링 주파수를 탐색하고자 한다.
움직임 보정부(그림 4(b))는 제어부와 구동부 및 AD/DA 변환기로 구성된다. 제어부는 움직임 검출부에서 출력된 회전각도와 렌즈의 현재 위치를 입력으로 받아 액츄에이터의 구동방향 및 거리를 산정하고, 이를 DA 변환기에서 액츄에이터를 구동할 수 있도록 전압으로 가변하여 구동부로 전달한다. 구동부에서는 DA 변환기에서 출력된 전압을 기반으로 액츄에이터를 구동하게 된다. 액츄에이터를 구동하기 위한 방법은 일반적으로 선형 구동(Linear driving)과 펄스폭 변조 구동(PWM; Pulse width modulation)으로 나누어지며, 전력효율 측면에서 PWM 구동이 효과적이다. 그러나 PWM 구동이 발생시키는 전원 노이즈 및 영상 노이즈(그림 5(a))를 해결하기 위한 연구가 필요하다.
AD 변환기는 렌즈의 현재 위치를 피드백 받기 위해서 액츄에이터 내부에 홀센서의 출력을 입력받아, 이를 디지털 코드로 변환하여 제어부로 출력한다. 아날로그 회로의 상당부분을 차치하는 AD 변환기 및 DA 변환기의 면적을 최소화하는 방안이 필요하게 된다. 정수 연산을 이용하여 비트폭을 가변하면서 이에 따른 양자화 오류를 기준으로 성능을 평가하여 최적의 비트폭을 탐색한다. 또한 컨트롤러 IC의 전력소모를 줄이기 위해서는 시스템의 동작속도를 적절히 낮추어야 한다. 이를 위하여 제어부와 구동부의 동작 주파수를 가변하면서 렌즈 이동시의 셋틀링 타임 및 오버슛 등과 같은 제어 안정도에 대한 영향 및 주파수 도메인에서의 이득(Gain) 마진 및 위상(Phase) 마진을 고려한 시스템 안정도를 평가하게 된다.
2-3 광학식 손떨림 보정 컨트롤러 IC 최적화 설계
최근 플래그쉽 스마트폰을 중심으로 그림 6과 같은 듀얼 광학식 손떨림 보정 기술 카메라의 채택이 증가하고 있다.[16] 따라서 스마트폰의 듀얼 카메라에 광학식 손떨림 보정 기술을 적용하기 위해서는 실장면적, 전력소모 및 복잡도를 최소한으로 낮추어야 한다. 이를 위하여 자이로스코프의 샘플링 주파수를 최적화하고, 자이로스코프의 드리프트와 오프셋을 효과적으로 처리할 수 있는 필터를 적용해야 하며, 움직임 보정부의 제어부와 구동부의 동작 속도를 낮추고, 액츄에이터 구동전력을 낮추기 위한 PWM 구동을 고려할 수 있으며, AD 및 DA 변환기의 데이터 비트폭을 가변하면서 시스템 성능을 고려하여 최적화해야 한다.
움직임 검출부의 전력소모를 줄이기 위하여 자이로 센서의 샘플링 주파수를 최적화해야 한다. 일반적으로 광학식 손떨림 보정 카메라에 사용되는 자이로스코프의 경우 샘플링 주파수를 1KHz∼32KHz 까지 변경할 수 있으며[17], [18], 샘플링 주파수 가변에 따른 정밀도의 변화가 발생하기 때문에 픽셀 이동량 기반의 식(1)과 같은 억압비(Correction ratio 또는 Suppression ratio) 평가를 통한 시스템 성능을 확인하면서 샘플링 주파수를 최대한 낮출 수 있는 범위를 탐색한다.
(1) |
움직임 검출부의 복잡도 및 면적을 최소화하기 위하여 자이로스코프의 드리프트와 오프셋 에러를 처리하는 필터를 최적화해야 한다. 이를 위하여 구현이 간단하고, 비교적 정확도가 높은 성능을 보이는 BACF/DCF[12] 및 퍼지부를 결합한 필터[13]를 설계한다. BACF/DCF는 예측 없이 추정과정으로만 구성되어 낮은 연산량과 복잡도를 가지고, 고정 이득 값으로 인하여 정지 상태 드리프트에 대한 보정성능은 뛰어나지만 급격한 변화에는 낮은 보정성능을 가진다. 이러한 급격한 손떨림 변화에 대한 적절한 처리를 구별하고 제어하기 위하여 퍼지부를 추가한다. 퍼지부는 간단한 룰기반의 모델로 사용자의 손떨림 상태와 예외 상태로 구분되며, 이에 대한 상태 값을 움직임 보정부로 전달하여적응적 제어를 수행한다.
움직임 보정부의 전력소모를 줄이기 위하여 제어부와 구동부의 동작속도를 가변하면서 주파수 응답특성(FRA, Frequency response analysis) 및 실제 렌즈 구동 시의 셋틀링 타임 및 오버슛과 같은 제어 안정성을 평가하여 최적화 설계를 진행한다.
액츄에이터를 구동하기 위한 구동부의 저전력 설계를 위해서 PWM 구동을 설계 및 구현할 수 있다. PWM 구동의 경우 스위칭 모드를 이용하여 구동전력을 효과적으로 줄일 수 있으나, 이미지 센서의 전원 및 주파수 성분에 대한 노이즈를 유발하여 영상의 가로줄 무늬가 발생할 수 있다. 따라서 PWM 구동을 전원 노이즈 개선을 위한 power routing 및 소자배치 등을 고려해야 하며, PWM 구동 주파수를 가변하면서 영상의 노이즈와의 상관 관계를 최적화해야 한다.
움직임 보정부의 면적 및 소비전력을 최소화하기 위해서는 아날로그 회로의 상당부분을 차지하는 AD 및 DA 변환기의 면적을 최적화해야 한다. 정수 연산 시뮬레이션을 통해서 비트폭을 가변하면서 각 비트폭에 대한 양자화 오류를 기준으로 성능을 평가하여 최적의 비트폭을 탐색한다.
Ⅲ. 모바일 광학식 손떨림 보정 시스템 설계
모바일 광학식 손떨림 보정시스템은 그림 7과 같이 자이로스코프 및 컨트롤러 IC, 액츄에이터 등으로 구성되어 있다. 컨트롤러 IC는 움직임 검출부(Motion Estimation), 움직임 보정부(Motion Correction) 등으로 구성되어 있다. 움직임 검출부는 자이로스코프로부터 떨림양을 입력받아 이를 필터링하기 위한 자이로필터와 퍼지부 및 회전각도를 산출하기 위한 적분기로 구성되어 있다. 퍼지부는 자이로필터 및 움직임 보정부의 손떨림 주파수에 대한 위상 오차를 보상한다. 움직임 보정부는 회전각도를 입력받아 이를 적절한 제어값 산출을 하기 위한 제어부, 제어값을 출력신호로 가변하기 위한 DA 변환기, 액츄에이터 구동을 위한 구동부와 액츄에이터의 현재 위치를 홀센서(Hall sensor)를 통하여 피드백 받기 위한 AD 변환기 등으로 구성되어 있다.
3-1 움직임 검출부 (Motion Estimation)
움직임 검출부는 그림 8과 같이 구성되어 있다. 자이로스코프로부터 손떨림 정보를 회전각속도(ω)로 입력받아, BACF/DCF [12] 및 퍼지[13] 기반의 자이로필터를 이용하여 식(2), (3)과 같이 오프셋(ϵoffset) 및 드리프트(ϵdrift) 에러를 제거한 신호(ω’)를 적분기 및 퍼지부로 출력한다. 오차가 제거된 손떨림 신호(ω’)는 적분기에 의하여 손떨림 각도(θ)로 변환되어 움직임 보정부와 퍼지부로 출력된다. 퍼지부는 그림 9와 같이 구성되어 있으며, DCF 이득(GDCF)을 자이로필터로 피드백시켜서 손떨림 주파수에 대한 위상 오차를 보상하고, 입력된 손떨림 각도(θ)의 크기에 따라 PID 이득(GPID)을 움직임 보정부에 출력하여 손떨림 주파수에 대한 위상 오차를 보상한다.
(2) |
(3) |
퍼지부의 구성은 그림 9와 같으며, 적분기에서 출력 된 회전각(θ)을 입력으로 받아 퍼지 언어 변수로 변환하는 퍼지화부(Fuzzification), 퍼지화 된 언어 변수를 퍼지 법칙을 이용하여 결과 값으로 추론하는 추론부(Inference), 추론된 언어적 결과 값을 실제 사용 가능한 출력 값으로 변환하는 비퍼지화부(De -fuzzification), 모든 퍼지 연산의 기반이 되는 지식 기반부 (Knowledge Base) 등으로 구성된다. 퍼지화부에 손떨림 각도(θ)가 입력되면, 액츄에이터의 안정적인 구동을 위해서 각도 크기에 따른 4가지 손떨림 상태(Q, 식(4))를 검출한다. 추론부는 7개의 멤버함수 ZE_P(Zero Exception Phase), VS_P(Very Slow Phase), S_P(Slow Phase), I_P(Idle Phase), F_P(Fast Phase), VF_P(Very Fast Phase), PTE_P (Pan/Tilt Exception Phase)로 구분되어 있으며, 손떨림 상태(Q)를 기반으로 각도 오차 보상 상태 및 위상 오차 보상 상태를 비퍼지화부로 출력한다. 비퍼지화부는 각도 오차 보상 상태 및 위상 오차 보상 상태를 입력받아 비퍼지화 과정을 통해서 퍼지 언어적 변수들을 실제 시스템에서 사용 가능한 DCF 이득(GDCF)과 PID 이득(GPID)을 산출한다.
(4) |
3-2 움직임 보정부 (Motion Compensation)
움직임 보정부는 그림 10과 같이 제어부, DA 변환기, 구동부, AD 변환기 등으로 구성되어 있으며, 움직임 검출부에서 출력된 회전각(θ)과 AD 변환기에서 출력 된 렌즈의 현재 위치(Pi)를 입력받아 액츄에이터를 적절히 구동하는 역할을 한다. 움직임 보정부의 전력을 낮추기 위해 제어부와 구동부의 동작속도를 가변하면서 성능에 대한 영향을 분석하고, 액츄에이터를 PWM 구동을 하면서 노이즈에 대한 영향을 평가한다. 면적을 줄이기 위해서는 AD/DA 변환기의 비트폭을 가변하면서 연산 정확도에 대한 영향을 평가한다.
제어부는 움직임 검출부에서 출력된 손떨림 각도(θ) 및 액츄에이터(홀센서)에서 출력된 현재 렌즈의 위치 값(Pi)을 입력받고, 이 두 개의 값을 차분(ei+1)하여 액츄에이터를 구동하기 위한 제어값(ci+1)을 산출한다. DA 변환기는 제어부에서 산출 된 제어값을 전류로 변환한다. 구동부에서는 DA 변환기에서 출력된 전류값을 H 브릿지 회로를 이용하여 액츄에이터 출력을 제어한다. AD 변환기는 액츄에이터의 위치를 피드백해주는 홀센서의 출력을 입력받아, 렌즈의 위치 값(Pi)을 제어부로 출력한다.
제어부는 그림 11과 같이 PID 제어기 및 퍼지 제어기로 구성된 멀티레이트(Multirate) PID 제어기로 구성되어 있다. 퍼지 제어기는 액츄에이터의 비선형적 특성을 제어한다. PID 제어기와 퍼지 제어기는 서로 다른 2개의 주기를 가지고 동작한다. 긴 주기 동안에는 퍼지 제어기가 동작하여 오차 값 (ei+1) 및 움직임 검출부에서 출력 된 GPID 및 손떨림 상태(Q)를 기반으로 현재 제어기의 상태를 판단한다. 판단된 상태에 따라 PID 제어기의 이득(GPID’) 값을 조정하여 액츄에이터의 비선형적 특성을 개선한다. 또한 손 떨림 상태에 따라 PID 제어기의 이득(GPID’) 값의 범위를 다르게 하여 최적화된 제어를 수행한다.
구동부는 그림 12와 같이 DA 변환기의 입력을 받아 PWM 발생기를 이용하여 적절한 듀티(Duty)를 생성하기 위한 제어 신호를 스위치 제어기로 전달하고, 스위치 제어기에서 H 브릿지를 제어하여 액츄에이터를 PWM 방식으로 구동 하게된다. PWM 구동은 H-브리지 회로에 PWM 발생기 및 주파수 생성기를 이용하여 각각의 스위치(그림 12의 SW1~4)를 on/off 하여 제어한다. H 브리지 회로를 PWM으로 제어하게 되면 스위칭에 따른 노이즈가 이미지 센서에 영향을 끼쳐 영상의 가로줄 무늬가 발생하여 화질을 저하하게 된다. 이를 해결하기 위해서는 액츄에이터 구동 회로와 이미지 센서 사이에 노이즈를 차단할 수 있는 물리적인 쉴드(Shield)를 배치시키거나 구동 회로의 출력단에 저주파 필터 (Low Pass Filter)를 추가할 수 있다.[19] 그러나 이미지 센서의 수광부에 물리적인 쉴드를 하게 되면 화질에 영향을 끼칠 수 있으며, 추가적인 저주파 필터는 카메라 모듈의 사이즈 증가 및 비용이 증가하는 문제가 발생한다. 따라서 PWM 구동을 위해서는 전원 노이즈 개선을 위한 소자배치 및 배선 등을 고려해야 하며, PWM 구동 주파수에 따른 이미지 노이즈와의 상관 관계를 고려해야 한다.
PWM 구동에 따른 영상 노이즈는 전원단 소자의 배치 및 레이아웃을 고려해야 하며, PWM 구동 주파수를 가변하면서 실제 영상을 비교 평가하여 노이즈를 저감할 수 있는 PWM 구동 주파수를 탐색한다. 그림 13의 L1, L2, L3는 전원단의 회로에 기생적으로 발생하는 인덕턴스 성분을 의미하며, 각각의 인덕턴스 성분에 따른 노이즈(Pn)는 식(5)와 같이 정의된다. 노이즈 성분(Pn)은 기생 인덕턴스(Ln) 및 전원단에 흐르는 전류(di)에 비례하며, 시간(dt)에 반비례하게 된다. 따라서 전원소자(그림 13(a)의 C1, C2)를 배치 시 컨트롤러 IC와 최단 거리로 배치를 해야 하고, 전원단의 배선을 최대한 굵게 확보해야 하며, 전원단의 VDD/GND 라인을 PCB 레이아웃 상에서 최대한 분리를 시켜주어야 전원 노이즈를 감쇄시킬 수 있다.
(5) |
Ⅳ. 실험 및 고찰
모바일 광학식 손떨림 보정 컨트롤러 IC는 SMIC 0.11um CMOS 공정으로 설계되었으며, 레이아웃은 그림 14와 같이 구성되어 있으며, 패키지(Package)는 WLCSP(Wafer Level Chip Scale Package) 타입으로 제작되었다. 그림 15(a)의 상단에 표기한 컨트롤러 IC 패키지는 6×5핀 배열의 총 30핀으로 외형은 2.27mm×2.75mm×0.45mm(W×H×T) 사이즈로 제작되었다.
시스템 평가를 위하여 그림 15와 같이 카메라, 컨트롤러 IC, 평가보드, 평가차트, 가진기, 변위센서 등으로 구성하였다. 가진기를 이용하여 실제 손떨림과 유사한 진동을 발생시키고, 변위센서를 통해 액츄에이터의 움직임을 확인하여 손떨림 각도 오차 및 손떨림 주파수에 대한 위상 오차 보상 성능을 확인하며 카메라로 영상을 촬영하여 PWM 구동에 따른 영상 노이즈 평가 및 손떨림 보정 된 영상의 화질을 평가한다.
4-1 움직임 검출부 성능 검증
움직임 검출부의 성능 평가를 통해서 자이로 샘플링 주파수에 따른 광학식 손떨림 보정 시스템의 동작성능과 퍼지기반 움직임 검출부의 오차 보상 손떨림 각도(θ), 위상 차이(delay) 및 손떨림 주파수 상태 검출을 측정하였다.
자이로 샘플링 주파수에 따른 광학식 손떨림 보정 시스템의 동작성능을 검증하기 위하여 그림 16과 같은 매트랩 시뮬레이션 모델을 이용하여 자이로 신호를 입력하고, 자이로 필터 및 적분기를 거친 신호와 자이로 신호를 적분해서 실제 각도로 만든 신호를 차분한 에러 값으로 성능을 확인하였다. 자이로 샘플링 주파수를 500Hz, 2KHz, 5KHz, 10KHz, 15KHz, 20KHz로 가변하여 실험한 결과, 그림 17에서와 같이 5KHz 이상에서 에러 값이 크게 변화가 없는 것으로 확인 되었다. 움직임 검출부의 전력소모를 낮추기 위하여 자이로 샘플링 주파수를 가변하여 실험한 결과 5KHz 까지 낮추어도 20KHz 대비 회전각도 산출 시 문제가 없는 것으로 확인 되었다.
움직임 검출부의 성능을 검증하기 위해서 BACF/DCF 만으로 자이로 필터를 구성한 경우와 퍼지부를 추가한 경우에 대하여 손떨림 위상 오차에 대한 보상 효과를 검증하였다. 위상 오차 보상 성능을 검증한 결과는 그림 18과 같으며, 가진각 ±0.8도 및 가진 주파수 4Hz 에서의 BACF/DCF와 퍼지기반 알고리즘의 위상 보상 결과 값을 자이로스코프의 출력값과 실제 액츄에이터의 이동변위를 비교해서 나타내고 있다. 퍼지기반 위상 오차 보상 알고리즘이 손떨림 입력신호와 움직임 보정부의 보상 값 사이의 위상 오차가 개선 되었음이 확인 된다.
모바일 광학식 손떨림 보정 시스템의 안정성을 개선하기 위해서 다양한 손떨림 상태(Q) 검출 성능을 측정하였다. 가진기를 이용하여 가변적인 손떨림 진동을 컨트롤러 IC 에 입력하고, 손떨림 상태 검출 결과를 확인하면, 그림 19에서와 같이 퍼지기반 손떨림 상태 검출 알고리즘이 입력된 진동에 따라서 손떨림 상태를 적절하게 검출하는 것을 보이고 있다. BACF/DCF 및 퍼지기반 자이로 필터의 성능에 대하여 실제 가진기를 통하여 손떨림을 입력시켜서 액츄에이터의 이동변위를 확인한 결과 위상 오차에 대한 정확도 및 손떨림 상태 검출에 대한 성능이 우수함을 확인하였다.
4-2 움직임 보정부 성능 검증
움직임 보정부의 성능 평가를 통해서 PWM 구동에 따른 영상 노이즈와 전력 효율 및 억압비 성능에 대한 평가를 진행하였고, 제어 루프 속도 가변 및 AD/DA 변환기의 비트폭 가변에 따른 광학식 손떨림 보정 시스템의 성능을 평가하였다.
PWM 구동에 따른 영상 노이즈를 평가하기 위하여 PWM 구동 주파수를 1.6MHz, 2MHz, 2.2MHz, 3.2MHz, 4.5MHz 로 가변하여 평가를 진행하였다. 그림 20에서와 같이 PWM 구동 주파수 2MHz 이상에서는 영상 노이즈가 감소하는 것으로 확인되었다.
PWM 구동에 따른 전력 효율을 평가하기 위하여 가진각도 ±1도, PWM 구동 주파수 2MHz에서 소모전력을 측정한 결과는 그림 21과 같다. 가진 주파수 6Hz 기준으로 리니어 모드에서 250mW 정도의 소모전력이 PWM 모드로 구동 시 120mW로 약 50% 이상 소모전력이 감소하는 것을 확인할 수 있다. PWM 구동에 따른 손떨림 보정 성능은 그림 22에서와 같이 PWM 구동 주파수 2MHz 에서 가진 주파수 2Hz∼10Hz 구간에서 억압비에 대한 성능을 확인한 결과, 선형 구동 대비 최대 -2dB 정도의 성능 차이를 확인할 수 있다. 움직임 보정부의 소모전력을 낮추기 위하여 PWM 모드를 적용한 결과 선형구동 대비 유사한 성능을 가지면서도 소모전력은 약 50% 이상 절감되는 것으로 확인 되었다.
제어부와 구동부의 동작속도 가변에 따른 광학식 손떨림 보정 시스템 성능 평가를 위하여 제어부와 구동부를 5KHz, 10KHz 및 20KHz 로 가변 시 성능을 측정한다. 제어부와 구동부의 동작속도를 가변하면서 액츄에이터를 100um, 200um 구동 시 동작 특성을 평가한 결과는 표 2 및 그림 23과 같다. 셋틀링 타임은 액츄에이터 이동 시작부에서 목표지점까지 구동을 완료한 시점까지의 시간을 의미하며, 구동을 완료한 시점의 기준은 목표지점의 정지상태 에러 (±1um)에 도달한 시점으로 한다. 그림 23(a)는 액츄에이터를 100um 이동 시 액츄에이터 변위를 측정한 결과이다. 제어부 5KHz 기준 구동부 10KHz 및 20KHz로 동작 시 6ms의 셋틀링 타임이 측정되었고, 제어부 10KHz, 구동부 20KHz로 동작 시 6.5ms의 셋틀링 타임이 측정되었다. 그림 23(b)는 액츄에이터를 200um 이동 시 액츄에이터 변위를 측정한 결과이다. 제어부 5KHz 기준 구동부 10KHz로 동작 시 셋틀링 타임 9.8ms, 오버슛 130um로 측정 되었고, 구동부 20KHz로 동작 시 셋틀링 타임 9ms, 오버슛 100um로 측정 되었다. 제어부 10KHz, 구동부 20KHz 구동 시 셋틀링 타임 11ms, 오버슛 130um로 측정 되었다. 제어부는 5KHz, 구동부는 10KHz 까지 낮추어도 성능에 영향이 없으며, 제어부/구동부 각 20KHz 로 동작하는 경우와 비교하여 주파수 도메인의 시스템 응답특성(FRA, Frequency Response Analysis)을 그림 24에서 비교한 결과 이득 마진(Gain margin), 위상 마진(Phase margin) 등의 특성이 크게 변하지 않는 것으로 확인되었다. 제어부와 구동부의 전력소모를 낮추기 위하여 동작속도를 최적화한 결과 제어부 5KHz, 구동부는 10KHz 로 낮추어도 액츄에이터 동작 성능 및 시스템 응답특성에 영향이 없는 것으로 확인 되었다.
AD/DA 변환기의 비트폭 가변에 따른 광학식 손떨림 보정 시스템의 성능을 평가하였다. 제어부의 출력을 DA 변환기로 출력한 후, 이를 AD 변환기로 입력하여 출력된 결과 값을 제어부 출력 값과 비교하여 에러를 계산한다. AD 변환기를 12비트로 고정 후 DA 변환기의 비트를 1∼15비트로 가변한 결과 그림 26(a)와 같이 10비트에서 에러가 수렴하며, DA 변환기의 비트폭을 12비트로 고정 후 AD 변환기의 비트폭을 1∼15비트로 가변한 결과 그림 26(b)와 같이 11비트에서 에러가 수렴하는 것을 확인 할 수 있다. 따라서 AD/DA 변환기의 면적을 최소화하기 위하여 비트폭을 가변한 결과는 DA 변환기 10비트, AD 변환기 11비트가 최적임을 확인할 수 있다.
Ⅴ. 결론
본 연구에서는 스마트폰에 적용 가능한 광학식 손떨림 보정 시스템의 저복잡도, 저면적, 저전력 설계를 위한 최적화 방안을 탐색하였다. 이를 위하여 자이로스코프의 샘플링 레이트 최적화 탐색, 저복잡도의 간단한 구조를 갖으면서도 비교적 정확도가 우수한 자이로필터 설계, 움직임 보정부의 제어부 및 구동부의 동작속도 최적화, AD/DA 변환기의 비트폭 최적화, 액츄에이터 구동전력을 낮추기 위한 PWM 구동 시 영상 노이즈에 대한 영향 등을 평가하고 분석하였다.
자이로 샘플링 주파수는 500Hz, 2KHz, 5KHz, 10KHz, 15KHz, 20KHz로 가변하여 실험을 진행한 결과, 5KHz 이상에서 에러 값이 크게 변화가 없는 것으로 확인 되었다. 자이로필터는 연산 복잡도가 낮은 BACF/DCF와 적응적 제어를 위한 퍼지부를 결합하여 검증한 결과 손떨림 각도 오차 및 위상 오차에 대한 우수한 보상 효과를 확인하였다. PWM 구동에 따른 전력 효율은 PWM 구동 주파수 2MHz에서 측정한 결과, 가진 주파수 6Hz 기준으로 선형모드 구동에 비하여 약 50% 이상 소모전력이 감소하는 것을 확인하였으며, PWM 구동 주파수에 따른 영상 노이즈를 평가한 결과 PWM 구동 주파수 2MHz 이상에서 영상 노이즈가 감소하는 것을 확인하였다. 움직임 보정부의 제어부와 구동부의 동작속도를 각 5KHz에서 20KHz로 가변하여 실험한 결과, 제어부 5KHz, 구동부 10KHz 까지 낮추어도 액츄에이터의 동작특성 및 시스템의 응답특성을 검토한 결과 성능에 문제 없는 것으로 확인 되었다. AD/DA 변환기의 비트폭을 가변하여 실험한 결과 AD 변환기는 11비트, DA 변환기는 10비트로 최적화하였다. 본 연구를 통하여 스마트폰에 적용 가능한 광학식 손떨림 보정 시스템의 저복잡도, 저전력, 저면적의 설계 및 구현을 위한 설계 공간 탐색이 진행 되었다.
Acknowledgments
본 연구는 2015년도 광운대학교 교내학술연구비 지원에 의해수행되었으며, 본 연구를 위해 지원해 주신 ㈜동운아나텍 대표이사 및 관련 임직원들께 감사드립니다.
References
- “Image sensor ISOCEL new product release for support ultra fast photography” [Internet]. Available: https://news.samsung.com/kr/?p=365769
- Optical zoom capture [Internet]. Available: http://corephotonics.com/products/optical-zoom-capture/
- OIS white paper [Internet]. Available: www.st.com/resource/en/white_paper/ois_white_paper.pdf
- DXO EIS [Internet]. Available: https://www.dxo.com/us/dxo-eis
- Video stabilization [Internet]. Available: http://www.morphoinc.com/en/technology/vstab,
- Fused Video Stabilization on the Pixel 2 and Pixel 2 XL [Internet]. Available: https://ai.googleblog.com/2017/11/fused-video-stabilization-on-pixel-2.html
- AIS [Internet]. Available: https://consumer.huawei.com/en/phones/p20-pro
- 4-Axis OIS Camera [Internet]. Available: https://c.mi.com/thread-113421-1-1.html
- H. Dejnabadi, B.M. Jolles and K. Aminian, “A New Approach to Accurate Measurement of Uniaxial Joint Angles Based on a Combination of Accelerometers And Gyroscopes,” IEEE Trans. Biomed. Eng, vol. 52, July 2005, pp. 1478–1484 [https://doi.org/10.1109/TBME.2005.851475]
- J. W. Chia, M. S. C. Tissera, K. S. Low, S. T. Goh and Y. T. Xing, "A low complexity Kalman filter for improving MEMS based gyroscope performance," 2016 IEEE Aerospace Conference, Big Sky, MT, 2016, pp. 1-7 [https://doi.org/10.1109/AERO.2016.7500795]
- G. Yanning, H. Fei, D. Shaohe, M. Guangfu and Z. Liangkuan “Performance Analysis of MEMS Gyro and Improvement using Kalman Filter,” IEEE 34th Chinese Control Conference, July 2015, pp. 1934-1768
- S. K. Lee, J.-H. Kong, “The Design and Evaluation of BACF/DCF for Mobile OIS Gyro sensor’s zero point angle following”, The Institute of Electronics Engineers of Korea, Journal of IEEK, vol. 49 No. 8, pp16-21, 2012
- S. K. Lee, J.-H. Kong, “Design and Implementation of Fuzzy-based Algorithm for Hand-shake State Detection and Error Compensation in Mobile OIS Motion Detector”. The Institute of Electronics and Information Engineers, Journal of IEIE, vol. 52, No. 8, pp.29-39, 2015 [https://doi.org/10.5573/ieie.2015.52.8.029]
- ROHM OIS white paper [Internet]. Available: https://www.rohm.com/documents/11308/12928/OIS-whitepaper.pdf
- Galaxy S7 edge [Internet]. Available: https://www.chipworks.com/about-chipworks/overview/blog/samsung-galaxy-s7-edge-teardown
- Galaxy S9 [Internet]. Available: https://ko.ifixit.com/Teardown/Samsung+Galaxy+S9%2B+ Teardown/104308?lang=en
- ICG-20330 spec. [Internet]. Available: http://www.invensense.com/wp-content/uploads/2015/12/DS-000127-ICG-20330-v1.0-1.pdf
- ST Gyroscope [Internet]. Available: https://www.st.com/en/mems-and-sensors/gyroscopes.html
- Kai G., Tsuchiya S., “DRIVE CIRCUIT AND DRIVING METHOD FOR LINEAR ACTUATOR, LENS MODULE USING THEM AND ELECTRONIC EQUIPMENT”, Patent No. JP05836041B2
1980년 : 서울대학교 전자공학과 학사 졸업
1982년 : 한국과학기술원 전기 및 전자공학과 석사 졸업
1989년 : 텍사스 주립대학교 (Austin) 컴퓨터공학과 박사 졸업
1989년~현재: 광운대학교 소프트웨어융합대학 컴퓨터정보공학부 교수
※관심분야: 영상신호처리 SoC 설계, Embedded Computing System 설계
2002년 광운대학교 컴퓨터공학과 학사 졸업
2004년 광운대학교 컴퓨터공학과 석사 졸업
2006년 광운대학교 컴퓨터공학과 박사과정 수료
2006년~현재: ㈜동운아나텍 기술개발본부 근무
※관심분야: 모바일 카메라 및 프로세서(AP), 영상신호처리(ISP), Embedded Computing System 설계