마이크로 스케일 물체의 3차원 정보 획득을 위한 구조 조명 현미경 최적화 기술

Ⅰ. 서 론

최근, 가상현실 기기와 콘텐츠 제작 기술의 발전으로 실제의 세상을 가상공간 상에 구현이 가능하게 되었다. 이로 인해 직접 방문하기 힘들었던 장소들을 쉽게 체험할 수 있게 되었다. 예컨대, 3차원으로 복원된 세계 유명 문화유산들을 탐사하거나, 세계의 유명 관광지를 가상현실 기기를 활용, 시간과 공간의 제약 없이 둘러볼 수 있게 되었다 [1, 2, 3]. 물론 이러한 것들은 가상현실이 아닌 실제 여행을 통해서도 경험이 가능하다. 하지만 실제로 경험이 불가능한 세계는 가상현실을 통해 체험할 수 있다. 영화 ‘앤트맨’, ‘이너 스페이스’ 등에서는 주인공이 매우 작은 크기로 줄어들어 인체 속을 탐험하거나 육안으로 보기 힘든 미시세계를 탐험한다. 현실에서는 직접 미시세계를 탐험하는 것이 불가능하지만 가상현실을 활용한다면 가능할 것이다. 미시세계를 가상현실로 구현하기 위해서는 인공적인 3차원 물체를 제작할 수도 있겠지만, 현실감과 몰입감을 높이기 위해서는 실사화하는 것이 가장 좋은 방법이다. 미시세계를 실사화하기 위해서는 일반 전역 현미경 (conventional wide-field microscopy)이나 전자 주사 현미경을 활용할 수 있으나, 일반 전역 현미경에서는 물체의 3차원 정보 획득이 어렵고 전자 주사 현미경은 전역의 표면 정보를 단시간에 획득하기에는 무리가 있다 [4, 5]. 마이크로 스케일 물체의 전역 3차원 정보를 단시간에 빠르게 획득하는 방법은 바로 구조 조명 현미경을 이용하는 것이다.

구조 조명 현미경(structured illumination microcopy)은 반도체 및 미세 제품의 3차원 형상 측정에 쓰이는 기술로, 기존 현미경이 갖고 있는 분해능을 뛰어넘는데 이는 빛의 회절현상을 극복하는 몇 가지 방법들로 인해 가능하게 되었다 [6]. 구조 조명 현미경은 공초점 현미경과 비슷한 원리를 따르는데 간단한 시스템으로도 구성이 가능하며, 횡방향 분해능 향상 [7-10]뿐 아니라 축방향 분해능 [11-14] 향상도 가능한 3차원 형상 측정 기술이다.

일반 전역 현미경은 비초점면에서 모든 공간 주파수가 감쇄되지 않아 현미경 상에 흐릿한 이미지가 보인다 [15]. 여기서, 일반 전역 현미경이 초점이 흐려짐에 따라 DC 주파수가 감쇄되지 않는 점을 이용하면 초점이 맺는 부분만을 효율적으로 이미지화할 수 있다. 구체적으로, 구조 조명 현미경에서는 격자 패턴을 샘플에 조사하여 모아레 효과 (moire effect)에 의해 고공간 주파수를 DC 주파수 근처로 이동시킬 수 있다. 그리고, DC 주파수를 제외한 고공간 주파수만 선택적으로 추출할 수 있다면 현미경 상에 초점이 또렷하게 맺힌 이미지를 복원할 수 있다. 이것은 광학 단면을 통해 수행되며, 수치적으로는 제곱 검출법이라 불린다 [16]. 광학 단면을 위해, 먼저, 3장의 위상 천이된 이미지가 필요하다. 격자 패턴의 상대 위상에 따라 변조된 3장의 위상 천이 이미지는 제곱 검출법에 의해 1장의 광학 단면 이미지로 변환된다. 이 광학 단면 이미지는 임의의 종축 위치에서의 샘플의 강도 (intensity) 정보를 포함한다. 따라서 샘플을 축방향으로 주사하면서 광학 단면을 수행하면, 축방향 강도 (axial intensity)를 구할 수 있다. 이때, 최고 축방향 강도 위치가 초점이 맺는 부분이며, 이를 카메라 전체 픽셀에 대해 계산하면 3차원 높이맵 (height map)을 구현할 수 있다 [14].

기존 연구에서는 단순히 샘플을 측정하여 분석하는 것에 반해, 본 논문에서는 적절한 고공간 주파수 격자 패턴에 의해 광학 단면을 최적화하여 미시세계를 실사화할 수 있는 방안에 대해 기술한다. 고공간 주파수 격자 패턴에 의해 수행된 광학 단면에서는 광학 전달 함수 (optical transfer function)가 유효적으로 확장되며, 이를 통해 샘플의 고주파수 성분을 측정하여 3차원 정보를 획득할 수 있다. 실사화된 마이크로 스케일 물체 (microscale objects)를 통해 미시세계 가상현실을 구현할 수 있을 것이라 기대된다.

Ⅱ. 일반 전역 현미경

종래의 전역 현미경에서, 평면파가 샘플에 조명된 후, 카메라 상에 기록된 이미지는 식 (1)과 같다.

여기서 r, I_s, h(r)은 각각 격자 패턴의 공간 위치, 샘플로부터 반사되는 빛의 강도, 점상 분포 함수 (PSF; point spread function) 이다.

식 (1)을 푸리에 변환하여 주파수 스펙트럼을 분석하면 식 (2)로 기술된다.

여기서 $$ I_0,\tilde{h}\left(\mathrm{k}\right),\tilde{S}\left(\mathrm{k}\right)$$은, 샘플로 입사되는 평행광 강도, 광학 전달 함수 (optical transfer function), 샘플의 주파수 스펙트럼이다. 종래의 전역 현미경에서는 초점이 흐려짐에 따라 모든 공간 주파수가 함께 감쇄되지 않는다. 이는 비초점면에서도 샘플의 공간 주파수 성분이 남아있다는 것을 의미한다. 즉, 식 (2)에서 이미징 시스템의 제한된 광학 전달 함수 내의 차단 주파수 (cut-off frequency) 에 의해 DC 주파수 근처의 저공간 주파수만 측정하게 된다. 이 주파수 스펙트럼은 그림 1에서 보는 것처럼, 고공간 주파수 스펙트럼을 포함하지 않고 배경 잡음을 초래하는 종래 이미지 (conventional image)만 포함하기 때문에 초점면에서도 흐릿한 이미지가 현미경 상에 보인다.

Fig. 1.

The conventional image in the frequency domain.

Ⅲ. 구조 조명 현미경

3-1 시스템 구성 및 작동 원리

구조 조명 현미경의 시스템 구성 및 작동 원리는 다음과 같다. 광원으로부터 나온 빛이 격자 패턴으로 디자인된 필름 마스크에 투사된 후, 다시 샘플로 입사되고 위상 천이와 함께 광학 단면을 통해 샘플의 변조 강도를 알 수 있게 된다. 위상 천이는 필름 마스크를 격자 패턴 주기의 0, 2/3π, 4/3π 만큼 기계적으로 움직여서 이루어지고, 광학 단면은 총 3장의 위상 천이된 이미지를 식 (3)의 제곱 검출법에 의해 수행된다. 광학 단면에선 임의의 종축 위치에서의 샘플의 강도를 알 수 있다 [14].

$\[ I_{\mathrm{s}\mathrm{e}\mathrm{c}}=\sqrt{{\left(I_1-I_2\right)}^2+{\left(I_2-I_3\right)}^2+{\left(I_3-I_1\right)}^2} \]$

(3)

이 광학 단면 이미지는 격자 패턴과 샘플의 상이 일치하는 부분만 현미경 상에서 보여주기 때문에 초점이 맺히는 부분이 없으면 정규화 강도 (normalized intensity)가 0에 가까운 이미지를 얻게 되고 반대로 초점이 맺히는 부분에서는 정규화 강도가 1에 가까운 이미지를 얻게 된다.

광학 단면과 함께 샘플의 축방향 주사를 수행하게 되면 광학 단면 이미지가 적층되고, 카메라 각 픽셀마다 축방향 강도를 구할 수 있다. 이때, 정규화 강도가 1인 축방향 위치가 초점이 맺히는 부분임을 알게 된다. 위 과정을 카메라의 모든 픽셀에 대해 계산하여 3차원 좌표에 표기하면 3차원 높이맵을 추출할 수 있고, 이를 토대로 샘플의 단차를 구할 수 있다.

본 연구에서는, 구조 조명 현미경의 구동을 위해 그림 2와 같은 결상 광학계를 구성하였다. 광원은 비간섭성 백색광 LED (MWWHLP1, Thorlabs)을 사용하였고, 위상 천이는 격자 패턴이 디자인된 필름 마스크를 압전 스테이지 (Q-522, Physik Instrument) 위에 설치하고 기계적으로 움직였다. 샘플 또한 압전 스테이지 위에 설치하여 위와 같은 방식으로 주사하였다.

Fig. 2.

Schematic diagram of Structured Illumination Microscopy (SIM) system.

실험에 사용한 압전 스테이지의 최대 분해능은 1 ㎚ 이므로 대물렌즈 (0.42NA, 20X Plan Apo Infinity Corrected Long WD Objective, Mitutoyo)의 초점심도 내에서 수백 ㎚ 까지 축방향 분해능 (axial resolution)을 제공할 수 있었다. 샘플은 굴곡이 없는 거울을 사용하였고, 축방향으로 1 ㎛ 씩 주사하면서 총 100㎛ 를 주사하였다. 이때, 위상 천이를 통해 변조된 샘플의 강도를 얻을 수 있었다. 위상 천이와 함께 샘플은 축방향 주사를 하게 되는데 격자 패턴이 샘플에 정확히 초점이 맺을 경우, 카메라 (DMK 33GX174e, The Imaging Source)에서 또렷한 이미지가 검출되었다. 이 초점 위치로부터 측정 대상 표면의 단차(높낮이)를 구할 수 있었다.

3-2 공간 주기에 따른 축방향 응답의 변화

정현파 격자 패턴 (sinusoidal pattern)을 샘플에 조사하면,

$\[ I_{\in }=I_0\left[1+mcos\left(2\pi {\mathrm{k}}_0+{\varphi }_0\right)\right] \]$

(4)

격자 패턴의 주파수 스펙트럼은 고주파수로 확장된다. 이는 아래와 같은 식으로 기술된다.

$\[ {\tilde{I}}_{\in }=I_0\left[\delta \left(\text{k}\right)+\left(m/2\right)e^{i{\varphi }_0}\delta \left(\text{k}-{\text{k}}_0\right)+\left(m/2\right)e^{-i{\varphi }_0}\delta \left(\text{k}+{\text{k}}_0\right)\right] \]$

(5)

여기서 m은 변조 깊이 (modulation depth), k₀는 격자 패턴의 공간 주파수, ϕ₀은 격자 패턴의 위상을 뜻한다. 위의 식은 $$ \tilde{I}\left(\mathrm{k}\right)=\left({\tilde{I}}_{\in }⨂\tilde{S}\right)\tilde{h}\left(\mathrm{k}\right)$$에 의해 식 (6)으로 변환된다.

$\[ \tilde{I}\left(\mathrm{k}\right)=I_0\tilde{h}\left(\mathrm{k}\right)\left[\tilde{S}\left(\mathrm{k}\right)+\left(m/2\right)e^{i{\varphi }_0}\tilde{S}\left(\mathrm{k}-{\mathrm{k}}_0\right)+\left(m/2\right)e^{-i{\varphi }_0}\tilde{S}\left(\mathrm{k}+{\mathrm{k}}_0\right)\right] \]$

(6)

식 (6)에서 격자 패턴에 의해 광학 전달 함수가 유효적으로 고주파수로 확장되어 샘플의 고공간 주파수 성분을 관찰할 수 있다. 격자 패턴의 공간 주파수가 고주파수로 확장될수록 광학 전달 함수 또한 고주파수로 확장된다. 광학 전달 함수가 유효적으로 확장된 영역은 그림 3.에서 확인할 수 있다. 특히, 이미징 시스템의 차단 주파수 (cut-off frequency)의 0.5배에 해당하는 공간 주파수를 사용하였을 경우, 최대 광학 단면을 얻을 수 있다 [14]. 하지만 위의 식 (6)은 종래의 이미지 (conventional image)를 포함하고 있기 때문에 이를 제거해야할 필요가 있다. 이는 앞서 설명한 광학 단면을 통해 제거가 되며 이를 위해 식 (3)의 제곱 검출법이 수행된다. 광학 단면 후의 주파수 스펙트럼은 식 (7)로 기술된다.

Fig. 3.

The structured illumination image in the frequency domain.

$\[ \tilde{I}{\left(\mathrm{k}\right)}_{\mathrm{s}\mathrm{e}\mathrm{c}}=\left(m/2\right)e^{-i{\varphi }_0}\tilde{S}\left(\mathrm{k}+{\mathrm{k}}_0\right) \]$

(7)

식 (7)에서 최종적으로 복원된 샘플의 주파수 스펙트럼은격자 패턴의 주파수만큼 확장된 것을 확인할 수 있다. 최종적으로 광학 단면 후에 복원된 샘플의 주파수 스펙트럼 영역은 그림4.에서 확인할 수 있다. 샘플의 고주파수 성분은 미세한 영역을 담고 있으므로 광학 단면을 통해 촬영된 이미지는 미시세계를 실사화한 것이라 할 수 있다. 이때, 사용되는 격자 패턴이 고공간 주파수로 갈수록 샘플의 미세한 영역을 자세히 촬영할 수 있지만 격자 패턴의 대비가 낮아지기 때문에 광학 단면 효과는 떨어지게 된다. 따라서 적절한 고공간 주파수 격자 패턴을 사용하는 것은 자명하다.

Fig. 4.

The sectioned image in the frequency domain.

위에서 기술한 내용을 증명하기 위해 공간 주파수를 변경하며 광학 단면에 의한 축방향 응답을 측정하였다. 축방향 응답은 식 (8)로 기술된다.

$\[ I_{\mathrm{s}\mathrm{e}\mathrm{c}}\left(u\right)~\left|\frac{2J_1\left[2u\tilde{v}\left(1-\tilde{v}/2\right)\right]}{2u\tilde{v}\left(1-\tilde{v}/2\right)}\right| \]$

(8)

여기서 u, $$ \tilde{v}$$는 정규화 디포커스, 공간 주파수 (normalized defocus and spatial frequency of a grid pattern)이다. 정규화 공간주파수가 1 일 때, 최대 광학 단면 강도 (optical sectioning strength)를 얻을 수 있다 [14].

그림 5는 공간 주파수에 따른 격자 패턴의 주파수 스펙트럼을 보여준다. (a) 보다 (b)에서 격자 패턴의 공간 주파수는 커지며, 이에 따라 카메라에서 획득된 격자 패턴의 주파수 스펙트럼도 고주파수로 확장된다. 고주파수로 확장된 격자 패턴의 공간 주파수에 의해 샘플의 고공간 주파수 성분을 관찰할 수 있었다. (b)에서 격자 패턴의 정규화 공간 주파수는 1이었다.

Fig. 5.

The extended frequency spectrum with high spatial frequency of the grid pattern. 50 lp/mm (left), 100 lp/mm (right).

그림 6은 공간 주파수에 따른 축방향 응답의 변화를 보여준다. 격자 패턴의 공간 주파수가 커질수록, 축방향 응답의 반치폭 (FWHM; Full width at half maximum)이 줄어드는 것을 확인할 수 있었다. 반치폭이 줄어들수록 광학 단면의 효과는 커진다. 공간 주파수가 100 lp/mm 인 격자 패턴을 이용한 광학 단면에서의 반치폭은 13㎛ 로 측정되었으며, 공간 주파수가 50 lp/mm 인 격자 패턴을 이용한 광학 단면에서의 반치폭은 16㎛ 로 측정되었다. 따라서, 정규화 공간 주파수가 1인 격자 패턴에서 최대 광학 단면을 얻을 수 있었다.

Fig. 6.

Measured axial responses

그림 7은 100 lp/mm의 공간 주파수를 갖는 격자 패턴을 사용하여 광학 단면에 의해 복원된 동전의 3차원 높이맵이다. 축방향 주사는 1 ㎛ 간격이며, 총 주사 범위는 100 ㎛ 로 수행되었다. 동전의 높이는 공초점 현미경 (PRECITEC, CHRocodile C.)을 사용하여 측정하였을 때, 측정 불확도 (1 µm)에 의해 30 µm 내외로 추정되었다. 광학 단면에 의한 측정치 역시 30 µm 내외로 추정되어 공초점 현미경 만큼 분별력 있는 높낮이 정보를 제공하였다. 위의 실험 결과를 토대로 마이크로 스케일 물체의 실사화가 가능하다는 것을 증명하였고, 실사화된 마이크로 스케일 물체의 3차원 정보를 이용하여 가상현실을 구현할 수 있을 것이다.

Fig. 7.

The reconstructed 3D height map. (a) actual image of the dime. (b) side view and (c) top view

Ⅳ. 결 론

본 논문에서는, 마이크로 스케일 물체의 3차원 정보를 획득하기 위한 구조 조명 현미경 최적화 방법에 대해서 다루었다. 현미경의 성능을 평가하기 위해 격자 패턴의 물리적 공간 주기를 변화하면서 광학 단면을 수행하였다. 이때, 각각의 축방향 응답의 반치폭을 측정하여 광학 단면 강도를 구할 수 있었다. 광학 단면 강도가 제일 우수한 시스템에서 구조 조명 현미경의 성능은 향상되었다. 최대 광학 단면은 정규화 공간 주파수가 1인 격자 패턴을 사용하여 수행됐다. 이 시스템에서는 고주파수로 확장된 격자 패턴의 공간 주파수에 의해 광학 전달 함수가 효과적으로 확장되는 것을 확인할 수 있었으며, 확장된 광학 전달 함수에 의해 샘플의 고공간 주파수 성분을 성공적으로 측정할 수 있었다. 본 연구에서 실사화된 마이크로 스케일 물체를 통해 미시세계 가상현실을 구현할 수 있을 것이다. 향후에는 배경 잡음이 없는 실사회된 마이크로 스케일 물체를 얻기 위한 연구를 진행하여 미시세계의 가상현실을 피로감 없이 체험하는데 도움을 줄 것으로 예상된다.

Acknowledgments

본 연구는 문화체육관광부 (MCST) 및 한국콘텐츠진흥원 (KOCCA)의 지원을 받았습니다 (R2017060005, 홀로그램 기반 AR 플랫폼 개발).

참고문헌

• A. Gaitatzes, D. Christopoulos, and M. Roussou, “Reviving the past: cultural heritage meets virtual reality”, in Proceedings of the 2001 Conference on Virtual Reality, Archeology, and Cultural Heritage, Athens, ACM, p103-110, (2001).
• F. Loizides, A. El Kater, C. Terlikas, A. Lanitis, and D. Michael, “Presenting Cypriot cultural heritage in virtual reality: a user evaluation”, in Digital Heritage. Progress in Cultural Heritage: Documentation, Preservation, and Protection, Limassol, Springer, p572-579, (2014).
• H. Rua, and P. Alvito, “Living the past: 3D models, virtual reality and game engines as tools for supporting archaeology and the reconstruction of cultural heritage – the case-study of the Roman villa of Casal de Freiria”, J. Archaeol. Sci., 38(12), p3296-3308, Dec), (2011. [https://doi.org/10.1016/j.jas.2011.07.015]
• P. Leinen, M. F. Green, T. Esat, C. Wagner, F. S. Tautz, and R. Temirov, “Virtual reality visual feedback for hand-controlled scanning probe microscopy manipulation of single molecules”, Beilstein J. Nanotechnol, 6(1), p2148-2153, Nov), (2015. [https://doi.org/10.3762/bjnano.6.220]
• C. Cali, J. Baghabra, D. J. Boges, G. R. Holst, A. Kreshuk, F. A. Hamprecht, et al., “Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues”, J. Comp. Neurol., 524(1), p23-38, July), (2015.
• M. Saxena, G. Eluru, S. S. Gorthi, “Structured illumination microscopy”, Advances in Optics and Photonics, 7(2), p241-275, May), (2015.
• R. Fiolka, L. Shao, E. H. Rego, M. W. Davidson, and M. G. L. Gustafsson, “Time-lapse two-color 3D imaging of live cells with doubled resolution using structured illumination”, Proceedings of the National Academy of Sciences, 109(14), p5311-5315, Apr), (2012. [https://doi.org/10.1073/pnas.1119262109]
• L. Shao, P. Kner, E. H. Rego, and M. G. L. Gustafsson, “Super- resolution 3D microscopy of live whole cells using structured illumination”, Nature methods, 8(12), p1044, Oct), (2011. [https://doi.org/10.1038/nmeth.1734]
• M. G. Gustafsson, L. Shao, P. M. Carlton, C. R. Wang, I. N. Golubovskaya, W. Z. Cande, D. A. Agard, J. W. Sedat, “Three-dimensional resolution doubling in wide-field fluorescence microscopy by structured illumination”, Biophysical journal, 94(12), p4957-4970, June), (2008. [https://doi.org/10.1529/biophysj.107.120345]
• M. G. Gustafsson, “Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy”, Journal of microscopy, 198(2), p82-87, May), (2000.
• D. Karadaglić, T. Wilson, “Image formation in structured illumination wide-field fluorescence microscopy”, Micron, 39(7), p808-818, Oct), (2008. [https://doi.org/10.1016/j.micron.2008.01.017]
• M. A. A. Neil, A. Squire, R. Juskaitis, P. I. Bastiaens, and T. Wilson, “Wide-field optically sectioning fluorescence microscopy with laser illumination”, J. Microsc., 197, p1-4, Dec), (2000. [https://doi.org/10.1046/j.1365-2818.2000.00656.x]
• M. A. A. Neil, R. Juskaitis, and T. Wilson, “Real time 3D fluorescence microscopy by two beam interference illumination”, Opt. Commun., 153(1-3), p1-4, July), (1998. [https://doi.org/10.1016/s0030-4018(98)00210-7]
• M. A. A. Neil, R. Juškaitis, T. Wilson, “Method of obtaining optical sectioning by using structured light in a conventional microscope”, Opt. Lett., 22(24), p1905-1907, Dec), (1997. [https://doi.org/10.1364/ol.22.001905]
• T. Wilson, C. J. R. Shepparu, and K. Löschke, Theory and practice of scanning optical microscopy, London, CL, Academic Press, (1984).
• A. B. Carlson, Communication Systems, 3th ed., New York, NY, McGraw-Hill, (1988).