KR20120008518A

KR20120008518A - 디지탈 이미징 시스템, 플레놉틱 광학기구 및 이미지 데이타 처리방법

Info

Publication number: KR20120008518A
Application number: KR1020117026075A
Authority: KR
Inventors: 울리히 페르바쓰; 크리스티안 페르바쓰
Original assignee: 레이트릭스 게엠베하
Priority date: 2009-04-22
Filing date: 2009-12-04
Publication date: 2012-01-30
Anticipated expiration: 2029-12-04
Also published as: CN102439979B; EP2422525B1; US8619177B2; US20120050562A1; JP2012525028A; WO2010121637A1; EP2422525A1; CA2757944A1; EP2244484A1; BRPI0925051A2; JP5411350B2; EP2244484B1; AU2009344681A1; CN102439979A; ATE551841T1; KR101605392B1

Abstract

본 발명에 따른 플레놉틱 광학 기구의 이미지를 합성하기 위한 구조를 갖는 디지탈 이미징 시스템은 미리 정해진 이미지 평면에 배열된 다수의 광센서들을 포함하는 광센서 어레이; 및 피사체로부터 상기 광센서 어레이까지 광을 검출하기 위해 배열된 다수의 마이크로렌즈들을 포함하는 마이크로렌즈 어레이;를 포함하고, 상기 광센서 어레이 및 마이크로렌즈 어레이는 미리 정해진 거리로 배열되며, 상기 마이크로렌즈들은 마이크로렌즈 어레이에 걸쳐 변경된 상이한 초점 길이들을 가지며, 그리고 상기 광센서 어레이의 이미지 평면은 상기 광센서 어레이와 마이크로렌즈 어레이 사이의 거리가 마이크로렌즈들의 초점 길이와 동일하지 않는 방도로 배열된 것을 특징으로 한다. 아울러, 디지탈 이미징 시스템을 포함하는 플레놉틱 광학 기구 및 디지탈 이미징 시스템으로 수집한 이미지 데이타를 처리하기 위한 방법도 기술된다.

Description

디지탈 이미징 시스템, 플레놉틱 광학기구 및 이미지 데이타 처리방법{Digital imaging system, plenoptic optical device and image data processing method}

본 발명은 플레놉틱 광학기구(plenoptic optical device)(이를 테면, 플레놉틱 카메라)의 이미지를 합성하기 위한 구조의 디지탈 이미징 시스템에 관한 것이다. 아울러, 본 발명은, 이를 테면 디지탈 이미징 시스템을 포함하는 카메라 기구, 스캐닝 기구, 또는 현미경 기구와 같은 광학기구에 관한 것이다. 아울러, 본 발명은 디지탈 이미징 시스템으로 수집된 이미지 데이타를 처리하기 위한 방법에 관한 것이다. 상세하게는, 본 발명은 라디안스 포토그래피(Radiance Photography)를 위한 카메라(플레놉틱 카메라)를 적용하는 시스템 및 선명도의 깊이를 변화시키면서 화상을 형성 및 디스플레이하는 방법에 관한 것이다.

플레놉틱 카메라(광 필드 카메라)는 광 필드(light field)에서 광 분포 및 광방향을 샘플링 할 수 있는 카메라이다. 이 정보의 기초에 관해, 이미지들은 증가된 초점 깊이로서 수집될 수 있고 또는 디지탈화 되어 다시 초점을 맞추어질 수도 있다. 표준형 플레놉틱 카메라에 있어, 마이크로렌즈 어레이가 이미지 평면의 전방에, 예컨대 사진 건판(photographic plate) 또는 광센서 어레이(photosensor array)로서 위치한다. 이 구성은 특정 평면상에 초점을 갖는 광을 기록시킬 뿐만 아니라 렌즈들로부터 나오는 광선의 필드(광 필드)를 기록시킨다. 최종 이미지는 컴퓨터 알고리즘을 이용하여 기록된 초기 데이타(raw data)로부터 발생될 수 있고, 그 이유는 플레놉틱 카메라가 컴퓨터 사진학 분야에 속하는 것으로 관련되기 때문이다. 여기서 알고리즘은 상이한 (허상) 초점면에서의 광 필드로부터 이미지를 발생시키고 또한 다중 위치에서의 씬 깊이(scene depth)를 추정하기 위해 존재한다.

앞서 공개된 2개의 플레놉틱 카메라 설계내용은 다음과 같다:

1. 표준형 플레놉틱 카메라(standard plenoptic camera)는 1908년에 Lippmann에 의해 1차 기술된 것으로서, 이것은 WO 2007/092581 A2에 그리고 "Stanford Tech Report" CTSR 2005-02에서 Ren Ng 등에 의해 기술되어 있다. 이 플레놉틱 카메라의 유효 분해능( effective resolution)은 사용된 마이크로렌즈의 수와 동일하다.

2. "초점형 플레놉틱 카메라(focused plenoptic camera)"는 2008년에 Lumsdaine 및 Georgiev에 의한 기술 보고서(A. Lumsdaine and T. Georgiev. Full resolution lightfield rendering. Technical report, Adobe Systems, January 2008) 및 US 2009/0041448에 1차 기술되었으며, 이들 공보에 기술된 디자인은 보다 높은 유효 분해능을 얻는다. 그러나, 플레놉틱 카메라의 성취가능한 유효 분해능의 분석적인 계산을 허용하는 어떠한 이론도 제출되지 않았다. 아울러, 통상적인 이미지 랜더링 알고리즘은 주파수 영역에 이미지를 변형시킴으로써 작동한다.

변형된 플레놉틱 카메라 및 관련된 알고리즘은 WO 2006/039486 A2에 기술되어 있다. 상기 표준 기술과 함께, 이 플레놉틱 카메라는 메인 렌즈, 마이크로렌즈 어레이 및 상기 마이크로렌즈 어레이 보다 더 세밀한 피치를 가지는 광센서 어레이를 포함한다. 상기 메인 렌즈의 초점면에 배열되어져 있는 상기 마이크로렌즈 어레이는, 상기 마이크로렌즈들 중 어느 하나를 통과하는 광이 다른 마이크로렌즈를 통과하는 광과 겹치지 않도록 하는 방도로 선택된 서로 다른 사이즈를 갖는 마이크로렌즈들로 구성될 수 있다. 서로 상이한 마이크로렌즈들로서 국부적으로 변화하는 각도 분해능을 얻어질 수 있지만, 모든 마이크로렌즈들의 초점은 공동 평면(광센서 어레이의 평면)을 분할한다. 이를 테면, 종래의 플레놉틱 카메라의 모든 마이크로렌즈들은 동일한 초점 길이를 가져서 불명확한 거리로 가상 이미지를 이미지처리한다. 따라서, 상기 WO 2006/039486 A2에 기술된 플레놉틱 카메라의 이미징 성질들은 본질적으로 상기 표준형 플레놉틱 카메라의 성질들과 동일하다.

모든 종래의 플레놉틱 카메라는 다음의 단점들을 갖고 있다. 초점 깊이는 표준형 셋업으로도 증가할 수 있지만, 종래의 플레놉틱 카메라의 유효 분해능의 어떠한 개선도 사용된 마이크로렌즈의 수량에 의해 제한된다.

본 발명의 목적은 플레놉틱 광학기구의 이미지를 합성하기 위한 것으로서, 종래의 디지탈 이미징 기술의 단점들을 피할 수 있는 개선된 디지탈 이미징 시스템을 제공하는 데 있다. 아울러, 본 발명의 목적은 디지탈 이미징 시스템을 포함하는 개선된 광학기구를 제공하는 데 있다. 아울러, 본 발명의 목적은 디지탈 이미징 시스템으로 수집된 이미지 데이타를 처리하기 위한 개선된 방법을 제공하는 데 있다.

상기 목적들은 개별 독립 청구항들의 특징기술을 포함하는 디지탈 이미징 시스템, 광학기구 및 처리방법으로서 해결된다. 본 발명의 바람직한 구현예 및 응용은 종속 청구항들로 한정된다.

본 발명의 제1 태양에 따르면, 상기 목적은 플레놉틱 광학기구의 이미지를 합성하기 위한 구조로 된 디지탈 이미징 시스템에 의해 해결된다. 상기 디지탈 이미징 시스템은 미리 정해진 이미지 평면에 배열된 다수의 광센서를 가지는 광센서 어레이 및 광을 피사체(object)로부터 상기 광센서 어레이로 향하도록 배열된 다수의 마이크로렌즈를 가지는 마이크로렌즈 어레이(제1 마이크로렌즈 어레이, 메인 마이크로렌즈 어레이)를 포함하며, 상기 마이크로렌즈 어레이는 상기 광센서 어레이에 대해 미리 정해진 특정 거리로 배열된다. 따라서, 상기 디지탈 이미징 시스템은 광센서 어레이와 마이크로렌즈 어레이의 결합을 포함한다. 본 발명에 따르면, 마이크로렌즈들은 마이크로렌즈들에 걸쳐 변화하는 적어도 두개의 다른 초점 길이를 가지며, 상기 광센서 어레이의 이미지 평면은 광센서 어레이의 이미지 평면과 마이크로렌즈 어레이 사이의 거리가 어떠한 마이크로렌즈의 초점 길이와도 같지 않도록 배열된다. 바꾸어 말하자면, 마이크로렌즈 어레이는 각기 다수의 다른 초점 길이들로부터 선택된 초점 길이를 가지는 다수의 마이크로렌즈로 만들어진다. 상기 마이크로렌즈 어레이는 공동 초점 길이를 가지는 마이크로렌즈의 그룹을 포함하고, 다른 그룹의 마이크로렌즈들은 다른 초점 길이를 가진다. 아울러, 본 발명에 따르면, 광센서 어레이의 이미지 평면은 광센서 어레이의 이미지 평면과 마이크로렌즈 어레이 사이의 거리가 어떠한 마이크로렌즈의 초점 길이와도 같지 않도록 배열된다.

상기 특징기술의 결합과 함께, 상기 개선된 디지탈 이미징 시스템에서 다음의 기술적인 효과들이 얻어진다. 우선적으로, 이미지 평면 - 마이크로렌즈 거리로부터 어떠한 마이크로렌즈에 대한 초점 길이의 편차로 인해, 마이크로렌즈들로부터 명확한 거리로의 허상(virtual image)은, 종래의 플레놉틱 카메라가 갖는 불명확한 거리에의 허상의 이미징에 반하여, 이미지 평면상에 명확한 거리로 이미지처리된다. 상기 마이크로렌즈들이 명확한 초점 깊이로 이미징하기 위해 사용되는 것이다. 이 제한은 상이한 초점 길이들을 가지는 마이크로렌즈들의 마련에 의해 보상되고, 큰 초점 깊이 범위를 커버할 수 있게 한다. 부가적으로 그리고 상기 첫번째 발명자에 의해 보여준 바와 같이, 명확한 거리에서의 허상의 이미징은 종래의 카메라에 비교되는 개선된 분해능을 제공한다.

본 발명의 제2 태양에 따르면, 상기 목적은 메인 렌즈 및 상기 본 발명의 제1 태양에 따른 개선된 디지탈 이미징 시스템을 포함하는 플레놉틱 광학기구에 의해 해결된다. 가급적이면, 상기 디지탈 이미징 시스템의 마이크로렌즈 어레이는 메인 렌즈의 초점 라인에 배열되어 광을 피사체로부터 메인 렌즈를 통해 광센서 어레이로 향하도록 하고, 그리고 메인 렌즈의 초점 라인의 특정 부분을 관통하는 광선 세트를 위해, 다수의 광센서는 서로 다른 입사각으로 초점 라인의 특정부분에 동시에 도달하는 광선 세트의 상이한 광선을 감지하기 위해 배열된다. 본 발명의 특히 바람직한 응용예에 따르면, 플레놉틱 광학기구는 카메라 기구(플레놉틱 카메라), 스캐닝 기구 또는 현미경 기구를 포함한다. 본 발명의 응용에 따라, 디지탈 이미징 시스템의 마이크로렌즈 어레이는 하나 또는 두개의 마이크로렌즈 디멘젼 어레이로 될 수 있다. 상이한 초점 길이를 갖는 다수의 마이크로렌즈의 마련에 따라, 본 발명의 개선된 디지탈 이미징 시스템을 포함하는 플레놉틱 카메라는 다초점 플레놉틱 카메라(MFPC)로 불리어진다.

본 발명의 제3 태양에 따르면, 상기 목적은 상기 본 발명의 제1 태양에 따른 개선된 디지탈 이미징 시스템으로 수집한 이미지 데이타를 처리하기 위한 방법에 의해 해결된다. 상기 방법은 광센서로 수집한 초기 이미지 데이타를 제공하는 단계와 허상 포인트를 포함하는 미리 정해진 허상 표면을 제공하는 단계를 포함하고, 각 허상 포인트를 위해, 광센서 어레이 상에 허상 포인트를 이미징하기 위한 최대 유효 분해능을 가지는 마이크로렌즈 그룹이 선택되고, 상기 허상 포인트는 마이크로렌즈 어레이 평면상에 투사되고, 상기 허상 포인트의 강도 값에 기여하는 상기 선택된 마이크로렌즈 그룹의 마이크로 이미지가 검출되고, 초기 이미지 데이타가 허상 포인트의 강도 값에 기여하는 초기 이미지 포인트들이 선택되고, 상기 초기 이미지 포인트의 초기 이미지 데이타의 평균 초기 이미지 강도가 검출되는 것으로 이루어진다. 마지막으로, 상기 얻어질 디지탈 이미지는 각 허상 포인트의 평균 초기 이미지 강도에 의해 제공된다.

특히, Yi-Ren Ng 및 Todor Georgiev 에 의한 플레놉틱 카메라 셋업에 비교한 결과 다음의 차이점들은 놀라울 정도이다. 상기 발명자들은 어레이에 걸쳐 마이크로렌즈의 초점 길이를 변경시킴으로써, 전체적인 유효 분해능은 시차 범위(parallax range)의 비용면에서 초점 길이를 가지는 마이크로렌즈 어레이에 비해 증대될 수 있다. 상기한 방법은 플레놉틱 카메라의 설계상 특별한 과제 또는 응용 영역을 허용하는 것이다. 상기 개선된 방법은 임의적인 허상 표면의 재구성을 허용하고 그리고 고도의 평면 처리의 실행을 아주 특별하게 제공한다.

특히 이미지 평면으로부터 마이크로렌즈의 거리가 마이크로렌즈의 초점 길이와 같고 컴퓨터처리된 이미지의 최대 분해능이 어레이로 형성된 마이크로렌즈의 수와 같은 종래의 플레놉틱 카메라에 대조하여, 본 발명의 디지탈 이미징 시스템은 다음과 같은 잇점을 제공한다.

본 발명의 디지탈 이미징 시스템 및 그에 대응하는 다초점 플레놉틱 카메라(MFPC)는 일반적으로 표준형 플레놉틱 카메라 보다 낮은 수준의 각도 분해능(angular resolution)을 가지는 한편, 상기 MFPC는 표준형 플레놉틱 카메라의 컴퓨터기능을 유지하면서 아주 높은 공간 분해능(spatial resolution)을 갖는 최종 이미지를 허용한다. 예컨대, MFPC에 의해 발생된 초기 데이타로부터, 서로 상이한 초점에서의 최종 이미지들이 생성될 수 있고 또한 씬 깊이도 다수의 이미지 포인트를 위해 추정될 수 있다. 예컨대, MFPC의 한 실행에 있어, 표준형 플레놉틱 카메라에 비해 70배까지 높은 분해능이 얻어질 수 있고, 마이크로렌즈 어레이 없는 표준형 카메라에 비해 대략 6배 큰 필드 깊이를 실현시킨다.

표준형 플레놉틱 카메라에 비해 아주 효율적인 본 발명의 분해능은 예컨대, 사진, 자동화 산업의 검사, 3D 사진, 3D 비디오 및 얼굴인식 등의 많은 분야에서 MFPC가 응용될 수 있도록 한다.

디지탈 이미징 시스템에 대한 본 발명의 바람직한 구현예에 따르면, 각 마이크로렌즈의 초점 길이는 2 또는 3개의 서로 다른 초점 길이로부터 선택된다. 본 발명자들은 상기 2 또는 3개의 서로 다른 초점 길이로서 초점 깊이의 본질적인 개선이 얻어질 수 있다는 것을 알았으며, 각도 분해능은 여전히 표준형 카메라, 스캐너 또는 현미경 적용에도 잘 채택될 수 있다. 대안적으로, 각 마이크로렌즈의 초점 길이는 3개 이상의 다른 초점 길이로부터 선택될 수도 있다. 유리하게도, 상기 디지탈 이미징 시스템은 특별한 동작조건에 따라, 이를 테면, 초점 깊이 범위에 대한 미리 정해진 확장을 얻기 위해 최적화 될 수 있다.

디지탈 이미징 시스템에 대한 본 발명의 다른 바람직한 구현예에 따르면, 각 마이크로렌즈의 초점 길이는 가장 근접한 각 마이크로렌즈의 초점 길이와 다르다. 유리하게도, 이 구현예는 이미지 상에 각도 분해능의 균일한 분배를 제공하는 결과를 준다.

디지탈 이미징 시스템에 대한 본 발명의 특별히 바람직한 구현예에 따르면, 마이크로렌즈들은 연속적인 초점 깊이 범위가 얻어지도록 조정될 수 있다. 첫째, 마이크로렌즈들은 각 마이크로렌즈가 각각의 마이크로렌즈의 초점 길이 및 마이크로렌즈 어레이로부터의 깊이 거리에 좌우되는 유효 분해능을 제공할 수 있도록 선택되어지고, 둘째, 마이크로렌즈의 초점 길이는 유효 분해능 비율이 깊이 거리의 인접 영역에서 보상적인 최대값을 가질 수 있도록 선택된다. 이러한 마이크로렌즈의 조정(플래닝)은 본 발명자들에 의해 일차적으로 추구하는 것으로, 개략적으로 후술하는 플레놉틱 카메라의 광학 성질들의 설명을 기초로 한다.

디지탈 이미징 시스템에 대한 또 다른 개선책은, 다양한 초점 길이를 갖는 마이크로렌즈 어레이 안에 동일한 초점 길이를 가지는 마이크로렌즈 그룹이 규칙적인 그리드를 제공하도록 마이크로렌즈들이 배열된다면, 얻어질 수 있다. 가급적, 마이크로렌즈들은, 동일한 초점 길이를 가지는 마이크로렌즈가 렌즈들의 기하학적밀집 배열의 항목상 유리한 직각형 또는 육각형 그리드를 제공하도록 배열되는 것이 바람직하다.

디지탈 이미징 시스템에 대한 본 발명의 또 다른 바람직한 구현예에 따르면, 공동 초점 길이를 가지는 모든 마이크로렌즈들은 동일한 렌즈 직경을 갖는다. 특별히 바람직한 구현예는 마이크로렌즈 어레이에 속한 모든 마이크로렌즈들이 동일한 직경을 갖는다는 것이다. 이들 구현예와 함께, 이미지 파라미터, 이를 테면 분해능 또는 명암(contrast)이 2D상에 균일하게 있는 개선된 이미지의 형성물이 제공된다.

전형적으로, 마이크로렌즈 어레이는 광센서 어레이에 고착되어서 광센서 어레이에 대해 마이크로렌즈 어레이의 상기 미리 정해진 수직 거리가 설정되도록 한다. 대안적으로, 디지탈 이미징 시스템에 대한 본 발명의 다른 구현예에 따르면, 광센서 어레이와 마이크로렌즈 어레이 사이의 거리는 디지탈 이미징 시스템의 제어 구성부에 의해 조정될 수 있다. 이를 테면, 카메라, 스캐너 또는 현미경의 부품으로서 제공될 수 있는 제어 구성부는 광센서 어레이 및 마이크로렌즈 어레이의 다양한 또는 고정된 접속부를 포함한다.

디지탈 이미징 시스템에 대한 다른 변형예는 피사체로부터 제1 마이크로렌즈 어레이로 향하도록 배열된 다수의 마이크로렌즈를 포함하는, 적어도 하나의 보조형 마이크로렌즈 어레이, 이를 테면 제2 마이크로렌즈 어레이에 의해 특징을 갖는다. 이 구현예로서, 플레놉틱 카메라의 기능성은 확대될 수 있다.

본 발명의 또 다른 바람직한 구현예에 따르면, 디지탈 이미징 시스템이 컴퓨터 셋업 프로그램화가 가능한 프로세서를 구비하여서 광센서 어레이의 서로 상이한 광센서로 감지된 광, 마이크로렌즈 어레이에 대한 광센서들의 위치 및 감지된 광의 입사각의 함수로서 합성된 이미지를 특징화시키는 이미지 데이타를 제공하도록 하는 것이다.

도1 및 2는 마이크로렌즈 어레이가 없는 종래의 표준형 카메라의 개략 예시도.
도3 및 4는 본 발명에 따른 다초점 플레놉틱 카메라의 개략 예시도.
도5 내지 도10은 본 발명이 기초로 하는 이론적 방법론의 개략 예시도.
도11 내지 도15는 본 발명과 종래기술의 유효 분해능의 도표.
도16 내지 도19는 본 발명에 따른 다초점 플레놉틱 카메라의 특징들을 예시하는 개략 사시도.
도20 내지 도27은 마이크로렌즈 구성의 개략 예시도.
도28은 광축을 따라 두개의 마이크로렌즈 어레이를 이용하는 플레놉틱 카메라의 개략 실예도.
도29 내지 도31은 본 발명에 따른 이미지 데이타 처리방법의 개략 예시도.

그럼, 본 발명의 그외의 특징 및 잇점을 첨부도면을 참고로 하여 상세히 설명하기로 한다.

본 발명의 바람직한 구현예들은 다음의 디지탈 이미징 시스템 및 상기 디지탈 이미징 시스템을 구비한 플레놉틱 카메라를 참고로 한 설명에서 기술된다. 본 발명의 실행은 예시된 실시예에만 한정되지 않고 광학 스캐닝 기구 또는 현미경과 같은 기타 플레놉틱 광학 장치에서도 가능하다는 것도 주지해야 한다. 광학 스캐닝 기구의 경우, 광센서 어레이는, 전형적으로 라인 어레이(line array)로서, 디지탈 이미징 기구, 상세하게는 광센서 어레이 및 마이크로렌즈 어레이의 결합에 의해 배치된다. 이 경우, 플레놉틱 카메라에 대한 다음의 설명에서 언급될 메인 렌즈가 광 스캐너(원통형 스캐너 렌즈)에 의해 제공된다. 현미경 적용은 디지탈 이미징 기구에 의해 현미경의 광센서 어레이를 배치하는 것을 포함한다. 이 경우, 플레놉틱 카메라의 메인 렌즈에 의해 생성된 허상은 광 현미경에 의해서도 생성된다.

다음은 광학 장치의 구조를 본 발명의 특징에 연관하여서만 설명하겠다. 이를 테면, 카메라, 스캐닝 기구 또는 현미경과 같은 광학 장치의 구조적 특징에 대해 종래 기술에서 공지된 것을 제외하고 설명한다.

본 발명의 바람직한 구현예는 다음의, 2-차원 광센서 어레이(매트릭스 어레이)에 관한 실예로서 설명된다. 본 발명의 실행은 이 구조에만 한정되지 않고 1-차원 광센서(라인 어레이)과 대응하는 방도에서도 가능하다는 것을 주지해야 한다. 이미지의 서로 상이한 색 강도를 수집하기 위한 단일 라인의 광센서 또는 다중 라인의 광센서를 포함하는 라인 센서들은 여기서 매트릭스 또는 라인 어레이로서 고려될 수 있다.

1. 표준형 카메라에 의한 이미징

MFPC의 개념이 거론되기 앞서, 표준형 카메라의 이미지 생성 공정을 설명한다. 도1은 표준형 카메라의 기본적인 요소들을 보여준다. 메인 렌즈(110)는 우측의물체(130)로부터 또는 그로부터 반사되어 좌측의 표면에 발사되는 광을 모으며, 이는 허상(131)으로 간주될 수 있다. 피사체(130)는 광축(111)을 따라 다르기 때문에 허상은 광축에 수직한 평면상에 놓이지 않는다. 최종 이미지는 주어진 시간 주기에 걸쳐 평면(120)상의 광센서들에 의해 측정된 광도를 공간적으로 결합함으로써 생성되며, 광센서 평면(120)은 광축에 수직하여 배향된다. 최종 이미지에 있어, 피사체(130)의 오직 해당부분만이 광센서 평면(120)상 또는 근접하여 허상(131)이 모아져서 나타난다. 즉, 허상(131)과 광센서 평면(120)의 교차점이 최적 초점의 이미지이다. 광센서 평면(120)상에 피사체(130)의 다른 부분을 최적 초점화하기 위해, 메인 렌즈(110)는 화살표 112로 지시된 바와 같이 광축을 따라 이동되어져야만 한다.

도2는 상기 표준형 카메라의 광학 기하를 보여준다. 마이크로렌즈들을 갖춘 카메라 셋업을 거론하기 전에, 도2의 단순화된 표준형 카메라 셋업을 보는 것도 도움이 될 것이다. 메인 렌즈(110)는 피사체(130)상의 일 포인트의 이미지를 우측에, 상기 일 포인트로부터 좌측상의 단일 포인트로 발사되는 다양한 광선들을 초점화함으로써 생성시킨다. 실제, 광선들은 일 포인트에 정확하게 초점되지 않지만, 전체 이미징 시스템에 좌우되는 강도 분배기능을 가진다. 이 강도 분배기능은 포인트 확장 기능(point spread function: PSF)으로 칭한다. PSF의 공간 확장의 상당히 양호한 근사값은하기 식으로 주어진다.

여기서, λ는 광의 파장이고 F는 이미징 시스템에 도입되는 광량의 측정값다. 상기 F는 F-수로 불리고 다음과 같이 정의된다.

렌즈 평면으로부터

거리에 있는 피사체가 투사된 광축을 따르는 위치

는 다음의 박막형 렌즈 공식에 의해 계산된다.

만약, 도2에 도시된 바와 같이, 최선의 초점

의 평면은 이미지 평면

과 일치하지 않으며, 물체는 발산 투사 광선이 이미지 평면의 하나 이상의 픽셀에 의해 분리되는 즉시 희미해질 것이다. 이는 표준형 카메라가 피사체 공간의 단일 평면을 그의 이미지 평면에 오로지 최적으로 초점화 한다는 것을 의미한다. 초점화 된 이미지를 생성하는 물체 공간에 영역을 증가시키기 위한 한 방법은 구멍의 사이즈를 줄이는 것이며, 그 이유는 투사 광선이 최적 초점 평면으로부터 떨어져 보다 느리게 발산하기 때문이다. 그 제한은 구멍을 단일 포인트로 감소시키는 것이며, 이 경우 전체 피사체 공간이 초점에 있고, 카메라에 들어오는 광량은 미미하다. 표준형 사진술에 있어, 필드의 깊이와 카메라 스피드, 이를 테면 구멍의 사이즈 사이의 적절한 절충안은 미리 알고 있어야 한다.

2. 본 발명에 따른 다초점 플레놉틱 카메라의 이미징

도3은 디지탈 이미징 기구를 포함하는 다초점 플레놉틱 카메라의 기본 셋업을 보여준다. 다수의 마이크로렌즈(222)로 구성되는 마이크로렌즈 어레이(221)는 광센서 어레이의 평면(220)의 전방에 위치한다. 마이크로렌즈의 직경은 단일 광센서의 직경보다 크게 선택되어져서 각 마이크로렌즈가 다수의 광센서 상에 하나의 이미지를 생성시킬 수 있도록 한다. 광센서 어레이는 이를 테면 12.000.000 광센서를 포함하는 CCD 매트릭스 또는 라인 어레이 이다. 상기 마이크로렌즈 어레이(221)는 각기 153 ㎛ 및 이를 테면 526 ㎛, 567 ㎛ 및 616 ㎛의 3개의 초점 길이로부터 선택된 초점 길이를 가지는 이를 테면 47.604 마이크로렌즈를 포함한다. 모든 마이크로렌즈는 동일한 직경, 이를 테면 153 ㎛를 가진다. 마이크로렌즈 어레이(221)와 광센서 어레이 사이의 거리는 이를 테면 765 ㎛ 이다. 광센서 평면상의 마이크로렌즈에 의해 생성된 이미지는 마이크로 이미지로 칭할 것이다. 각 마이크로 이미지는 이를 테면 17개의 광센서로 만들어 진다. 이웃하는 마이크로렌즈의 마이크로 이미지들은 겹치지 않아야 한다. 투명 유리 또는 플라스틱으로 만들어지는 마이크로렌즈 어레이는 종래 기술의 플레놉틱 카메라로부터 공지된 바와 같이 광센서에 대해, 이를 테면 두께가 마이크로렌즈와 광센서 어레이 사이의 거리로 설정되는 기계적인 프레임으로 고착된다.

메인 렌즈(210)는 피사체(230)의 허상(231)을 생성한다. 마이크로렌즈 어레이(221)에 있는 마이크로렌즈들은 이 때 허상의 상이한 뷰우(view) 를 기록하는 소형 카메라로서 작용한다. 허상 평면(232)을 컴퓨터로 시뮬레이션하기 위해 다양한 마이크로 이미지들이 이용되어 최종 이미지가 허상 평면과 교차하는 허상의 그 부분의 초점에 있도록 한다. 피사체(230)의 다른 부분들을 초점시키기 위해, 단지 허상 평면만이 211로 지시된 바와 같이 광축을 따라 이동되어져야 한다. 이는 컴퓨터로 처리되기 때문에, 이미지는 초기 이미지들이 기록된 후에 재초점처리될 수 있다. 아울러, 이 허상 평면(232)의 형태에만 한정되지 않으며, 즉 허상 평면 대신에 임의 형상의 허상 면도 시뮬레이션 처리될 수 있다. 이는, 예컨대 최종 이미지의 초점으로 피사체의 모든 부분을 보내는 데도 사용가능하다.

마이크로렌즈들이 명확한 깊이의 필드를 가지기 때문에, 허상 공간의 명확한 범위만이 광센서 평면에 집중시킬 수 있다. 전체 이미징 시스템의 깊이 필드를 확대하기 위해, 서로 다른 초점 길이를 갖는 마이크로렌즈들이 사용된다. 각 그룹의특정 초점 길이를 갖는 마이크로렌즈들이 광센서 평면상에 서로 다른 범위의 허상 공간의 깊이로 집중시킨다. 일 실행예에서, 서로 다른 초점 길이의 3개의 다른 형식의 마이크로렌즈들을 갖춘 마이크로렌즈 어레이를 사용함으로써 균일한 마이크로렌즈들로 된 마이크로렌즈 어레이를 사용하는 것에 비해 6배 큰 깊이 필드가 얻어질 수 있다.

도3에서 허상이 마이크로렌즈 어레이와 메인 렌즈 사이에 있는 것으로 도시되어 있지만, 허상은 마이크로렌즈 어레이의 좌측에도 있을 수 있다. 마이크로렌즈에 의해 집중된 허상의 일부분은 광축을 따라 마이크로렌즈 어레이의 위치 및 초점 길이에 좌우된다. 이것은 가까운 응용에 좌우되는 설계 결정사항이다.

도4는 본 발명에 따른 플레놉틱 카메라의 광학적 기하를 개략적으로 보여준다. 메인 렌즈(311)는 피사체(340)의 허상(341)을 생성한다. 허상은 메인 렌즈(311)의 좌측 어느 곳에 놓인다. 이미지는 광센서 평면상에 형성되지 않은 씬(sense)에 허상으로 있다. 이 허상은 그 다음 마이크로렌즈 어레이(322)의 마이크로렌즈들에 의해 광센서 평면(330)(이미지 평면)에 투사된다. 광센서 평면(330)으로부터 마이크로렌즈 어레이(322)의 거리는 마이크로렌즈들의 초점 길이와 동일하지 않는다는 것을 주지해야 한다. 아울러, 중심 투사광선 만이 렌즈의 중심을 통과한다는 것도 주지해야 한다. 실제, 다수의 광선이 렌즈들에 의해 영향을 받는다. 전형적으로 도4에 도시된 3개보다 많은 마이크로렌즈들로서, 서로 다른 초점 길이를 가지는 것을 주지해야 한다. 이 제안은 설명의 명료화를 위해 선택된 것일 뿐이다. 하기에는 이 셋업이 각 특정 피사체 거리에서 효율적인 분해능을 감소시키지만, 상기 효율적인 분해능이 큰 영역에 걸쳐 펼쳐져서 표준형 카메라에서 가능한 것보다 더 큰 구멍으로 확장된 깊이 필드를 허용하게 한다.

피사체(340)로부터 발사되는 광은 허상(341)의 초점으로 보내진다. 마이크로렌즈들은 광센서 평면(341)상에 허상을 최적으로 집중시키지 않을 수도 있다. 최적 초점 대신에, 마이크로렌즈의 이미지 평면(342)이 광센서 평면으로부터 얼마의 거리로 놓일 수 있다. 이는 마이크로렌즈들의 초점 길이 f 및 마이크로렌즈 어레이로부터 허상의 거리 a에 좌우된다. 마이크로렌즈 어레이에 서로 다른 초점 길이의 마이크로렌즈들을 사용함으로써, 서로 다른 거리 a로 있는 허상들은 광센서 평면상의 초점에 동시적으로 보내지게 된다.

플레놉틱 카메라로 기록된 데이타를 사용하여 이미지를 합성하는 본 발명에 따른 디지탈 이미징 시스템은 다수의 광센서를 가지는 광센서 라인 또는 매트릭스; 메인 렌즈(311) 및 상기 메인 렌즈(311)의 적어도 초점 라인에 배열된 마이크로렌즈 셋업(322)을 포함하고, 피사체(340)로부터 광을 메인 렌즈(311) 및 마이크로렌즈 셋업(322)을 거쳐 광센서 라인 또는 매트릭스에 향하도록 하여 각 마이크로렌즈 마다의 마이크로 이미지(343)를 생성시키는 광학 구성부; 상기 광센서 라인 또는 매트릭스와 마이크로렌즈 셋업 사이의 상대 거리를 설정하기 위한 것으로, 메인 렌즈(311)의 초점 라인의 특정 부분을 관통하는 광선 세트를 위해, 다수의 광센서가 이미지 평면(330)에 배열되어 서로 다른 입사각으로 초점 라인의 특정 부분에 동시에 도달하는 광선 세트의 서로 다른 광선을 감지하기 하도록 그리고 감지된 광선을 특정하는 광 데이타를 출력시키도록 하는 제어 구성부(도4에 도시되지 않았음); 및 서로 다른 광센서에 감지된 광, 마이크로렌즈 셋업(322)에 대한 광센서들의 위치, 및 메인 렌즈(311)의 초점 라인 상에 상기 감지 광의 입사각의 함수로서 합성된 이미지를 특징화하는 이미지 데이타를 제공하도록 프로그래밍하는 컴퓨터 셋업에 있는 것으로서, 적어도 1-차원 셋업상의 각 마이크로렌즈의 초점 길이가 서로 다르게 형성되어 있는 프로세서를 포함한다.

F-수

MFPC의 설계상의 중요한 제한사항은 마이크로 이미지가 광센서 상에 겹치지 않아야 한다는 것이다. 둘 또는 그 이상의 마이크로렌즈의 이미지가 겹치는 경우의 이들 광센서들은 최종 이미지의 컴퓨터 구성용으로 사용될 수 없다. 마이크로 이미지가 최대 사이즈를 가지면서 겹치지 않도록 보장하기 위해, 마이크로렌즈와 메인 렌즈의 F-수를 동일하게 하는 것이 양호한 접근방안이다.

밀도 있게 패킹된 마이크로렌즈의 어레이에 있어, 마이크로렌즈들의 이미지 사이즈는 마이크로렌즈들의 직경(D)보다 작던가 동일하게 하여야 한다는 것을 의미한다. 이는 다음식을 의미한다.

여기서, F는 마이크로렌즈들의 F-수이고 F_L은 메인 렌즈의F-수이다. 전형적으로 B << D_L 이기 때문에, F F_L 이다. 즉, 메인 이미징 시스템 및 마이크로렌즈 이미징 시스템의 F-수는 서로 대등해야 한다. B, B_L 및 D_L 이 주어진 경우, 최대의 마이크로렌즈의 직경은 아래와 같다.

유사하게,

도5에 대해, 메인 렌즈의 F-수는 F_L =B_L/D_L 이고마이크로렌즈의 F-수는 F = B/D로 주어진다. 전형적으로 B_L>>B 및 D_L>>D 이므로 마이크로 이미지(422)는 최대로 되고 F=F_L이면 겹치지 않는다.

다중도( Multiplicity ), 총 커버링 평면( Total covering plane )

다른 중요한 개념으로 도5 및 도6에 도시한 바와 같은 총 커버링 평면(430)이 있다. 도5의 마이크로렌즈들의 중심들을 통과하는 중심 투사 광선은 대응하는 마이크로 이미지들의 광선보다 더 넓다. 예컨대, 마이크로렌즈(421)는 극한 투사 광선들(423 및 424) 사이에 놓이는 마이크로 이미지에 허상의 포인트를 투사할 뿐이다. 따라서, 총 커버링 평면(430)은 좌측 평면 대부분과 평면의 각 포인트가 적어도 하나의 마이크로렌즈에 의해 투사되는 마이크로렌즈 평명(420)의 우측까지이다. 유사하게, 마이크로렌즈 평명(420)의 좌측까지의 우측 대부분의 평면이 총 커버링 평면이다. 도5에 있어, 좌측 총 커버링 평면은 광센서 평면과 일치한다. 유사하게, 더블 커버링 평면(double covering plane)(431)은 평면상의 각 포인트가 적어도 두개의 마이크로렌즈에 의해 돌출된 마이크로렌즈 평면의 우측까지의 좌측 대부분의 평면이다.

상기 총 커버링 평면의 개념을 도6에 관련하여 더 설명한다. 테스트 포인트가 뚜렷한 렌즈의 수는 도6에 도시된 바와 같이 광축을 따른 마이크로렌즈 평면의 거리에 좌우된다. 평면 M₁은 우측 총 커버링 한계(total covering limit)로서, 평면 M₁의 우측상의 또는 우측까지의 모든 포인트가 적어도 하나의 마이크로이미지를 가진다는 것을 의미한다. 평면 M_-1은 역시 이미지 평면으로서, 좌측 총 커버링 한계이며, 이를 테면 평면 M_-1의 좌측상의 또는 좌측까지의 모든 포인트가 적어도 하나의 마이크로이미지를 가진다는 것을 의미한다. 평면 M₂(M_-2)은 더블 커버링 한계로서, 평면 M₂(M_-2)의 우(좌)측상의 또는 우(좌)측까지의 모든 포인트가 적어도 두개의 마이크로이미지를 가진다는 것을 의미한다.

도6으로부터, 만약 중심 렌즈가 제거된다면, 총 커버링 한계는 M₂ 및M_- ₂인 것이 명백해진다. 중요한 주지사항으로서, 중심 렌즈가 제거된다면 총 커버링 한계 평면 외부측에 포인트를 위한 이미지를 부여할 능력에 어떠한 영향도 가질 수 없다는 것이다. 감소된 것은 추후 설명되는 바와 같이 가능성 있는 시차의 양이다.

마이크로렌즈의 1D-어레이에 대해서는 마이크로렌즈 평면으로부터 거리 (a)에 있는 포인트의 다중도(M)는 M: =│a│/B 로서 정의된다. 마이크로렌즈의 2D-어레이에 대해서는 부가적인 팩터가 상기 M 공식에 도입되며, 원을 갖는 평면의 모자이크 형상으로 나타나는 공간들을 확인한다. 2D로 존재하는 오로지 두개의 정규 모자이크 형상만이 도7에 도시된 사각형 패턴 및 도7에 도시된 육각형 패턴이다. 최대 거리를 뜻하는 양측의 숫자 R에 있어, 평면상의 포인트는 그의 가장 가까이 둘러싸는 마이크로렌즈 중심으로부터 가질 수 있다.

사각형 케이스에 대해서는 다음과 같이 나타낼 수 있다.

육각형 케이스에 대해서는 다음과 같이 나타낼 수 있다.

1D-케이스에 대해, 최근접 마이크로렌즈 중심들로부터 최대 분리의 포인트는 마이크로렌즈 중심들로부터 D/2의 거리를 가진다. 이 값 대 R의 비는 공간 팩터(spacing factor)로 칭하고 κ로 나타낸다. 즉,

이로부터,

마이크로렌즈 평면으로부터 거리 a 에서의 다중도는 다음과 같이 주어진다.

이므로, κ는 작을수록 바람직하다. 그러므로, 육각형 마이크로렌즈 어레이가 사각형 마이크로렌즈 어레이 보다 바람직하다.

마이크로렌즈가 1D 어레이 중에 밀도있게 패킹되어 있지 않고, 그들의 중심 사이에 C의 거리를 가진다면, 평면으로부터 총 커버링 한계 평면 M₁ 은다음 관계식을 갖는다.

여기서

는 마이크로렌즈의 공간 및 사이즈 사이의 비이다. 1D-케이스에 대해, 다중도 M의 커버링 평면의 거리는 다음과 같다.

마이크로렌즈 평면으로부터 거리 a에서의 다중도는 다음과 같이 주어진다.

도6의 중심 렌즈가 제거된다면, 서로 이웃하는 렌즈들 사이의 거리는 두배로, 이를 테면,

= 2 이다. 그러므로, 다중도는 밀도있게 패킹되어 있는 렌즈의 다중도에 비해 동일한 거리에서 절반의 다중도를 갖는다.

시차(P arallax : 視差)

다중도 M을 갖는 평면에서 각 마이크로이미지의 1/M 만이 공간없이 전체 평면에 걸쳐 한 이미지를 제공하는 데 필요하다. 예컨대, M=2에서 각 마이크로이미지의 절반만이 완전한 이미지를 제공하는 데 필요하며, 이는 두개의 완전히 명확한 완전 이미지가 제공될 수 있다는 것을 암시한다. 그 효과는 명확한 시점의 변화이다. 이 효과로 인해, 씬에 관한 3D 정보는 표준형 스테레오 카메라 시스템용과 같이 회복될 수 있다.

두개의 극단적인 뷰우(view)사이의 이미지 평면 상의시차의 양은 다음 식으로주어진다.

이때, N=D/p로서 사이즈 D의 마이크로이미지 안의 사이즈 p의 픽셀의 수이다. 시차각

는 그러므로 다음 식으로 주어진다.

여기서, B는 이미지 평면까지의 마이크로렌즈 어레이의 거리를 다시 나타낸 것이다. 아울러, 상대적인 시차

는 다음으로 정의된다.

도6에 대해, 중심 렌즈가 제거된 경우, 어떤 거리 a에서의 다중도는 감소되고, 시차를 감소시키는 것을 보여준다.

는 상기 식(14)를 식(15)에 대입함으로써 a의 함수로서 쓰여질 수 있고, 그 결과는 다음으로 나타난다.

유사하게, 상대적인 시차는

및

를 위한 공식은 단지

에 유효함을 주지하라. 마이크로렌즈 평면으로부터의 거리

는, 시차가 최대인 경우, 다음과 같이 주어진다.

유효 분해능( effective Resolution )

다초점 플레놉틱 카메라의 유효 분해능은 이미지의 최대 분해능으로서 순수하게 기하적인 시점으로부터 MFPC에 의해 발생된 초기 이미지 데이타로부터 컴퓨터처리로 발생될 수 있는 것이다. 최종 이미지의 분해능은 적절한 이미지 향상 알고리즘에 의해 여전히 증대될 수 있다.

도4에 대해, MFPC의 효율적인 분해능은 마이크로렌즈 평면(322)으로부터허상(341)의 거리, 마이크로렌즈의 깊이 필드 및 광센서 평면(330)의 분해능에 좌우된다. 일반적으로, MFPC의 유효 분해능은 허상 공간에 걸쳐 가변적이다.

마이크로렌즈의 깊이 필드는 다음과 같이 정의된다. 우선적으로 도9의 단일 마이크로렌즈(510)에 의한 허상 포인트 X₀ 의 투사를 고려해야한다. 특히, 도9는, 최적 초점된 이미지 X₀ 의 Y₀ 가 이미지 평면 I 상에 놓여 있지 않을 때, 이미지 평면 I 상의 포인트 X₀ 의 흐림도(blurring)를 보여준다. 이 관찰은 특정 피사체 분리 a 에서의 카메라의 유효 분해능의 개념으로 해석될 수 있다.

광선 521 및 522 안에 놓인 포인트 X₀로부터 발사되는 광선만이 마이크로렌즈(510)에 의해 구부러져서 모든 광선이 Y₀ 포인트에서 만나도록, 이를 테면 포인트 Y₀ 가 X₀ 의 이미지가 되도록 한다. 마이크로렌즈 평면(511)으로부터 포인트 Y₀ 의 거리 b는 마이크로렌즈 평면(511)까지의 포인트 X₀ 의 거리 a와 마이크로렌즈의 초점 길이 f의 항목으로 주어지며, 그 이론적인 렌즈 공식은 다음과 같다.

마이크로렌즈 평면(511)과 광센서 평면(530) 사이의 거리 B는 앞서의 거리 b와는 다른 것으로, 포인트 X₀로부터 발사하는 광선은 광센서 평면상의 포인트에서 만나지 않는다. 대신에, 광선은 도9에 도시된 바와 같이 직경의 일점으로부터 퍼진다. 광센서 평면이 다수의 측면 길이 p를 갖는 사각 광센서로 구성된다고 가정하면, 마이크로렌즈의 분해능 비는 아래와 같이 정의된다.

예컨대, s가 픽셀 측면 길이 p의 2배로 큰 경우,

이다. s, B, b 및 D 사이의 관계는 b/D=(B-b)/s 로 주어진다. 식 (21)에 의해, 다음 식이 가능하다.

도9에 도시된 바와 같이, 두개의 서로 이웃하는 허상 포인트 X₀ 및 X₁ 의 광점(light spot)은 광점 중심들의 거리가 s이라면 광센서 평면(530)상에서 구별될 수 있다. 그러므로, X₀ 로부터 여전히 구별될 수 있는 X₀에 가장 근접한 허상 포인트가 곧 허상 포인트 X₁ 이다. X₀ 과 X₁ 사이의 거리 s_a는 따라서, 마이크로렌즈(510)에 의해 광센서 평면(530)상에 투사되었을 때, 여전히 구별되는 마이크로렌즈 평면으로부터 거리 a 에서의 허상 공간에 최소 사이즈의 엔티티(entity)들이다.

일반 플레놉틱 카메라 및 다초점 플레놉틱 카메라의 유효 분해능 비(ERR)는 마이크로렌즈 평면로부터 거리 a에서 분해될 수 있는 허상 구조의 최소 사이즈와 광센서 평면상의 사각형 광센서 요소의 측면 길이 p 사이의 비이다.

로 표시되는 상기 ERR은 따라서 다음식으로 주어진다.

광센서 평면상의 1 디멘젼(dimension)의 광센서 요소의 총 수량을 N_t 로 표시한다면, 그 디멘젼을 따라 최종 이미지안의 픽셀의 최대 수는 아래와 같이 주어진다.

따라서, 마이크로렌즈 평면로부터 거리 a에서 광축에 수직한 허상 평면의 최종 이미지는 최대

의 픽셀로 구성되고, 상기

는 플레놉틱 카메라의 유효 분해능이다.

유사한 삼각관계의 방법을 이용함으로써, s와 a사이의 관계는 도9로부터 다음을 알 수 있다.

단일 렌즈

의 ERR은 따라서 다음과 같은 피사체 거리 a의 함수로 쓰여질 수 있다.

이것은 다시 다음과 같이 쓰여질 수 있다.

이때,

은 마이크로렌즈 당 픽셀의 수이다.

식 (27)은 회절로 인한 흐림도의 영향을 고려하지 않은 것이며, 상기 식은 식 (1)에 주어진 바와 같은 광 파장 및 구멍에 좌우된다.

플레놉틱 카메라의 유효 분해능에 관한 이러한 유래는 메인 렌즈의 허상이 도4에서의 마이크로렌즈 평면의 좌측에 놓인 경우에도 유효하다. 도10은 단일 마이크로렌즈(610)의 경우를 보여준다. 광 방향은 620으로 지시되고 있다. 만약 메인 렌즈(이 도면에는 도시되지 않았음)가 X₀에서 허상을 생성한다면,상기 마이크로렌즈는 Y₀에서 X₀의 최적 초점의 이미지를 생성하게 된다. 식 (21) 내지 (25)는 a가 -a로 대체되었을 때를 나타낸다.

앞서 언급한 바와 같이, 종래의 플레놉틱 카메라, 이를 테면 WO 2006/039486 A2에 따른 하나로 정의되는 특징이 광센서 평면으로부터 마이크로렌즈 평면의거리 B가 마이크로렌즈의 초점 길이와 동일하다는 것이었다. f=B에 대해 분해능이 식 (22)로부터 다음과 같이 나온다.

유효 분해능 비는 다음으로 주어진다.

즉,

에 대해,

가 된다.

는 하나의 디멘젼에서의 마이크로 이미지 당 광센서의 수이고,

는 그 디멘젼을 따른 마이크로렌즈의 수이다. 하나의 디멘젼에 따른 최종 이미지 안의 최대 픽셀 수는 다음과 같다.

따라서, 종래의 플레놉틱 카메라의 하나의 디멘젼에 따른 최종 이미지 안의 최대 픽셀 수는 마이크로렌즈 어레이 안의 마이크로렌즈의 수와 동일하다.

도11은 ERR의 예시적인 플롯을 보여주는 것으로, 도면 중 B, D 및 f는 고정적이고 픽셀 사이즈는 D/20으로 가정된다. 포인트 X₀ 는 최적 초점의 위치로 주어지고 D₀F 는필드의 깊이를 표시하고, 이때, 흐림도는 픽셀의 사이즈보다 작거나 동일하다.

상기 방법론 역시 도12 및 도13에 예시된 바와 같이 종래의 플레놉틱 카메라에도 유효하다. 본 발명의 개선된 방법론은 특히 마이크로렌즈 어레이에 걸쳐 초점 길이를 변화시킴으로써, 플레놉틱 카메라의 전반적인 유효 분해능이 증진될 수 있다는 것을 알려주는 것이다. 종래의 플레놉틱 카메라 설계(WO 2006/039486 A2)에 있어, 마이크로렌즈의 초점 길이는 이미지 평면까지의 마이크로렌즈 평면의 거리와 동일하게 즉, B = f로 설정된다. 케이스 B = f를 위해, 식 (28)은 다음과 같이 유도된다.

그러므로, 플레놉틱 카메라의 유효 분해능은 다음과 같이 된다.

즉,

인 경우, 마이크로렌즈 평면으로부터의 모든 거리 a에 대해, ERR은 일정하고 1/N 값을 취한다. 식 (25)로부터 유효 분해능 N_s 는 다음과 같다.

이때 N_L 은 마이크로렌즈 어레이의 한 디멘젼에 따른 마이크로렌즈의 수이다. 이것은 문헌으로 보고된 것과 정확히 같은 것으로, 이를 테면 표준형 플레놉틱 카메라의 분해능이 바로 마이크로렌즈 어레이에 있는 렌즈의 수인 것을 보여준다. 도12는 이 셋업의 유효 분해능 비와 시차를 보여준다. A. Lumsdaine 및 T. Georgiev의 초점형 플레놉틱 카메라(US 2009/0041448 A1 참조)에서, 도13에 도시한 ERR이 얻어진다.

도14는 f-수 F=5, 광센서 측면 길이 p=0.009 mm 및 마이크로렌즈의 직경 D=0.153 mm이고, 그 결과 광센서 평면(710)과 마이크로렌즈 어레이 평면(711) 사이의 분리거리 B=0.765 mm 및 마이크로 이미지 당 광센서 N=17 로 되는 하나의 특정 예시예를 위한, 종래의 플레놉틱 카메라와 본 발명의 MFPC의 ERR 사이의 비교를 보여준다. 이 셋업에 있어 종래의 플레놉틱 카메라에 대해서는 모든 마이크로렌즈의 초점 길이는 B와 동일한 것으로 설정된다. a에 대한 대응 유효 분해능 비 분포는 그래프 730에 도시되었다.

이와 반대로, 본 발명의 다초점 플레놉틱 카메라에 대해서는 세개의 유효 분해능 비 그래프들이 얻어지며, 그 하나가 마이크로렌즈 타입의 갓 초점 길이에 대한 것이다. 이 예에 사용된 세개의 초점 길이는 각기 대응하는 그래프 731, 732 및 733으로서 f1=0.526 mm, f2=0.567 mm 및 f3=0.616 mm 이다. 이것은 MFPC가 종래의 플레놉틱 카메라보다 더 큰 깊이 영역에 걸쳐 훨씬 높은 분해능을 갖는다는 것을 보여준다.

도14의 유효 분해능 비 그래프들은, 좌측의 총 커버링 평면(722)과 우측의 총 커버링 평면(720) 사이에 완전한 최종 이미지가 구성될 수 없기 때문에, 총 커버링 한정 평면의 외측에서만 그려진다. 도14에 그려진 총 커버링 평면들은 대응하는 다초점 플레놉틱 카메라의 것이다.

일반적으로, 서로 상이한 형식의 마이크로렌즈의 초점 길이는 주어진 응용의 최적 분해능 분포를 제시하는 것으로 조정될 수 있다.

또 다른 실례로서, 도15는 세개의 상이한 형식의 마이크로렌즈들을 갖는 이중 깊이 다초점 플레놉틱 카메라의 유효 분해능 비 분포를 보여준다. I는 이미지 평면, L은 마이크로렌즈 평면, ε₁, ε₂및ε₃은 세개 형식의 마이크로렌즈들 각각의 유효 분해능 비, 그리고 Δ_r은 관련 시차를 나타낸다. 도15는 이미지 평면의 전방 및 배후에 확장된 고도의 유효 분해능 영역을 가지는 다초점 플레놉틱 카메라의 유효 분해능 비 및 시차를 보여준다.이는 υ₁에서의 평면상 및 -υ₁에서의 평면 상의 요소들이 높은 유효 분해능을 갖추고서 재구성될 수 있다는 효과를 보여준다. 이것은, 예컨대, 피사체가 동시에 초점으로 들어와야 할 필요가 있는 상이한 깊이의 두개의 평행 평면을 가진다면 사용가능하다.

원칙상, 서로 상이한 마이크로렌즈들에 대해 상이한 초점 길이의 증가된 수도 사용될 수 있음을 주지해야 한다. 또한 마이크로렌즈 어레이에 걸쳐 초점 길이의 거의 연속적인 분포도 플레놉틱 카메라의 전반적인 성능을 증진시킬 수 있다.

총 커버링 한계( Total covering limit )

우측 및 좌측의 총 커버링 평면은 완전한 최종 이미지상에 계수적으로 발생될 수 있는 한계들을 부여한다. 도14에 도시된 실예에 관련하여, 최종 이미지는 마이크로렌즈 어레이 평면으로부터의 거리 a가

를 만족하는 허상 공간 안에 있는 모든 위치들에 대해 계수적으로 발생될 수 있다. 식 (7)에 주어진 최대 유효 분해능 비

는

와 함께 변하므로, 마이크로렌즈 어레이 평면과 총 커버링 평면 사이의 거리가 커지면 커질수록, 최대로 얻어질 수 있는 유효 분해능은 작아진다. MFPC의 설계에 있어, 마이크로렌즈 어레이 평면과 총 커버링 평면 사이의 거리 c₁ 을 최소화시키는 것이 필수적이다.

도5에 지시된 바와 같은 동일한 초점 길이의 마이크로렌즈 및 근접 패킹된(겹침없이 접촉된) 마이크로 이미지를 갖는 1-차원 마이크로렌즈 어레이(라인 어레이)의 경우, c₁ 의 값은 마이크로렌즈 어레이 평면(420)과 광센서 평면(440) 사이의 거리 B와 동일하다. 이중 커버링 평면의 거리 c₂ _는c₂ =2 c₁ 이다.

최종 이미지의 최대로 얻어질 수 있는 유효 분해능은 총 커버링 한계의 항목으로 주어질 수 있다. 마이크로렌즈 형식의 초점 길이 f가 총 커버링 평면에서

가 이를 테면,

가 되도록 선택된다면 유효 분해능은 최대이다. 식 (22)로부터

및

가 뒤따른다.

라고 하고, 이때

는 총 커버링 팩터 일 때,

이다. 그로므로,

총수의 광센서를 갖춘 사각형 광센서에 대해서는, 최대로 얻어질 수 있는 유효 분해능은 다음 식과 같다.

이는 총 커버링 팩터

가 작으면 작을수록 최대로 얻어질 수 있는 유효 분해능은 더 커진다는 것을 보여준다.

원형 마이크로렌즈을 갖는 2-차원적 마이크로렌즈 어레이에 대해, 마이크로렌즈들 사이의 틈새는 c₁ 의 값을 계산할 때 참고되어져야 한다. 도16은 c₁ 의 값을 최소화하는 3개의 서로 상이한 초점 길이를 가지는 MFPC의 마이크로렌즈 어레이 중원형 마이크로렌즈들의 구조를 보여준다. 타입 1의 821, 타입 2의 822 및 타입 3의 823의 마이크로렌즈들은 어느 두개의 마이크로렌즈가 서로 동일한 형식이 아닌 상태로 직접 이웃하도록 육각형 그리드에 규격되어 배열된다.

도14에 도시된 바와 같이, 각 형식의 들은 허상 공간에 특정한 깊이를 커버한다. 따라서, 동일 형식의 각 마이크로렌즈 서브-어레이는 다른 형식의 마이크로렌즈와 별개적으로 최종 이미지의 생성을 허용한다. 도17은 도16에 도시된 바와 같은 총 마이크로렌즈 어레이의 형식1의 마이크로렌즈 서브-어레이를 보여준다. 각 마이크로렌즈(921)는 그에 대응하는 마이크로 이미지(922)를 가진다. 이 세트의 마이크로 이미지는 더이상 밀접하게 패킹되어 있지 않다.

도18에 있는 마이크로렌즈(1021)의 마이크로 이미지(1022)에 기여하는 허상 공간의 보조공간은 마이크로 투영 콘(micro projection cone)(1023)에 놓인다. 총 커버링 평면은 광축(1030)에 수직하고 마이크로렌즈 어레이 평면(1020)에 아주 근접하여져서 마이크로 투영 콘이 틈새없는 전체의 총 커버링 평면을 커버할 수 있도록 한다. 도18에 도시된 바와 같은 마이크로 투영 콘(1023)들은 총 커버링 평면으로 바로 연장한다. 만약 B가 광센서 평면(1010)과 마이크로렌즈 어레이 평면(1020) 사이의 거리를 나타낸다면, 마이크로렌즈 어레이와 총 커버링 평면 사이의 거리 c₁ 는 이 마이크로렌즈 구조에 대해 c₁= 2B, 즉, υ=2이다. 이는 세개의 상이한 형식의 마이크로렌즈를 갖는 마이크로렌즈 어레이에 대한 c₁의 최소값이다.

도19는 상이한 초점 길이를 갖는 원통형 마이크로렌즈의 라인들로 구성된 다른 마이크로렌즈 구조를 보여준다. 동일형식의 마이크로렌즈 라인들을 따라, 총 커버링 팩터는 υ=1이고, 그 마이크로렌즈 라인들에 수직하여서는 총 커버링 팩터는 υ=3이다.

일반적으로, MFPC의 마이크로렌즈 어레이 중에 있는 다양한 마이크로렌즈들의 마이크로 이미지가 겹치지 않는 한, 이들은 어떤 형식으로도 가능하다. 예컨대, 이들은 평철형(plano-convex), 양면볼록형(bi-convex), 평요형(plano-concave), 양면오목형(bi-concave),오목볼록형 또는 이들의 결합형으로 가능하다. 아울러, 마이크로렌즈 평면중의 들의 형상도 원형, 타원형, 사각형 또는 어떤 임의의 불규칙 형상도 가능하다. 마이크로렌즈들의 표면 형상도 구형 또는 비구형일 수 있다. 각 마이크로렌즈의 위치에서, 마이크로렌즈 시스템은 이미징 시스템의 최적 성능을 증진시킬 수 있도록 배치될 수 있다. 그와 같은 마이크로렌즈 시스템의 개별 요소들 사이의 거리도 역시 다양하게, 예컨대 메인 렌즈의 가변적인 f-수를 허용할 수 있고 또한 마이크로 이미지들을 밀도있게 패킹된 상태로 유지할 수 있게 가변적으로 유지할 수 있다.

마이크로렌즈 어레이 구조

어레이로부터 모든 제2 마이크로렌즈들을 제거하면 총 커버링 평면 외부로 밀게되고 그리고 마이크로렌즈 평면으로부터 특정한 거리에서 시차를 감소시킨다는 것은 앞서 주지된 바다. 그러나, 특정 위치에서의 유효 분해능은 감소하지 않는다. 이것은 이 발명명세서에 도입된 기초적인 신규 개념으로서, 확장된 깊이의 필드와 같은 개선된 성능을 갖춘 플레놉틱 카메라의 설계를 향상시키는 것이다.

도20 및 도21은 각기 직각형과 육각형의 마이크로렌즈 어레이로 있는 제1 및 제2 형식의 마이크로렌즈의 분포를 보여준다. 상기 제1 및 제2 형식의 마이크로렌즈들은 단지 그들의 초점 길이에서 다를 뿐이고, 기타 모든 매개변수들은 일정하게 유지된다. 두개의 다른 형식의 마이크로렌즈들로 된 다초점 플레놉틱 카메라의 공간팩터 κ와 공간 비υ는 직각형과 육각형 케이스 모두에 동일하다. 양측 케이스에 있어, 도22 및 도23에서 알 수 있는 바와 같이,κυ=2 이다.

만약 세개의 다른 형식의 마이크로렌즈가 사용될 예정인 경우, 육각형 및 직각형 어레이에 이들 렌즈 형식의 혼합 형식이 도24(도26, 1110 참조) 및 도25(도27, 1210 참조)에 각각 도시되어 있다. 세개의 다른 형식의 마이크로렌즈들로 된 다초점 플레놉틱 카메라의 공간팩터 κ와 공간 비υ의 곱은 직각형과 육각형 케이스에서 다르다. 직각형으 케이스의 경우는,

이고,

육각형 케이스의 경우는,

이다.

이는 가기 도24 및 도25에 도시되어 있다. 이로 인해, 육각형 마이크로렌즈에 있어 총 커버링 평면은 두개 또는 세개의 다른 형식의 마이크로렌즈가 사용되는 것에 관계없이 마이크로렌즈 평면으로부터 동일한 거리를 가진다. 따라서 세개 형식의 마이크로렌즈를 사용하는 것이 유리하다.

일반적으로, MFPC는 임의 수의 상이한 형식의 마이크로렌즈 어레이로 설계될 수 있다. 도26은 각각의 마이크로렌즈 형식의 c₁ 의 최소값을 가지는 마이크로렌즈 구조의 실예들을 보여준다. 이들 구조의 특정 마이크로렌즈들의 각 보조-어레이는 규칙적이고 동일한 υ의 값을 갖는다.

구조 1110: υ=2를 갖는 3 형식의 마이크로렌즈들.

구조 1120: υ=

를 갖는 4 형식의 마이크로렌즈들.

구조 1130: υ=

를 갖는 9 형식의 마이크로렌즈들.

구조 1140: υ=3를 갖는 12 형식의 마이크로렌즈들.

가급적, 서로 상이한 마이크로렌즈들의 규칙적인 그리드 구조는 동일 형식의 각 보조 어레이의 마이크로렌즈들이 규칙적인 육각형 그리드를 형성하는 경우에 존재한다. 서로 상이한 형식의 마이크로렌즈 어레이 중 대다수의 마이크로렌즈들은 각 형식의 마이크로렌즈들이 허상 공간의 작은 깊이 영역을 단지 커버할 수 있는 경우에 사용될 수도 있는 것으로, 예컨대 비교적 소형 광센서에 대해 사용가능하다.

적용예에 따라, 동일 형식의 불규칙한 분포의 마이크로렌즈들을 가질 것이 필요할 때도 있다. 도27은 상이한 형식의 불규칙한 분포의 마이크로렌즈들의 어떤 실예들을 보여준다.

구조 1210: 직각형 그리드 중의 3 형식의 마이크로렌즈들.

구조 1220: 육각형 그리드 중의 2형식의 마이크로렌즈들.

구조 1230: 육각형 그리드 중의 3 형식의 마이크로렌즈들.

구조 1240: 육각형 그리드 중의 2형식의 마이크로렌즈들.

구조 1230에 관해, 형식 1의 마이크로렌즈들은 중심에 집중되고 형식 2의 마이크로렌즈들은 중심 둘레에 링을 형성한다. 형식 3의 마이크로렌즈들은 다시 형식 2의 마이크로렌즈들 둘레에 링을 형성한다. 이렇게 하여, 동일 형식의 각 그룹의 마이크로렌즈들은 허상 공간의 특정 부분에 대한 고도의 공간 분해능을 갖춘 최종 이미지의 생성을 허용한다.

구조 1240에 관해, 형식 1의 마이크로렌즈들의 밀도는 형식 2의 마이크로렌즈들의 밀도보다 낮다. 이 특정 케이스에 있어, 형식 1의 마이크로렌즈들의 총 커버링 팩터는

이고, 형식 2의 마이크로렌즈들의 총 커버링 팩터는

이다.

다중 마이크로렌즈 어레이 플레놉틱 카메라

다초점 플레놉틱 카메라에 추가하여, 플레놉틱 카메라의 기능성은 단일 마이크로렌즈 어레이가 아닌, 광축을 따라 다수의 마이크로렌즈 어레이를 사용함으로써 보다 더 확장될 수 있다. 두개의 마이크로렌즈 어레이를 갖춘 구조의 실예가 도28에 개략적으로 도시되었다. 이 실예에서, 두개의 마이크로렌즈 어레이는 양면볼록형 마이크로렌즈들로 구성되며, 그에 의해 마이크로렌즈 어레이 1의 마이크로렌즈들은 마이크로렌즈 어레이 2의 마이크로렌즈들보다 작은 직경을 가지며, 그리고 불투명한 구멍에 의해 둘러싸인다. 일반적으로, 적절한 마이크로구멍 어레이를 구비한 렌즈 형식의 어떤 결합체도 가능하며 또한 플레놉틱 카메라의 기능성을 확장시킬 수 있다.

도28에 도시된 구조에 있어, 마이크로렌즈 어레이(2)와 이미지 평면 사이의 분리부(B), 두개의 마이크로렌즈 어레이들 사이의 분리부(d)는 적절한 기계적 구조에 의해 가변적으로 유지될 수 있다. 적절한 유형으로 B와 b를 변화시킴으로써, 일정한 직경(D₂)의 마이크로렌즈들은 메인 렌즈 시스템의 F-수를 변경할 수 있도록 할 수 있다. 이렇게 하여, 다중 마이크로렌즈 어레이 플레놉틱 카메라는 일정한 유효 분해능을 성취시킬 수 있으며, 또한 F-수를 변화시키거나 또는 전형적으로 상이한 F-수를 가지는 상이한 고정형 초점 길이 렌즈들을 갖춘 줌 렌즈와 함께 사용하여서도 상기 유효 분해능을 성취시킬 수 있다.

숙련자에게는, 도28에 도시된 기본적인 실예를 다른 형식의 마이크로렌즈를 가진 다수의 마이크로렌즈 어레이의 결합으로 확장하여 동일한 효과를 얻도록 하는 것도 막바로 기대할 수 있다. 이와 같은 다른 형식의 일예로서 다중 마이크로렌즈 어레이 플레놉틱 카메라의 각 마이크로렌즈들이 상이한 초점 길이의 마이크로렌즈들로 구성될 수 있다는 것이다.

3. 이미지 렌더링( Image rendering )

광축에 수직한 이미지 평면상의 위치(x,y)에 나타날 수 있는 강도 값(색깔 값)을 제고하기 위해, 이미지 평면이 광축을 따라 마이크로렌즈 평면으로부터 거리 z에 배치되어 있다면, 다음 절차가 적용된다:

1. 위치(x,y)의 포인트를 실질적으로 볼 수 있는 마이크로렌즈 세트를 찾는다. 이들이 중심들이 마이크로렌즈 평면상에 (x,y)의 직각 투영부의 반경(r)의 원 내부에 덜어지는 모든 마이크로렌즈들이다. 반경 r은

로 주어진다.

2. 이들 각 마이크로렌즈들에 대해, 포인트(x,y)가 각각의 마이크로렌즈들에 의해 투영된 이미지 평면상의 픽셀 위치를 계산한다.

3.최종 강도 값이 앞 단계에서 계산된 픽셀 위치의 이미지 평면상에 있는 강도 값의 가중평균값이다. 이 가중화(weighting)는 포인트(x,y,z)의 투영을 위한 각 픽셀 위치에 강도 쇠약 양을 부여하는 측정 데이타로부터 취할 수 있다.

이 방법은 임의의 표면으로서 꼭 평면이 아닌 표면상에 이미지의 재구성을 허용한다. 이는 어디서든 곡면들이 초점으로 보내져야만 하는 적용예에는 필수적이다. 수퍼 샘플링(super sampling)을 포함할 수도 있는, 제공 포인트의 스텝 사이즈를 변경시킴으로써 소정의 최종 분해능이 쉽게 설정될 수 있다.

다초점 플레놉틱 카메라을 위한 본 발명에 따른 이미지 렌더링 방법은 상기 요약된 내용을 기초로 한다. 포인트의 강도 값을 평가하기 위해 사용된 마이크로렌즈의 선택에 있어, 마이크로렌즈 평면으로부터 포인트의 거리가 고려될 수 있다. 각 거리에 대해, 한 세트의 마이크로렌즈가 색깔 값을 최적으로 평가하는 데 사용될 수 있다. 마이크로렌즈 셋업을 위한 1 또는 2 차원적 어레이 및 광선 세트로부터 이미지를 합성하기 위한 광센서 어레이와 함께 사용되는 본 발명의 이미지 렌더링 방법은 결론적으로 다음의 단계들을 포함한다:

- 광선 세트를 특징화하는 데이타를 출력시키기 위해 메인 렌즈와 광센서 어레이에 광선 세트를 수집하는 단계;

- 메인 렌즈와 광센서 어레이 사이에 위치된 마이크로렌즈 어레이에 의해 메인 렌즈로부터 광센서 어레이까지의 광선 세트를 감출하는 단계;

- 광센서 어레이에 의해 수집된 광의 방향적 특징들의 선택적인 검출을 용이하게 하기 위해 마이크로렌즈 어레이에 관련한 위치 배열에 광센서 어레이를 세팅시키는 단계; 및

- 메인 렌즈, 마이크로렌즈 어레이 및 광센서 어레이의 배열 및 상대 위치의 함수로서의 광 데이타를 이용하는 합성된 재초점 이미지를 이미지 데이타 프로세서로서 계산하는 단계;를 포함하고,

상기 합성된 재초점 이미지는 광센서 어레이에 의해 수집된 광선 세트의 가상 전향(virtual redirection)을 나타내고, 마이크로렌즈 평면에 포인트(x,y)의 직각형 투영부를 중심으로 반경(r=zD/2B)의 원 안에 맞아 떨어지는 중심들을 가지는 마이크로렌즈들을 찾아내어 (x,y)에 있는 포인트를 실질적으로 볼 수 있게끔 마이크로렌즈 세트가 선택되며, 이들 각 마이크로렌즈에 대해 이미지 평면 상의 픽셀 위치가 계산되어 그 곳에 포인트(x,y)가 각각의 마이크로렌즈들에 의해 투사되어지고, 픽셀들은 이미지로서 디스플레이된다.

아울러, 광선 세트로부터 이미지를 합성하기 위한 디지탈 이미징 방법은 앞서의 단계에서 계산된 픽셀 위치들에 있는 이미지 평면상에 색 값의 가중평균값으로서 최종 색 값을 찾아내는 가중화도 실행될 수 있다.

광선 세트로부터 이미지를 합성하기 위한 어떠한 디지탈 이미징 방법이 세트로서도 가능하여서 포인트(x,y,z)의 투영부를 위한 각 픽셀 위치들에서의 강도 쇠약 양을 부여하는 측정 데이타로부터 가중화를 취하기도 한다.

대표적인 실시예의 특징

도29는 도26의 1110에 도시된 마이크로렌즈 어레이 구조를 사용할 때의 MFPC의 광센서 평면 상에 생성된 초기 이미지의 실예를 보여준다. 이미지 처리되는 피사체는 세 형식의 마이크로렌즈 중 한 형식의 초점에만 최적상태로 있다. 이 형식의 초기 이미지로부터 최종 디지탈 이미지를 발생시키기 위해, 다음의 이미지 렌더링 알고리즘이 광센서 어레이로부터 초기 이미지 데이타 판도을 처리하기 위해 채용된다. 상기 이미지 렌더링 프로세스의 상세는 도30 및 도31의 플로우 차트로부터 설명된다.

S1. 허상 공간 좌표 시스템의 z-성분이 이미징 시스템의 광축에 평행하고 그리고 초점을 한정하는 허상 표면(1530)을 선택한다. 상기 허상 표면(1530)은 도시된 바의 만곡형 표면 또는 임의 형상의 표면 또는 평면 표면이다. 상기 허상 표면은 특정 형식의 공지된 피사체와 동일한 형상을 가지며, 최종 이미지가 이미지화 된 피사체가 공지의 형태로부터 이탈되지 않는 모든 곳에 모아지는 방도로 선택될 수 있다. 일예로서, 본 발명의 플레놉틱 카메라가 어떤 피사체를 이를 테면, 원통형 산출물을 모니터링할 목적으로 하는 제조공정 중에 이미징하기 위해 사용된다면, 선택된 허상 표면은 피사체의 표면에 매칭되며, 다시 말해, 원통형 허상 표면이 선택되는 것이다.

상기 허상 표면(1530)을 필수적으로 규칙적이지 않게 분배된 허상 포인트 세트로 분할한다. 이들 허상 포인트 세트는 최종 이미지를 형성한다.

S2. 제1/추가의 허상 포인트를 선택한다.

각 허상 포인트에 대해 다음 단계를 행한다:

S3. 선택된 허상 포인트(1531)에 대해, 허상 포인트의 z-값에서 최대 유효 분해능 비를 가지는, 특정 형식의 마이크로렌즈 보조 어레이(공동 초점 길이를 가지는 마이크로렌즈 그룹)를 선택한다.

예컨대, 도30의 z-축은 도14의 수평축이다. 따라서, 도7의 실예적인 마이크로렌즈 구조에서, z=3mm 에서 최선의 마이크로렌즈 형식은 형식2 이다.

S4. 마이크로렌즈 어레이 평면(1520)상에 허상 포인트(1531)를 투사한다. 이때 z=0에 놓인 것으로 가정한다.

S5. 마이크로 이미지들이 허상 포인트의 강도 값에 기여할 수 있는 것으로, 그들의 대응하는 마이크로 투영 콘(원추부)들이 허상 포인트(1531)를 포함한다. 이는 중심들이 투영된 허상 포인트(1532) 둘레의 반경(Rmax)의 원 안에 있는 모든 마이크로렌즈들의 마이크로 투영 콘들의 케이스이다. Rmax의 값은 Rmax=(zD)/(2B)이고, 이때 D는 마이크로렌즈의 직경이고 B는 광센서 평면(1510)과 마이크로렌즈 어레이 평면(1520) 사이의 거리이다.

S6. 마이크로 이미지가 허상 포인트의 강도 값에 기여할 수 있는 각 마이크로렌즈에 대해, 허상 포인트와 마이크로렌즈 중심을 통과하는 라인과 광센서 평면의 교차점을 찾는다. 이들 교차점은 초기 이미지 포인트로 칭할 것이다. 도30의 실예에서, 초기 이미지 포인트들은 포인트 P1(1533), P2(1534) 및 P3(1535)이다.

S7. 각 초기 이미지 포인트에 대해, 중심이 초기 이미지 포인트에 가장 근접한 광센서의 강도 값(초기 이미지 데이타)을 대응하는 초기 이미지 강도 로서 선택한다. 실제 허상 포인트의 최종 강도 값은 대응하는 초기 이미지 강도들의 평균 값으로, 이를 테면 초기 이미지 데이타의 강도들은 각각의 초기 이미지 포인트들의 수에 의해 더해지고 나누어진다.

S8. 모든 허상 포인트들이 처리되었는지를 체크한다. 만약 아니라면, 단계 S2로 계속한다. 만약 그렇다면, 평균된 초기 이미지 강도들을 사용하여 얻어질 디지탈 이미지를 제공한다. 후솟적으로, 상기 디지탈 이미지는 출력되어, 이를 테면 디스플레이되거나, 프린트되거나, 기록되거나 데이타 저장소에 저장될 수 있다.

최종 이미지의 이미지 품질을 개선시키기 위해, 이 기초적인 알고리즘에 관한 다수의 변형예들은 공지의 이미지처리 방법, 즉 이 분야의 종사자에게 잘 알려진 방법을 사용하므로서 가능하게 된다. 이들 변형예의 몇몇은 예컨대 다음과 같다.

초기 이미지 데이타는 다음의 프로세스로서 개선될 수 있다:

- 측정 이미지를 균질한 백색 표면의 MFPC로 보내서 대응하는 초기 이미지의 강도들이 광센서를 포화상태로 만들지 않으면서 가능한 높아지도록 한다.

- 원하는 씬의 이미지를 MFPC로 보낸다.

- 원하는 씬의 초기 이미지 데이타를 측정 초기 이미지 데이타로 나눈다. 이렇게 하여, 광학 시스템으로 인한 강도들 및 광센서 감도들에 대한 변경들이 초기 이미지에서 제거된다.

최종 이미지의 에이리어싱 영향(aliasing effect)는 다음의 설명에 의한 이미지 렌더링 알고리즘의 단계 S7에 의해 감소될 수 있다.

- 각 초기 이미지 포인트에 대해 초기 이미지 포인트를 둘러싸는 광센서 세트로부터 대응하는 초기 이미지 강도를 계산한다. 이것은 세트로 있는 광센서의 평균 강도 값 또는 초기 이미지 포인트로부터 광센서 중심들의 거리를 참고한 보간된 강도 값 일 수 있다. 많은 그와 같은 보간 알고리즘은 이 기술분야에서 잘 알려져 있다.

- 이미지 렌더링 알고리즘의 단계 S3은 다음 설명의 하나에 의해 대체될 수 도 있다. 항상 각각 선택된 허상 포인트(1531)를 위한 모든 마이크로렌즈 형식을 사용한다.

- z의 주어진 값에 대해 대응 유효 분해능 비 ε_L이

을 만족하는 모든 마이크로렌즈 형식을 사용하거나, 또는 그와 같은 마이크로렌즈 형식이 존재하지 않는다면,최소의 ε_L을 가지는마이크로렌즈 형식을 사용한다.

4. 추가적인 적용예

다초점 플레놉틱 카메라 및 다중 마이크로렌즈 어레이 플레놉틱 카메라 또는 이들의 결합물에 관한 상기 설명한 방법들은 단일 라인 카메라, 다중-라인 카메라, 핸드-고정형 스캐너, 플랫-베드 스캐너, 또는 복사기와 같은, 일-차원 광 감지 기구에도 사용될 수 있다.

단일 라인 카메라, 다중-라인 카메라, 핸드-고정형 스캐너, 플랫-베드 스캐너, 또는 복사기에 있어, 다른 형식의 렌즈들도 가능하지만, 수광기의 광 경로에 배치된 하나 또는 다수의 일-차원 원통형 렌즈 어레이로도 충분할 수 있다. 표준형 기구에 비해 그와 같은 구조의 잇점은 스캔된 표면이 평탄할 필요가 없고 또한 스캔 평면과 정렬될 필요가 없다는 것이다. 즉, 비평면형 표면이 어느 곳에서든 광이 모아질 수 있고 또한 기록된 표면의 3D-형상도 회복될 수 있다. 대응 렌더링 및 깊이 추정 알고리즘들은 앞서와 같고, 단순화를 위해 단지 일차원으로 있는 마이크로렌즈가 하나의 픽셀에 기여하는 것으로 하였다.

다중-라인 플레놉틱 카메라는 광학 경로에 배치된 하나 또는 다수의 마이크로렌즈 라인에 다수 평행라인의 수광기들을 가진다. 특정 시간의 주기로 이미지들을 기록하면서 그와 같은 카메라 아래로 피사체를 이동시킬 때 또는 카메라를 피사체 위로 이동시킬 때, 2-차원적 플레놉틱 카메라의 것에 등가적인 데이타 세트가 구성될 수 있다. 다시, 1-차원적 마이크로렌즈 라인에 있는 마이크로렌즈들은 서로 상이한 초점 길이들을 가질 수 있고 또는 다수의 그와 같은 마이크로렌즈들이 광학 경로를 따라 배치될 수도 있다. 그와 같은 구조의 잇점은 매우 높은 분해능을 가진 이미지가 생성될 수 있다는 것이다.

상기 발명의 상세한 설명, 도면 및 청구범위에 기술된 본 발명의 특징들은 다양한 구현예에서 본 발명의 실현을 위해 독립적 및 서로 결합하여 중요한 의의를 갖는다.

Claims

플레놉틱 광학 기구의 이미지를 합성하기 위한 구조를 갖는 디지탈 이미징 시스템이,
미리 정해진 이미지 평면에 배열된 다수의 광센서들을 포함하는 광센서 어레이; 및
피사체로부터 상기 광센서 어레이까지 광을 검출하기 위해 배열된 다수의 마이크로렌즈들을 포함하는 마이크로렌즈 어레이;를 포함하고,
상기 광센서 어레이 및 마이크로렌즈 어레이는 미리 정해진 거리로 배열되며,
상기 마이크로렌즈들은 마이크로렌즈 어레이에 걸쳐 변경된 상이한 초점 길이들을 가지며, 그리고
상기 광센서 어레이의 이미지 평면은 상기 광센서 어레이와 마이크로렌즈 어레이 사이의 거리가 마이크로렌즈들의 초점 길이와 동일하지 않는 방도로 배열된 것을 특징으로 하는 디지탈 이미징 시스템.
제1항에 있어서,
상기 마이크로렌즈 어레이는 공동 초점 길이를 가지는 마이크로렌즈 그룹을 포함하고, 서로 상이한 그룹의 마이크로렌즈는 서로 상이한 초점 길이를 가지는 것을 특징으로 하는 디지탈 이미징 시스템.
제1항 또는 제2항에 있어서,
상기 각 마이크로렌즈의 초점 길이는 두개 또는 세개의 상이한 초점 길이로부터 선택되는 것을 특징으로 하는 디지탈 이미징 시스템.
제1항 또는 제2항에 있어서,
상기 각 마이크로렌즈의 초점 길이는 세개 이상의 상이한 초점 길이로부터 선택되는 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
상기 각 마이크로렌즈의 초점 길이는 최근접하여 이웃하는 각 마이크로렌즈의 초점 길이와는 다른 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
각 마이크로렌즈가 각 마이크로렌즈의 초점 길이 및 마이크로렌즈 어레이로부터의 깊이 거리에 좌우되는 유효 분해능 비를 제공하고, 그리고
각 마이크로렌즈의 초점 길이들은 상기 유효 분해능 비가 깊이 거리의 인접 영역에서 상호 보완적인 최대값을 가지는 방도로 선택된 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
상기 마이크로렌즈들은 동일한 초점 길이를 가지는 마이크로렌즈들이 규칙적인 그리드를 제공하는 방도로 배열된 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
상기 마이크로렌즈들은 동일한 초점 길이를 가지는 마이크로렌즈들이 직각형 또는 육각형 그리드를 제공하는 방도로 배열된 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
상기 광센서 어레이와 마이크로렌즈 어레이 사이의 거리는 광센서 어레이와 마이크로렌즈 어레이의 가변형 또는 고정형 접속부를 포함하는 제어구성부에 의해 세팅된 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
상기 마이크로렌즈 어레이는 1 또는 2-차원적 마이크로렌즈 어레이인 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
공동 초점 길이를 가지는 모든 마이크로렌즈들은 동일한 직경을 가지는 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
마이크로렌즈 어레이의 모든 마이크로렌즈들은 동일한 직경을 가지는 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
피사체로부터 상기 마이크로렌즈 어레이까지 광을 검출하기 위해 배열된 다수의 마이크로렌즈들을 포함하는 마이크로렌즈 어레이를 포함하는 적어도 하나의 보조 마이크로렌즈 어레이를 포함하는 것을 특징으로 하는 디지탈 이미징 시스템.
전술한 항들 중 어느 한 항에 있어서,
서로 상이한 광센서에서 감지된 광, 마이크로렌즈 어레이에 관한 광센서의 위치 및 상기 감지된 광의 입사각의 함수로서 합성된 이미지를 특징하는 이미지를 제공하기위해 프로그램처리가능한 컴퓨터 셋업 중에 있는 프로세서를 더 포함하는 것을 특징으로 하는 디지탈 이미징 시스템.
광학 메인 렌즈; 및
전술한 항들 중 어느 한 항에 따른 디지탈 이미징 시스템;을 포함하는 것을 특징으로 하는 플레놉틱 광학 기구.
제15항에 있어서,
상기 디지탈 이미징 시스템의 마이크로렌즈 어레이가 광학 메인 렌즈의 초점 라인에 배열되어 광이 피사체로부터 광학 메인 렌즈를 거쳐 광센서 어레이로 향하도록 하고, 그리고
상기 광학 메인 렌즈의 초점 라인의 특정 부분을 관통하는 광선 세트에 대해, 다수의 광센서들이 상이한 입사각으로 초점 라인의 특정 부분에 동시에 도달하는 상기 광선 세트의 상이한 광선들을 감지하기 위해 배열된 것을 특징으로 하는 플레놉틱 광학 기구.
제15항 또는 제16항에 있어서,
상기 플레놉틱 광학 기구는 카메라 기구, 스캐닝 기구 또는 현미경 기구인 것을 특징으로 하는 플레놉틱 광학 기구.
제1항 내지 제14항 중 어느 한 항에 따른 디지탈 이미징 시스템과 제 15항 내지 제17항 중 어느 한 항에 따른 플레놉틱 광학 기구로 수집한 이미지 데이타를 처리하기 위한 방법이,
광센서로 수집한 초기 이미지 데이타를 제공하는 단계;
허상 포인트들을 포함하는 미리 정해진 허상 표면을 제공하는 단계;
각 허상 포인트를 위해,
광센서 어레이 상의 허상 포인트를 이미징하기 위한 최대 유효 분해능을 가지는 것으로 그의 초점 길이에 좌우되는 마이크로렌즈 그룹을 선택하고,
마이크로렌즈 어레이 평면상에 상기 허상 포인트를 투사하고,
상기 허상 포인트의 강도 값에 기여하는 상기 선택된 마이크로렌즈 그룹의 마이크로 이미지를 검출하고,
초기 이미지 데이타가 허상 포인트의 강도 값에 기여하는 초기 이미지 포인트들을 선택하고, 그리고
상기 초기 이미지 포인트에서의 초기 이미지 데이타의 평균 초기 이미지 강도를 검출하는 단계; 및
상기 평균 초기 이미지 강도를 포함하는 디지탈 이미지를 발생시키는 단계;를 포함하는 것을 특징으로 하는 이미지 데이타 처리 방법.
제18항에 있어서,
상기 허상 표면은 허상 평면 또는 이미지될 피사체의 표면에 적응된 표면인 것을 특징으로 하는 이미지 데이타 처리 방법.
제18항 또는 제19항에 있어서,
상기 디지탈 이미지를 발생시키는 단계는 다양한 허상 표면들을 위해 반복되는 것을 특징으로 하는 이미지 데이타 처리 방법.