KR20200094062A

KR20200094062A - 렌즈리스 초분광 영상 이미징 방법 및 그 장치

Info

Publication number: KR20200094062A
Application number: KR1020190096565A
Authority: KR
Inventors: 김민혁; 전석준
Original assignee: 한국과학기술원
Priority date: 2019-01-29
Filing date: 2019-08-08
Publication date: 2020-08-06
Anticipated expiration: 2039-08-08
Also published as: KR20200094058A; EP3832359B1; KR102269229B1; US12315040B2; US20210350590A1; EP3832359A4; EP3832359A1

Abstract

렌즈리스 초분광 영상 이미징 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함하고, 상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.

Description

렌즈리스 초분광 영상 이미징 방법 및 그 장치 {Lensless Hyperspectral Imaging Method and Apparatus Therefore}

본 발명은 초분광 이미징 기술에 관한 것으로서, 상세하게는 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수(PSF; point spread function)의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역 예를 들어, 파장 별 스펙트럼 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치에 관한 것이다.

초분광 영상은 생물의학 검사, 재료 분류, 재료 외관 획득, 디지털 유산 보존, 법의학 등 다양한 센싱 어플리케이션에 활용되어 왔다. 기하학적 광학에 기초하여, 다양한 초분광영상 시스템은 동적인 오브젝트의 스냅샷을 위해 발전해왔고, 과도하게 큰 폼 팩터를 초래하는 다양한 광학 소자 예를 들어, 분산적 광학 소자(예를 들어, 프리즘 또는 회절 격자), 코드화된 조리개 마스크, 다수의 릴레이 렌즈 그리고 객체 영상 시스템을 포함한다.

지난 10년 동안 인간의 시력을 넘어 물리적으로 의미 있는 영상을 가능케 하기 위해 초분광영상이 광범위하기 연구되어 왔다. 종래 방법은 스펙트럴 스캐닝, 컴퓨터 단층 촬영 영상 그리고 스냅샷 압축 영상 등 세 가지 유형으로 분류할 수 있다. 프리즘이나 회절 격자와 같은 분산 광학 소자에 기초한 스캐닝 기반 접근법은 각 파장의 빛을 소위 위스크브룸(whiskbroom) 또는 푸시브룸(pushbroom) 스캐너라고 불리는 슬릿(slit)을 통해 포착할 수 있다. 스캐닝은 높은 공간 및 스펙트럼 해상도를 산출하지만, 목표 객체는 정적 오브젝트 혹은 원격 장면으로 제한된다.

컴퓨터 단층 촬영 영상 분광 측정(CTIS; Computed tomography imaging spectrometry)은 스캐닝 방법의 제한을 완화하기 위해 도입되었으며, 이것은 영상과 릴레이 렌즈를 가지는 회절 격자를 사용한다. 회절 격자는 컴퓨터 단층 촬영의 공간 해상도를 희생시키면서 콜리메이트된 입사광을 서로 다른 방향에서 다른 회절 패턴으로 분할한다.

코드화된 조리개 스냅샷 스펙트럴 영상(CASSI; Coded aperture snapshot spectral imaging)은 동적인 오브젝트를 캡쳐하기 위해 도입되었다. 분산형 광학 소자는 스펙트럴 또는 공간 스펙트럴 신호를 코드화하기 위해 릴레이 렌즈를 통해 코드화된 조리개와 결합된다. 압축 입력은 이후 재구성된다. 이 두 가지 유형의 스냅샷 스펙트럴 영상은 모두 빛을 콜리메이트하고 분산(또는 CASSI의 경우 빛을 변조)시키기 위해 몇 가지 기하학적 광학 소자를 필요로 하며, 이는 그들을 부피가 크고 실제로 다루기 어렵게 만든다. 최근 일 실시예의 종래 기술에서 이동성을 향상시키기 위한 컴팩트 스펙트럴 영상법을 소개하였으나, 이 방법은 여전히 기하학적 광학 소자에 기초하고 있기에 DSLR카메라 앞에 프리즘을 부착해야 한다. 전체적인 광학 시스템은 모바일 기기에 적용하기에는 크다.

회절 격자와 같은 회절 광학 소자는 회절 효율로 인해 전통적인 초분광 이미저 또는 분광측정기에 흔히 사용되어 왔다. 최근 일 실시예의 종래 기술은 전형적인 베이어 패턴(Bayer pattern) 컬러 필터가 없는 다색상 영상을 위한 몇 가지 회절 필터 배열을 선보였으나 이러한 회절 광학 소자는 추가 영상 렌즈가 있는 기하학적 광학 시스템을 통해 설치되어야 한다.

전통적인 회절 영상은 색수차로 인한 단일 파장의 단색(또는 일정한) 빛을 위해 고안되었다. 최근에, 회절 RGB영상법은 일정하지 않은 조도의 조명에 대해서도 도입되었다. 종래 일 실시예에 따른 기술은 전체 가시 스펙트럼 상에서 변하지 않는 등방위성 PSF를 만들어 색수차가 생기지 않는 무색의 프레넬 렌즈를 선보였으며, 종래 다른 일 실시예에 따른 기술 또한 두 개의 회절 광학계의 기계적 배열상의 초점 길이와 줌과 같은 조정 가능한 광학 파라미터를 가진 회절 RGB 영상을 선보였다. 종래 또 일 실시예에 따른 기술은 코드화된 조리개의 회절을 이용한 렌즈 없는 영상 센서를 도입하였다. 고정된 거리에 있는 대상 오브젝트는 세 개 체널의 RGB 영상으로 캡쳐할 수 있다. 종래 또 일 실시예에 따른 기술은 경사 기반 최적화 프레임워크를 채택하여 회절 광학 소자의 엔드 투 엔드 최적화 방법을 제안하였다. 지금까지의 기존 회절 영상의 경우, 종래 기술들은 RGB 영상에 집중하여 포커스를 강화함으로써, 전체 가시 스펙트럼의 올인 포커스(all-in-focus) 영상을 포착하였다.

회절 광학 소자에 의해 만들어진 점분포함수(PSF)는 파장과 깊이 둘 다에 따라 모양이 바뀐다. 예를 들어, 종래 일 실시예의 기술은 깊이가 변할 때 PSF가 회전하며, 이 특성은 단색 조명 하에서 깊이 영상화를 가능케 한다는 것을 발견하였으며, 종래 다른 일 실시예의 기술은 회절로 캡쳐한 스냅샷으로부터 라이트 필드(light field)를 캡쳐한다. 광학 소자의 PSF는 깊이에 따라 달라지는 부식성(caustic) 패턴이다. 종래 또 다른 일 실시예의 기술은 프레넬 존 조리개를 도입하여 조도가 일정하지 않은 빛으로도 PSF의 깊이 변형을 이용해 라이트 필드를 포착하였다. 이 방법들은 PSF의 깊이 의존성을 이용하여 깊이 또는 라이트 필드를 포착한다.

기존의 RGB카메라와는 달리 스냅샷 스펙트럴 이미저는 고밀도 스펙트럴 샘플의 압축 신호를 캡쳐하는데, 이 신호는 후 프로세스(post process)에 의해 재구성되어야 한다. 초분광 재구성은 단색적이고 인코딩된 영상에서 나오는 고밀도 스펙트럴 정보로 심각하게 오류가 있는 문제이기 때문에 총변이(TV; total variation) l1-놈 규칙(norm regularization) 또는 미리 트레이닝된 사전(pretrained dictionary)과 같은 특정 내츄럴(natural) 영상 프라이어와 데이터 정확도 항목을 정의함으로써 몇 가지 최적화 접근법이 제안되어 왔다. 이러한 접근법의 일반적인 특징은 재구성된 결과에서의 공간 분해능과 스펙트럴 정확도 사이의 트레이드오프(tradeoff)이다. 이러한 트레이드오프를 완화하기 위한 종래 일 실시예의 기술은 자동 인코더 네트워크를 사용하여 트레이닝된 데이터 구동(data-driven) 프라이어를 제안했고, 종래 다른 일 실시예의 기술은 컨볼루션 희소 코딩(sparse coding)을 초분광 프라이어로 이용했다. 이들은 내츄럴 초분광 영상의 데이터 구동을 수단으로 사용함으로써 문제의 오류를 감소시켰다. 그러나 이들의 재구성은 영상 재구성 프레임워크와는 별도로 내츄럴 스펙트럴 프라이어를 트레이닝했기에 전체적으로 엔드 투 엔드 최적화 솔루션은 아니다.

본 발명의 실시예들은, 회절 광학 소자(DOE; diffractive optical element)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있는 초분광 이미징 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함한다.

상기 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.

상기 초분광 영상을 재구성하는 단계는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다.

상기 초분광 영상을 재구성하는 단계는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 초분광 영상을 재구성하는 단계는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 수신하는 단계는 렌즈없이 상기 회절 광학 소자를 통과하여 촬영된 영상을 수신하고, 상기 재구성하는 단계는 상기 회절 광학 소자의 회절 측정과 상기 수신된 영상에 대한 초분광 영상의 재구성을 동시에 수행할 수 있다.

본 발명의 일 실시예에 따른 초분광 영상 재구성 장치는 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부를 포함한다.

상기 재구성부는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 재구성부는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 재구성부는 상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 수신부는 렌즈없이 상기 회절 광학 소자를 통과하여 촬영된 영상을 수신하고, 상기 재구성부는 상기 회절 광학 소자의 회절 측정과 상기 수신된 영상에 대한 초분광 영상의 재구성을 동시에 수행할 수 있다.

본 발명의 일 실시예에 따른 초분광 영상 재구성 시스템은 회절 광학 소자(diffractive optical element); 및 상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치를 포함한다.

상기 카메라 장치는 상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.

상기 카메라 장치는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성할 수 있다.

본 발명의 다른 일 실시예에 따른 초분광 영상 재구성 방법은 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함한다.

본 발명의 또 다른 일 실시예에 따른 초분광 영상 재구성 방법은 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계를 포함한다.

본 발명의 실시예들에 따르면, 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다. 즉, 본 발명은 렌즈가 없이 회절 광학 소자만을 통해 촬영된 영상과 회절 광학 소자의 파장별 점분포함수를 이용하여 초분광 영상을 재구성함으로써, 회절과 초분광 영상 측정을 동시에 수행할 수 있는 렌즈리스 초분광 영상 이미징을 제공할 수 있다.

본 발명의 실시예들에 따르면, 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.

본 발명의 실시예들에 따르면, 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다.

즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.

이러한 본 발명은 네온 사인, 나트륨 등, 할로겐 전구 등의 특수한 조명에서의 물체 표현을 정확하게 만들 수 있으며, 초박형 카메라로의 크기 최적화를 통해 웨어러블 장비, 사물인터넷 장비로의 이식이 가능하고, 비침습적 검사 특성을 이용한 헬스케어 서비스, 웨어러블 초분광 획득 장비를 이용한 증강 현실(AR) 등에게 적용시킬 수 있다.

도 1은 본 발명에 따른 방법과 기존 방법들을 비교한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것이다.
도 4는 도 3에 도시된 프라이어 네트워크에 대한 일 예시도를 나타낸 것이다.
도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

기존의 스냅샷 초분광영상 시스템은 여러 광학적 요소 예를 들어, 프리즘, 코드화된 조리개, 다수의 릴레이 렌즈, 영상 렌즈 등을 포함하여 과도하게 큰 폼 팩터(form factor)를 초래한다.

기존 스냅샷 초분광영상 시스템에서 이러한 이동성의 한계를 극복하기 위해, 본 발명은 최근 회절 광학 기술의 진보에 기초해 초분광영상을 위한 대체적이고 최소의 광학 시스템을 모색한다. 이를 위해, 초분광영상의 일반적인 광학 소자를 전형적인 베어 영상 센서에 직접 부착할 수 있는 단일 회절 광학 소자(DOE)로 대체하는 컴팩트 스냅샷 초분광 영상 방법을 제안한다. 본 발명은 도 1a에 도시된 바와 같이, DOE를 이용하기 때문에 많은 광학적 요소들을 피할 수 있고 폼 팩터에 미치는 영향이 미미하여 일반적인 사용자가 자유롭게 초분광영상을 캡쳐할 수 있다. 즉, 본 발명은 단일 회절 광학 소자를 사용하여 연속적인 분산으로 스냅샷을 캡쳐해 스냅샷 스펙트럼 영상을 가능하게 한다.

단일 회절 영상 렌즈를 사용하여 초분광영상을 캡쳐하기 위해서는 두 가지 주요 기술적 과제가 있다. 첫째, 파장에 따라 등방성의 점분포함수(PSF)의 크기가 달라지는 물리적인 현상으로 인해 색수차가 심해지기 때문에 조도가 일정하지 않은 환경에서 기존의 회절 렌즈는 풀-스펙트럼 영상 촬영에 적합하지 않다. 둘째, 분산에 대한 회절 요소가 없고 코드화된 조리개 마스크가 없기 때문에 DOE를 통한 스펙트럴 신호는 널리 퍼지며, 스펙트럴 재구성을 위한 대형 커널(kernel)의 디컨볼루션을 요구한다. 따라서, 스펙트럴 재구성상의 오류는 전형적인 압축 스펙트럴 영상 설정보다 회절 영상 설정에서 훨씬 더 크게 증가한다.

이러한 과제를 해결하기 위해, 본 발명은 다음과 같은 기여를 한다.

첫째, 스펙트럴 영상 광학의 폼 팩터를 최소화하기 위해, 초분광영상에 대한 분산과 영상의 두 가지 주요 함수를 단일 회절 광학 소자로 결합하는 새로운 설계를 도입한다. 본 발명은 프레넬(Fresnel) 회절의 파장 의존성을 활용하여 DOE디자인이 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성한다. 전통적인 프레넬 렌즈와는 달리 PSF크기는 사실상 변하지 않지만, 대신 빛의 파장이 변함에 따라 PSF모양이 회전한다. 비등방성 PSF의 스펙트럴에 따른 회절 회전 특성은 스펙트럴 재구성의 결정적인 신호이다.

둘째, 엔드 투 엔드 재구성 네트워크를 고안하여 일반적 광학 소자의 부재로 인해 증가된 스펙트럴 재구성의 오류를 완화한다. 본 발명에서의 네트워크는 스펙트럴에 따라 변하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior)를 갖는 조건 최적화 절차로부터 설계될 수 있다. 구체적으로는, 본 발명은 내츄럴 스펙트럴 영상의 공간 스펙트럴 특성을 학습하는 데이터 구동(data-driven) 프라이어 최적화 고안 네트워크 솔루션을 설계함으로써, 회절 회전으로부터 강력한 엔드 투 엔드 초분광 재구성을 가능하게 할 수 있다.

이것은 개별 선정된(hand-crafted) 프라이어를 가지는 기존 최적화 방법을 적용하는 대신, 회절 회전으로부터 스펙트럴 정보를 충실히 재구성한다. 요약하자면, 본 발명의 세 가지 새로운 기여는 다음과 같다.

(1) 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 유도하는 회절 영상 렌즈를 도입하여 단일 DOE로 영상과 분산을 달성한다.

(2) 공간 스펙트럴 프라이어를 가지는 최적화 고안 재구성 네트워크를 개발함으로써, 회절 영상 설정에서 스펙트럴 재구성의 오류를 완화한다.

(3) DOE를 기초로 광학 시스템의 최소 폼 팩터를 가진 회절 영상 시스템을 제안하며, 이는 기존 시스템의 것보다 더 얇다.

도 1은 본 발명의 일 실시예에 따른 초분광 이미징 방법을 설명하기 위한 것으로, 본 발명은 기존 베어 영상 센서에 새로운 회절 광학 소자(DOE; diffractive optical element)를 부착한 컴팩트 스냅샷 초분광 이미징 방법에 대한 것이다.

본 발명의 초분광 이미징 방법은 초분광영상의 일반적인 광학 소자들 예를 들어, 프리즘, 코드화된 마스크, 릴레이 및 영상 렌즈 들을 단일 광학 소자로 대체하고, 본 발명의 방법에서의 회절 영상 렌즈는 기존의 초분광 광학 시스템의 렌즈보다 더 얇으며, 본 발명의 렌즈 설계는 스펙트럼에 따른 점분포함수로부터 추출된 스펙트럼 정보를 복원할 수 있는 데이터 구동 스펙트럼 재구성 방법과 결합될 수 있다.

도 1a는 울트라씬(untralthin) DOE(diffractive optical element)가 설치된 DSLR 카메라를 나타낸 것이고, 도 1b는 실제 입력으로부터 생성된 재구성 초분광 영상에 대한 일 예시도를 나타낸 것이며, 도 1c는 파장 별로 측정된 스펙트럴에 따라 변하는 점분포함수를 나타낸 것이고, 도 1d는 캡쳐된 스펙트럴 채널들을 나타낸 것이며, 도 1e는 실측값(Ground Truth)과 비교된 컬러체커(ColorChecker)의 두 패치에 대한 스펙트럴 플롯을 나타낸 것이다.

도 1에 도시된 바와 같이, 본 발명은 단일 DOE를 이용하여 파장 별로 스펙트럴에 따라 변하는 점분포함수(PSF)를 분석하고, 스펙트럴에 따라 변환하는 점분포함수(PSF)를 처리하는 공간 스펙트럴 프라이어(prior) 예를 들어, U-Net 구조의 뉴럴 네트워크를 이용하여 초분광 정보를 획득함으로써, 단일 DOE를 이용하여 초분광 영상을 획득할 수 있다.

도 2는 본 발명의 일 실시예에 따른 초분광 영상 재구성 방법에 대한 동작 흐름도를 나타낸 것이다.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 방법은 단일 회절 광학 소자(DOE)를 통과하여 촬영된 영상을 수신하는 단계(S210)와 미리 설정된 파장 별 점분포함수(PSF) 정보와 미리 설정된 학습 모델로 학습된 뉴럴 네트워크에 기초하여 수신된 영상에 대한 초분광 영상을 재구성하는 단계(S220)를 포함한다.

여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있으며, 본 발명의 방법은 이러한 회절 광학 소자를 통과하여 촬영된 영상을 수신하고, 수신된 영상과 미리 학습된 뉴럴 네트워크에 기초하여 영상에 대한 초분광 영상을 재구성할 수 있다.

이러한 본 발명에 따른 방법을 도 3 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.

회절 모델(diffraction model)

본 발명은 회절 모델을 설명하기 위하여 프레넬 회절의 기초를 다룬다. 회절 영상을 위한 본 발명에서의 회절 모델을 설명하면 다음과 같다. 파동 필드(wave field)를 방출하고 카메라에 빛을 비추는 점 광원을 센싱 깊이 z에서의 회절 렌즈와 베어 영상 센서로 구성되어있다 가정한다. 소스에서 전파되는 파동 필드를 영상화할 때, 파장 λ

의 점분포함수 p_λ(x, y)는 센서의 강도 영상(intensity image)를 의미한다.

진폭 A, 위상 φ₀, 및 파장 λ을 갖는 DOE 좌표계의 위치 (x', y')에서의 단색 입사 파동 필드 u₀이 회절 광학 소자를 통과한다 가정하면, 위치 (x', y')에서의 단색 입사 파동 필드 u₀는 아래 <수학식 1>과 같이 나타낼 수 있다.

[수학식 1]

위상 쉬프트 φ_h는 DOE에 의해 발생한다. DOE를 통과한 파동 필드 u₁는 아래 <수학식 2>와 같이 나타낼 수 있다.

[수학식 2]

위치 (x', y')에서 위상 쉬프트 φ_h는 DOE의 높이 프로파일(height profile) h(x', y')에 의해 결정되며, 위치 (x', y')에서 위상 쉬프트 φ_h는 아래 <수학식 3>과 같이 나타낼 수 있다.

[수학식 3]

여기서,

는 파장 λ당 공기와 DOE 기판(substrate)의 회절 지수들 간의 차이를 의미할 수 있다.

파동 필드가 영상 센서에 도달하면, DOE상 깊이 z에 있는 센서 플레인의 파동 필드 u₂(x', y')는 프레넬 회절 법칙에 의해 파동 필드 u₁(x', y')로부터 얻어질 수 있으며, λ << z인 경우 u₂(x', y')는 아래 <수학식 4>와 같이 나타낼 수 있다

[수학식 4]

여기서, k=2π/λ는 파동의 공간 주파수라고도 불리우는 파수(wavenumber)를 의미할 수 있다.

평면파 가정(plane wave assumption): 본 발명은 광학 시스템으로 무한대로 작동하도록 설계한다. 이러한 설정에서 광학 축을 따른 광원으로부터 나온 입사광은 상수 진폭 A와 상수 위상 φ₀를 갖는 평면파

로 표현될 수 있으며, 이것은 DOE를 설계하는 수학적 복잡성을 완화시켜준다. 센서 플레인 상의 입사 파동 필드 u₂는 상기 수학식 2와 수학식 4로부터 획득될 수 있으며, 아래 <수학식 5>와 같이 나타낼 수 있다

[수학식 5]

PSF p_λ(x, y)는 파동 필드 u₂의 제곱근 값의 강도를 의미할 수 있다.

마지막으로 점 광(또는 조명)(point light)이 주어지면, 푸리에 변환에서 프레넬 적분을 나타냄으로써, p_λ(x, y)는 아래 <수학식 6>과 같이 공식화될 수 있다.

[수학식 6]

회절 초분광영상(diffractive hyperspectral imaging)

본 발명의 초분광 영상 방법은 기존의 초분광 영상법과는 달리, 단일 광학 소자와 기존의 베어 영상 센서로 구성된다. 본 발명에서의 회절 광학 소자는 초분광 이미저의 폼 팩터를 크게 줄일 수 있도록 초분광영상의 일반적인 광학 소자들 예를 들어, 분산 광학 소자, 코드화된 조리개 및 릴레이 렌즈 등을 단일 DOE로 대체한다. 반면, 본 발명의 최소, 광학 구성은 압축 입력으로부터 초분광 영상을 재구성하는데 어려움을 격는다. 왜냐하면, 초분광영상의 핵심적인 광학 소자 예를 들어, 분산형 요소와 코드화된 조리개의 부재로 인해 스펙트럴 재구성의 오류가 현저히 증가하기 때문이다. 본 발명은 DOE에 의한 점분포함수가 스펙트럴 파장에 따라 변화하고 스펙트럴에 따라 변화하는 PSF의 비등방성 형상을 변하지 않는 크기로 회전시키는 회절 광학 소자의 새로운 설계를 도입하여 오류를 완화시킬 수 있다. 이러한 설계는 스펙트럴 재구성의 중요한 신호가 될 수 있다.

스펙트럼 영상 형성

본 발명은 내츄럴하게 조도가 일정하지 않은 상황에서 기존의 RGB영상 센서로 초분광 영상을 캡쳐하는 것이다. 따라서 본 발명에서의 영상 형성은 컬러 필터를 통한 카메라 반응 함수를 포함하지만, 단색 센서의 양자 효율(quantum efficiency) 함수는 대체적으로 사용할 수 있다. 센서 Jc(x, y)에 포착된 RGB영상에서 스펙트럴에 따라 변하는 점분포함수 p_λ(x, y)으로 초분광 영상 I_λ(x, y)을 캡쳐하고 센서에 각 컬러 채널

에 대한 센서 스펙트럼 감도 함수 Ωc(x, y)가 있다고 가정한다. 캡쳐된 영상 Jc는 아래 <수학식 7>과 같이 나타낼 수 있다.

[수학식 7]

스펙트럴 영상 형성 모델은 아래 <수학식 8>와 같이 간단하게 나타낼 수 있다.

[수학식 8]

여기서, *는 컨벌루션 연산자를 의미할 수 있다.

본 발명은 영상 형성 모델을 이산 벡터와 행렬 형태로 나타낼 수 있다.

를 원래의 초분광 영상 벡터라 하고,

를 캡쳐한 RGB영상 벡터라 하며, W, H와 Λ는 각각 스펙트럴 영상의 폭, 높이 및 파장 채널의 수를 의미한다. 센서 감도 Ωc(λ)와 PSF p_λ(x, y)에 의한 컨볼루션은 각각 행렬

와

로 나타낼 수 있다. 측정 행렬

는 Ω와 P의 곱(product)이다. 상기 수학식 8의 연속적인 영상 형성 모델은 이산 행렬 형태로 나타낼 수 있으며, 아래 <수학식 9>와 같이 나타낼 수 있다.

[수학식 9]

회절에서의 스펙트럴 재구성

본 발명의 스펙트럴 재구성 문제는 다음과 같은 두 가지 하위 문제들을 해결하는 것이다. 첫째, 입력 데이터를 캡쳐할 때 각 스펙트럴 채널은 스펙트럴에 따라 변하는 점분포함수로 연결된다. 따라서 비시각적(non-blind) 디컨볼루션은 명확한 스펙트럴 채널을 재구성할 필요가 있다. 둘째, 전체 가시 스펙트럼의 흐릿한 스펙트럴 채널도 영상 센서의 3개의 컬러 채널(단색 센서의 경우 1개의 채널)에 투사된다. 이러한 두 가지 역 문제(inverse problem)의 조합은 스펙트럴 재구성의 예측 오류를 크게 증가시킨다. 기존 스펙트럴 재구성 방법은 주로 내츄럴 스펙트럴 영상의 프라이어 정보를 학습하고, 개별 선정된(hand-crafted) 프라이어로 초분광 영상을 재구성하는 최적화 문제를 공식화하는 데이터 구동 접근법을 취한다. 이들은 완전한 엔드 투 엔드 솔루션은 아니며 또한 최적화 프로세스에 많은 계산 비용이 필요하다. 본 발명은 회절 회전을 설명하는 공간 스펙트럴 프라이어를 갖는 최적화 프로세스로부터 고안하여 완전한 엔드 투 엔드 재구성 방법을 강구한다.

최적화 유도 네트워크(Optimization-Inspired Network)

상기 수학식 9에서 WH3 << WHΛ이기 때문에 본 발명의 초분광 영상 재구성 문제는 심각히 불충분한 시스템이다. 입력 측정을 만족시키는 솔루션이 많이 있을 수 있다. 초분광 영상

를 재구성하기 위해 스펙트럴 재구성의 객관적 함수는 다음과 같은 데이터 항목과 더불어 내츄럴 스펙트럴 영상의 프라이어를 필요로 하며, 초분광 영상은 아래 <수학식 10>과 같이 나타낼 수 있다.

[수학식 10]

여기서, R(.)는 내츄럴 영상의 알려지지 않은 프라이어 함수를 의미하며, τ는 프라이어 항목의 가중 파라미터를 의미할 수 있다.

이러한 정규화 항목은 최적화에 있어서 반드시 구별할 수 있는 것이 아니므로, 보조 변수

를 도입하여 제한된 최적화 문제로서 상기 수학식 10을 재공식화함으로써, 데이터 항목과 정규화 항목을 분리할 수 있으며, 이를 아래 <수학식 11>과 같이 나타낼 수 있다.

[수학식 11]

HQS(half-quadratic splitting) 방법은 상기 수학식 11을 제약 없는 최적화 문제로 전환시킬 수 있으며, 아래 <수학식 12>과 같이 나타낼 수 있다.

[수학식 12]

여기서, ξ는 패널티 파라미터를 의미할 수 있다.

상기 수학식 12는 아래 <수학식 13>과 <수학식 14>로 분할하여 해결할 수 있다.

[수학식 13]

[수학식 14]

상기 수학식 13은 2차 최적화 문제로, 아래 <수학식 15>과 같이 일반화된 티호노프(Tikhonov) 정규화 방법에 의해 반복적으로 해결할 수 있다.

[수학식 15]

여기서,

은 단위 행렬을 의미할 수 있다.

스펙트럴 영상의 측정 행렬은 매우 크기에, 상기 수학식의 역 파트의 계산은 많은 계산 비용을 요구한다. 이러한 비용 문제를 완화하기 위하여, 많은 반복이 필요한 상기 수학식 13을 해결하는 대신 컨쥬게이트 경사 방법(conjugate gradient method)을 대체적으로 채택할 수 있다. 이러한 방법으로, l번째 반복의 솔루션은 아래 <수학식 16>과 같이 나타낼 수 있다.

[수학식 16]

여기서,

를 의미하며, ε는 경사 하강 스텝 크기를 의미할 수 있다.

각각의 최적화 반복 단계에서, 초분광 영상 I^(l+1)은 세 부분에서 업데이트 된다. 첫번째 부분은 I^(l)과

를 곱하여 측정 행렬의 경사를 계산한다. 두번째 부분은 파라미터 ε에 의해 가중된

로부터 도출된다. 세번째 부분은 εξ로 가중된 프라이어 항목을 계산한다. 최적화 반복은 L번 반복된다. 도 3은 본 발명의 뉴럴 네트워크 아키텍쳐에 대한 일 예시도를 나타낸 것으로, 상술한 과정을 뉴럴 네트워크 아키텍쳐로 구성한 것으로, 도 3에 도시된 프라이어 네트워크를 포함하며, L번 반복 전개된 하위 네트워크 아키텍쳐의 체인으로 구성되며, 엔드 투 엔드 방식으로 파라미터를 정할 수 있다.

초분광 프라이어 네트워크

HQS알고리즘은 알려지지 않은(unknown) 정규화기(regularizer) R(.)로부터 측정 행렬을 분리하기 때문에 상기 수학식 14의 프라이어 항목은 근접 연산자(proximal operator)의 형태로 나타낼 수 있다. TV-l₁ 놈과 같이 개별 선정된(hand-crafted) 내츄럴 영상 프라이어를 사용하는 대신, 본 발명은 영상 프라이어 V^(l+1)의 보조 파라미터를 산출하기 위해 소프트-쓰레스홀딩으로 상기 수학식 14를 해결하는 뉴럴 네트워크 함수 S(.)를 정의할 수 있으며, 아래 <수학식 17>과 같이 나타낼 수 있다.

[수학식 17]

본 발명은 다음의 두 가지 주요 목적으로 프라이어 네트워크 아키텍처를 고안한다. 첫째, 네트워크는 내츄럴 스펙트럼 영상의 공간 프라이어와 스펙트럴 프라이어 모두를 학습해야 한다. 둘째, 네트워크는 PSF의 회절 회전에 의한 스펙트럴 영상을 재구성해야 한다. 상대적으로 큰 커널로 디컨볼루션을 설명하기 위해, 본 발명은 다상 뉴럴 네트워크 예를 들어, 도 4에 도시된 바와 같이 U-net을 채택하여 보다 넓은 수용 분야를 커버하기 위해 멀티스케일 아키텍처 구조를 이용할 수 있다. 본 발명의 네트워크에서, 첫번째 컨볼루션 레이어는

필터를 사용하여 특성 크기 Γ의 텐서(Tensor)를 생산한다. 이후 네트워크는 최대 풀링(pooling)과 함께 컨트랙팅 경로(contracting path)를 가진 다중 스케일 특성을 생성하고 업-컨볼루션 레이어를 가진 확장(expansive) 경로를 생성한다. 각 레벨에서, 두 개의 컨볼루션 레이어는 공간 스펙트럴 특징을 인코딩한다. 스킵 연결을 사용함으로써, 스케일링된 특징이 상부 스케일 특징과 연쇄된다. 최종적으로,

필터 컨볼루션 레이어를 가진 본래의 초분광 큐브 크기의 텐서를 생성한다. 본 발명은 가중 파라미터와 최적화 파라미터 ε 및 ξ를 포함하는 엔드 투 엔드 학습법으로 전체 네트워크를 학습한다. 이러한 모든 파라미터들이 L번의 반복을 통해 각 스테이지에 대해 개별적으로 학습되는데, 이는 각 스테이지의 입력 품질이 증가함에 따라 단계의 입력 품질이 증가함에 따라 최적화 파라미터들은 적응적으로 업데이트되기 때문이다.

구체적으로, U-Net은 인코더와 디코더 및 이들의 연결로 구성된다. 인코더는 일반적으로 낮은 복잡도에서 높은 복잡도까지 영상 특징 맵의 계층 구조를 추출하는 반면, 디코더는 특징을 변환하고 낮은 해상도에서 높은 해상도까지 출력을 재구성한다. 인코더-디코더 스킵 연결은 디코더에서 핵심 역할을 수행하여 인코더에서 고해상도 특징을 추가 입력으로 사용함으로써 풀링 중 고주파 정보 손실을 보완한다.

여기서, U-Net은 선형 변환(linear transform) 연산을 수행하는 컨볼루션 레이어(Conv), 정규화(normalization) 연산을 수행하는 배치 노말라이제이션(batch normalization) 레이어(BN), 비선형 함수(nonlinear function) 연산을 수행하는 ReLU(rectified linear unit) 레이어 및 복수의 레이어들의 출력을 결합하는 채널 연결 레이어(channel concatenation layer) 또는 채널 합 레이어(channel sum layer)를 포함할 수 있으며, 각 스테이지는 3 × 3 커널들을 갖는 컨볼루션, 배치 노말라이제이션 및 ReLU 레이어들로 구성된 4개의 순차적인 레이어들을 포함할 수 있다.

그리고, 인코더와 디코더 간의 스킵 연결을 포함할 수 있다. 여기서, 스킵 연결은 풀링 중에 손실된 고주파를 보상할 수 있다. 물론, 본 발명에서의 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크 등 다양한 형태의 뉴럴 네크워크를 포함할 수 있다.

최근, 뉴럴 네트워크 형태로 기존의 ADMM과 ISTA 방법에 채택함으로써, ADMM-Net과 ISTA-Net 같은 많은 최적화 유도 재구성 방법이 제안되었다. 특히, 본 발명의 방법은 최근의 뉴럴 네트워크를 초분광 재구성 문제에 도입하는데, 이에는 3가지 주요한 차이점이 있다. 첫째, 본 발명의 스펙트럴 재구성 문제의 오류는 다른 것들 보다 크다. 왜냐하면 본 발명의 회전 PSF는 다른 일반적인 PSF보다 넓은 면적을 차지하기 때문이다. 이러한 특징들을 다루기 위해서, 본 발명은 지각적인 필드를 넓게 만들기 위해 U-net아키텍처를 가지는 공간-스펙트럴 프라이어 네트워크를 설계하고, 이를 소프트-쓰레스홀딩과 결합한다. 둘째, 개별 선정된 희소 프라이어(handcrafted sparsity prior)를 사용하는 대신, 내츄럴 스펙트럴 영상에서 직접적으로 알려지지 않은 공간 스펙트럴 프라이어를 학습한다. 그러기 위해, Tikhnov 정규화로 해결되는 HQS공식을 이용하여 차별화할 수 있도록 최적화 문제를 공식화한다. 마지막으로, 네트워크 학습 시 l₁-놈 손실 함수를 이용하여 본 발명의 네트워크에서 희소 프라이어가 없는 것을 보완할 수 있다.

이와 같이, 본 발명의 실시예에 따른 방법은 회절 광학 소자(DOE)를 통해 촬영된 사진이 해당 물체가 반사하는 빛의 스펙트럼에 따라 점분포함수의 모양이 달라지는 현상을 역으로 이용하여 각 영상의 영역마다 점분포함수를 분석함으로써, 초분광 정보를 획득할 수 있다. 즉, 본 발명의 실시예에 따른 방법은 렌즈가 없이 회절 광학 소자만을 통해 촬영된 영상과 회절 광학 소자의 파장별 점분포함수를 이용하여 초분광 영상을 재구성함으로써, 회절 측정과 초분광 영상의 재구성을 동시에 수행할 수 있는 렌즈리스 초분광 영상 이미징을 제공할 수 있다.

또한, 본 발명의 실시예에 따른 방법은 초분광 정보를 획득할 수 있는 소형 초분광 카메라 두 대를 이용하여 물체의 거리를 추정함으로써, 3차원 영상을 생성할 수도 있다.

또한, 본 발명의 실시예에 따른 방법은 렌즈리스를 시스템을 이용하여 초분광 관측을 수행할 수 있기 때문에 기존의 초분광 관측 시스템과 비교하여 크기를 매우 작게 만들 수 있고, 이러한 장점 덕분에 사용성의 편리성을 크게 증대시킬 수 있다. 즉, 본 발명은 회절 광학 소자를 통해서 일반 렌즈의 두께보다 얇은 회절 광학 패턴을 제작하고, 이렇게 기존 카메라의 광학 요소보다 훨씬 작은 크기의 광학 구성을 이용하여 렌즈리스 카메라, 즉, 렌즈가 없는 카메라를 만들 수 있다.

도 5는 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치에 대한 구성을 나타낸 것으로, 카메라 장치에 대응된다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 초분광 영상 재구성 장치(700)는 수신부(710) 및 재구성부(720)를 포함한다.

수신부(710)는 회절 광학 소자를 통과하여 촬영된 영상을 수신한다.

여기서, 회절 광학 소자는 스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성할 수 있다.

재구성부(720)는 회절 광학 소자의 파장 별 점분포함수(PSF) 정보와 수신부(710)를 통해 수신된 영상에 기초하여 수신된 영상에 대한 초분광 영상을 재구성한다.

여기서, 재구성부(720)는 상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

이 때, 뉴럴 네트워크는 상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성할 수 있다. 이런 뉴럴 네트워크는 컨볼루션 뉴럴 네트워크와 다상 뉴럴 네트워크 예를 들어, U-Net을 포함할 수 있다.

나아가, 재구성부(720)는 점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 수신된 영상에 대한 초분광 영상을 재구성할 수 있으며, 더 나아가 최적화 기법을 일정 횟수 이상 반복수행함으로써, 수신된 영상에 대한 초분광 영상을 재구성할 수 있다.

도 5의 장치에서 그 설명이 생략되었더라도, 도 5의 장치는 도 1 내지 도 4의 방법에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

또한, 본 발명은 회절 광학 소자와 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수도 있다. 즉, 상술한 회절 광학 소자와 도 5의 장치를 포함하는 카메라 장치를 이용하여 초분광 영상 재구성 시스템을 구현할 수 있다. 물론, 카메라 장치는 카메라로 한정하지 않으며, 회절 광학 소자를 통해 영상을 촬영할 수 있는 모든 종류의 장치를 포함할 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매질 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매질에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매질에 기록될 수 있다. 상기 컴퓨터 판독 가능 매질은 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매질에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매질의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매질(magnetic media), CD-ROM, DVD와 같은 광기록 매질(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매질(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및
상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.
제1항에 있어서,
상기 회절 광학 소자는
스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제1항에 있어서,
상기 초분광 영상을 재구성하는 단계는
상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제3항에 있어서,
상기 뉴럴 네트워크는
상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제1항에 있어서,
상기 초분광 영상을 재구성하는 단계는
점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제5항에 있어서,
상기 초분광 영상을 재구성하는 단계는
상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 방법.
제1항에 있어서,
상기 수신하는 단계는
렌즈없이 상기 회절 광학 소자를 통과하여 촬영된 영상을 수신하고,
상기 재구성하는 단계는
상기 회절 광학 소자의 회절 측정과 상기 수신된 영상에 대한 초분광 영상의 재구성을 동시에 수행하는 것을 특징으로 하는 초분광 영상 재구성 방법.
회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 수신부; 및
상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 재구성부
를 포함하는 초분광 영상 재구성 장치.
제8항에 있어서,
상기 회절 광학 소자는
스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제8항에 있어서,
상기 재구성부는
상기 파장 별 점분포함수 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제10항에 있어서,
상기 뉴럴 네트워크는
상기 학습 모델에 의해 초분광 영상의 공간 프라이어와 스펙트럴 프라이어가 모두 학습되며, 점분포함수의 회절 회전에 의한 스펙트럴 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제8항에 있어서,
상기 재구성부는
점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제12항에 있어서,
상기 재구성부는
상기 최적화 기법을 일정 횟수 이상 반복수행함으로써, 상기 수신된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 장치.
제8항에 있어서,
상기 수신부는
렌즈없이 상기 회절 광학 소자를 통과하여 촬영된 영상을 수신하고,
상기 재구성부는
상기 회절 광학 소자의 회절 측정과 상기 수신된 영상에 대한 초분광 영상의 재구성을 동시에 수행하는 것을 특징으로 하는 초분광 영상 재구성 장치.
회절 광학 소자(diffractive optical element); 및
상기 회절 광학 소자를 통과하여 영상을 촬영하고, 상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 촬영된 영상에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 카메라 장치
를 포함하는 초분광 영상 재구성 시스템.
제15항에 있어서,
상기 회절 광학 소자는
스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
제15항에 있어서,
상기 카메라 장치는
상기 파장 별 점분포함수 정보, 상기 촬영된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
제15항에 있어서,
상기 카메라 장치는
점분포함수의 회절 회전에 대한 최적화 기법을 반영하여 상기 촬영된 영상에 대한 초분광 영상을 재구성하는 것을 특징으로 하는 초분광 영상 재구성 시스템.
스펙트럴에 따라 변하는 점분포함수의 비등방성 형상을 생성하는 회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및
상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보와 상기 수신된 영상에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.
회절 광학 소자(diffractive optical element)를 통과하여 촬영된 영상을 수신하는 단계; 및
상기 회절 광학 소자의 파장 별 점분포함수(point spread function) 정보, 상기 수신된 영상 및 미리 생성된 학습 모델에 의해 학습된 뉴럴 네트워크에 기초하여 상기 수신된 영상에 대한 초분광 영상을 재구성하는 단계
를 포함하는 초분광 영상 재구성 방법.