KR20110032402A

KR20110032402A - 다중 영상 합성 방법 및 그 장치

Info

Publication number: KR20110032402A
Application number: KR1020090089875A
Authority: KR
Inventors: 박성찬; 오현화; 권재현; 이성덕; 최원희
Original assignee: 삼성전자주식회사
Priority date: 2009-09-23
Filing date: 2009-09-23
Publication date: 2011-03-30
Anticipated expiration: 2029-09-23
Also published as: US20110069906A1; US8699822B2; US20140193097A1; KR101616874B1

Abstract

HDR 영상(high dynamic range imaging) , 파노라마 영상(panoramic imaging), 사진몽타쥬(photoontage) 등에 적용되는 다중 영상 합성 방법 및 장치가 개시된다.

일 실시예에 따르면, 다중 영상 합성 방법은 정렬된 기준 영상과 입력 영상을 합성하되, 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성한다. 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 또다른 예로, 가중치는 관심 영역의 경계에서 발생하는 두 영상간의 휘도 차이의 크기에 따라 그 감쇄도가 달라질 수 있다.

또다른 실시예에 따르면, 다중 영상 합성 방법은 이전 정렬 단계 (previous stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하고, 정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하여, 이 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하여 이후 합성 단계(previous stage)로 출력하는 단계를 포함한다.

이에 의해 복잡한 움직임이 있을 경우에도 적은 계산량으로 자연스러운 합성 영상의 획득이 가능하다. 또한 다중 정렬(multiple alignment) 방식에 의한 합성으로 활성 움직임(active motion)의 장면(scene)에서도 정합율을 향상하는 것이 가능하다.

다중 영상 합성, high dynamic range, alignment, 정렬, 고스트 검출, adaptive weight, 가중치, 케스케이드

Description

다중 영상 합성 방법 및 그 장치{Method and apparatus for blending multiple images}

다중 영상 합성 방법 및 장치가 개시된다. 다중 영상 합성 기술은 종종 노출 브라켓팅(exposure bracketing)을 이용하여 촬영된 다수의 표준적인 사진들을 하나의 영상으로 정렬하여 합성하는 HDR(High Dynamic Range) 이미징(Imaging)에 적용될 수 있다(capturing multiple standard photographs, often using exposure bracketing, and then merging them into an HDR image). 또 다른 예로, 다중 영상 합성 기술은 촬영 영역의 일부가 중첩(overlap)되도록 촬영된 복수의 영상들을 정렬하면서 합성하여 넓은 영역의 영상을 출력하는 파노라마 이미징(panorama imaging)에 적용될 수 있다. 또다른 예로, 다중 영상 합성 기술은 여러 영상들에서 필요한 부분들만을 떼어 내어 하나의 영상으로 합성하는 포토몽타쥬(Photomontage) 에 적용될 수 있다. 포토몽타쥬는, 예를 들어 반복 촬영된 여러 장의 단체 사진에서, 각자가 가장 예쁘게 나온 사진에서 자신의 사진 영역을 추출하고 이들을 취합하여 합성함으로써 전체적으로 모두가 더 예쁘게 나온 사진을 합성하는데 적용될 수 있다.

이러한 기술은 아날로그 카메라, 디지털 카메라 혹은 캠코더 등의 제품에 적용될 수 있으며, 나아가 컴퓨터를 이용하는 영상 처리에 적용될 수 있다.

이 같은 다중 영상 합성 기술에서는 다수의 영상들이 정렬(alignment)되어야 하며, 스티치된 경계 부분에서 두 영상 간의 밝기 단차가 적절해야 한다. 또 경계 영역에서 서로 다른 영역 간에 부정합(artifact)을 유발하지 않고 자연스럽게 보여야 한다.

그러나, 노이즈가 있는 영상들을 합성할 때, 또는 활성 움직임(active motion)이 있을 때 영상의 다이내믹 레인지(dynamic range)를 떨어뜨리지 않고 또 움직임 부정합(motion artifact)을 유발하지 않고 합성한다는 것은 매우 어려운 일이다. 움직임 부정합을 해결하기 위해 옵티컬 플로우(optical flow) 기법을 사용할 경우 대규모 움직임(large motion)에서 정합력이 떨어질 뿐 아니라 계산의 복잡도가 올라간다.

활성 움직임이 있는 장면(scene)에서 간단한 정렬(alignment) 기법을 사용하면서 복잡한 움직임에 대한 정렬 성능을 향상시키는 다중 영상 합성 방법 및 그 장치가 제공된다.

또한 움직임 부정합(motion artifact)이 제거되고 다이내믹 레인지(dynamic range)가 개선된 다중 영상 합성 방법 및 그 장치가 제공된다.

일 양상에 따르면, 정렬된 기준 영상과 입력 영상을 합성하되, 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 다중 영상 합성 방법이 제공된다.

가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 또다른 예로, 가중치는 관심 영역의 경계에서 발생하는 두 영상간의 휘도 차이의 크기에 따라 그 감쇄도가 달라질 수 있다.

또다른 양상에 따르면, 다중 영상 합성 방법은 기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계 (previous stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하는 단계와, 정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 단계와, 이 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하여 이후 합성 단계(previous stage)로 출력하는 단계를 포함한다.

여기서 n 번째 관심 영역과 검출된 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 정렬 단계(next alignment stage)로 출력할 수 있다. 또한 두 영상을 합성할때 검출된 또다른 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 합성할 수 있다.

이러한 다중 영상 방법은 반복적으로(iteratively) 적용되어 고속이면서도 간단한 구조로 성능을 높일 수 있다.

일 양상에 따라 이러한 영상 처리는 동일한 구조를 가진 하드웨어 혹은 소프트웨어 모듈들의 케스케이드(cascade) 접속에 의해 도출되는 장치에 의해 수행될 수 있다.

제시된 다중 영상 합성 방법에 의해 복잡한 움직임이 있을 경우에도 적은 계산량으로 자연스러운 합성 영상의 획득이 가능하다.

또한 다중 정렬(multiple alignment) 방식에 의한 합성으로 활성 움직임(active motion)의 장면(scene)에서도 정합율을 향상하는 것이 가능하다. 이를 통해 HDR(High Dynamic Range) 이미징에서는 움직임 부정합(motion artifact)과 다이내믹 레인지의 감소를 막고, 파노라마 영상의 경우에는 움직임 부정합(motion artifact)을 줄일 수 있다.

전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시예들을 통해 더욱 명확해질 것이다. 이하에서는 이러한 본 발명의 양상들을 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통해 상세히 설명한다.

도 1은 일 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이 일 실시예에 따른 다중 영상 합성 장치는 기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 영상정렬부(110)와, 이 영상 정렬부(110)에서 출력된 정렬된 영상에서의 움직임 검출을 통해 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 관심영역 검출부(130)와, 이 관심 영역 검출부(130)에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출하는 가중치 산출부(150)와, 영상 정렬부(110)에서 출력된 정렬된 영상과 기준 영상을 합성하되, 가중치 산출부(150)에서 산출된 가중치에 따라 두 영상을 합성하는 영상 합성부(170)를 포함한다.

도시된 구성요소들은 각각이 독립된 하드웨어 혹은 전체적으로 하나의 하드웨어로 구현될 수 있다. 예를 들어 각각의 신호 처리부들 혹은 도시된 다중 영상 합성 장치는 FPGA(Field Programmable Gate Array) 혹은 GA(Gate Array)로 구현될 수 있다. 또다른 실시예에 있어서, 도시된 구성요소들은 컴퓨터와 프로그램된 코드로 구현될 수 있다. 또다른 실시예에 있어서, 도시된 구성요소들은 아날로그 카메라, 디지털 카메라 혹은 캠코더 내부에서 디지털 신호처리 프로세서 및 그에 의해 실행되는 명령어 집합들로 구현될 수 있다.

도 8a 내지 도 8c는 도 1에 도시된 실시예의 동작을 설명하기 위한 도면이다. 먼저 도 8a는 예시적인 영상에서 초기 관심영역의 일 예를 도시한다. 이 실시예에 있어서 관심 영역의 초기치는 휘도가 일정치 이하인 저휘도 영역으로 잡았다. 그러나 본 발명은 여기에 한정되지 않으며, 고휘도 영역으로 잡을 수도 있고 임의의 영역으로 잡아도 된다.

영상 정렬부(110)는 기준 영상(I^REF)과 입력 영상(I^IN)을 정렬하되, 관심 영역(R₀)에 기반한 영상 정렬을 통해 정렬한다. 관심 영역(ROI : Region of Interest)에 기반한 영상 정렬 방식은 본 발명자가 제안한 계층적 피라미드 구조의 정렬 방식을 비롯한 몇가지 방식이 알려져 있다. 도 8b는 예시적인 영상에서 도 8a에 도시된 바와 같은 관심 영역에 기초하여 관심영역 기반 정렬을 수행한 출력 화면을 도시한다. 이 영상은 초기 설정된 저휘도 영역인 관심 영역에서는 잘 정렬되고 나머지 영역에서는 정렬이 완전하지 않은 상태로 출력된다.

관심영역 검출부(130)는 정렬된 결과에서 정렬이 불완전한 영역과 관련된 관심 영역을 검출한다. 일례로 관심 영역(ROI region)은 움직임 검출(motion detection)에 의한 고스트 영역(ghost region)이 될 수 있다. 본 실시예에 있어서, 관심영역 검출부(130)는 고스트 검출부(ghost detection)로 구현된다. 고스트(ghost)는 다중 영상에서 영상 간에 드러나는 피사체의 움직임이 있어서 그 영상들을 병합(merge) 혹은 스티치(stitch)할 때 피사체의 움직임에 따라 영상이 겹쳐서 나타나는 현상을 말한다. 도 8c는 도 8b의 영상에서 고스트 검출된 결과를 도시한다. 도시된 바와 같이 관심 영역은 저휘도 영역이 아닌 영역에서 고스트가 검출되고 있음을 알 수 있다.

가중치 산출부(150)는 관심 영역 검출부(130)에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출한다. 도 6은 가중치의 적용을 설명하는 도면이다. 도면에서 두 사각형의 가운데 공간이 관심 영역이다. 관심 영역의 경계 부분에서 공간 거리(spatial distance)에 따라 상이한 가중치를 곱함에 의해 경계 부분의 휘도 단차가 극복되고 부정합(artifact)이 개선된다.

도시된 실시예에 있어서, ROI(region of interest) 영역이 검출되면 그 영역을 기준으로 가중치를 1로 설정하고 경계 (boundary) 밖으로 갈수록 가중치를 점차 감소시킨다. 즉, 관심 영역의 경계로부터의 공간 거리(spatial distance)에 따라 단순히 가중치를 감쇄(attenuation)시켰다.

또다른 예로, 관심 영역을 R이라 하고, a는 거리 범위 파라메터(distance range parameter)라고 할 때, 커널(Kernel) K를 다음과 같이 정의한다. 여기서 파라미터 a를 조정하여 픽셀 마다 영역을 다르게 설정할 수 있다.

이 예시적인 커널을 이용하여 중심에서의 공간 거리(spatial distance)에 따라 가중치를 감쇄시킬 수 있다. 즉,

으로 설정할 수 있다.

영상 합성부(170)는 가중치 산출부(150)에서 산출된 가중치에 따라 두 영상을 합성한다. 즉, 아래와 같이 전술한 가중치 함수 W(x)를 이용하여 관심 영역의 기준 영상 I_a(x)과 다른쪽의 영역의 정렬된 영상 I_b(x)을 자연스럽게 합성(blending)할 수 있다.

본 실시예에 있어서, 두 영상을 합성할 때 관심 영역에서는 실질적으로 기준 영상을 취하고, 관심 영역의 바깥 영역에서는 실질적으로 입력 영상을 취하여 합성한다. 도시된 실시예에 있어서, 고스트가 발생되지 않는 관심 영역에서는 정렬이 완료된 영상을 취하고, 그렇지 아니한 영역에서는 원 입력 영상인 기준 영상을 취함으로써 움직임 부정합(motion artifact)이 저감된다.

그러나 본 발명에 있어서 가중치는 전술한 것에 한정되지 않고 완만한 곡선의 형태로 감쇄할 수도 있다. 또한 반드시 경계를 기준으로 대칭형으로 되지 아니하여도 무방하다. 예를 들어 일 실시예에 있어서 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하도록 설정될 수 있다. 이는 HDR 의 경우 경계 주변에서 가중치가 변하는 부분의 영역을 최소화하여 정렬된 영상의 영역을 증가시켜 화질을 향상시켜 준다.

도 2는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도 2는 두 개의 다중 영상 합성 장치가 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이, 다중 영상 합성 장치는 제 1 다중 영상 합성부(100)와, 제 2 다중 영상 합성부(300)가 케스케이드(cascade) 방식으로 접속된 형태이다. 제 1 다중 영상 합성부(100)의 관심영역 검출부(130)에서 검출된 관심 영역과, 제 1 다중 영상 합성부(100)의 영상 정렬부(110)의 관심 영역과의 교집합인 영역이 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 관심 영역으로 설정된다. 또한 제 2 다중 영상 합성부(300)의 영상 합성부(370)에서 합성된 출력 영상이 제 1 다중 영상 합성부(100)의 영상 합성부(170)의 입력이 된다.

즉, 제 1 다중 영상 합성부(100)는 영상 정렬부(110)에서 최초 관심 영역을 정렬시키고 정렬되지 않은 영역을 관심 영역 검출부(130)에서 검출한다. 그러면, 제 2 다중 영상 합성부(300)의 영상 정렬부(310)는 최초 관심 영역에서 정렬되지 않은 영역에 해당되는 더 좁아진 관심 영역을 중심으로 영상을 정렬하고 관심 영역 검출부(330)에서는 정렬되지 않은 고스트 영역을 검출하며, 영상 합성부(370)에서 출력되는 영상은 일부 관심 영역(G₂)에서는 최초 기준 영상을, 그 외의 영역에서는 잘 정렬된 영상인 I₂ 영상이 합성되어 출력된다. 제 1 다중 영상 합성부(300)의 영상 합성부(170)는 관심 영역 검출부(130)에서 검출된 관심 영역(G₁)에서는 제 2 다중 영상 합성부(300)의 출력 영상을, 그 외의 영역에서는 잘 정렬된 영상인 I₁ 영상을 취하여 합성한 영상을 최종 출력으로 출력한다.

도 9a는 최초 관심 영역과 첫번째 검출된 고스트로부터 다음 단계의 관심 영역이 도출되는 과정을 설명하는 도면이다. 좌측 상단의 그림은 제 1 다중 영상 합성부(100)의 영상정렬부(110)에 입력된 최초 관심 영역을 도시한다. 우측 상단의 그림은 제 1 다중 영상 합성부(1000의 관심영역 검출부(130)에서 검출된 관심 영 역(G₁)을 도시한다. 하단의 그림은 이 둘의 교집합으로 도출되어 제 2 다중 영상 합성부(300)의 영상 정렬부(310)의 입력이 되는 관심 영역을 도시한다.

도 9b는 도 9a에서 도출된 관심 영역에 기초하여 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 수행된 영상 정렬의 출력 화면을 도시한다. 도 9c는 도 9b에서 출력된 영상으로부터 검출된 고스트 영상을 도시한다.

제 1 다중 영상 합성부(100)의 영상 정렬부(110)는 먼저 관심 영역(ROI region)을 저휘도 영역으로 잡아서 저휘도 영역이 잘 정렬되도록 처리한다. alignment 방식은 계층적 피라미드 구조의 정렬 방식을 채택하였다. 그 다음 정렬된 영상 I₁과 기준(Reference) 영상 간에 고스트 검출을 하여 G₁을 계산하였다.

I₁ 영상은 저휘도 영역에서 활성 움직임(active motion)을 제외한 배경(background) 영역이 잘 정렬된 것을 알 수 있다. 다음으로 제 1 다중 영상 합성부의 고스트 검출 영상 G₁과 저휘도 관심 영역의 중첩 영역을 R₁로 잡아서 본 영역을 기준으로 다시 정렬하여 I₂를 계산하였다. 그리고 다시 고스트 검출을 하여 G₂를 계산하였다. 본 영상에서 저휘도의 사람이 움직인 활성 움직임(active motion) 영역이 잘 정렬된 것을 알 수 있다. 이후에 I₂영상과 기준 영상 I_REF을 입력으로 G₂의 관심영역을 기준으로 관심 기반 합성을 하고 I₁영상과 앞서 합성된 영상을 입력으로 G₁의 관심영역을 기준으로 관심 영역 기반 합성을 하여 최종 영상을 출력한다.

이러한 방식을 관심 영역 기반 디고스팅(deghosting) 및 관심영역 기반 영상 정렬을 하나의 모듈로 생각하면 두 단계로 표한할 수 있다. 즉 이전 단계로부터 관심 영역 R_k _-1을 입력받고 이를 중심으로 정렬하여 I_k를 계산하고 영상 I_k과와 I_REF를 이용하여 고스트 검출을 수행하여 G_k를 계산한다.

이러한 방법으로 하위 레벨에서 상위 레벨까지 실행해서 각 레벨 k의 I_k와 G_k를 계산할 수 있다. 그 이후에 상위 레벨에서 하위 레벨로 내려 오면서 각 레벨 별로 아래와 같이 연산한다.

즉 G_k를 이용하여 합성 가중치W_k를 계산하고 I_k와 상위 레벨의 I_k ₊₁ ^F영상을 입력받아 합성(blending)을 하고 결과 영상 I_k ^F을 다음 하위 레벨로 전달한다. 그리고 최종적으로 레벨 1에서 I₁ ^F는 최종영상이 되어 출력된다. 여기서 레벨 1에서의 입력 R₀은 초기 관심 영역이 되고, 출력은 최종 합성된 출력 영상이 된다. 최상위 레벨을 K라고 할때 그 레벨에서 입력 영상 I_k ₊₁ ^F은 I_REF가 된다.

이를 세 단계로 표현하면 그림 5(b)와 같다. 그리고 그림 5(a)처럼 정렬을 한 번으로도 가능하다. 이처럼 동일한 기능들을 여러 번 반복하여 정합 region을 점차 늘일 수 있다.

도 3은 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시 하는 블럭도이다. 도 3의 실시예에 따른 다중 영상 합성 장치는 하나의 서브 루틴으로 작성된 프로그램으로 구현될 수 있다. 또는 도 3의 실시예에 따른 다중 영상 합성 장치는 하나의 하드웨어적인 칩 혹은 IP로 구현될 수 있다. 이 모듈들을 복수개 케스케이드 방식으로 접속시킴에 의해 보다 성능이 우수한 다중 영상 합성 장치를 구현할 수 있다.

도 7a 및 도 7b 는 다중 영상 합성 방법의 기본적인 개념을 도식적으로 설명하는 도면이다. 도 3에 도시된 다중 영상 합성 장치를 복수개 케스케이드 접속함에 의해, 도 7a는 이러한 케스케이드 접속된 다중 영상 합성 장치에 의한 반복적 영상 정렬 과정을 통해 정렬되지 않은 영역(mis-aligned region)이 점차 줄어드는 과정을 도식적으로 표현한 것이다. 이러한 관심 영역 검출 내지 고스트 검출 과정(ghost detection process)은 초기 관심 영역을 설정하고, 그 영역을 위주로 정렬시킨다음, 그 영역에서 고스트를 검출하고 다시 관심 영역을 설정한다. 이러한 정렬과 고스트 검출 과정을 반복하여 반복 횟수 만큼의 관심 영역 위주로 정렬된 영상 I_k와 고스트 영역 G_k를 획득한다. 이를 수식으로 표현하면 다음과 같다.

Init : given R₀

for k=1 to K

I_k = T (I^IN, I^REF, R_k _-1)

Gk = GD(Ik, IREF),

R_k=R_k-1∩G_k

도 7b는 이러한 케스케이드 접속된 다중 영상 합성 장치에 의한 반복적 영상 정렬 과정을 통해 반복적으로 합쳐지는 정렬된 영역(aligned region)이 점차 늘어나는 과정을 도식적으로 표현한 것이다. 이러한 디고스팅 과정(deghosting process)은 고스트 영역에서 정렬 영역을 합쳐서 계속 덧붙여가는 방식이다. 여기서 F는 관심영역 기반 디고스팅 과정을 의미한다. 이를 수식으로 표현하면 다음과 같다.

Init : I_k ₊₁ ^F=I^REF

for k=K to 1

I_k ^F = F (I_k, I^F _k ₊₁, G_k),

이와 같은 반복 계산에 의해 비교적 여러 단계의 복잡한 움직임(complex motion)의 경우도 적은 계산량으로 해결할 수 있다.

도 4는 도 2에 도시된 다중 영상 합성 장치가 복수 개 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 바와 같이, 다중 영상 합성 장치는 제 1 다중 영상 합성부(100)와, 제 2 다중 영상 합성부(300) 및 제 3 다중 영상 합성부(500)가 케스케이드(cascade) 방식으로 접속된 형태이다. 제 1 다중 영상 합성부(100)의 관심영역 검출부(130)에서 검출된 관심 영역과, 제 1 다중 영상 합성부(100)의 영상 정렬부(110)의 관심 영역과의 교집합인 영역이 제 2 다중 영상 합성부(300)의 영상 정렬부(310)에서 관심 영역으로 설정된다. 제 2 다중 영상 합성부(300)의 관심영역 검출부(330)에서 검출된 관심 영역과, 제 2 다중 영상 합성부(300)의 영상 정렬부(310)의 관심 영역과의 교집합인 영역이 제 3 다중 영상 합성부(500)의 영상 정렬부(510)에서 관심 영역으로 설정된다.

또한 제 3 다중 영상 합성부(500)의 영상 합성부(570)에서 합성된 출력 영상이 제 2 다중 영상 합성부(300)의 영상 합성부(370)의 입력이 된다. 또 제 2 다중 영상 합성부(300)의 영상 합성부(370)에서 합성된 출력 영상이 제 1 다중 영상 합성부(100)의 영상 합성부(170)의 입력이 된다.

도 5는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다. 도시된 실시예에 있어서, 가중치 산출부(950)는 가중치를 계산할 때 관심 영역으로 검출된 고스트 영역(ghost region) 이외에 영상정보를 추가로 사용하여 자연스러운 영상합성을 하면서도 고스트 영역 가중치(ghost region weight)의 범위를 좁힐 수 있다. 이러한 효과는 HDR 영상 합성일 경우 고스트 영역의 영상이 노이즈가 많을 때 가중치의 범위를 좁혀서 노이즈의 영향을 감소시킬 수 있다.

즉, 관심 영역 기반 합성에 있어서,

i=1일 경우, 초기에 관심 영역을 다음과 같이 설정한다.

x=(x₀,x₁), α< 1

각 라인(line) x₀ 별로 수평 방향의 전방(forward) 방향과 후방(backward) 방향으로 각각 알파만큼 감소시킨 가중치와 현재 가중치 중 최대값을 선택하는 방식에 의해 계산한다. 즉,

for x1 = 1 to n

W(x₀,x₁) = max(W(x₀,x₁), W(x₀,x₁-1)-α)

for x1 = 1 to n

W(x₀,x₁) = max(W(x₀,x₁), W(x₀,x₁+1)-α)

이후에 x₀ 와 x₁ 을 바꾸어서 즉 영상의 수직 방향으로 각 칼럼별 전방 방향과 후방 방향의 과정을 처리한다. 이후에 이러한 과정에 의해 계산된 가중치를 이용하여 가중 합성(weighted blending)한다.

또한 관심 영역인 고스트 영역 이외의 영역의 영상 정보를 추가로 활용하여 자연스러운 영상 합성을 하면서도 가중치가 적용되는 범위를 좁힐 수 있다. 예를 들어, 가중치는 관심 영역의 경계에서 발생하는 휘도 차이의 크기에 따라 감쇄도가 달라지도록 설정될 수 있다. 즉, α를

로 생각할 수 있다. 즉 가중치는 관심 영역의 경계면에서 합성되는 두 영상의 휘도 값의 차이가 작을 수록 α를 크게하여 합성되는 폭을 줄여야 한다.

또다른 예로, 가중치는 또다른 관심 영역의 경계에서 발생하는 휘도 차이의 크기에 따라 감쇄도가 달라질 수 있다. , α를

로도 생각할 경우, 에지 값이 클수록 크게 하고 작을 수록 작게 한다. 영상의 에지가 있는 영역에서는 가중치 값이 급격히 감쇄하여 경계에서 가중치가 변화되는 영역을 최소화하도록 처리한다.

이상에서 본 발명은 도면을 참조하여 기술되는 실시예들을 중심으로 설명되었으나 이에 한정되는 것은 아니며, 당업자에게 자명한 다양한 변형예들을 포괄하도록 의도된 청구항들에 의해 해석되어진다.

도 1은 일 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.

도 2는 두 개의 다중 영상 합성 장치가 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다.

도 3은 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.

도 4는 도 2에 도시된 다중 영상 합성 장치가 복수 개 케스케이드 접속된 장치의 개략적인 구성을 도시하는 블럭도이다.

도 5는 또다른 실시예에 따른 다중 영상 합성 장치의 개략적인 구성을 도시하는 블럭도이다.

도 6은 가중치의 적용을 설명하는 도면이다.

도 7a 및 도 7b 는 다중 영상 합성 방법의 기본적인 개념을 도식적으로 설명하는 도면이다.

도 8a는 예시적인 영상에서 초기 관심영역의 일 예를 도시한다.

도 8b는 예시적인 영상에서 관심영역 기반 정렬을 수행한 출력 화면을 도시한다.

도 8c는 도 8b의 영상에서 고스트 검출된 결과를 도시한다.

도 9a는 최초 관심 영역과 첫번째 검출된 고스트로부터 다음 단계의 관심 영역이 도출되는 과정을 설명하는 도면이다.

도 9b는 도 9a에서 도출된 관심 영역에 기초하여 수행된 영상 정렬의 출력 화면을 도시한다.

도 9c는 도 9b에서 출력된 영상으로부터 검출된 고스트 영상을 도시한다.

Claims

기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 단계와;

정렬된 결과에서 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 단계와;

정렬된 기준 영상과 입력 영상을 합성하되, 검출된 상기 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 단계;

를 포함하는 다중 영상 합성 방법.
제 1 항에 있어서, 상기 두 영상을 합성하는 단계는 :

관심 영역에서는 기준 영상을 취하고, 관심 영역의 바깥 영역에서는 입력 영상을 취하여 합성하는 다중 영상 합성 방법.
제 1 항에 있어서, 상기 관심 영역을 검출하는 단계는 고스트 검출(ghost detection) 단계를 포함하는 다중 영상 합성 방법.
제 1 항에 있어서, 상기 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하는 다중 영상 합성 방법.
제 1 항에 있어서, 상기 가중치는 관심 영역의 경계에서 발생하는 합성되는 영상들간의 데이터값 차이의 크기에 따라 감쇄도가 달라지는 다중 영상 합성 방법.
기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계(previous alignment stage)에서 검출된 n 번째 관심 영역에 기반한 입력 영상을 영상 정렬을 통해 정렬하는 단계와;

정렬된 결과에서 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 단계와;

정렬된 기준 영상과, 이전 합성 단계(previous blending stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하되, 상기 또다른 관심 영역에서는 (n+1) 번째 합성 영상을 취하고, 상기 또다른 관심 영역의 바깥 영역에서는 상기 정렬된 영상을 취하여 합성하여 이후 합성 단계(next blending stage)로 출력하는 단계;

를 포함하는 다중 영상 합성 방법.
제 6 항에 있어서, 상기 또다른 관심 영역을 검출하는 단계는 고스트 검 출(ghost detection) 단계를 포함하는 다중 영상 합성 방법.
제 6 항에 있어서, 상기 방법이 :

n 번째 관심 영역과 상기 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 단계(next stage)로 출력하는 단계;를 포함하는 다중 영상 합성 방법.
제 6 항에 있어서, 상기 합성하는 단계는 상기 또다른 관심 영역의 경계 영역에서는 공간 거리에 따라 감쇄하는 가중치에 의해 두 영상을 합성하는 다중 영상 합성 방법.
제 9 항에 있어서, 상기 가중치는 영상의 에지(edge) 부분에서 다른 부분에 비해 급격하게 감쇄하는 다중 영상 합성 방법.
제 9 항에 있어서, 상기 가중치는 또다른 관심 영역의 경계에서 발생하는 en 영상 사이의 데이터 값 차이의 크기에 따라 감쇄도가 달라지는 다중 영상 합성 방법.
기준 영상과 입력 영상을 정렬하되, 관심 영역 기반의 영상 정렬을 통해 정렬하는 영상정렬부와;

상기 영상 정렬부에서 출력된 정렬된 영상에서의 움직임 검출을 통해 정렬이 불완전한 영역과 관련된 관심 영역을 검출하는 관심영역 검출부와;

상기 관심 영역 검출부에서 검출된 관심 영역의 경계 부분에서 공간 거리에 따라 감쇄하는 가중치를 산출하는 가중치 산출부와;

상기 영상 정렬부에서 출력된 정렬된 영상과, 기준 영상을 합성하되, 상기 가중치 산출부에서 산출된 가중치에 따라 두 영상을 합성하는 영상 합성부;를 포함하는 다중 영상 합성 장치.
제 12 항에 있어서, 상기 관심영역 검출부는 고스트 검출부(ghost detection)를 포함하는 다중 영상 합성 장치.
기준 영상과 입력 영상을 정렬하되, 이전 정렬 단계(previous alignment stage)에서 검출된 n 번째 관심 영역에 기반한 영상 정렬을 통해 정렬하는 영상 정렬부와;

상기 영상 정렬부에서 출력되는 정렬된 영상에서 움직임 검출에 기초하여 정렬이 불완전한 영역과 관련된 또다른 관심 영역을 검출하는 관심영역 검출부와;

상기 영상 정렬부에서 정렬된 기준 영상과, 이전 합성 단계(previous stage)에서 입력되는 (n+1) 번째 합성 영상을 합성하되, 상기 또다른 관심 영역에서는 (n+1) 번째 합성 영상을 취하고, 상기 또다른 관심 영역의 바깥 영역에서는 실질적으로 상기 정렬된 영상을 취함으로써 합성하여 이후 합성 단계(previous stage)로 출력하는 영상 합성부;

를 포함하는 다중 영상 합성 장치.
제 14 항에 있어서, 상기 관심영역 검출부는 상기 영상 정렬부에서 출력되는 정렬된 영상에서 움직임 검출에 기초하여 고스트를 검출하는 고스트 검출부를 포함하는 다중 영상 합성 장치.
제 14 항에 있어서, 상기 관심 영역 검출부는

상기 n 번째 관심 영역과, 상기 또다른 관심 영역의 교집합을 (n+1)번째 관심 영역으로 다음 단계(next stage)로 출력하는 다중 영상 합성 장치.
제 14 항에 있어서, 상기 다중 영상 합성 장치는 상기 영상 합성부가 두 영 상을 합성할 때 적용하며, 상기 또다른 관심 영역의 경계 영역에서 공간 거리에 따라 감쇄하는 값을 갖는 가중치를 출력하는 가중치 산출부;를 더 포함하는 다중 영상 합성 장치.
제 14 항에 있어서, 상기 다중 영상 합성 장치가 복수 개 케스케이드(cascade) 접속된 다중 영상 합성 장치.
제 18 항에 있어서, 상기 다중 영상 합성 장치의 초기 관심 영역은 저휘도 영역, 고휘도, 색상, 사람, 물체, 배경 영역 또는 임의의 영역 중의 하나로 설정되는 다중 영상 합성 장치.