KR20220170090A - 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법 - Google Patents

멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법 Download PDF

Info

Publication number
KR20220170090A
KR20220170090A KR1020210080682A KR20210080682A KR20220170090A KR 20220170090 A KR20220170090 A KR 20220170090A KR 1020210080682 A KR1020210080682 A KR 1020210080682A KR 20210080682 A KR20210080682 A KR 20210080682A KR 20220170090 A KR20220170090 A KR 20220170090A
Authority
KR
South Korea
Prior art keywords
image
pixel
epipolar
image processing
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020210080682A
Other languages
English (en)
Inventor
한지희
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020210080682A priority Critical patent/KR20220170090A/ko
Priority to US17/669,732 priority patent/US12079968B2/en
Priority to CN202210260493.7A priority patent/CN115514877B/zh
Publication of KR20220170090A publication Critical patent/KR20220170090A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 기술은 복수의 카메라로부터 수신된 멀티-뷰 이미지에서 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분하고, 상기 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성하며, 상기 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 상기 비평탄 영역에서는 상기 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체하여, 상기 에피폴라 이미지의 노이즈를 줄이는, 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성하는 이미지 처리 장치를 제공한다.

Description

멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법{APPARATUS AND METHOD FOR NOISE REDUCTION FROM MULTI-VIEW IMAGES}
본 발명은 이미지 처리 기술에 관한 것으로, 더욱 상세하게는 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법에 관한 것이다.
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 장치다. 이미지 센서는 CCD(Charge Coupled Device)를 이용한 이미지 센서와 CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센서로 구분될 수 있다. 최근에는 아날로그 및 디지털 제어회로를 하나의 집적회로(IC) 위에 직접 구현할 수 있는 장점으로 인하여 CMOS를 이용한 이미지 센싱 장치가 많이 이용되고 있다. 이미지 센서는 2차원 이미지를 생성할 수 있지만, 복수의 이미지 센서를 이용하여 3차원 이미지를 생성하는 기술이 제안되고 있다.
큰 피사계 심도(depth of field, depth of focus)를 가지는 핀홀(pinhole) 이미지를 캡처하는 것은 3D 이미지의 재구성, 모션 분석 및 비디오 감시와 같은 많은 컴퓨터 비전 애플리케이션에서 중요하다. 역동적인 장면일 수록 핀홀 이미지를 캡처하는 것은 어렵기 때문에, 피사계 심도와 모션 블러(motion blur)를 절충하는 방법이 사용될 수 있다. 예를 들어, 모션 블러를 피하기 위해 큰 조리개와 짧은 노출을 사용하면 결과 이미지는 작은 피사계 심도를 가진다. 반대로, 작은 조리개와 긴 노출을 사용하면, 피사계 심도가 커지지만 모션 블러가 발생할 수 있다. 이를 극복하기 위해, 복수의 핀홀 카메라를 사용하여 핀홀 이미지를 확보할 수 있다. 카메라는 일반적인 장면을 모니터링하기 위해 공간적으로 분산되거나 카메라 어레이의 형태로 조립될 수 있다. 각 카메라는 광학 디 포커스와 모션 블러를 최소화하기 위해 작은 조리개와 짧은 노출을 사용할 수 있다. 다만, 이러한 카메라 설정에서는 들어오는 빛이 매우 약하고 이미지에 노이즈가 매우 많이 발생할 수 있다. 노이즈 감소(noise reduction)을 위해 멀티-뷰 이미지(multi-view images)가 사용될 수 있다.
본 발명의 일 실시예는 멀티-뷰 이미지(multi-view images)를 사용한 노이즈 감소(noise reduction)를 수행하는 장치와 동작 방법을 제공할 수 있다.
또한, 본 발명의 일 실시예는 멀티-뷰 이미지(multi-view images)를 통해 3차원 이미지를 확보하면서 노이즈 감소를 위해 적응형 가중치(Adaptive Weight)를 적용하고, 이미지 내 평탄(flat) 영역에서는 멀티-뷰 이미지(multi-view images)의 평균값을 사용하며, 비평탄(non-flat) 영역혹은 에지(edge) 영역에서는 멀티-뷰 이미지(multi-view images) 중 중심-뷰(center-view) 이미지 값을 사용하여, 노이즈 감소에 소요되는 연산량을 줄여, 3차원 이미지의 생성과 활용의 효율성을 개선할 수 있는 장치와 방법을 제공할 수 있다.
한편, 본 발명의 일 실시예는 멀티-뷰 이미지(multi-view images)를 이용한 에피폴라(Epipolar) 이미지로부터 피사체의 깊이(depth)를 정확하게 추정할 수 있어, 3D 이미지의 재구성, 모션 분석 및 비디오 감시와 같은 많은 컴퓨터 비전 애플리케이션에 적용될 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예들은 멀티-뷰 이미지(multi-view images)를 통해 3차원 이미지를 생성할 수 있는 이미지 센서, 이미지 처리 장치, 혹은 카메라 시스템을 제공할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 장치는 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성할 수 있다. 이미지 처리 장치는 복수의 카메라로부터 수신된 멀티-뷰 이미지에서 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분하고, 상기 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성하며, 상기 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 상기 비평탄 영역에서는 상기 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체하여, 상기 에피폴라 이미지의 노이즈를 줄일 수 있다.
또한, 상기 중심-뷰 이미지에서 표준 편차를 기준으로 상기 평탄 영역과 상기 비평탄 영역을 구분하며, 상기 비평탄 영역은 에지(edge) 영역과 울퉁불퉁한(uneven) 영역을 포함할 수 있다.
또한, 상기 표준 편차에 이득(gain) 및 오프셋(offset)을 반영하여 스케일 표준 편차(scaling standard deviation)를 생성하고, 상기 스케일 표준 편차를 기반으로 적응형 가중치(adaptive weight)를 생성하고, 상기 적응형 가중치를 상기 평탄 영역 및 상기 비평탄 영역에 다르게 적용할 수 있다.
또한, 상기 스케일 표준 편차가 증가할수록 상기 적응형 가중치(adaptive weight)는 감소하는 경향을 가질 수 있다.
또한, 상기 에피폴라(Epipolar) 이미지는 상기 멀티-뷰 이미지에서 같은 행(row)에 해당하는 픽셀 데이터를 쌓아서(stacking) 생성될 수 있다.
또한, 상기 에피폴라 이미지에서 가장 먼 물체에 대응하는 제1 에피폴라 라인을 수직으로 가정하고, 가장 가까운 물체에 대응하는 제2 에피폴라 라인과 상기 제1 에피폴라 라인 사이의 범위를 탐색 윈도우로 결정할 수 있다.
또한, 상기 탐색 윈도우의 패치 내 인접 픽셀 중 강도(intensity)의 차이가 작은 픽셀들의 위치를 추출할 수 있다.
또한, 상기 픽셀들의 위치를 기반으로 RANSAC 알고리즘을 이용한 새로운 직선을 유추한 후, 상기 픽셀들의 위치를 새로운 직선 상의 픽셀 위치로 변경할 수 있다.
또한, 새로운 직선 상의 픽셀 위치의 픽셀 값을 평균한 후, 평균값에 적응형 가중치를 적용하여 상기 노이즈를 줄일 수 있다.
또한, 상기 3차원 이미지 내 상기 노이즈의 감소 결과(Noise Reduction Result)는 상기 평탄 영역에서는 적응형 가중치와 상기 픽셀 평균값의 곱을 포함하고, 상기 비평탄 영역에서는 1에서 상기 적응형 가중치를 뺀 값과 상기 중심-뷰 이미지의 픽셀 값의 곱을 포함할 수 있다.
본 발명의 다른 실시예에 따른 이미지 처리 방법은 복수의 카메라로부터 멀티-뷰 이미지를 수신하는 단계; 상기 멀티-뷰 이미지 중 중심-뷰 이미지로부터 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분하는 단계; 상기 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성하는 단계; 및 상기 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 상기 비평탄 영역에서는 상기 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체하여, 상기 에미폴라 이미지의 노이즈를 줄이는 단계를 포함하며, 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성할 수 있다.
또한, 상기 중심-뷰 이미지에서 표준 편차를 기준으로 상기 평탄 영역과 상기 비평탄 영역을 구분하하며, 상기 비평탄 영역은 에지(edge) 영역과 울퉁불퉁한(uneven) 영역을 포함할 수 있다.
또한, 이미지 처리 방법은 상기 표준 편차에 이득(gain) 및 오프셋(offset)을 반영하여 스케일 표준 편차(scaling standard deviation)를 생성하는 단계; 및 상기 스케일 표준 편차를 기반으로 적응형 가중치(adaptive weight)를 생성하는 단계를 더 포함하고, 상기 적응형 가중치를 상기 평탄 영역 및 상기 비평탄 영역에 다르게 적용할 수 있다.
또한, 상기 스케일 표준 편차가 증가할수록 상기 적응형 가중치(adaptive weight)는 감소하는 경향을 가질 수 있다.
또한, 상기 에피폴라(Epipolar) 이미지는 상기 멀티-뷰 이미지에서 같은 행(row)에 해당하는 픽셀 데이터를 쌓아서(stacking) 생성될 수 있다.
또한, 이미지 처리 방법은 상기 에피폴라 이미지에서 가장 먼 물체에 대응하는 제1 에피폴라 라인을 수직으로 가정하고, 가장 가까운 물체에 대응하는 제2 에피폴라 라인과 상기 제1 에피폴라 라인 사이의 범위를 탐색 윈도우로 결정하는 단계를 더 포함할 수 있다.
또한, 이미지 처리 방법은 상기 탐색 윈도우의 패치 내 인접 픽셀 중 강도(intensity)의 차이가 작은 픽셀들의 위치를 추출하는 단계를 더 포함할 수 있다.
또한, 이미지 처리 방법은 상기 픽셀들의 위치를 기반으로 RANSAC 알고리즘을 이용한 새로운 직선을 유추한 후, 상기 픽셀들의 위치를 새로운 직선 상의 픽셀 위치로 변경하는 단계를 더 포함할 수 있다.
또한, 이미지 처리 방법은 새로운 직선 상의 픽셀 위치의 픽셀 값을 평균한 후, 평균값에 적응형 가중치를 적용하여 상기 노이즈를 줄이는 단계를 더 포함할 수 있다.
또한, 상기 3차원 이미지 내 상기 노이즈의 감소 결과(Noise Reduction Result)는 상기 평탄 영역에서는 적응형 가중치와 상기 픽셀 평균값의 곱을 포함하고, 상기 비평탄 영역에서는 1에서 상기 적응형 가중치를 뺀 값과 상기 중심-뷰 이미지의 픽셀 값의 곱을 포함할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명의 일 실시 예에 따른 이미지 처리 장치는 멀티-뷰 이미지를 이용하여 생성된 3차원 이미지에서 발생하는 노이즈를 감소시킬 수 있다.
또한, 본 발명의 일 실시 예에 따른 장치는 멀티-뷰 이미지를 이용하여 생성된 3차원 이미지에서 평탄 영역과 비평탄 영역으로 구분하고, 비평탄 영역에서의 연산량을 줄여서 보다 빠른 이미지 처리를 지원할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치를 설명한다.
도 2는 도 1에서 설명한 이미지 센서를 설명한다.
도 3은 도 1~2에서 설명한 이미지 센서의 구성을 설명한다.
도 4는 도 2~3에서 설명한 픽셀 어레이에 대해 설명한다.
도 5는 본 발명의 일 실시예에 따른 복수의 카메라 장치를 설명한다.
도 6은 에피폴라 기하(Epipolar Geometry) 혹은 등극선 기하를 설명한다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치를 설명한다.
도 8은 도 6에서 설명한 적응형 가중치 연산부를 설명한다.
도 9는 표준 편차를 적용한 이미지와 스케일된 표준 편차를 적용한 이미지의 차이를 설명한다.
도 10은 스케일된 표준 편차에 따라 적응형 가중치의 범위를 설명한다.
도 11은 도 6에서 설명한 멀티-뷰 이미지 픽셀 결정부를 설명한다.
도 12는 멀티-뷰 이미지를 바탕으로 생성한 에피폴라(Epipolar) 이미지를 설명한다.
도 13은 에피폴라 이미지에서 노이즈를 설명한다.
도 14는 에피폴라 이미지에서 노이즈를 감소시키기 위한 픽셀 결정 방법을 설명한다.
도 15는 도 13에서 설명한 픽셀 결정 방법의 예를 설명한다.
도 16은 에피폴라 이미지에서 노이즈가 감소된 결과를 설명한다.
도 17은 도 6에서 설명한 노이즈 감소 결과 출력부를 설명한다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예들에 대해서 보다 구체적으로 설명하기로 한다.
도 1에는 본 발명의 실시예에 따른 이미지 센싱 장치가 블록 구성도로 도시되어 있다.
도 1을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100), 및 이미지 프로세서(200)를 포함할 수 있다.
실시예에 따라, 이미지 센서(100)는 촬영된 이미지에 대응하는 복수의 픽셀값(DPXs)을 생성할 수 있다. 예를 들면, 이미지 센서(100)는 싱글 프레임(single frame)에 대응하는 복수의 픽셀값(DPXs)을 생성할 수 있다.
실시예에 따라, 이미지 센서(100)는 복수의 카메라 장치를 포함할 수 있다. 복수의 카메라 장치는 동일한 수평선 상에 배치되어 멀티-뷰 이미지를 생성할 수 있다. 다른 실시예에서는 이미지 센서(100)는 하나의 이미지 센서 상에 복수의 마이크로 렌즈(microlens)를 포함할 수 있다. 복수의 마이크로 렌즈(microlens)가 행, 열, 혹은 행렬의 형태로 배치되어 멀티-뷰 이미지를 생성할 수 있다.
이미지 프로세서(200)는 멀티-뷰 이미지(multi-view images)를 통해 3차원 이미지를 확보하면서 노이즈 감소를 위해 적응형 가중치(Adaptive Weight)를 적용하고, 이미지 내 평탄(flat) 영역에서는 멀티-뷰 이미지(multi-view images)의 평균값을 사용하며, 비평탄(non-flat) 영역혹은 에지(edge) 영역에서는 멀티-뷰 이미지(multi-view images) 중 중심-뷰(center-view) 이미지 값을 사용할 수 있다. 이를 통해, 이미지 프로세서(200)는 노이즈 감소를 위해 수행하는 연산량을 줄일 수 있어 보다 빠른 3차원 이미지의 생성을 지원할 수 있다.
도 2에는 도 1에 도시된 이미지 센서(100)의 블록 구성도가 도시되어 있다.
도 2를 참조하면, 이미지 센서(100)는 픽셀 어레이(110), 및 신호 변환기(160)를 포함할 수 있다.
픽셀 어레이(110)는 로우(row) 방향과 컬럼(column) 방향으로 배열된 상기 복수의 픽셀들을 포함할 수 있다(도 4 참조). 픽셀 어레이(110)는 로우 별로 복수의 픽셀신호(VPXs)를 생성할 수 있다. 예컨대, 픽셀 어레이(100)는 제1 로우 시간 동안 제1 로우에 배열된 픽셀들로부터 복수의 픽셀신호(VPXs)를 생성할 수 있고, 제n 로우 시간 동안 제n 로우에 배열된 픽셀들로부터 복수의 픽셀신호(VPXs)를 생성할 수 있다(단, 'n'은 2보다 큰 정수임). 복수의 픽셀신호(VPXs)는 각각 아날로그 타입의 픽셀신호일 수 있다.
신호 변환기(160)는 상기 아날로그 타입의 복수의 픽셀신호(VPXs)를 디지털 타입의 복수의 픽셀값(DPXs)로 변환할 수 있다. 상기 디지털 타입의 복수의 픽셀값(DPXs)은 후술하는 베이어 패턴(Bayer pattern)에 대응하여 출력될 수 있다. 예컨대, 신호 변환기(160)는 도 3에서 설명하는 아날로그-디지털 변환 회로(140)를 포함할 수 있다.
도 3은 도 1~2에서 설명한 이미지 센서의 구성을 설명한다. 도 1에서 설명하는 이미지 센서 (CIS)는 휴대폰, 감시 보안, 자율 주행, 머신 비전 및 사물 인터넷 등의 분야에서 사용되는 장치에서 널리 사용될 수 있다.
도 3을 참조하면, 이미지 센서는 픽셀 어레이(110), 로우 디코더(120), 컨트롤러(130), 아날로그-디지털 변환 회로(140), 데이터 출력 회로(150)를 포함할 수 있다. 한편, 실시예에 따라, 이미지 센서는 도시되지 않은 모듈 혹은 회로를 더 포함할 수 있다.
픽셀 어레이(110)는 복수의 픽셀(112)를 포함할 수 있다. 복수의 픽셀(112)은 가로, 세로 방향으로 정렬된 구조를 가질 수 있다. 픽셀(112)은 하나의 포토 다이오드와 4개의 트랜지스터를 포함하는 구조를 가질 수 있다. 실시예에 따라, 픽셀(112)은 하나의 포토 다이오드와 3개의 트랜지스터를 포함할 수도 있다. 또한, 픽셀(112)은 복수의 포토 다이오드를 포함할 수도 있다.
로우 디코더 혹은 드라이버(120)는 픽셀 어레이(110)에 포함된 픽셀(112)을 행(ROW) 단위로 구동시킬 수 있다. 로우 디코더(120)가 행 단위로 픽셀(112)을 구동시키면, 픽셀(112)은 열(COLUMN)마다 배치된 배선을 통해 신호를 아날로그-디지털 변환 회로(140)로 전달할 수 있다. 로우 디코더(120)는 컨트롤러(130)에 의해 제어될 수 있다.
컨트롤러(130)는 이미지 센서의 전반적인 동작에 관여할 수 있다. 컨트롤러(130)는 로우 디코더(120)를 제어할 뿐만 아니라 아날로그-디지털 변환 회로(140) 및 데이터 출력 회로(150)를 제어할 수도 있다.
로우 디코더(120)에 의해 구동되는 픽셀(112)이 출력하는 신호 혹은 정보는 아날로그 신호이다. 아날로그-디지털 변환 회로(140)는 픽셀(112)에서 출력되는 신호 혹은 정보를 디지털 신호 혹은 정보로 변환할 수 있다. 아날로그-디지털 변환 회로(140)에 의해 산출된 디지털 신호 혹은 정보는 데이터 출력 회로(150)에 임시 저장될 수 있고, 컨트롤러(130)에 의해 출력 데이터(DATA_OUTPUT)를 다른 장치(예, 회로, 모듈 등)에 전달할 수 있다.
이미지 센서에 포함된 아날로그-디지털 변환 회로(140)는 열(column) 단위로 동작하는 유닛 혹은 모듈이 병렬로 배치된 신호 판독 구조(즉, 열 병렬(column-parallel) 구조)를 가질 수 있다. 이러한 구조의 아날로그-디지털 변환 회로(140)는 픽셀 어레이(110)에서 출력되는 데이터를 판독하는 과정에서 노이즈(noise)를 줄일 수 있고 대역폭을 높일 수 있다. 이를 통해, 아날로그-디지털 변환 회로(140)는 픽셀 어레이(110)에서 출력되는 데이터를 판독하여 신호 품질의 저하를 줄이면서 매우 높은 속도로 판독된 데이터를 출력하도록 지원할 수 있다.
이미지 센서의 해상도(resolution)가 증가하면, 픽셀 어레이(110) 내 픽셀(112)의 크기(예, 평면적 혹은 피치(pitch))가 줄어든다. 이미지 센서가 더 높은 프레임 속도를 지원할수록, 픽셀 어레이(110) 내 픽셀(112)이 입사광을 수신하여 전하로 변환하는 시간이 짧아질 수 있다. 또한, 이미지 센서가 휴대용 단말기, 카메라 등과 같은 소형 장치에 탑재되면서, 이미지 센서의 크기에 제약이 발생한다. 이러한 이유로, 아날로그-디지털 변환 회로(140)는 좁은 간격의 각 열에 배치되고 픽셀 어레이(110)에서 출력되는 신호 혹은 정보의 크기가 작아지면서, 아날로그-디지털 변환 회로(140)는 매우 엄격한 제약 조건에서 설계될 필요가 있다.
도 4에는 도 2~3에서 설명한 픽셀 어레이에 대해 설명한다.
도 4를 참조하면, 픽셀 어레이(110)는 예정된 패턴으로 배열될 수 있다. 예컨대, 픽셀 어레이(120)는 상기 베이어 패턴(Bayer pattern)으로 배열될 수 있다. 베이어 패턴(Bayer pattern)은 2 x 2 픽셀들의 반복 셀로 구성되며, 각각의 셀에는 그린(green) 컬러 필터를 가지는 2개의 픽셀들(Gb, Gr)이 대각선으로 대향하도록 배치되고, 1개의 블루(blue) 컬러 필터를 가지는 1개의 픽셀(B)과 레드(red) 컬러 필터를 가지는 1개의 픽셀(R)이 나머지 코너에 배치될 수 있다. 4개의 픽셀들(B, Gb, Gr, R)은 도 3에 도시된 배치 구조에 반드시 한정되는 것은 아니며, 앞서 설명한 베이어 패턴을 전제로 하되 다양하게 배치될 수 있다. 본 발명의 실시예는 베이어 패턴(Bayer pattern)을 예로 들어 설명하고 있지만, 반드시 이에 한정되는 것은 아니며, 쿼드(quad) 패턴 등 다양한 패턴에 적용 가능하다.
도 5는 본 발명의 일 실시예에 따른 복수의 카메라 장치를 설명한다. 실시예에 따라, 복수의 카메라 장치(72, 74, 76, 78)은 도 1에서 설명한 멀티-뷰 이미지를 생성할 수 있다.
도 5를 참조하면, 3차원 공간 상에 피사체가 존재하고, 임의의 점(PW)은 복수의 카메라 장치(72, 74, 76, 78)에 의해 특정 픽셀(P1, P2, P3, PN)에서 캡처될 수 있다. 제1 카메라 장치(72)는 3차원 공간(X, Y, Z) 상에 제1 위치(C1)에 위치하고, 제1 카메라 장치(72)의 제1 위치(C1)에서 임의의 점(PW)은 제1 광선(R1)으로 연결될 수 있고, 제1 광선(R1)은 제1 픽셀(P1)을 통과할 수 있다. 제2 카메라 장치(74)는 3차원 공간(X, Y, Z) 상에 제2 위치(C2)에 위치하고, 제2 카메라 장치(74)의 제2 위치(C2)에서 임의의 점(PW)은 제2 광선(R2)으로 연결될 수 있고, 제2 광선(R2)은 제2 픽셀(P2)을 통과할 수 있다. 제3 카메라 장치(76)는 3차원 공간(X, Y, Z) 상에 제3 위치(C3)에 위치하고, 제3 카메라 장치(76)의 제3 위치(C3)에서 임의의 점(PW)은 제3 광선(R3)으로 연결될 수 있고, 제3 광선(R3)은 제3 픽셀(P3)을 통과할 수 있다. 제4 카메라 장치(78)는 3차원 공간(X, Y, Z) 상에 제4 위치(C4)에 위치하고, 제2 카메라 장치(78)의 제4 위치(C4)에서 임의의 점(PW)은 제4 광선(R4)으로 연결될 수 있고, 제4 광선(R4)은 제4 픽셀(P4)을 통과할 수 있다.
실시예에 따라, 도 5에서는 복수의 카메라 장치(72, 74, 76, 78)의 제1 내지 제4 위치(C1, C2, C3, C4)는 기준점 혹은 기준 위치로부터 3차원 공간 좌표(X, Y, Z 축)로 절대적 위치를 정의할 수 있다. 다른 실시예에서는 기준 위치를 바탕으로 하지 않고 복수의 카메라 장치(72, 74, 76, 78) 중 서로 간의 상대적 위치로 정의될 수도 있다. 도 1에서 설명한 바와 같이, 복수의 카메라 장치(72, 74, 76, 78)가 수평선 상에 배치되는 경우, 복수의 카메라 장치(72, 74, 76, 78)의 절대적 위치 혹은 상대적 위치를 보다 간단하게 정의할 수도 있다.
도 6은 에피폴라 기하(Epipolar Geometry) 혹은 등극선 기하를 설명한다. 구체적으로, 도 5에서 설명한 복수의 카메라 장치(72, 74, 76, 78) 중 제2 카메라 장치(74) 및 제3 카메라 장치(76)를 예로 들어 설명한다.
도 6을 참조하면, 제2 카메라 장치(74)는 제2 위치(C2)에 위치하고, 제3 카메라 장치(76)는 제3 위치(C3)에 위치하고 있다. 여기서, 제2 위치(C2)와 제3 위치(C3)는 각 카메라 장치의 사영 원점(Center of Projection)으로 이해할 수 있다. 제2 카메라 장치(74)와 제3 카메라 장치(76)는 각각 2차원의 이미지(평면)을 캡쳐할 수 있다.
3차원 공간 상에 임의의 점(PW)은 제2 카메라 장치(74)의 이미지 상에 제2 픽셀(P2)에 맺히고, 제3 카메라 장치(76)의 이미지 상에 제3 픽셀(P3)에 맺힐 수 있다. 제2 카메라 장치(74)와 제3 카메라 장치(76)의 제2 위치(C2)와 제3 위치(C3)를 연결한 직선과 각 이미지와 만나는 점 혹은 픽셀(E2, E3)을 제2, 제3 에피폴(epipole)이라고 할 수 있다. 또한, 제2, 제3 에피폴(E2, E3)과 각 이미지 상의 제2 픽셀(P2) 및 제3 픽셀(P3)을 연결하는 직선을 에피라인(epiline)이라고 할 수 있다. 즉, 제2 픽셀(P2)과 제2 에피폴(E2)을 연결한 직선을 제2 에피라인이라고 할 수 있고, 제3 픽셀(P3)과 제3 에피폴(E3)을 연결한 직선을 제3 에피라인이라고 할 수 있다. 또한, 두 이미지 평면 사이의 기하학적 관계에 따른 제약(Constraint)이 발생하는 데, 이는 모든 점들은 다른 이미지에서 에피폴라 라인 상에 위치할 수 있다는 것이고 이를 에피롤라 제약(Epipolar Constraint)이라고 할 수 있다. 또한, 임의의 점(PW)과 제2 위치(C2) 및 제3 위치(C3)으로 결정되는 평면은 에피폴라 평면(epipolar plane)이라고 할 수 있다.
에피폴라 제약과 노이즈에 대해 구체적으로 설명한다. 제2 위치(C2)와 제3 위치(C3)의 절대적 위치 혹은 상대적 위치는 알려진 정보이다. 제2 카메라 장치(74)가 획득한 이미지 평면에서의 제2 픽셀(P2)의 위치를 알고 있다고 가정한다. 이 경우, 제3 카메라 장치(76)가 획득한 이미지 평면에서의 제3 픽셀(P3)의 위치를 정확히 알기 위해서는 제2 위치(C2)에서 임의의 점(PW)까지의 거리가 필요하다. 하지만, 임의의 점(PW)과 제2 위치(C2) 및 제3 위치(C3)으로 결정되는 에피폴라 평면(epipolar plane)은 결정되어 있으므로, 제2 위치(C2)에서 임의의 점(PW)까지의 거리를 알지 못하더라도 제3 픽셀(P3)이 제3 에피라인 상에 위치할 수 있다는 것은 알 수 있다. 하지만, 멀티-뷰 이미지 내 임의의 점(PW)에 대응하는 픽셀들이 에피라인 상에 위치하지 않을 수 있는데, 이는 멀티-뷰 이미지 내 노이즈로 이해될 수 있다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치(200)를 설명한다.
도 7을 참조하면, 이미지 처리 장치(200)는 적응형 가중치 연산부(210), 멀티-뷰 이미지 픽셀 결정부(220) 및 노이즈 감소 결과 출력부(230)를 포함할 수 있다. 적응형 가중치 연산부(210)는 중심-뷰 이미지(Ct_View_Px)를 입력 받아 적응형 가중치(Adap_W)를 산출할 수 있고, 멀티-뷰 이미지 픽셀 결정부(220)는 에피폴라 이미지에서 노이즈를 감소시키기 위해 대체할 수 있는 픽셀 정보를 결정할 수 있다. 노이즈 감소 결과 출력부(230)는 멀티-뷰 이미지 픽셀 결정부(220)에서 결정된 픽셀 정보(Match_Px) 및 적응형 가중치(Adap_W)를 바탕으로 노이즈 감소 결과(Noise Reduction Result, NR_Result)를 출력할 수 있다. 이미지 처리 장치(200)는 도 1~3에서 설명한 이미지 센서 혹은 도 5에서 설명한 복수의 카메라 장치로부터 복수의 픽셀값(DPXs)을 수신할 수 있다. 도 1에서 설명한 바와 같이, 복수의 픽셀값(DPXs)은 멀티-뷰 이미지(Multi_Views)를 포함할 수 있다. 또한, 멀티-뷰 이미지(Multi_Views)는 중심-뷰 이미지(Ct_View_Px)를 포함할 수 있다.
여기서, 뷰(view)를 데이터를 보는 관점으로 데이터가 갖는 특징(feature)라고 이해할 수 있다. 멀티 뷰 데이터는 데이터 안에 존재하는 음성이나 텍스트 등 다른 여러 가지 특징 혹은 다양한 소스로부터 획득한 데이터의 여러 가지 특징을 포함할 수 있다. 멀티-뷰 이미지(Multi-view images)는 3차원 공간 상에 있는 피사체를 서로 다른 위치에서 캡쳐한 2차원 이미지들을 포함할 수 있다. 동일한 피사체를 서로 다른 위치에서 촬영하는 경우, 각각의 2차원 이미지들은 해당 피사체에 대한 서로 다른 정보를 가지게 된다.
이미지 처리 장치(200)는 복수의 카메라 장치로부터 멀티-뷰 이미지를 수신할 수 있다. 이미지 처리 장치(200)는 멀티-뷰 이미지에 포함된 중심-뷰 이미지를 바탕으로 이미지 내 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분할 수 있다. 또한, 도 5 내지 도 6을 참조하면, 이미지 처리 장치(200)는 수신된 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성할 수 있다. 평탄(flat) 영역과 비평탄(non-flat) 영역에서 발생하는 노이즈를 에피폴라 이미지를 통해 확인하는 경우, 노이즈의 양은 큰 편차가 발생하지 않을 수 있다. 하지만, 평탄 영역에서 나타나는 노이즈가 이미지를 접하는 사용자에게 시각적으로 더 큰 영향을 미칠 수 있다.
본 발명의 일 실시예에 따른 이미지 처리 장치(200)는 평탄 영역과 비평탄 영역을 구분한 후, 평탄 영역과 비평탄 영역에서 서로 다른 방법으로 노이즈를 감소시킬 수 있다. 예를 들면, 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 비평탄 영역에서는 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체할 수 있다.
또한, 실시예에 따라, 이미지 처리 장치(200)에서 출력되는 노이즈 감소 결과(NR_Result)는 평탄 영역과 비평탄 영역에 서로 다르게 적용되는 적응형 가중치(Adap_W)에 따라 달라질 수 있다. 이하에서는, 이미지 처리 장치(200)에 포함된 적응형 가중치 연산부(210), 멀티-뷰 이미지 픽셀 결정부(220) 및 노이즈 감소 결과 출력부(230)의 구체적인 동작과 구성에 대해서는 도 8 내지 도 17을 참조하여 후술한다.
도 8은 도 6에서 설명한 적응형 가중치 연산부(210)를 설명한다.
도 8을 참조하면, 적응형 가중치 연산부(210)는 표준 편차 추출부(212), 스케일 적용부(214) 및 적응형 가중치 결정부(216)를 포함할 수 있다. 적응형 가중치 연산부(210)는 멀티-뷰 이미지로부터 적응형 가중치(adaptive weight)를 결정할 수 있다.
표준 편차 추출부(212)는 멀티-뷰 이미지 중 중심-뷰 이미지 픽셀 값을 이용하여 표준 편차(standard deviation, STD)을 산출할 수 있다. 여기서, 중심-뷰 이미지(Ct_View_Px)는 멀티-뷰 이미지를 생성하는 복수의 카메라 장치 중 가운데 위치한 카메라 장치로부터 획득된 이미지를 포함할 수 있다. 예를 들어, 중심-뷰 이미지에서 5x5 커널(kernel)을 통해 표준 편차(STD)를 추출할 수 있다. 여기서, 커널(kernel)은 정방행렬을 의미할 수 있다. 가로 세로 방향의 5개의 픽셀(총 25개의 픽셀)이 하나의 커널로 이해될 수 있다. 이러한 커널을 이동시키면 커널의 이미지 값에 변화가 발생한다. 커널의 임지 값의 변화에 대한 표준 편차(STD)를 결정하면, 이미지 내 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분할 수 있다. 여기서, 비평탄(non-flat) 영역은 에지(edge) 영역 뿐만 아니라 울퉁불퉁한(uneven) 영역을 포함할 수 있다. 실시예에 따라, 표준 편차(STD)가 클수록 비평탄(non-flat) 영역으로 판단할 수 있고, 표준 편차(STD)가 작을수록 평탄(flat) 영역으로 판단할 수 있다. 특정한 값을 기준으로 평탄(flat) 영역과 비평탄(non-flat) 영역을 절대적으로 구분하는 것이 아니라, 중심-뷰 이미지(Ct_View_Px) 내 커널의 임지 값의 변화를 바탕으로 평탄(flat) 영역과 비평탄(non-flat) 영역을 상대적으로 구분할 수 있다.
스케일 적용부(214)는 표준 편차 추출부(212)에서 산출된 표준 편차(STD)에 스케일(scale)을 적용하여 스케일 표준 편차(Scale_STD)를 생성할 수 있다. 멀티-뷰 이미지 혹은 중심-뷰 이미지에 포함된 픽셀 데이터는 다양한 변수를 포함할 수 있다. 예를 들면, 이미지 내 픽셀 데이터 모두가 동일한 형태, 색상 혹은 거리의 피사체를 촬영한 것이 아니기 때문이다. 따라서, 픽셀 데이터에 포함된 다양한 변수들 간의 척도(scale)가 서로 다른 경우, 이를 바탕으로 하는 모델링(modeling)에는 모수의 왜곡이 발생할 수 있다. 따라서, 스케일 적용부(214)는 스케일링(scaling) 혹은 척도 표준화(scale standardization)를 수행하여 스케일 표준 편차(Scale_STD)를 산출할 수 있다. 스케일 표준 편차(Scale_STD)와 표준 편차(STD)의 차이는 도 9에서 후술한다.
적응형 가중치 결정부(216)는 스케일 표준 편차(Scale_STD)에 대응하는 적응형 가중치(Adaptive Weight, Adap_W)를 결정할 수 있다. 여기서, 적응형 가중치(Adap_W)는 스케일 표준 편차(Scale_STD)에 따라 변경될 수 있는 데, 이는 도 10에서 후술한다. 멀티-뷰 이미지에 포함된 정보와 관련없이 일률적인 가중치를 적용하는 것보다, 멀티-뷰 이미지에 포함된 정보를 바탕으로 가중치를 조정할 수 있는 적응형 가중치(Adap_W)가 노이즈를 감소시키는 데 유리할 수 있다.
도 9는 표준 편차를 적용한 이미지와 스케일 표준 편차를 적용한 이미지의 차이를 설명한다.
도 7에서 설명한 바와 같이, 멀티-뷰 이미지에 포함된 픽셀 데이터들은 다양한 변수들을 포함할 수 있다. 예를 들면, 하나의 카메라 장치가 획득하는 이미지 정보에는 피사체와의 거리, 피사체의 형상 혹은 색상, 피사체 주변의 조도 등의 변수들이 존재하고, 복수의 카메라 장치로부터 획득된 멀티-뷰 이미지에는 더 많은 변수들이 포함될 수 있다. 따라서, 도 7에서 설명한 스케일 적용부(214)를 통해 표준 편차(STD)에 대한 스케일링(scaling) 혹은 척도 표준화(scale standardization)를 수행하여 산출된 스케일 표준 편차(Scale_STD)를 활용하는 것이 노이즈를 줄이는 데 유리할 수 있다.
도 10은 스케일 표준 편차에 따라 적응형 가중치의 범위를 설명한다.
도 10을 참조하면, 스케일 표준 편차(Scaling STD, Scale_STD)에 따라 적응형 가중치(Adaptive Weight, Adap_W)가 달라질 수 있다. 실시예에 따라, 스케일 표준 편차(Scale_STD)는 8비트 정보(R0~R7)로서 0에서 255의 값 중 하나를 가질 수 있고, 적응형 가중치(Adap_W)는 0에서 1사이의 값을 가질 수 있다. 스케일 표준 편차(Scaling STD, Scale_STD)가 커질수록, 적응형 가중치(Adap_W)는 감소할 수 있다.
적응형 가중치(Adap_W)는 도 7에서 설명한 노이즈 감소 결과 출력부(230)에 입력될 수 있다. 적응형 가중치(Adap_W)는 이미지 내 평탄 영역과 비 평탄 영역에서 적응형 처리 결과가 도출될 수 있도록 노이즈 감소 결과의 비중을 높일 지 픽셀 값의 비중을 높일 지를 결정하는 매개 변수(parameter)로서 사용될 수 있다.
도 11은 도 6에서 설명한 멀티-뷰 이미지 픽셀 결정부(220)를 설명한다.
도 11을 참조하면, 멀티-뷰 이미지 픽셀 결정부(220)는 에피폴라(Epipolar) 이미지 생성부(211), 탐색 윈도우 결정부(213), 픽셀 위치 추출부(215), 픽셀 위치 변경부(217) 및 3D 노이즈 감소 결정부(219)를 포함할 수 있다.
에피폴라(Epipolar) 이미지 생성부(211)는 멀티-뷰 이미지(Multi_Views)를 수신하여 에피폴라 이미지(Epi_img)를 생성할 수 있다. 실시예에 따라, 멀티-뷰 이미지(Multi_Views)는 복수의 카메라 장치로부터 수신될 수 있으며, 복수의 카메라 장치는 수평적인 위치 차이를 가질 수 있다. 예를 들어, 멀티-뷰 이미지(Multi_Views)는 복수의 카메라 장치가 수평 방향으로 정렬되어 동일한 피사체를 촬영하여 얻은 복수의 이미지를 포함할 수 있다. 에피폴라 기하에 대해서는 도 5 및 도 6에서 설명하였으며, 멀티-뷰 이미지(Multi_Views)를 기반으로 생성된 에피폴라 이미지(Epi_img)는 도 12를 참조하여 후술한다.
탐색 윈도우 결정부(213)는 에피폴라(Epipolar) 이미지 생성부(211)에서 생성된 에피폴라 이미지(Epi_img)에서 가장 먼 물체(예, 도 5에서 설명한 피사체의 임의의 점(PW))에 해당하는 에피폴라 라인을 수직으로 가정하고, 가장 가까운 물체에 해당하는 물체에 해당하는 에피폴라 라인의 기울기가 X도를 가지는 경우, 두 에피폴라 라인 사이의 범위를 탐색 윈도우(search window, Search_W)로 결정할 수 있다. 실시예에 따라, 탐색 윈도우(Search_W)는 에피폴라 이미지(Epi_img)에서 노이즈를 감소시키기 위해 연산에 사용되는 픽셀 값의 범위로 이해할 수 있다.
픽셀 위치 추출부(215)는 탐색 윈도우(Search_W)와 에피폴라 이미지(Epi_img)를 수신하여, 탐색 윈도우(Search_W) 내에서 기준 픽셀과 가장 유사한 값을 가지는 픽셀들의 위치 정보(Match_Px)를 추출할 수 있다. 예를 들면, 픽셀 위치 추출부(215)는 중심-뷰 이미지 내 픽셀에 대응하는 픽셀이 다른 이미지 내 어느 위치에 있는지를 찾기 위해 강도(intensity)의 차이가 최소인 인접 픽셀들의 위치(Match_Px)를 추출할 수 있다. 이때, 픽셀 위치 추출부(215)는 탐색 윈도우 내 1xN에 대응하는 패치(Patch)를 기준으로 강도(intensity)의 차이가 최소인 인접 픽셀을 찾을 수도 있다.
픽셀 위치 변경부(217)은 픽셀 위치 추출부(215)에서 추출된 픽셀들의 위치 정보(Match_Px)를 중심-뷰 이미지 내 픽셀이 지나가는 에피폴라 라인을 대체할 수 있다. 에피폴라 이미지가 노이즈(noise) 혹은 폐색 영역(occlusion) 등의 요인으로 인해 데이터의 분포가 달라질 수 있고, 정상적인 분포를 벗어난 이상점(outlier)을 제거하고 데이터 근사를 통해 조정할 필요가 있다(outlier rejection fitting). 실시예에 따라, 픽셀 위치 변경부(217)는 픽셀 위치 추출부(215)에서 추출된 픽셀들을 이용해 RANSAC(RANdom SAmple Consensus) 알고리즘으로 새로운 에피폴라 라인을 유추할 수 있다. 여기서, RANSAC 알고리즘은 위에서 설명한 컨센서스가 최대인 모델을 뽑기 위한 절차적 방법을 포함할 수 있다. 예를 들면, 일단 무작위로 샘플 데이터 몇 개를 뽑아서 이 샘플 데이터들을 만족하는 모델 파라미터를 구한다. 이렇게 구한 모델과 가까이에 있는 데이터들의 개수를 세어서 그 개수가 크다면 이 모델을 기억해 둔다. 이러한 과정을 N번 반복한 후 가장 지지하는 데이터의 개수가 많았던 모델을 최종 결과로 반환할 수 있다. 이후, 픽셀 위치 변경부(217)은 새로운 에피폴라 라인 상의 픽셀 위치로 기존 픽셀의 위치를 대체할 수 있다.
3D 노이즈 감소 결정부(219)는 중심-뷰 이미지 내 평탄(flat) 영역의 픽셀을 대체할 수 있는 3차원 노이즈 감소 값(3D NR)을 결정할 수 있다. 예를 들면, 3D 노이즈 감소 결정부(219)는 픽셀 위치 변경부(217)에서 결정된 위치에 해당하는 픽셀 데이터를 평균내어, 3차원 노이즈 감소 값(3D NR)을 출력할 수 있다.
실시예에 따라, 멀티-뷰 이미지 픽셀 결정부(220)는 멀티-뷰 이미지(Multi_Views)에서 평탄(flat) 영역에서의 노이즈를 감소시킬 수 있는 3차원 노이즈 감소 값(3D NR)을 생성할 수 있다. 하지만, 멀티-뷰 이미지(Multi_Views)에서 비평탄(non-flat) 영역에서는 강도(intensity)의 차이가 최소인 위치를 찾은 후, 해당 위치에 기초하여 RANSAC(RANdom SAmple Consensus) 알고리즘으로 새로운 에피폴라 라인을 유추하는 과정에서 연산량이 증가하거나, 결과값에 대해 신뢰도가 낮아질 수 있다. 빠른 이미지 처리를 위해, 본 발명의 일 실시예에서는 멀티-뷰 이미지(Multi_Views)에서 비평탄(non-flat) 영역에서는 3차원 노이즈 감소 값(3D NR) 대신 중심-뷰 이미지 내 픽셀값을 사용할 수 있다.
도 12는 멀티-뷰 이미지를 바탕으로 생성한 에피폴라(Epipolar) 이미지를 설명한다.
도 12를 참조하면, 복수의 카메라 장치로부터 획득되는 멀티-뷰 이미지(372, 374, 376)을 바탕으로 에피폴라 이미지(380)가 생성될 수 있다. 멀티-뷰 이미지(372, 374, 376)는 가장 왼쪽에 배치된 제1 카메라 장치로부터 획득된 제1 이미지(372), 복수의 카메라 장치 중 가운데 배치된 카메라 장치로부터 획득된 중심-뷰 이미지(374), 가장 오른쪽에 배치된 제N 카메라 장치로부터 획득된 제2 이미지(376)을 포함할 수 있다. 도 5에서 설명한 바와 같이, 복수의 카메라를 3차원 좌표값으로 상대적 혹은 절대적인 위치에 대응하여 배치할 수도 있으나, 복수의 카메라를 수평적으로 균일한 간격으로 설치하는 경우 이미지 보정(image rectification)을 보다 단순화할 수 있다.
예를 들면, 멀티-뷰 이미지(372, 374, 376)에서 동일한 행에 대응하는 픽셀 데이터를 수집하여 아래부터 위로 시간을 기준으로 데이터를 쌓아서, 에피폴라 이미지(380)가 생성될 수 있다. 에피폴라 이미지(380) 내 에피폴라 라인은 ΔS/ΔU의 기울기(θ)를 가질 수 있다. 여기서, ΔS는 두 카메라 사이의 기하학적 거리이고, ΔU는 두 카메라에서 획득된 이미지에서 움직이는 점 사이의 거리일 수 있다. 멀티-뷰 이미지(372, 374, 376)에서의 피사체 깊이 혹은 거리는 에피폴라 라인의 기울기(θ)에 반비례할 수 있다.
도 13은 에피폴라 이미지에서 노이즈를 설명한다.
도 13을 참조하면, 에미폴라 이미지의 실제 픽셀의 위치 분포가 에피폴라 라인과 정확히 일치하지 않는 것을 알 수 있다. 도 5~6 및 도 12를 참조하면, 복수의 카메라 장치 사이의 위치 관계를 명확하게 알고 있고, 각 카메라 장치에서 획득된 이미지에 노이즈가 없다고 가정할 수 있다. 이 경우, 멀티-뷰 이미지를 바탕으로 에피폴라 이미지를 생성하면 모든 픽셀이 에피폴라 라인 상에 위치할 수 있다. 하지만, 복수의 카메라 장치를 통해 획득된 멀티-뷰 이미지를 바탕으로 에피폴라 이미지를 생성하면, 에피폴라 라인을 벗어나는 많은 픽셀 값들이 존재하게 된다. 따라서, 도 1 및 도 7에서 설명한 이미지 프로세서(200) 혹은 이미지 처리 장치(200)는 이러한 노이즈를 감소시킬 필요가 있다. 노이즈 감소를 통해 에피폴라 라인을 생성하면, 에피폴라 라인의 기울기를 바탕으로 피사체 깊이 혹은 거리를 보다 정확하게 추정할 수 있다.
한편, 에미폴라 이미지에서 에피롤라 제약(Epipolar Constraint)을 이용하여 노이즈를 제거하는 것 뿐만 아니라, 깊이 정보에 대한 정확도를 향상시킬 수 있도록 폐색 영역(occlusion)을 탐지하고 처리하는 과정을 추가적으로 수행할 수 있다. 예를 들면, 탐지한 폐색 영역을 보이는 주변 영역의 화소들과의 거리와 색상차를 고려하여 연산되거나 결정된 깊이 값으로 채울 수 있다.
도 14는 에피폴라 이미지에서 노이즈를 감소시키기 위한 픽셀 결정 방법을 설명한다.
도 14를 참조하면, 노이즈를 감소시키기 위한 픽셀 결정 방법은 최대 기울기 선을 따라 탐색 윈도우를 설정하는 단계(210), 탐색 윈도우 내 표준 픽셀과 가장 비슷한 주변 픽셀을 찾는 단게(220) 및 주변 픽셀의 위치를 저장하는 단계(230)를 포함할 수 있다.
노이즈 감소(noise reduction)를 위해서는 이미지 센서가 출력한 각 픽셀 정보 혹은 정보의 특성을 유지하면서 노이즈를 줄이거나 제거하는 것이 중요하다. 인접한 픽셀들과 이질적인 정보 혹은 값을 가지는 노이즈를 줄이거나 제거하는 과정에서 이미지 센서가 출력한 각 픽셀 정보 혹은 정보의 특징이 유지되지 않는다면, 이미지는 질감(texture)이 사라진 인공적인 느낌을 가지게 된다. 하지만, 보다 많은 양 혹은 비율의 노이즈를 제거하는 과정에서 이미지 센서가 출력한 각 픽셀 정보 혹은 정보의 특징은 무뎌 지거나 밋밋해질 수 있다. 통상적인 이미지 처리 장치는 이미지 내 인접한 픽셀의 평균값(average value), 인접한 픽셀의 중간값(mean value)을 사용하여 노이즈를 감소시키거나 줄일 수 있다. 예를 들어, 선형 평균화 필터(Linear smoothing filter)의 경우, 노이즈 픽셀을 포함한 노이즈 주변의 픽셀 값의 평균값 또는 가중 평균을 구하여 노이즈 픽셀의 데이터를 연산 결과로 대체하는 방법을 사용해왔다. 비선형 평균화 필터의 경우에는 노이즈 픽셀을 지정하고, 노이즈 주변 픽셀 값의 중간값을 찾아 노이즈 픽셀의 데이터를 중간값으로 대체하는 방법을 사용해왔다.
한편, 도 12 내지 도 14를 참조하면, 멀티-뷰 이미지로부터 에피폴라 이미지를 생성한 후, 에피폴라 이미지 내 에피롤라 라인의 기울기에 따라 탐색 윈도우를 설정하고, 탐색 윈도우 내 가장 비슷한 주변 픽셀을 찾아 노이즈 픽셀을 대체하는 방법을 사용할 수 있다. 본 발명에서는 노이즈 픽셀의 주변 픽셀 값을 이용하여 평균값(average value) 혹은 중간값(mean value)을 사용하지 않기 때문에, 이미지에서 이미지 센서가 출력한 각 픽셀 정보 혹은 정보의 특징이 무뎌 지거나 밋밋해지는 것을 피할 수 있다.
도 15는 도 13에서 설명한 픽셀 결정 방법의 예를 설명한다.
도 15를 참조하여, 멀티-뷰 이미지를 바탕으로 생성한 에피폴라 이미지에서 노이즈 픽셀을 대체하기 위한 픽셀을 결정하는 방법을 설명한다. 먼저 K개의 카메라 장치로부터 수집된 K개의 이미지를 포함하는 멀티-뷰 이미지로부터 K개의 동일 행(row) 정보를 쌓아 생성한 에피폴라 이미지를 확인할 수 있다.
이미지 처리 장치는 5번째 이미지에서 추출된 행 정보(R=5)에서 수직 라인을 기준으로 인접한 행(R-1)에서 가장 가까운 픽셀과 가장 먼 픽셀의 위치를 기준으로 두 개의 라인을 인지할 수 있다. 두 개의 라인의 사이를 탐색 윈도우로 설정할 수 있다. 5번째 이미지에서 추출된 행 정보(R=5) 내 (5, 6)의 위치의 기준 픽셀과 가장 비슷한 값을 가지는 픽셀을 4번째 이미지에서 추출된 행 정보(R-1)에서 찾으면 (4, 5)의 위치에 있을 수 있다. 다음으로 3번째 이미지에서 추출된 행 정보(R-2)에서 찾으면 (3, 16)의 위치에 있을 수 있다. 다음으로 2번째 이미지에서 추출된 행 정보(R-3)에서 찾으면 (2, 21)의 위치에 있을 수 있다. 이미지 처리 장치는 각 이미지에서 추출된 픽셀의 위치 정보(S(k))를 순차적으로 저장할 수 있다. 이후, 이미지 처리 장치는 탐색 윈도우에서 발견한 픽셀의 위치 정보에 기초하여 RANSAC(RANdom SAmple Consensus) 알고리즘을 통해 새로운 에피폴라 라인을 추정할 수 있다.
도 16은 에피폴라 이미지에서 노이즈가 감소된 결과를 설명한다.
도 16을 참조하면, 이미지 처리 장치는 m개의 카메라 장치로부터 수집된 멀티-뷰 이미지를 바탕으로 에피폴라 이미지를 생성한 후, 에피폴라 이미지에서 도 15에서 설명한 것과 같이 기준 픽셀과 가장 비슷한 값을 가지는 픽셀을 찾아 새로운 에피폴라 라인을 추정하는 과정을 반복적으로 수행할 수 있다. 실시예에 따라, 기준 픽셀은 m개의 카메라 장치 중 중심 위치에 있는 m/2번째 카메라 장치에서 수집된 중심-뷰 이미지에서 추출된 픽셀 정보이다. m/2번째 카메라 장치에서 수집된 중심-뷰 이미지에서 추출된 픽셀 정보를 기준으로 m/2-1, m/2-2, m/2-3번째 카메라 장치에서 수집된 픽셀 정보 중 가장 유사한 픽셀을 찾고, 반대방향인 m/2+1, m/2+2, m/2+3 번째 카메라 장치에서 수집된 픽셀 정보 중 가장 유사한 픽셀을 찾을 수 있다.
전술한 방법으로 찾은 픽셀 정보를 바탕으로 새로운 에피폴라 라인을 산출하면, 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성하는 과정에서 다양한 이유로 생성되거나 발생한 노이즈를 감소시키면서, 이미지의 질감을 효과적으로 살릴 수 있다. 본 발명의 일 실시예에서는 이미지에서 평탄 영역에 대해 이러한 이미지 프로세싱 방법을 적용할 수 있다.
도 17은 도 6에서 설명한 노이즈 감소 결과 출력부(230)를 설명한다.
도 17을 참조하면, 노이즈 감소 결과 출력부(230)는 노이즈 감소 연산부(232)를 포함할 수 있다. 노이즈 감소 결과 출력부(230)는 멀티-뷰 이미지 중 중심-뷰 이미지에 노이즈를 제거할 수 있다. 이를 위해, 노이즈 감소 연산부(232)는 중심-뷰 이미지(Ct_View_Px)와 픽셀 위치 추출부(215)에서 출력된 위치 정보(Match_Px), 3D 노이즈 감소 결정부(219)에서 출력된 3차원 노이즈 감소 값(3D NR)을 수신할 수 있고, 노이즈가 감소된 대체 값(NR_Result)을 출력할 수 있다. 예를 들면, 이미지의 평탄 영역에서는 3D 노이즈 감소 결정부(219)에서 출력된 3차원 노이즈 감소 값(3D NR)에 적응형 가중치 연산부(210)에서 출력된 적응형 가중치(Adap_W)를 곱할 수 있다. 여기서, 적응형 가중치(Adap_W)는 0보다 크고 1보다 작은 값일 수 있다. 한편, 이미지의 비평탄 영역에서는 중심-뷰 이미지(Ct_View_Px)의 픽셀 값에 적응형 가중치(Adap_W)의 역치값(1- Adap_W)을 곱할 수 있다. 노이즈 감소 연산부(232)는 평탄 영역과 비평탄 영역에서 노이즈를 감소시키기 위한 노이즈 감소 결과(NR_Result)를 출력할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성하는 이미지 처리 장치에 있어서,
    복수의 카메라로부터 수신된 멀티-뷰 이미지에서 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분하고, 상기 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성하며, 상기 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 상기 비평탄 영역에서는 상기 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체하여, 상기 에피폴라 이미지의 노이즈를 줄이는, 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 중심-뷰 이미지에서 표준 편차를 기준으로 상기 평탄 영역과 상기 비평탄 영역을 구분하하며, 상기 비평탄 영역은 에지(edge) 영역과 울퉁불퉁한(uneven) 영역을 포함하는,
    이미지 처리 장치.
  3. 제2항에 있어서,
    상기 표준 편차에 이득(gain) 및 오프셋(offset)을 반영하여 스케일 표준 편차(scaling standard deviation)를 생성하고, 상기 스케일 표준 편차를 기반으로 적응형 가중치(adaptive weight)를 생성하고, 상기 적응형 가중치를 상기 평탄 영역 및 상기 비평탄 영역에 다르게 적용하는,
    이미지 처리 장치.
  4. 제3항에 있어서,
    상기 스케일 표준 편차가 증가할수록 상기 적응형 가중치(adaptive weight)는 감소하는 경향을 가지는,
    이미지 처리 장치.
  5. 제1항에 있어서,
    상기 에피폴라(Epipolar) 이미지는 상기 멀티-뷰 이미지에서 같은 행(row)에 해당하는 픽셀 데이터를 쌓아서(stacking) 생성되는,
    이미지 처리 장치.
  6. 제5항에 있어서,
    상기 에피폴라 이미지에서 가장 먼 물체에 대응하는 제1 에피폴라 라인을 수직으로 가정하고, 가장 가까운 물체에 대응하는 제2 에피폴라 라인과 상기 제1 에피폴라 라인 사이의 범위를 탐색 윈도우로 결정하는,
    이미지 처리 장치.
  7. 제6항에 있어서,
    상기 탐색 윈도우의 패치 내 인접 픽셀 중 강도(intensity)의 차이가 작은 픽셀들의 위치를 추출하는,
    이미지 처리 장치.
  8. 제7항에 있어서,
    상기 픽셀들의 위치를 기반으로 RANSAC 알고리즘을 이용한 새로운 직선을 유추한 후, 상기 픽셀들의 위치를 새로운 직선 상의 픽셀 위치로 변경하는,
    이미지 처리 장치.
  9. 제8항에 있어서,
    새로운 직선 상의 픽셀 위치의 픽셀 값을 평균한 후, 평균값에 적응형 가중치를 적용하여 상기 노이즈를 줄이는,
    이미지 처리 장치.
  10. 제8항에 있어서,
    상기 3차원 이미지 내 상기 노이즈의 감소 결과(Noise Reduction Result)는
    상기 평탄 영역에서는 적응형 가중치와 상기 픽셀 평균값의 곱을 포함하고,
    상기 비평탄 영역에서는 1에서 상기 적응형 가중치를 뺀 값과 상기 중심-뷰 이미지의 픽셀 값의 곱을 포함하는,
    이미지 처리 장치.
  11. 복수의 카메라로부터 멀티-뷰 이미지를 수신하는 단계;
    상기 멀티-뷰 이미지 중 중심-뷰 이미지로부터 평탄(flat) 영역과 비평탄(non-flat) 영역을 구분하는 단계;
    상기 멀티-뷰 이미지로부터 에피폴라(Epipolar) 이미지를 생성하는 단계; 및
    상기 평탄 영역에서는 멀티-뷰 이미지의 픽셀 평균값으로 에피폴라 라인에 대체하고, 상기 비평탄 영역에서는 상기 복수의 카메라 중 중심에 위치한 카메라에서 획득된 중심-뷰 이미지의 픽셀 값으로 에피폴라 라인에 대체하여, 상기 에미폴라 이미지의 노이즈를 줄이는 단계
    를 포함하는, 멀티-뷰 이미지를 바탕으로 3차원 이미지를 생성하는 이미지 처리 방법.
  12. 제11항에 있어서,
    상기 중심-뷰 이미지에서 표준 편차를 기준으로 상기 평탄 영역과 상기 비평탄 영역을 구분하하며, 상기 비평탄 영역은 에지(edge) 영역과 울퉁불퉁한(uneven) 영역을 포함하는
    이미지 처리 방법.
  13. 제12항에 있어서,
    상기 표준 편차에 이득(gain) 및 오프셋(offset)을 반영하여 스케일 표준 편차(scaling standard deviation)를 생성하는 단계; 및
    상기 스케일 표준 편차를 기반으로 적응형 가중치(adaptive weight)를 생성하는 단계를 더 포함하고,
    상기 적응형 가중치를 상기 평탄 영역 및 상기 비평탄 영역에 다르게 적용하는,
    이미지 처리 방법.
  14. 제13항에 있어서,
    상기 스케일 표준 편차가 증가할수록 상기 적응형 가중치(adaptive weight)는 감소하는 경향을 가지는,
    이미지 처리 방법.
  15. 제11항에 있어서,
    상기 에피폴라(Epipolar) 이미지는 상기 멀티-뷰 이미지에서 같은 행(row)에 해당하는 픽셀 데이터를 쌓아서(stacking) 생성되는,
    이미지 처리 방법.
  16. 제11항에 있어서,
    상기 에피폴라 이미지에서 가장 먼 물체에 대응하는 제1 에피폴라 라인을 수직으로 가정하고, 가장 가까운 물체에 대응하는 제2 에피폴라 라인과 상기 제1 에피폴라 라인 사이의 범위를 탐색 윈도우로 결정하는 단계
    를 더 포함하는, 이미지 처리 방법.
  17. 제16항에 있어서,
    상기 탐색 윈도우의 패치 내 인접 픽셀 중 강도(intensity)의 차이가 작은 픽셀들의 위치를 추출하는 단계
    를 더 포함하는, 이미지 처리 방법.
  18. 제17항에 있어서,
    상기 픽셀들의 위치를 기반으로 RANSAC 알고리즘을 이용한 새로운 직선을 유추한 후, 상기 픽셀들의 위치를 새로운 직선 상의 픽셀 위치로 변경하는 단계
    를 더 포함하는, 이미지 처리 방법.
  19. 제18항에 있어서,
    새로운 직선 상의 픽셀 위치의 픽셀 값을 평균한 후, 평균값에 적응형 가중치를 적용하여 상기 노이즈를 줄이는 단계
    를 더 포함하는, 이미지 처리 방법.
  20. 제18항에 있어서,
    상기 3차원 이미지 내 상기 노이즈의 감소 결과(Noise Reduction Result)는
    상기 평탄 영역에서는 적응형 가중치와 상기 픽셀 평균값의 곱을 포함하고,
    상기 비평탄 영역에서는 1에서 상기 적응형 가중치를 뺀 값과 상기 중심-뷰 이미지의 픽셀 값의 곱을 포함하는,
    이미지 처리 방법.
KR1020210080682A 2021-06-22 2021-06-22 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법 Withdrawn KR20220170090A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210080682A KR20220170090A (ko) 2021-06-22 2021-06-22 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법
US17/669,732 US12079968B2 (en) 2021-06-22 2022-02-11 Apparatus and method for noise reduction from a multi-view image
CN202210260493.7A CN115514877B (zh) 2021-06-22 2022-03-16 图像处理装置和降低噪声的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210080682A KR20220170090A (ko) 2021-06-22 2021-06-22 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220170090A true KR20220170090A (ko) 2022-12-29

Family

ID=84489349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080682A Withdrawn KR20220170090A (ko) 2021-06-22 2021-06-22 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법

Country Status (3)

Country Link
US (1) US12079968B2 (ko)
KR (1) KR20220170090A (ko)
CN (1) CN115514877B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220170090A (ko) 2021-06-22 2022-12-29 에스케이하이닉스 주식회사 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법
CN121504759B (zh) * 2026-01-12 2026-04-10 国网山西省电力有限公司太原供电分公司 一种用于气体泄漏检测的红外图像降噪方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100388319C (zh) 2006-07-25 2008-05-14 深圳大学 三维主动视觉传感器的多视点姿态估计和自标定方法
CN101627280B (zh) 2006-11-21 2013-09-25 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN101271582B (zh) 2008-04-10 2010-06-16 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
US8659597B2 (en) 2010-09-27 2014-02-25 Intel Corporation Multi-view ray tracing using edge detection and shader reuse
JP5988790B2 (ja) 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
CN102930530B (zh) 2012-09-26 2015-06-17 苏州工业职业技术学院 一种双视点图像的立体匹配方法
JP6094855B2 (ja) 2012-09-27 2017-03-15 Ｎｌｔテクノロジー株式会社 液晶表示素子、画像表示装置、画像表示装置の駆動方法、携帯機器
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
CN105205796A (zh) 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
KR102185130B1 (ko) 2015-05-21 2020-12-01 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
EP3147860A1 (en) 2015-09-28 2017-03-29 Thomson Licensing Method and apparatus for reducing the coding artefact of a light field based image, and corresponding computer program product
KR102121389B1 (ko) 2015-10-16 2020-06-10 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
CN106228605A (zh) 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
IL266041B (en) 2016-10-18 2022-09-01 Photonic Sensors & Algorithms S L A device and method for obtaining distance information from views
ES2747387B1 (es) 2017-02-06 2021-07-27 Photonic Sensors & Algorithms S L Dispositivo y metodo para obtener informacion de profundidad a partir de una escena.
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10388025B2 (en) 2017-05-25 2019-08-20 OnsiteIQ Inc. Interactive image based 3D panogragh
JP6418465B2 (ja) 2017-08-07 2018-11-07 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 表示装置及び端末装置
US10930062B2 (en) 2019-07-18 2021-02-23 Raytheon Company 3D view model generation of an object utilizing geometrically diverse image clusters
US12073646B2 (en) * 2021-04-09 2024-08-27 Georgetown University Document search for document retrieval using 3D model
KR20220170090A (ko) 2021-06-22 2022-12-29 에스케이하이닉스 주식회사 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법

Also Published As

Publication number Publication date
CN115514877B (zh) 2024-03-19
US20220405890A1 (en) 2022-12-22
CN115514877A (zh) 2022-12-23
US12079968B2 (en) 2024-09-03

Similar Documents

Publication Publication Date Title
CN109997170B (zh) 用于从视图中获得距离信息的设备和方法
US9715734B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8749694B2 (en) Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US10397465B2 (en) Extended or full-density phase-detection autofocus control
US9383548B2 (en) Image sensor for depth estimation
WO2018024006A1 (zh) 一种聚焦型光场相机的渲染方法和系统
JP2012215785A5 (ko)
JP6079017B2 (ja) 距離測定装置および距離計測方法
KR102541363B1 (ko) 비집속 플렌옵틱 데이터의 깊이를 추정하는 방법 및 장치
KR20220170090A (ko) 멀티-뷰 이미지에서 노이즈 감소를 위한 장치 및 방법
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
US20250039574A1 (en) Complementing wobulation in stereo cameras
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
US20240127407A1 (en) Image sensor apparatus for capturing depth information
CN112866554A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN117934577A (zh) 一种基于双目dvs实现微秒级3d探测的方法、系统及装置
JP2018026619A (ja) 撮像装置および画像処理方法
JP2016015656A (ja) 撮像装置およびその制御方法、並びにプログラム
JP2015226169A (ja) 撮像装置およびその制御方法、並びにプログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PC1203 Withdrawal of no request for examination

St.27 status event code: N-1-6-B10-B12-nap-PC1203