KR20100104902A - 움직임 보상 장치 - Google Patents

움직임 보상 장치 Download PDF

Info

Publication number
KR20100104902A
KR20100104902A KR1020090023618A KR20090023618A KR20100104902A KR 20100104902 A KR20100104902 A KR 20100104902A KR 1020090023618 A KR1020090023618 A KR 1020090023618A KR 20090023618 A KR20090023618 A KR 20090023618A KR 20100104902 A KR20100104902 A KR 20100104902A
Authority
KR
South Korea
Prior art keywords
subject
motion
module
image
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020090023618A
Other languages
English (en)
Other versions
KR101597823B1 (ko
Inventor
이용구
윤영권
채옥삼
모하마드 하산눌 코빌
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020090023618A priority Critical patent/KR101597823B1/ko
Priority to EP10156903A priority patent/EP2230837B1/en
Priority to AT10156903T priority patent/ATE531197T1/de
Priority to US12/727,649 priority patent/US8036525B2/en
Publication of KR20100104902A publication Critical patent/KR20100104902A/ko
Application granted granted Critical
Publication of KR101597823B1 publication Critical patent/KR101597823B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 발명에 따른 반셔터 기능을 구비한 카메라 모듈은 반 셔터 상태에서 확보된 영상들로부터 제1 피사체를 선택하고 상기 제1 피사체의 움직임 정보를 산출하는 초기화부와, 상기 초기화부에서 선택된 제1 피사체와 움직임 정보를 제공받아서 상기 제1 피사체를 추적하며 상기 제1 피사체의 예측 정보를 산출하는 추적부와, 상기 추적부로부터 제공된 예측 정보로부터 셔터의 속도와 감도를 제어하기 위한 제어 신호를 산출하는 제어부를 포함한다.
움직임 벡터, 반셔터, 피사체

Description

움직임 보상 장치{APPARATUS FOR MOTION COMPENSATION}
본 발명은 촬영 영상의 퍼짐을 최소화시키기 위한 방법에 관한 발명으로서, 특히 피사체의 움직임으로 인한 영상 퍼짐을 최소화시키기 위한 방법에 관한 발명이다.
피사체의 촬영은 동 화상을 촬영하기 위한 캠코더와, 정지 화상을 촬영하기 위한 카메라로 구분될 수 있으며, 근래의 디지털 카메라는 정지 및 동화상을 모두 촬영할 수 있는 형태로 생산되고 있다.
상술한 캠코더와 디지털 카메라와 같은 촬상용 영상 장치들은 피사체로부터 입사되는 광이 이미지 센서 또는 필름과 같은 감광 수단에 의해 변환 또는 기록된다. 특히 카메라는 피사체가 감광될 수 있는 노출 시간이 요구되며, 피사체가 노출 시간(노출 시간) 동안 움직인다면 피사체의 움직임으로 인해 퍼진(Motion blur) 영상이 촬영될 수 있다.
피사체의 움직임으로 인한 영상의 번짐 현상(Motion blur)을 억제하기 위한 해결 수단으로서, 파나소닉(panasonic) 사는 "intelligent ISO"라는 기능을 탑재한 루믹스(Lumix) 카메라를 출시한 바 있다. 상술한 파나소닉 사의 지능형 감 광(intelligent ISO) 기능은 영상을 4 등분한 후, 4 등분된 각 영역을 이전 영상의 동일한 영역과 비교해서 움직임을 산출하고 그 결과(산출된 움직임 정도)를 셔터 속도와 센서의 감도(ISO) 조정에 적용하는 기능이다.
그 외에도 삼성 전자에서 한국 출원한 특허 출원번호 10-1995-0069717은 초기에 촬영된 영상의 밝기를 측정한 다음 보다 선명한 영상의 촬영을 위해서 조리개와 셔터 속도를 조정하는 방법을 제안하고 있다. 촬영된 영상을 프리뷰(preview)하는 모드(mode)에서 입력되는 연속적인 영상열에서 배경의 전체적인 움직임을 검출하고, 카메라의 움직임에 따라서 카메라의 특정 기능을 실행시키는 방법 등이 제안되고 있다.
상술한 방법들은 크게 두 가지 부류로 구분될 수 있다. 하나는 다수의 촬영 영상들 중 피사체의 움직임이 적은 초점이 맞는 영상의 피사체 부분을 다른 영상의 배경과 결합하는 방법이고, 또 다른 하나는 피사체 또는 배경 조명을 측정해서 그 결과에 따른 셔터 스피드 등의 노출 조건과 이미지 센서의 광 감도(ISO)를 방법이다.
그러나, 상술한 파나소닉 사의 피사체의 움직임을 억제하기 위한 방법 및 장치는 손떨림 등으로 인한 촬영 영상의 번짐을 억제하기 위한 별도의 손떨림 방지 장치가 요구된다. 즉, 상술한 손떨림 방지를 위한 장치를 구비하고 있지 못하거나, 구비가 어려운 휴대용 디지털 기기에 있어서 영상의 번짐을 방지하기 위한 파나소닉 사의 방법의 적용은 용이하지 않다.
반면에, 피사체 또는 배경 조명의 밝기를 측정해서 노출 조건을 조정함으로 써 피사체의 움직임으로 인한 번짐을 억제하는 방법은 피사체의 속도보다 셔터(shutter)의 개폐 시간이 길다면 피사체의 움직임으로 인한 영상의 번짐을 억제할 방법이 없다.
라이브뷰 모드에서 입력되는 영상들은 해상도가 낮고, 플래쉬(flash)를 사용할 수 없어서 어두우며 잡음이 많이 포함되는 문제가 있다. 따라서 피사체의 움직임의 억제가 제한되며, 보상된 영상의 화질이 떨어진다. 또한, 움직임 보상 장치를 요구하는 파나소닉 등의 방법은 부피가 작은 제품이 선호되는 휴대용 통신 단말기에 있어서 적용이 용이하지 않은 문제가 있다.
본 발명은 부피가 작은 휴대용 디지털 단말기에도 적용가능하고, 피사체의 움직임으로 인한 영상 번짐과 화질 저하가 최소화된 영상을 위한 방법을 제공하고자 한다.
본 발명에 따른 반셔터 기능을 구비한 카메라는,
반 셔터 상태에서 확보된 영상들로부터 움직임 감지의 대상이 되는 피사체를 선택하고 상기 피사체의 움직임 정보를 산출하는 초기화부와;
상기 초기화부에서 선택된 피사체와 움직임 정보를 제공받아서 상기 피사체를 추적하며 상기 피사체의 예측 정보를 산출하는 추적부와;
상기 추적부로부터 제공된 예측 정보로부터 셔터의 속도와 이미지 센서의 감도를 제어하기 위한 제어 신호를 산출하는 제어부를 포함한다.
본 발명은 카메라와 피사체가 각각 또는 동시에 움직이는 경우에 피사체의 움직임을 정확하게 산출하여 적절한 셔터 속도와 센서의 광 감도를 결정함으로써, 피사체 또는 카메라 자체의 움직임으로 인한 영상의 퍼짐 현상을 최소화시킬 수 있다. 더욱이, 본 발명은 흔들림 방지를 위한 별도의 기계적 구성을 포함하지 않아도 구성 가능함으로, 휴대 가능한 소형의 휴대용 단말기 등에도 적용 가능하다.
이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.
본 발명은 반셔터 기능을 구비하고 이미지 센서를 이용한 디지털 방식의 카메라 모듈에 관한 발명으로서, 특히 카메라 또는 피사체의 움직임으로 인한 영상 번짐을 기계적 수단을 이용하지 않고도 최소화시킬 수 있는 방법 및 장치에 관한 발명이다.
본 발명은 반셔터 상태(초기화부)에서 얻어지는 영상들로부터 피사체를 선택하고 선택된 피사체의 초기 움직임 벡터를 산출해서, 추적부로 전달한다. 상기 추적부는 초기화부에서 제공된 정보에 기반해서 피사체를 추적하며 움직임 벡터에 대한 예측결과를 산출한다. 또한, 상기 추적부는 사용자가 촬영을 선택하면, 선택된 피사체 및 그 움직임 벡터에 대한 예측결과를 제어부에 전송한다. 상기 제어부는 추적부로부터 제공된 정보들에 기반해서 카메라의 노출 정보(셔터 속도) 및 이미지 센서의 감광도(ISO)를 조정한다.
도 1은 본 발명의 움직임 보정 장치의 개략적인 구성을 도시한 블록도이다. 도 1을 참조하면, 본 실시 예에 따른 카메라와 피사체의 움직임 보정 장치(100)는 반 셔터 상태에서 확보된 영상들로부터 움직임 감지의 대상이 되는 피사체를 선택하고 상기 피사체의 움직임 정보를 산출하는 초기화부(110)와, 상기 초기화부(110) 에서 선택된 피사체와 움직임 정보를 제공받아서 상기 피사체를 추적하며 상기 피사체의 예측 정보를 산출하는 추적부(120)와, 상기 추적부(120)로부터 제공된 예측 정보로부터 셔터의 속도와 이미지 센서의 감도를 제어하기 위한 제어 신호를 생성하는 제어부(130)를 포함한다.
상기 초기화부(110)는 셔터(shutter)가 반 셔터 상태로 눌리면 동작이 시작되며, 반셔터 상태에서 연속적으로 입력되는 인접한 영상들로부터 움직임 벡터 산출의 대상이 되는 피사체를 선택하고, 선택된 피사체의 움직임 정보를 산출한다. 상기 초기화부(110)에서 선택된 피사체와 피사체의 움직임 정보는 상기 추적부(120)에 제공된다. 즉, 본 발명은 상기 초기화부(110) 및 추적부(120)에서 추적되고 예측된 카메라 및 피사체의 움직임 정보에 기반해서 상기 제어부(130)에서 카메라의 셔터 속도와 이미지 센서의 감광도를 제어한다.
상기 초기화부(110)는 피사체의 특징 패턴을 생성하기 위한 생성모듈(111)과, 상기 생성모듈(111)에서 생성된 특징 패턴들을 추적하고 상기 특징패턴 각각의 움직임 벡터를 산출하는 추정모듈(112)과, 상기 추정모듈(112)에서 산출된 움직임 벡터를 허프(Hough) 공간에 누적하여 카메라 모듈과 피사체의 초기 움직임 정보를 추출하는 움직임 분석모듈(113)과, 추가 정보를 바탕으로 상기 카메라 모듈과 피사체의 초기 움직임을 산출하기 위한 움직임 정교화모듈(114)을 포함한다.
도 2는 도 1에 도시된 초기화부의 구체적인 구성을 도시한 도면이다. 도 2를 참조하면, 상기 생성모듈(111)은 반셔터 상태에서 얻어진 영상들에서 피사체의 특징이 될 수 있는 특징 패턴들을 선정한다. 구체적으로 설명하자면, 상기 생성모 듈(111)은 입력된 첫 번째 영상을 도 3에 도시된 바와 같은 바둑판 형태의 다수 블록들로 구획하고, 각 블록 별로 코너(corner)와 같은 변화가 큰 영역을 특징 패턴으로 추출한다. 상술한 특징 패턴은 도 3에 도시된 바와 같이 4개의 이웃 화소들((x,y-2)(x-2,y)(x+2,y)(x,y+2))과 중앙 화소(x,y) 간 밝기 차이를 계산하고, 가장 큰 값을 갖는 화소를 중심으로 정의된 4개의 주변 화소들의 밝기 값으로 결정할 수 있다.
상기 생성 모듈(110)은 입수된 영상을 중복되지 않는 다수의 블록들로 분할한 후 각 블록을 대표하는 초기의 특징 패턴을 추출하기 위한 추출모듈(111a)과, 상기 초기 패턴들 중에서 움직임이 큰 초기의 주요 특징 패턴들을 선정하는 선택모듈(111b)을 포함한다. 상기 추출모듈(111a)은 피사체 움직임 산출 대상인 영상(초기 영상 1)을 도 3에 도시된 바와 같은 형태를 갖는 다수의 블록들로 분할하고, 선택모듈(111b)은 블록들 간의 경계에 위치된 초기의 특징 패턴을 선택한다.
본 발명은 빠른 연산 속도를 얻고자 한다면 블록들 중 위치 계산에 기여도가 큰 블록을 선택해서 피사체 움직임을 추적하고, 반대로 정확한 움직임 추적이 요구되는 경우라면 모든 블록의 특징 패턴들을 추적하는 것이 바람직하다.
상기 추정모듈(112)은 특징 패턴의 움직임 벡터 계산모듈(112a), 허프(Hough) 공간을 이용한 움직임 벡터 누적모듈(112b), 영상에 포함된 피사체 이외의 배경의 움직임 정보를 산출하기 위한 배경 움직임 검출 모듈(112c)과, 피사체의 초기 움직임을 산출하기 위한 피사체 움직임 검출모듈(112d)을 포함한다. 상기 특징 패턴의 움직임 벡터 계산모듈(112a)은 이전 영상(초기영상 1)에서 추출된 특징 패턴을 현재 영상(초기영상 2)에서 검색한다. 상기 추정모듈(112)은 특징 패턴의 움직임 벡터를 허프(Hough) 공간에 누적하여 카메라 모듈과 피사체의 초기 움직임 정보를 추출한다. 상기 움직임 정교화모듈(114)은 초기 움직임 정보의 추출에 기여한 특징패턴을 선별하고 선별된 특징패턴을 9×9 패턴으로 확대하여 보다 정확한 정합을 수행함으로써 초기 움직임 정보의 정보의 정확도를 높일 수 있다.
상기 추정모듈(112)은 특징패턴의 움직임 벡터 산출, 허프 공간을 이용한 움직임 벡터 누적, 피사체 초기 움직임 추정, 카메라 초기 움직임 추정 등의 기능들을 수행한다. 특징패턴의 움직임 벡터 산출은 이전 영상(초기영상 1)에서 추출된 특징패턴을 현재 영상(초기영상 2)에서 추적함으로서 가능하다. 이를 위해서 예상되는 움직임의 크기에 따라서 현재 영상의 검색 범위를 설정하고 5화소로 구성된 특징 패턴을 상관관계 분석(correlation)을 이용해서 검색할 수 있다. 특징 패턴의 새로운 위치가 결정되면 이전 영상에서의 위치와 현재 영상에서의 위치를 비교해서 움직임 벡터를 계산할 수 있다.
허프공간을 이용한 움직임 벡터 누적은 이동벡터(dx,dy)에 의해서 검색될 수 있는 허프공간을 의미하는 2차원 배열의 누산기가 이용될 수 있다. 움직임 벡터의 누적은 각 특징 백터의 움직임 벡터가 가리키는 누산기의 셀(cell)을 증가시키는 형태가 될 수 있다. 벡터 계산에서의 오류를 최소화시키기 위해서는 움직임 벡터가 지시하는 셀의 이웃 셀들을 중심 셀에서 거리에 반비례하는 가중치를 부여해서 증가시킴으로서 오류를 최소화시킬 수 있다. 상술한 과정을 통해서 누산기에 누적된 정보는 잡음과 영상 조건으로 인해 발생 가능한 벡터 산출의 오류를 최소화시키고, 정확한 카메라와 피사체의 초기 움직임을 추출해 낼 수 있는 근거를 제공한다. 누산기의 정점들은 카메라와 피사체의 움직임 벡터를 의미한다.
초기의 움직임 추정은 영상의 외곽에 있는 특징 패턴들을 누적한 누산기에서 추출된 정점의 위치로 결정된다. 보다 정확한 움직임 벡터 계산을 위해서 가우션(Gaussian) 정합을 이용해서 정점 위치를 결정한다. 초기 피사체의 움직임은 모든 특징 패턴들의 움직임 벡터를 누적한 누산기에서 정점들을 추출함으로써 결정될 수 있다.
상기 움직임 정교화모듈(114)은 초기 정보의 정확도를 향상시키기 위한 역할을 수행하며, 초기에 얻어진 정보를 기반으로 기여도의 정도에 따른 가중치가 적용된 특징패턴들을 생성하고, 이(가중치 적용된 특징패턴들)를 영상의 한정된 영역에서 검색함으로써 초기에 요구되는 정보의 정확도를 향상시킬 수 있다. 상기 움직임 정교화모듈은 추가 정보에 기반해서 초기 카메라의 움직임 벡터의 정확도를 향상시키기 위한 배경 정교화모듈과, 움직임 산출 대상이 되는 영상 내의 대상 영역을 한정하기 위한 검색 영역 한정모듈과, 추가 정보에 기반해서 선택된 각 피사체의 정밀도를 향상시키기 위한 피사체 정교화모듈을 포함한다.
상술한 배경 정교화모듈(114b)과 피사체 정교화모듈(114e)은 누산기의 배경정점과 피사체의 정점을 형성하는데 기여한 특징 패턴들을 선별해서 사용한다. 즉, 누산기에서 해당 정점을 중심으로 5×5 윈도우를 설정하고 이 윈도우(5×5) 내에 셀들로 변환된 초기 특징백터를 선정한다. 정규화 과정에 사용될 특징패턴은 이렇게 선정된 초기 특징패턴을 중심에 포함하는 9×9 영상패턴으로 정의된다. 즉, 도 3처럼 5×5 영역에 있는 5개의 화소로 구성된 초기 특징패턴들은 9×9로 확장되어 여기에 소속된 모든 화소들이 특징 패턴으로 포함될 수 있다.
배경 정교화모듈(114b)은 초기 배경정보를 바탕으로 정의된 검색 영역에서 확장된 특징 패턴들을 검색하고 이를 바탕으로 보다 정교한 위치를 결정한다.
상기 피사체 정교화모듈(114e)은 카메라의 움직임을 보정하는 과정을 거친다. 피사체의 움직임은 카메라의 움직임과 관계가 있다. 예를 들어 카메라가 특정 피사체를 추적하고 있다면 두 프레임 사이에서 그 피사체의 움직임이 존재하지 않는다. 따라서 각 피사체의 정확한 움직임 벡터를 구하기 위해서는 카메라의 움직임을 보정해야 된다. 통상의 카메라는 카메라 자체의 움직임을 기계적 또는 소프트웨어적으로 보정하기 위한 수단을 구비하고 있기 때문에 상술한 문제가 발생하지 않으나, 휴대용 디지털 기기들에 장착된 카메라는 기기의 움직임을 보상하기 위한 기계적 수단을 구비하고 있지 않으므로 휴대용 디지털 기기에 장착된 카메라(또는 카메라 모듈)에 본 발명이 적용될 경우에는 기기 자체 움직임 보상이 요구된다. 상기 피사체 정교화모듈은 추정되는 카메라의 움직임 벡터를 기반으로 현재 영상에 이전 영상을 정합해서 중첩되는 부분의 차영상(difference image)을 구함으로써 중첩 영역에 있는 배경 정보를 상쇄하는 방법이 적용될 수 있다. 차영상에서는 카메라의 움직임이 상쇄되기 때문에 피사체의 움직임만이 나타나게 된다. 그러나 잡음과 카메라의 움직임 추정 에러로 인해서 차영상은 잡음이 많이 포함될 수 있다.
피사체 추적 대상인 현재 영상에서의 주요 관심 영역은 피사체의 움직임이 존재하며, 차영상에서도 밝기 값이 큰 영역에 해당 될 수 있다. 관심 영역을 분리 하기 위해서 차영상의 히스토그램을 평균이 0인 가우션(Gaussian) 분포 N(μ,σ)로 근사하여 3σ를 임계치(T)로 설정하여 이진화를 실시한다.
특정 피사체의 정교화에 이용되는 특징 패턴은 상술한 바와 같이 얻어진 특징 패턴들 중에서 이진화를 통해서 얻어진 관심 영역과 중복되는 것을 선택한다. 보다 정밀한 피사체의 위치는 상술한 바와 같이 추출된 특징 패턴들을 이용해서 카메라 움직임 정교화모듈에서와 동일하게 결정될 수 있다. 다만 검색이 차영상에서 생성된 관심영역 내에서 실행됨으로 연산량이 상대적으로 적다.
상기 추적부(120)는 피사체의 다음 위치와 검색 범위를 한정하고 피사체 추적을 제어하기 위한 추적 제어모듈(121)과, 새 영상에서 피사체를 검색할 특징패턴의 갱신을 담당하는 특징패턴 갱신모듈(122)과, 새로운 영상에서 각 특징 패턴의 움직임 벡터를 계산하는 특징패턴움직임벡터 검출모듈(123)과, 검색된 특징 패턴을 기준으로 피사체 전체 형태를 인식하고 피사체의 새로운 위치를 결정하는 GHT(Generalized Hough Transform)기반 형태추적모듈(124)과, GHT의 결과(GHT 기반하는 피사체 형태)를 기반으로 정확한 피사체의 위치를 산출하기 위한 피사체움직임추정모듈(125)을 포함한다.
상기 추적부(120)는 상기 초기화부(110)로터 제공되는 피사체 및 움직임 관련 초기 정보와, 별도로 입력되는 영상으로부터 피사체를 선택하고 양 자(초기화부로부터 제공되는 정보와, 자체적으로 산출되는 정보)간 비교를 통해서 피사체의 움직임 정보를 예측할 수 있다. 본 발명은 라이브뷰(Live view)의 열악한 영상자료를 바탕으로 피사체 또는 카메라의 움직임 정보를 추출하고, 이를 촬영 조건에 반영하 기 위한 수단 및 방법에 관한 발명이다. 따라서, 본 발명에 따른 피사체의 흔들림 억제를 위한 장치 및 방법은 조명에 덜 민감한 에지(edge) 특성과, 전역적인 허프(hough) 변환 개념, 촬영 버튼을 누르는 순간 빠른 정보 추출을 위해 GHT를 이용한 피사체 움직인 추적 등이 적용될 수 있다. 즉, 본 발명은 간단한 전역적 알고리즘을 이용하여 초기 후보들을 선정한 다음에 소수의 후보에 대해서 보다 자세한 분석을 수행하는 코스 투 파인(coarse to fine)의 접근 방법을 활용함으로써 정확도와 연산 속도를 높일 수 있다. 또한, 탑재될 장치의 하드웨어 환경과 동작 조건에 따라서 속도와 정확도도 쉽게 조정할 수 있다.
본 발명은 배경과 하나의 대표적인 피사체를 추적한다. 먼저 초기화 중에 획득된 정보를 기반으로 다음 영상에서 피사체가 나타날 위치를 예측하기 위한 추적 제어부에 속해 있는 예측기(Predictor)를 초기화하고, 입력되는 영상에서 물체를 찾기 위한 참고 패턴을 생성한다. 참고 패턴은 초기화 중에 추출된 특징패턴들을 기반으로 구성될 수 있다. 먼저 특징패턴의 중앙 좌표값들의 평균을 계산해서 특징패턴들의 중심점을 구하고, 이 점으로부터 각 특징패턴의 중앙을 연결하는 벡터를 산출해서 테이블에 저장하며, 상술한 테이블이 참고패턴(R-table)이 될 수 있다. 피사체의 추적은 입력 영상에 예측된 정보를 이용하여 물체를 검색할 전체적인 검색영역과 각 특징패턴의 검색영역을 설정하는 것으로부터 시작된다. 각 특징패턴의 검색영역에서 해당 특징패턴의 새로운 위치를 결정한 다음에 이 새로운 위치정보를 이용하여 GHT를 수행한다. GHT는 이전 영상에서 작성된 참고패턴(R-table)을 이용한다. 피사체의 전체적인 위치 변화는 GHT의 누산기 배열에서의 정점의 위치로 결 정된다. GHT의 각 특징패턴들의 상대적인 위치정보를 이용함으로써 잡음이나 배경의 간섭을 줄이면서 보다 정확한 피사체의 위치를 결정할 수 있다.
피사체의 새로운 위치가 결정되면 이를 바탕으로 예측기를 갱신하여 보다 정확한 예측이 가능하도록 하고, 차영상에서 사용될 특징패턴과 참고패턴(R-table)을 갱신한다. 특징패턴의 갱신은 추적시스템의 성능을 좌우하는 중요한 과정이다. 따라서 특징패턴 갱신과정은 변화된 피사체 정보가 반영된 특징패턴을 새로 추가하고 분별력을 잃은 특징패턴의 삭제는 유연성을 갖는다.
도 1은 본 발명의 움직임 보정 장치의 개략적인 구성을 도시한 블록도,
도 2는 도 1에 도시된 초기부의 구체적인 구성을 도시한 도면,
도 3은 본 발명에 따른 특징 패턴을 설명하기 위해 다수의 블록들로 구획된 영상을 도시한 도면.

Claims (7)

  1. 반셔터 기능을 구비한 카메라 모듈을 위한 움직임 보정 장치에 있어서,
    반 셔터 상태에서 확보된 영상들로부터 움직임 감지의 대상이 되는 피사체를 선택하고 상기 피사체의 움직임 정보를 산출하는 초기화부와;
    상기 초기화부에서 선택된 피사체와 움직임 정보를 제공받아서 상기 피사체를 추적하며 상기 피사체의 예측 정보를 산출하는 추적부와;
    상기 추적부로부터 제공된 예측 정보로부터 셔터의 속도와 이미지 센서의 감도를 제어하기 위한 제어 신호를 산출하는 제어부를 포함함을 특징으로 하는 움직임 보정 장치.
  2. 제1 항에 있어서, 상기 초기화부는,
    피사체의 특징 패턴을 생성하기 위한 생성모듈과;
    상기 생성모듈에서 생성된 특징 패턴들을 추적하고 상기 특징패턴 각각의 움직임 벡터를 산출하는 추정모듈과;
    상기 추정모듈에서 산출된 움직임 벡터를 호프 공간에 누적하여 카메라 모듈과 피사체의 초기 움직임 정보를 추출하는 움직임 분석모듈을 포함함을 특징으로 하는 움직임 보정 장치.
  3. 제2 항에 있어서, 상기 초기화부는,
    추가 정보를 바탕으로 피사체의 초기 움직임을 산출하기 위한 움직임 정교화모듈을 더 포함함을 특징으로 하는 움직임 보정 장치.
  4. 제1 항에 있어서, 상기 생성 모듈은,
    입수된 영상을 중복되지 않는 다수의 블록들로 분할한 후 각 블록을 대표하는 초기 패턴을 결정하기 위한 추출모듈과;
    상기 초기 패턴들 중에서 움직임이 큰 초기 패턴들을 선정하는 중요한 특징 패턴을 선택하기 위한 선택모듈을 포함함을 특징으로 하는 움직임 보정 장치.
  5. 제4 항에 있어서,
    상기 선택모듈은 피사체 움직임 산출 대상인 영상을 다수의 블록들로 분할하고, 블록들 간의 경계에 위치된 초기 패턴을 선택함을 특징으로 하는 움직임 보정 장치.
  6. 제2 항에 있어서, 상기 추정모듈은,
    영상에 포함된 피사체 이외의 배경의 움직임 정보를 산출하기 위한 배경 움직임 검출 모듈과;
    피사체의 초기 움직임을 산출하기 위한 피사체 움직임 검출모듈을 포함함을 특징으로 하는 움직임 보정 장치.
  7. 제3 항에 있어서, 상기 움직임 정교화모듈에 있어서,
    추가 정보에 기반해서 초기 카메라의 움직임 벡터의 정확도를 향상시키기 위한 배경 정교화모듈과;
    움직임 산출 대상이 되는 영상 내의 대상 영역을 한정하기 위한 검색 영역 한정모듈과;
    추가 정보에 기반해서 선택된 각 피사체의 정밀도를 향상시키기 위한 피사체 정교화모듈을 포함함을 특징으로 하는 움직임 보정 장치.
KR1020090023618A 2009-03-19 2009-03-19 움직임 보상 장치 Expired - Fee Related KR101597823B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090023618A KR101597823B1 (ko) 2009-03-19 2009-03-19 움직임 보상 장치
EP10156903A EP2230837B1 (en) 2009-03-19 2010-03-18 Method and apparatus for motion compensation
AT10156903T ATE531197T1 (de) 2009-03-19 2010-03-18 Verfahren und vorrichtung zur bewegungskompensation
US12/727,649 US8036525B2 (en) 2009-03-19 2010-03-19 Method and apparatus for motion compensation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090023618A KR101597823B1 (ko) 2009-03-19 2009-03-19 움직임 보상 장치

Publications (2)

Publication Number Publication Date
KR20100104902A true KR20100104902A (ko) 2010-09-29
KR101597823B1 KR101597823B1 (ko) 2016-02-26

Family

ID=42224249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090023618A Expired - Fee Related KR101597823B1 (ko) 2009-03-19 2009-03-19 움직임 보상 장치

Country Status (4)

Country Link
US (1) US8036525B2 (ko)
EP (1) EP2230837B1 (ko)
KR (1) KR101597823B1 (ko)
AT (1) ATE531197T1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405170B2 (en) 2010-11-11 2016-08-02 Samsung Electronics Co., Ltd. Method and apparatus for continuous auto focusing of a camera in a mobile terminal

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1874043B1 (en) * 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
JP4974704B2 (ja) * 2007-02-22 2012-07-11 パナソニック株式会社 撮像装置
JP4976160B2 (ja) 2007-02-22 2012-07-18 パナソニック株式会社 撮像装置
WO2009008164A1 (ja) * 2007-07-09 2009-01-15 Panasonic Corporation デジタル一眼レフカメラ
KR101382371B1 (ko) * 2013-10-18 2014-04-09 주식회사 아나패스 움직임 추정 방법 및 이를 이용한 화상 처리 장치
CN114268743B (zh) * 2020-09-16 2024-08-02 北京小米移动软件有限公司 图像获取方法、装置、设备及存储介质
JP2024064185A (ja) * 2022-10-27 2024-05-14 キヤノン株式会社 撮影システム並びに装置、制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027315A (ja) * 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20060115297A1 (en) * 2004-11-29 2006-06-01 Fuji Photo Film Co., Ltd. Imaging device and imaging method
US20080101786A1 (en) * 2006-10-25 2008-05-01 Eli Pozniansky Control of Artificial Lighting of a Scene to Reduce Effects of Motion in the Scene on an Image Being Acquired
EP1874043B1 (en) * 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8619680D0 (en) * 1986-08-13 1986-09-24 Collins J L F C Flat plate array
US5392091A (en) * 1991-08-27 1995-02-21 Nikon Corporation Exposure calculating apparatus
US5475466A (en) * 1993-02-02 1995-12-12 Nikon Corporation Camera having target follow up function
US5801970A (en) * 1995-12-06 1998-09-01 Martin Marietta Corporation Model-based feature tracking system
JPH1197512A (ja) * 1997-07-25 1999-04-09 Nikon Corp 位置決め装置及び位置決め方法並びに位置決め処理プログラムを記録したコンピュータ読み取り可能な記録媒体
EP0907145A3 (en) * 1997-10-03 2003-03-26 Nippon Telegraph and Telephone Corporation Method and equipment for extracting image features from image sequence
JP2000002833A (ja) * 1998-06-16 2000-01-07 Minolta Co Ltd カメラ
JP4874668B2 (ja) * 2006-02-22 2012-02-15 Ｈｏｙａ株式会社 オートフォーカスユニット及びカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002027315A (ja) * 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US20060115297A1 (en) * 2004-11-29 2006-06-01 Fuji Photo Film Co., Ltd. Imaging device and imaging method
EP1874043B1 (en) * 2006-02-20 2013-12-04 Panasonic Corporation Image pick up apparatus
US20080101786A1 (en) * 2006-10-25 2008-05-01 Eli Pozniansky Control of Artificial Lighting of a Scene to Reduce Effects of Motion in the Scene on an Image Being Acquired

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405170B2 (en) 2010-11-11 2016-08-02 Samsung Electronics Co., Ltd. Method and apparatus for continuous auto focusing of a camera in a mobile terminal

Also Published As

Publication number Publication date
US8036525B2 (en) 2011-10-11
EP2230837A1 (en) 2010-09-22
EP2230837B1 (en) 2011-10-26
ATE531197T1 (de) 2011-11-15
KR101597823B1 (ko) 2016-02-26
US20100239239A1 (en) 2010-09-23

Similar Documents

Publication Publication Date Title
KR101392732B1 (ko) 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
KR101597823B1 (ko) 움직임 보상 장치
EP2622840B1 (en) Continuous autofocus based on face detection and tracking
JP5139516B2 (ja) カメラ運動の検出及び推定
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP5643563B2 (ja) 画像処理装置及びその制御方法
US20130107066A1 (en) Sensor aided video stabilization
US20150003676A1 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US8687846B2 (en) Image processing apparatus, image processing method and computer readable information recording medium
US20210256713A1 (en) Image processing apparatus and image processing method
US20200124940A1 (en) Electronic device to autofocus on objects of interest within field-of-view of electronic device
US20100208140A1 (en) Image processing apparatus, image processing method and storage medium storing image processing program
JP2015012482A (ja) 画像処理装置及び画像処理方法
US20100026819A1 (en) Method and apparatus for compensating for motion of an autofocus area, and autofocusing method and apparatus using the same
US20130107064A1 (en) Sensor aided image stabilization
US10565712B2 (en) Image processing apparatus and method for controlling the same
KR101783990B1 (ko) 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US12008773B2 (en) Object tracking apparatus and control method thereof using weight map based on motion vectors
JP5118590B2 (ja) 被写体追尾方法及び撮像装置
JP6508926B2 (ja) 撮像装置および撮像装置の制御方法
JP2019101997A (ja) 複数の撮像画像を合成することによりノイズを低減する画像処理装置及び画像処理方法
JP6995582B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7277321B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
KR101486773B1 (ko) 흔들림 보상을 위한 영상처리방법 및 흔들림 보상 기능을갖는 촬상장치
US20250168508A1 (en) Focus adjustment apparatus and method, image capturing apparatus, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20200130

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210220

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210220

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000