KR20170064652A - 에고모션 추정 시스템 및 방법 - Google Patents

에고모션 추정 시스템 및 방법 Download PDF

Info

Publication number
KR20170064652A
KR20170064652A KR1020150170338A KR20150170338A KR20170064652A KR 20170064652 A KR20170064652 A KR 20170064652A KR 1020150170338 A KR1020150170338 A KR 1020150170338A KR 20150170338 A KR20150170338 A KR 20150170338A KR 20170064652 A KR20170064652 A KR 20170064652A
Authority
KR
South Korea
Prior art keywords
motion
motion vector
ego
error
minutiae
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150170338A
Other languages
English (en)
Other versions
KR102507248B1 (ko
Inventor
유지상
서승우
Original Assignee
에스케이하이닉스 주식회사
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사, 광운대학교 산학협력단 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020150170338A priority Critical patent/KR102507248B1/ko
Priority to US15/140,151 priority patent/US10187630B2/en
Publication of KR20170064652A publication Critical patent/KR20170064652A/ko
Application granted granted Critical
Publication of KR102507248B1 publication Critical patent/KR102507248B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

본 발명에 따른 에고모션 추정 시스템은, 스테레오 카메라; 상기 스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성하는 지도생성부; 상기 시차지도를 이용하여 움직이는 객체의 특징점을 추출하는 특징점 추출부; 상기 추출된 특징점으로부터 특징점의 모션 벡터를 검출하는 모션벡터 검출부; 상기 검출된 모션 벡터의 에러를 제거하는 에러제거부; 및 에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정하는 에고모션 결정부;를 구비한다.

Description

에고모션 추정 시스템 및 방법 {Egomotion estimation system and method thereof}
본 발명은 에고모션 추정 시스템 및 방법에 관한 것으로, 특히 차량과 같이 움직이는 물체에 설치된 스테레오 카메라를 이용하여 에고모션을 예측하는 에고모션 추정 시스템 및 방법에 관한 것이다.
에고모션(egomotion)은 환경 내에서 카메라의 3차원 이동을 의미하며, 에고모션 추정이란 환경내에서 카메라의 이동을 카메라에 의해 캡쳐된 일련의 이미지들에 기초하여 추정하는 것을 말한다.
이러한 에고모션 추정은 3차원 장면들을 이해하고 재구성하는데 있어서 매우 중요한 작업이다. 3차원 장면의 이해 및 재구성은 예를 들어, 움직이는 자동차나 자기-안내 로봇들과 같은 이동 기계들의 컴퓨터 비전 기반의 동작에 중요하다.
3차원 장면들을 이해하고 재구성하기 위해서는 장면의 이미지 프레임들을 분할하기 위해 컴퓨터 비전 기술들이 채용될 수 있다. 그러나 이미지 분할은 카메라가 이동하고 있을 땐 어려운 작업이 될 수 있다. 자동차에 장착된 카메라와 같이 카메라 자체의 이동을 고려해야 하는 경우에는 그 예비 단계로서 에고모션을 추정하는 과정이 필요하게 된다.
종래의 에고모션 추정 방법은 일련의 이미지 프레임에서 특징점들을 인식하여 추적하고 이를 대조하는 방법을 사용하였다. 그러나 이러한 방법은 특징점들의 추적 및 처리를 위한 계산에 많은 비용이 소요되었다.
한편, 노면 상의 차선표시나 텍스트와 같은 이미지 프레임 내의 랜드마크 들에 의존하여 에고모션을 추정하는 방법도 사용되어 왔으나 실제의 노면상에는 눈에 띄는 랜드 마크들을 얻을 수 없는 경우도 빈번하게 발생하게 된다.
한편, 자동차 환경에서 기본적으로 한 대의 카메라로 영상을 획득하여 특징점을 추출하고 여기에 옵티컬 플로우를 적용하여 프레임 간의 특징점의 이동을 예측한 후 예측된 모션 벡터에 랜삭(RANSAC)을 적용하여 에고모션을 추정하는 방법도 사용되어 왔다.
그러나 일반적인 자동차 환경의 경우 도로면에서 부정확한 특징점들이 다수 추출되며, 모션 벡터의 경우 픽셀값을 기반으로 하기 때문에 에러가 발생할 가능성이 많아 최적화된 에고모션을 예측하는 것이 곤란한 문제가 있다.
본 발명은 자동차 환경에서 스테레오 카메라를 이용하여 획득한 영상으로부터 깊이지도 및 시차지도를 생성하고 여기에 포워드-백워드 에러제거 알고리즘 및 랜삭을 적용하여 에러를 최소화시켜 에고모션을 예측하는 에고모션 추정 시스템 및 방법을 제공한다.
상기 과제를 해결하기 위하여 본 발명은,
스테레오 카메라; 상기 스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성하는 지도생성부; 상기 시차지도를 이용하여 움직이는 객체의 특징점을 추출하는 특징점 추출부; 상기 추출된 특징점으로부터 특징점의 모션 벡터를 검출하는 모션벡터 검출부; 상기 검출된 모션 벡터의 에러를 제거하는 에러제거부; 및 에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정하는 에고모션 결정부;를 구비하는 에고모션 추정 시스템을 제공한다.
상기 과제를 해결하기 위하여 본 발명은 또한,
스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성하는 지도생성단계; 상기 시차지도를 이용하여 움직이는 객체의 특징점을 추출하는 특징점 추출단계; 상기 추출된 특징점으로부터 특징점의 모션 벡터를 검출하는 모션벡터 검출단계; 상기 검출된 모션 벡터의 에러를 제거하는 에러제거단계; 및 에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정하는 에고모션 결정단계;를 구비하는 에고모션 추정 방법을 제공한다.
상술한 바와 같이 본 발명에 따른 에고모션 추정 시스템 및 방법은, 한 대의 카메라가 아닌 스테레오 카메라를 통해 획득한 스테레오 영상을 이용하여 깊이지도 및 시차지도를 생성하고 포워드-백워드(Forward-Backward) 에러 제거 알고리즘 및 랜삭(RANSAC)을 적용하여 모션벡터의 에러를 제거함으로써 최적화된 에고모션을 예측할 수 있는 장점이 있다.
도 1은 본 발명에 따른 에고모션 추정 시스템을 보여준다.
도 2는 본 발명의 바람직한 실시예에 따른 에고모션 추정 방법을 보여주는 흐름도이다.
도 3은 본 발명에 따른 에고모션 추정 방법에 있어서 포워드-백워드(forward-backward) 알고리즘에 따른 에러 제거 과정을 보여준다.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 에고모션 추정 시스템을 보여준다. 도 1을 참조하면, 본 발명에 따른 에고모션 추정 시스템은 스테레오 카메라(110), 지도생성부(120), 특징점 추출부(130), 모션벡터 검출부(140), 에러제거부(150) 및 에고모션 결정부(160)를 구비한다.
본 발명은 종래와 달리 한 대의 카메라가 아닌 스테레오 카메라(110)를 이용하여 스테레오 영상을 획득한다.
제1카메라 및 제2카메라를 구비하는 스테레오 카메라(110)는 특정 시스템, 예컨대 차량에 설치된다. 제1카메라 및 제2카메라는 서로 동일한 방향으로 설치되어 동일한 사물을 촬영하며, 촬영된 영상 즉, 스테레오 영상을 지도 생성부(120)로 전송한다. 이때 스테레오 카메라(110)는 지도 생성부(120)와 유선 또는 무선으로 연결될 수 있다.
지도 생성부(120)는 상기 스테레오 카메라(110)로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이정보를 생성한다.
깊이정보는 양안 카메라 즉, 스테레오 카메라에 의해 발생하는 시차를 바탕으로 객체 간의 거리를 데이터화한 것으로, 영상에서 시각화할 수 있는 깊이정보에는 깊이지도(Depth Map)와 시차지도(Disparity Map)가 있다.
깊이지도는 공간상의 거리를 256단계로 표현한 것으로서, 블랙 영역과 화이트 영역의 정도로 공간을 표현한다. 그러나 깊이지도는 입체영상에서 필요한 양의 시차, '0'의 시차 및 음의 시차를 표현할 수 없다.
반면 시차지도(Disparity Map)는 깊이지도와 달리 컬러로 표현되는 공간 정보를 통하여 양의 시차(Positive Disparity), '0'의 시차(Zero Disparity) 및 음의 시차(Negative Disparity)를 표현할 수 있다. 또한 시차지도는 256단계 이상의 공간표현이 가능하다.
이와 같이 본 발명은 스테레오 카메라(110)로부터 전송되는 스테레오 영상을 이용하여 깊이지도 및 시차지도를 생성할 수 있고 이를 통해 카메라와 주변 간의 거리 및 주변 환경을 파악할 수 있으며, 단일 영상을 이용하는 시스템에 비해 보다 정확한 결과를 얻을 수 있다.
특징점 추출부(130)는 상기 시차지도에 누적된 픽셀값을 산출하고 상기 픽셀값이 기준값 이하인 경우에는 객체가 없는 도로면으로 판단하여 제거한다. 이후 도로면을 제거한 영상에서 움직이는 객체의 특징점을 추출한다. 즉, 차량에 설치된 스테레오 카메라(110)로부터 전송된 스테레오 영상 및 이를 이용하여 생성된 시차지도(u-Disparity Map)를 분석하여 본 시스템의 전방에 있는 객체들 중 움직이는 객체들의 특징점을 추출한다.
모션벡터 검출부(140)는 상기 추출된 특징점에 옵티컬 플로우(optical flow)를 적용하여 프레임 간의 특징점의 모션 벡터를 검출한다.
에고모션(ego motion)은 SFM(Structure From Motion)을 이용하여 구할 수 있다. 즉, SFM을 이용하여 각 축에 대한 직선 운동인 x축 운동(Pitch), y축 운동(Roll), z축 운동(Yaw)과 각 축에 대한 회전 운동인 x축 회전(Lateral), y축 회전(Longitudinal), z축 회전(Yaw)을 획득할 수 있다. SFM은 아래 수학식 1과 같이 정의된다.
[수학식 1]
Figure pat00001
여기서 x와 y는 영상의 좌표이고, u와 v는 해당 좌표의 모션 벡터이다. Tx, Ty, Tz는 시스템의 직선 방향 운동이고, Wx, Wy, Wz는 시스템의 회전 방향 운동이다. f는 카메라의 초점거리이며 Z는 카메라와 해당 점간의 실제 거리를 나타낸다.
수학식 1은 6개의 미지수가 들어가기 때문에 계산이 복잡하다. 하지만 지상 이동체인 차량의 경우에는 움직임을 z축 직선 운동과 x축 회전 그리고 y축 회전 운동으로 단순화 시킬 수 있다. 아래 수학식 2는 차량 시스템에서 z축 직선 운동, x축 회전 운동, y축 회전 운동의 관계를 정의한 식이다.
[수학식 2]
Figure pat00002
수학식 3은 수학식 2의 우변에 있는 에고 모션을 구하기 위해 양변에 역함수를 곱한 결과로 나타나는 수식이다.
[수학식 3]
Figure pat00003

해당 좌표의 모션 벡터는 루카스-카나데(Lucas-Kanade) 옵티컬 플로우를 이용하여 획득한다. 획득한 모션 벡터는 에고모션에 의해 발생되는 벡터와 객체의 모션에 의해 발생되는 벡터로 나눌 수 있다. 에고모션은 차량의 움직임으로 인하여 영상에서 나무나 빌딩 등 고정된 물체에서 획득되고 객체의 모션은 보행자나 다른 자동차 등 실제로 움직이는 객체에서 획득된다.
객체의 모션에 의해 발생한 모션 벡터를 이용하여 에고모션을 계산할 경우 정확하지 않은 결과가 나올 수 있다. 따라서 영상에서 에고모션이 객체의 모션보다 많다는 가정 하에 랜삭(RANSAC)을 통한 에고모션 추정을 수행한다. 랜삭(RANSAC)은 모델에 크게 벗어나는 오류가 있어도 비교적 정확한 모델을 추정할 수 있기 때문에 대다수의 에고모션과 소수의 객체 모션이 혼합되어 있는 모델에 적용하기 적합하다.
에러 제거부(150)는 상기 검출된 모션 벡터의 에러를 제거한다. 모션 벡터의 경우 픽셀값을 기반으로 하기 때문에 에러가 발생할 가능성이 많다. 따라서 에러 제거부(150)는 순방향-역방향(forward-backward) 에러 제거 알고리즘을 이용하여 모션 벡터의 에러를 제거한다.
에고모션 결정부(160)는 에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정한다. 이때 에고모션 결정부(160)는 에러가 제거된 모션 벡터에 랜삭(RANSAC)을 적용하여 에러를 최소화시켜 가장 최적화된 에고모션을 결정한다.
랜삭(RANSAC)을 이용하여 에고모션을 획득하는 방법을 설명하기로 한다.
제1 단계로서, 특징점에서 추출한 모션 벡터들 중에서 무작위로 3개의 샘플 데이터를 획득한다.
제2 단계로서, 상기 샘플 데이터를 수학식 3에 대입하여 에고모션 파라메타들(Tz,Wx,Wy)을 산출한다. 상기 에고모션 파라메타들을 수학식 2에 대입하여 각 특정점들에 대한 모션 벡터를 구한다.
제3 단계로서, 현재 샘플 데이터에 대한 에고모션 파라메타들의 오차를 수학식 4를 이용하여 구한다.
[수학식 4]
Figure pat00004
여기서 p는 영상에서 추출된 특징점을 의미하고 I는 영상내의 모든 특징점을 나타낸다. up'와 vp'는 에고모션을 수학식 2에 대입하여 획득한 모션 벡터이고, up와 vp는 옵티컬 플로우를 통해 획득한 모션 벡터를 나타낸다. 오차 e는 모든 특징점에 대하여 두 벡터의 차의 절대값을 모두 더한 값이다.
에고모션 결정부(160)는 이러한 과정에 의해 획득한 오차가 이전의 오차보다 작다면, 즉 상기 오차가 소정 범위 이내이면, 현재 에고모션의 신뢰도가 높다고 판단하고, 상술한 단계들을 여러 번 반복하면서 에고모션을 결정하게 된다.
도 2는 본 발명의 바람직한 실시예에 따른 에고모션 추정 방법을 보여주는 흐름도이다.
도 2를 참조하면, 본 발명에 따른 에고모션 추정 방법은 제1 내지 제5 단계(100~500)를 포함한다.
제1단계로서 지도생성단계(210)는 스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성한다.
제2단계로서 특징점 추출단계(220)는 상기 시차지도에 누적된 픽셀값을 산출하고 상기 픽셀값이 기준값 이하인 경우 도로면으로 판단하여 제거하고 움직이는 객체의 특징점을 추출한다.
제3단계로서 모션벡터 산출단계(230)는 상기 추출된 특징점에 옵티컬 플로우를 적용하여 프레임 간의 특징점의 모션 벡터를 산출한다.
제4단계로서 에러제거단계(240)는 상기 검출된 모션 벡터의 에러를 제거한다. 이때 포워드-백워드(forward-backward) 에러 제거 알고리즘을 이용하여 모션 벡터의 에러를 제거한다.
즉, 도 3에 도시된 바와 같이 포워드 궤도(forward trajectory) 및 백워드 궤도(backward trajectory)를 통한 오류 제거 알고리즘을 이용하여 모션 벡터의 포워드-백워드 에러(forward-backward error)에러를 제거한다.
제5단계로서 에고모션 결정단계(250)는 에러가 제거된 모션 벡터에 대해 랜삭(RANSAC:RANdom SAmple Consensus)을 적용하여 가장 최적화된 에고모션을 계산하고 결정한다.
상술한 바와 같이, 본 발명에 따른 에고모션 추정 시스템 및 방법에 따르면 한 대의 카메라가 아닌 스테레오 카메라를 통해 획득한 스테레오 영상을 이용하여 깊이지도 및 시차지도를 생성하고 포워드-백워드(Forward-Backward) 에러 제거 알고리즘 및 랜삭(RANSAC)을 적용하여 모션벡터 에러를 제거함으로써 최적화된 에고모션을 예측할 수 있다.
본 발명에 따른 에고모션 추정 시스템 및 방법에 따르면 스테레오 카메라가 설치된 이동체의 전방에 위치한 객체들의 이동방향을 예측하는 것과 별개로 이동체 자체의 움직임인 에고모션을 예측함으로써 상기 이동체가 상기 움직이는 객체와 충돌하는 것을 미연에 방지할 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (10)

  1. 스테레오 카메라;
    상기 스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성하는 지도생성부;
    상기 시차지도를 이용하여 움직이는 객체의 특징점을 추출하는 특징점 추출부;
    상기 추출된 특징점으로부터 특징점의 모션 벡터를 검출하는 모션벡터 검출부;
    상기 검출된 모션 벡터의 에러를 제거하는 에러제거부; 및
    에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정하는 에고모션 결정부;를 구비하는 것을 특징으로 하는 에고모션 추정 시스템.
  2. 제1항에 있어서, 상기 특징점 추출부는
    상기 시차지도에 누적된 픽셀값을 산출하고 상기 픽셀값이 기준값 이하인 경우 도로면으로 판단하여 제거하고 움직이는 객체의 특징점을 추출하는 것을 특징으로 하는 에고모션 추정 시스템.
  3. 제1항에 있어서, 상기 모션벡터 검출부는
    상기 추출된 특징점에 옵티컬 플로우를 적용하여 프레임 간의 특징점의 모션 벡터를 검출하는 것을 특징으로 하는 에고모션 추정 시스템.
  4. 제1항에 있어서, 상기 에러제거부는
    포워드-백워드(forward-backward) 에러 제거 알고리즘을 이용하여 모션 벡터의 에러를 제거하는 것을 특징으로 하는 에고모션 추정 시스템.
  5. 제1항에 있어서, 상기 에고모션 결정부는
    상기 에러가 제거된 모션벡터에 랜삭(RANSAC:RANdom SAmple Consensus)을 적용하여 에고모션을 결정하는 것을 특징으로 하는 에고모션 추정 시스템.
  6. 스테레오 카메라로부터 전송되는 스테레오 영상을 수신하고, 이를 이용하여 깊이지도 및 시차지도를 생성하는 지도생성단계;
    상기 시차지도를 이용하여 움직이는 객체의 특징점을 추출하는 특징점 추출단계;
    상기 추출된 특징점으로부터 특징점의 모션 벡터를 검출하는 모션벡터 검출단계;
    상기 검출된 모션 벡터의 에러를 제거하는 에러제거단계; 및
    에러가 제거된 모션 벡터를 이용하여 에고모션을 계산하고 결정하는 에고모션 결정단계;를 구비하는 것을 특징으로 하는 에고모션 추정 방법.
  7. 제 6항에 있어서, 상기 특징점 추출단계는
    상기 시차지도에 누적된 픽셀값을 산출하고 상기 픽셀값이 기준값 이하인 경우 도로면으로 판단하여 제거하고 움직이는 객체의 특징점을 추출하는 단계인 것을 특징으로 하는 에고모션 추정 방법.
  8. 제 6항에 있어서, 상기 모션벡터 검출단계는
    상기 추출된 특징점에 옵티컬 플로우를 적용하여 프레임 간의 특징점의 모션 벡터를 검출하는 단계인 것을 특징으로 하는 에고모션 추정 방법.
  9. 제 6항에 있어서, 상기 에러제거단계는
    포워드-백워드(forward-backward) 에러 제거 알고리즘을 이용하여 모션 벡터의 에러를 제거하는 단계인 것을 특징으로 하는 에고모션 추정 방법.
  10. 제 6항에 있어서, 상기 에고모션 결정단계는
    상기 에러가 제거된 모션벡터에 랜삭(RANSAC:RANdom SAmple Consensus)을 적용하여 에고모션을 결정하는 단계인 것을 특징으로 하는 에고모션 추정 방법.
KR1020150170338A 2015-12-02 2015-12-02 에고모션 추정 시스템 및 방법 Active KR102507248B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150170338A KR102507248B1 (ko) 2015-12-02 2015-12-02 에고모션 추정 시스템 및 방법
US15/140,151 US10187630B2 (en) 2015-12-02 2016-04-27 Egomotion estimation system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170338A KR102507248B1 (ko) 2015-12-02 2015-12-02 에고모션 추정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170064652A true KR20170064652A (ko) 2017-06-12
KR102507248B1 KR102507248B1 (ko) 2023-03-06

Family

ID=58798514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170338A Active KR102507248B1 (ko) 2015-12-02 2015-12-02 에고모션 추정 시스템 및 방법

Country Status (2)

Country Link
US (1) US10187630B2 (ko)
KR (1) KR102507248B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
JP6932487B2 (ja) * 2016-07-29 2021-09-08 キヤノン株式会社 移動体監視装置
KR102198490B1 (ko) * 2019-11-25 2021-01-05 상명대학교산학협력단 요소 영상 배열에 대한 리프팅 변환 방법 및 그 장치
EP4066162A4 (en) 2019-11-27 2023-12-13 Compound Eye Inc. SYSTEM AND METHOD FOR DETERMINING CORRESPONDENCE CARDS
WO2021150779A1 (en) * 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
US11270467B2 (en) 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
EP4173285A1 (en) * 2020-06-25 2023-05-03 Mobileye Vision Technologies Ltd. Motion-based online calibration of a multi-camera
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
US20120308114A1 (en) * 2011-05-31 2012-12-06 Gabriel Othmezouri Voting strategy for visual ego-motion from stereo

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969036A (en) 1989-03-31 1990-11-06 Bir Bhanu System for computing the self-motion of moving images devices
WO2005060640A2 (en) * 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
DE602008005318D1 (de) 2007-08-22 2011-04-14 Honda Res Inst Europe Gmbh Schätzung der ordnungsgemässen bewegung von objekten mithilfe optischer fluss-, kinematik- und tiefeninformationen
EP2199983A1 (en) * 2008-12-22 2010-06-23 Nederlandse Centrale Organisatie Voor Toegepast Natuurwetenschappelijk Onderzoek TNO A method of estimating a motion of a multiple camera system, a multiple camera system and a computer program product
US8903127B2 (en) 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
KR101367673B1 (ko) 2012-07-03 2014-03-03 한밭대학교 산학협력단 깊이 카메라 정보를 이용한 색상 영상 시퀀스에 대한 움직임 추정 영역 설정 방법 및 그 설정 시스템
KR101641491B1 (ko) 2014-01-02 2016-07-29 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
WO2012017650A1 (ja) * 2010-08-03 2012-02-09 パナソニック株式会社 物体検出装置、物体検出方法及びプログラム
US20120308114A1 (en) * 2011-05-31 2012-12-06 Gabriel Othmezouri Voting strategy for visual ego-motion from stereo

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D egomotion from stereo cameras using constrained search window and bundle adjustment, IVCNZ, 2013.12.* *
Visual odometry based on stereo image sequences with RANSAC-based outlier rejection scheme", IEEE Intelligent Vehicles Symposium, 2010.06.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508077B2 (en) 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection

Also Published As

Publication number Publication date
US20170161912A1 (en) 2017-06-08
US10187630B2 (en) 2019-01-22
KR102507248B1 (ko) 2023-03-06

Similar Documents

Publication Publication Date Title
KR102507248B1 (ko) 에고모션 추정 시스템 및 방법
US10762643B2 (en) Method for evaluating image data of a vehicle camera
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2014009975A (ja) ステレオカメラ
JP5107154B2 (ja) 運動推定装置
JP6699323B2 (ja) 電車設備の三次元計測装置及び三次元計測方法
KR102359083B1 (ko) 움직이는 객체 검출 장치 및 방법
JP6455164B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
CN115214681A (zh) 借助人工神经网络确定地平面的方法和系统
EP3435286A1 (en) Imaging control device and imaging control method
CN104913762B (zh) 用于估计行驶中的车辆和对象之间的距离的方法和装置
JP7828741B2 (ja) 画像処理装置
JP6668740B2 (ja) 道路面推定装置
JP7134780B2 (ja) ステレオカメラ装置
KR102002228B1 (ko) 동적 객체 검출 장치 및 방법
JP6334773B2 (ja) ステレオカメラ
KR20210119025A (ko) 이동식 카메라 기반 무빙 오브젝트 디텍팅 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4