KR20170077223A - 자동차 카메라 시스템의 온라인 교정 - Google Patents

자동차 카메라 시스템의 온라인 교정 Download PDF

Info

Publication number
KR20170077223A
KR20170077223A KR1020177014892A KR20177014892A KR20170077223A KR 20170077223 A KR20170077223 A KR 20170077223A KR 1020177014892 A KR1020177014892 A KR 1020177014892A KR 20177014892 A KR20177014892 A KR 20177014892A KR 20170077223 A KR20170077223 A KR 20170077223A
Authority
KR
South Korea
Prior art keywords
camera
image
cameras
motion vector
camera system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177014892A
Other languages
English (en)
Other versions
KR101949263B1 (ko
Inventor
판텔리스 어밀리오스
Original Assignee
코너트 일렉트로닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코너트 일렉트로닉스 리미티드 filed Critical 코너트 일렉트로닉스 리미티드
Publication of KR20170077223A publication Critical patent/KR20170077223A/ko
Application granted granted Critical
Publication of KR101949263B1 publication Critical patent/KR101949263B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자동차(1)의 카메라 시스템(7)을 교정하기 위한 방법에 관한 것이다. 적어도 하나의 카메라(8 내지 11)는 각각 자동차(1)의 환경(2)으로부터 카메라 이미지(21 내지 28)를 순차적으로 생성한다. 컴퓨팅 장치(12)는 투사(P)에 의해 카메라 이미지(21 내지 28)로부터, 가상 시야로부터 환경(2)의 가상 뷰(14)를 생성한다. 이동 시에, 컴퓨팅 장치(12)는 각각의 카메라(8 내지 11)에 대해 교정 사이클을 적어도 한 번 진행시킨다. 투사(P)의 현재 투사 파라미터(30)에 기초하여, 거기에서, 카메라(9)의 카메라 이미지(23, 24)가 변환된다. 움직임 벡터가 이것으로부터 결정된다. 움직임 벡터의 적어도 하나의 기하학적 특징에 대해, 기준 값이 설정된다. 움직임 벡터의 적어도 하나의 기하학적 특징과, 각자의 대응하는 기준 값 사이의 차이로부터, 오차 값이 결정된다. 오차 값에 따라, 새로운 투사 파라미터(30)가 결정된다.

Description

자동차 카메라 시스템의 온라인 교정{ONLINE CALIBRATION OF A MOTOR VEHICLE CAMERA SYSTEM}
본 발명은 자동차용 카메라 시스템 및 카메라 시스템을 교정하기 위한 방법에 관한 것이다. 카메라 시스템은 카메라 이미지로부터 이미지 시퀀스를, 이에 따라 자동차의 환경으로부터 비디오 이미지를 생성하는 적어도 하나의 카메라를 갖는다. 카메라 시스템의 컴퓨팅 장치는 사전결정된 가상 시야(virtual perspective)로부터 환경의 가상 뷰(virtual view)를, 예를 들어 적어도 하나의 카메라의 카메라 이미지로부터 환경의 평면 뷰를 각각 생성한다.
본 발명은 차량이 움직이고 있을 때 하나 이상의 카메라에 의해 캡처된 지표면의 시야 보정된 이미지 프레임 및 어안(fisheye)에 대해 수행되는 움직임 추정(motion estimation)에 기초한 차량 비디오 시스템의 온라인 교정을 위한 방법을 제공한다. 본 방법은 차량 움직임 방향 및 지면 평면에 대한 각각의 카메라의 공간적 배향(피치-요-롤(pitch-yaw-roll))을 추정할 수 있다. 그것은 또한 지면 평면에 대한 각각의 카메라의 높이를 추정할 수 있다. 또한, 그것은 비디오 시스템에 의해 생성되는 가상 평면 뷰의 스티칭 품질(stitching quality)을 더욱 최적화하기 위해 이들 파라미터의 개선을 제공할 수 있다.
가상 뷰를 생성하기 위해, 각각의 카메라 이미지는 변환 또는 투사에 의해 변환된다. 이러한 투사는 각각의 카메라의 공간적 배향 또는 공간적 방향, 이에 따라 환경에 대한 각자의 카메라의 실제 시야를 고려해야 한다. 카메라의 공간적 배향은 예를 들어 그것의 시야각(viewing angle), 요 각도(yaw angle) 및 롤 각도(roll angle)에 의해 기술된다. 각각의 카메라의 공간적 배향은, 카메라 이미지가 그것에 의해 실제 시야로부터 가상 시야로 변환되는, 투사의 투사 파라미터를 결정한다. 이들 투사 파라미터는 교정에 의해 각각의 카메라의 실제 공간적 배향에 맞추어 조정되어야 한다.
자동차의 카메라 시스템을 교정하기 위한 방법이 WO 2012/139636 A1호로부터 알려져 있다. 거기에, 가상 뷰의 다수의 변환된 카메라 이미지의 시퀀스에서, 변환된 카메라 이미지에서 결정된 환경의 적어도 2개의 특징부의 움직임 궤적이 결정된다. 움직임 궤적은 기하학적 도형을 생성하며, 이것은 평행사변형과 비교된다. 이 방법에 의해, (지면 평면 및 움직임 방향에 대한) 카메라의 부정확하게 조정된 피치, 요 및 롤 각도가 보상될 수 있다.
본 발명은 차량 종축 및 지면 평면에 대해 자동차 카메라 시스템 내의 각각의 카메라의 공간적 배향 및 Z 위치(높이)의 교정을 수행하고자 하는 목적에 기초한다.
본 목적은 독립 청구항의 주제에 의해 해결된다. 본 발명의 유리한 발전이 종속 청구항의 특징에 의해 명백하다.
본 발명에 따르면, 자동차의 카메라 시스템을 교정하기 위한 방법이 제공된다. 거기서, 하기의 카메라 시스템이 기초로서 취해진다. 카메라 시스템의 적어도 하나의 카메라는 자동차의 환경으로부터 카메라 이미지를 각각 순차적으로 생성한다. 카메라 시스템의 컴퓨팅 장치는 투사에 의해 각각 카메라 이미지로부터, 사전결정된 가상 시야로부터 환경의 가상 뷰를 각각 생성한다. 특히, 가상 시야는 환경의 평면 뷰, 이에 따라 조감 뷰(bird's eye view)이다. 전체적으로 각각의 카메라에 대해 형성된 변환된 카메라 이미지는 바람직하게는 전체 뷰, 특히 올-어라운드 뷰(all-around view)로 합성되거나 조합된다. 특히 평면 뷰에서, 자동차의 환경에 대한 조감 뷰가 생성되며, 이것은 자동차를 완전히 둘러싼다. 가상 뷰는 예를 들어 디스플레이 장치, 예를 들어 스크린 상에 디스플레이 이미지로서 디스플레이될 수 있다. 이에 의해, 주차 지원(parking assistance)이 제공될 수 있다.
본 발명에 따른 방법은 하기의 단계를 포함한다. 컴퓨팅 장치는 사전설정된 움직임 방향을 따른 자동차의 움직임을 인식한다. 특히, 직선 차량 움직임, 이에 따라 직진 이동이 인식된다. 움직임 방향을 따른 이동이 인식된 상태에서, 컴퓨팅 장치는 각각의 카메라에 대해 교정 사이클을 적어도 한 번 진행시킨다.
각각의 교정 사이클에서, 컴퓨팅 장치는 하기의 단계를 수행한다. 투사의 현재 투사 파라미터에 기초하여, 각자의 카메라의 카메라 이미지들 중 2개의 카메라 이미지가 변환된다. 각각의 변환된 카메라 이미지는 이에 따라 사전결정된 가상 시야로부터의 환경을 나타낸다. 자동차가 움직임을 실행하기 때문에, 2개의 카메라 이미지는, 2개의 변환된 카메라 이미지 중 제 1 이미지의 이미지 특징부가 제 2 변환된 카메라 이미지에서 움직임에 따라 소정 거리만큼 시프트된다는 점에서, 상이하다. 그러나, 현실 공간 내의 특징부만이 선형 움직임 근사(linear motion approximation)로 인해 동일한 양만큼 균일하게 시프트된다. 아직 교정되지 않은 시스템 및 이에 따라 가상 뷰(예를 들어, 평면 뷰)의 시야 오차로 인해, 시프트는 이미지를 가로질러 측정되는 이미지 특징부에 대해 균일하지 않은데, 즉 그것의 움직임 벡터(motion vector)는 동일하지 않다. 제 1 변환된 카메라 이미지 내의 각각의 하나의 이미지 특징부를 제 2 변환된 카메라 이미지 내의 동일한 이미지 특징부에 연결함으로써, 움직임 벡터가 각각 생성된다. 변환된 카메라 이미지에 기초하여, 이에 따라, 다수의 움직임 벡터가 가상 뷰에서 결정된다. 거기서, 각각의 움직임 벡터는 특히 움직임의 길이 및/또는 움직임 방향과, 비-교정 시스템의 가상 평면 뷰의 시야 오차를 기술한다. 직선 움직임에 대해, 측방향으로 적정하게 이격된 적어도 2개의 움직임 벡터가 각각의 카메라에 대한 피치-요-롤 각도를 계산하는 데 필요하다. 실제로, 이상치(outlier)를 검출하고 거부할 수 있기 위해 더 많은 움직임 벡터가 요구된다. 본 발명의 발명에서, 동일 프레임으로부터 이들 움직임 벡터를 획득한다. 상이한 프레임에서 그것들을 획득하는 것이 또한 가능할 것이며, 이 경우에 적어도 하나의 움직임 벡터가 각각의 프레임에서 요구될 것이다.
움직임 벡터의 적어도 하나의 기하학적 특징, 특히 길이 및/또는 방향에 대해, 각자의 기준 값이 움직임 방향에 따라 설정된다. 다시 말해서, 움직임 방향에 기초하여, 움직임 벡터가 어느 기하학적 특징을 가져야 하는지가 결정된다. 이에 따라, 공칭 움직임 벡터 또는 기준 벡터가 예를 들어 움직임 방향에 따라 결정될 수 있다. 예를 들어, 기준 벡터는 공칭 길이 및/또는 공칭 방향을 가질 수 있다. 움직임 벡터의 적어도 하나의 기하학적 특징과 각자의 대응하는 기준 값, 예를 들어 길이 및/또는 방향에 대한 기준 값 사이의 차이로부터, 오차 값이 결정된다. 다시 말해서, 기준 벡터로부터의 움직임 벡터의 편차가 결정된다. 오차 값에 따라, 새로운 투사 파라미터가 현재 투사 파라미터로부터 결정된다. 언급된 오차 값은 예를 들어 절대 오차의 합, 제곱 오차 또는 유사한 방법의 합으로서 형성될 수 있다. 예를 들어, 움직임 벡터의 실제 값과 기준 값의 차이가 각각의 기하학적 특징에 대해 형성될 수 있다.
본 발명에 의해, 롤 각도뿐만 아니라, 예를 들어 카메라의 부정확하게 조정된 피치 각도 및/또는 요 각도가 가상 뷰 내의 움직임 벡터에 기초하여 각각의 카메라에 대해 투사 파라미터를 조정함으로써, 이에 따라 새로운 투사 파라미터를 결정함으로써 보상될 수 있다는 이점이 발생한다. 롤 각도는 채용되는 회전 스킴(scheme)에 따른 그것의 광학 축 또는 차량 횡축을 중심으로 한 카메라의 회전 위치이다. 요 각도는 차량 수직축을 중심으로 한 카메라의 회전 위치를 기술한다. 피치 각도는 차량 횡축을 중심으로 한 카메라의 회전 위치를 기술한다. 차량 수직축(Z-축), 차량 종축(X-축) 및 차량 횡축(Y-축)에 의해, 자동차 기술과 관련하여 알려진 통상의 명칭이 이해되어야 한다. 자동차에서 종축으로서의 X 및 횡축으로서의 Y를 갖는 것이 전형적이다 -이러한 규약이 여기에 사용됨 -.
언급된 투사는 예를 들어 종래 기술로부터 알려진 바와 같이 투시 변환(perspective transformation)일 수 있다. 컴퓨팅 장치는 예를 들어 제어기 또는 수개의 제어기의 조립체에 의해, 또는 자동차의 DSP(Digital Signal Processor, 디지털 신호 프로세서) 또는 중앙 프로세서 장치에 의해 제공될 수 있다. 각각의 움직임 벡터는 대응하는 이미지 특징부에 기초하여 2개의 변환된 카메라 이미지의 이미지 쌍에서 결정될 수 있다. 그러한 이미지 특징부를 검출하고 서로 연관시키기 위해, 예를 들어 SIFT 알고리즘(SIFT - Scale-invariant feature transform, 스케일-불변 특징부 변환) 또는 SURF 알고리즘(SURF - Speeded Up Robust Features, 가속 강건 특징부)이 제공될 수 있다. 그러한 특징부 검출 및 매칭은 제 1 변환된 카메라 이미지로부터의 각각의 하나의 이미지 특징부 및 제 2 변환된 카메라 이미지로부터의 이미지 특징부의 특징부 쌍을 제공하며, 여기서 이미지 특징부는 광학적으로 서로 대응한다. 바람직하게는 SIFT 또는 SURF와 같은 특징부 검출기 대신에, 관심대상의 2개의 프레임 사이의 사전규정된 수의 이미지 블록(image block)(그리드(grid) 상의 배열)의 직접 상관(direct correlation)을 수행하고, 하나 초과의 임계치에 대해 움직임 필드에서 로컬 트렌드(local trend)로부터 벗어나는 움직임 벡터를 거부할 수 있다. 이것은 특징부 검출기를 사용하고 양호한 특징부가 다음 프레임에서 매칭될 수 있는 이미지에서 나타나기를 기다리는 것과는 근본적으로 상이한 접근법이다. 이러한 추적 방법은 원칙적으로 비디오 압축에 사용되는 움직임 추정과 매우 유사하다. 이것은 특징부를 매칭시키기 위해 SIFT 또는 SURF(및 많은 다른 것)와 같은 진보한 특징부 검출기를 사용하는 것이 불가능하다는 것을 의미하는 것이 아니라, 가상 평면 뷰가 매칭된 블록을 위한 요구되는 시프트 및 스케일 불변(어떤 허용오차(tolerance)까지)을 자동적으로 제공하기 때문에 과잉(overkill)일 수 있다는 것을 의미한다. 그러나, 추적 성능을 향상시키기 위해, 2개의 가상 평면 뷰를 매칭시키기 전에 그것에 대해 대역-통과 필터를, 예를 들어 LOG(Laplacian of Gaussian) 또는 DOG(Difference of Gaussian)를 실행할 수 있다. 이것은 저-조명 및/또는 불량한 기상 상태에서 상당한 개선을 제공한다.
바람직한 실시예에서, 적어도 하나의 카메라의 적어도 하나의 공간적 배향, 특히 피치 각도(피치) 및/또는 요 각도(요) 및/또는 롤 각도(롤)가 투사 파라미터, 특히 새로운 투사 파라미터에 의해 기술된다. 이에 대해 추가적으로 또는 대안적으로, 자동차에서의 카메라의 설치 높이가 투사 파라미터, 특히 새로운 투사 파라미터에 의해 기술된다. 공간적 배향 및/또는 설치 높이가 새로운 투사 파라미터로서 교정되거나 조정됨으로써, 자동차의 움직임 방향에 대응하는, 이미지 특징부의 이미지 움직임이 발생한다. 특히 자동차의 직진 이동에서, 가상 뷰 내의 픽셀은 직선으로, 그리고 특히 디스플레이 장치를 횡방향으로 또는 대각선으로 가로지르지 않는, 디스플레이 이미지의 에지에 에지-평행하게 이동한다.
실시예에서, 적어도 하나의 카메라는 이동 지면(travel ground)을 환경으로서 캡처하고, 움직임 벡터는 이동 지면의 텍스처(texture)에 기초하여 결정된다. 이에 의해, 본 방법은 코너(corner), 윤곽 또는 에지와 같은 특별한 이미지 특징부와는 독립적으로 형성될 수 있다는 이점이 발생한다. 이에 의해, 움직임 벡터는 상황과는 독립적으로 형성될 수 있다.
실시예에서, 카메라당 다수의 움직임 벡터가 가상 뷰에서 결정된다. 이를 위해, 각각의 변환된 카메라 이미지는 서로 인접하거나 중첩하는 이미지 블록의 매트릭스(matrix)로 분할될 수 있다. 각각의 이미지 블록에 대해, 움직임 벡터가 결정된다. 이에 의해, 변환된 카메라 이미지 전체에 걸쳐 분포되어 배치된 복수의 움직임 벡터에 기초하여 오차 값이 결정된다는 이점이 발생한다. 이에 의해, 오차는 통계적으로 보다 강건해진다. 통계적 이상치가 또한 보상될 수 있다. 피치-요-롤 각도를 계산하기 위해, 측방향으로 이격된 동일한 쌍 또는 상이한 쌍의 변환된 이미지로부터 적어도 2개의 움직임 벡터가 획득된다는 것에 유의한다.
실시예에서, 오차 값은 각각의 교정 사이클에서 반복적으로 감소된다. 이를 위해, 중간 투사 파라미터가 오차 값에 기초하여 각각의 반복에서 사전결정된 비용 함수에 의해 결정된다. 비용 함수는 오차 값 대한 계산 규칙이다. 중간 투사 파라미터는 예를 들어 비용 함수의 수학적 편차에 기초하여 결정될 수 있다. 수학적 편차는 투사 파라미터에 대한 구배(gradient)를 결정하는 데 사용될 수 있으며, 이것에 의해 반복 최적화 방법, 예를 들어 가우스-뉴턴 방법(Gauss-Newton method)이 그 자체로 알려진 방식으로 수행될 수 있다. 이 문제를 선형 방정식의 과도하게-결정된 시스템(over-determined system)으로서 공식화하고 선형 최소 제곱법을 이용하여 푸는 것이 또한 가능할 것이다. 중간 투사 파라미터에 기초하여, 가상 뷰 내의 움직임 벡터는 투사, 즉 재-투사에 의해 새롭게 변환함으로써 조정되거나 새롭게 배향된다. 여기서, 특히 움직임 벡터만이 투사된다. 즉, 카메라 이미지의 새로운 투사 및 움직임 벡터의 재계산이 생략될 수 있다.
이것은 계산력을 절약한다. 반복이 이에 의해 종결된다. 반복은 오차 값이 사전결정된 최적화 기준을 충족시킬 때까지 반복된다. 예를 들어, 최적화 기준은 오차 값이 사전결정된 최대 값보다 작아야 한다는 것, 또는 오차 값이 사전결정된 최소 변화보다 작은, 이전의 반복에 관련된 값만큼 변동되었다는 것을 사전설정할 수 있다. 이 실시예에 의해, 최적화 기준의 면에서의 최적의 새로운 투사 파라미터가 단지 2개의 카메라 이미지에 기초하여 결정될 수 있다는 이점이 발생한다.
실시예에서, 다수의 움직임 벡터가, 예를 들어 기술된 방식으로 결정된다. 움직임 방향을 따른 이동으로서, 자동차의 직진 이동, 이에 따라 직선 움직임이 인식된다. 이에 의해, 움직임 벡터의 기하학적 특징이 이롭게도 생성되며, 이는 특히 간단하게 그리고 신뢰성 있게 확인 및/또는 최적화될 수 있다. 기하학적 특징으로서, 움직임 벡터가 서로 평행한지 및/또는 가상 뷰의 이미지 에지에 평행한지 및/또는 길이가 동일한지가 확인된다. 자동차의 직선 움직임에서, 이들 기하학적 특징은 롤 각도, 요 각도 및/또는 피치 각도에 대해서 각각의 카메라를 교정하기에 충분하다.
자동차의 직선 움직임에서 언급된 기하학적 특징을 확인하기 위해, 특히 바람직한 실시예가 있다. 여기서, 차량 횡축에 평행하게 배향된 각각의 움직임 벡터의 y 성분에 대해, y 기준 값 0이 설정되고, 차량 종축에 평행하게 배향된 x 성분에 대해, 움직임 벡터의 모든 x 성분의 평균 값이 x 기준 값으로서 설정된다. 제곱 차(squared difference)의 합이 오차 값으로서 형성된다. 이 차이는 한편으로는 y 성분의 실제 값과 y 기준 값 간에, 그리고 기술된 방식에서는 x 성분의 실제 값과 x 기준 값이 차이로 계산된다. 이에 의해, 최적화 기준에 따른 기술된 반복 최적화가 오차 값에 의해 특히 계산 효율적으로 수행될 수 있다는 이점이 발생한다. 동시에, 모든 방향 벡터가 동일하게 길고 이동의 방향에 평행하게 배향되는 것이 달성된다.
실시예에서, 각자의 카메라의 이미지 시퀀스로부터 2개의 카메라 이미지를 선택하기 위해, 이미지 시퀀스의 적어도 하나의 카메라 이미지가 2개의 카메라 이미지 중 제 1의 것과 2개의 카메라 이미지 중 제 2의 것 사이에서 건너뛰어진다. 이에 의해, 적어도 하나의 방향 벡터가 최소 길이보다 큰 벡터 길이를 갖는다는 이점이 발생한다. 이 실시예는 특히 최소 속도보다 작은, 자동차의 이동 속도에서 수행된다. 최소 속도는 특히 2 km/h 내지 25 km/h의 범위이다. 교정 사이클은 자동차의 이동 속도가 사전결정된 속도 구간에 있는 경우에만 수행되는 것이 규정될 수 있다. 속도 구간은 예를 들어 10 km/h 내지 30 km/h, 특히 15 km/h 내지 25 km/h이다. 주로, 0 초과의 속도를 제외하고는 제한이 없다.
카메라당 다수의 움직임 벡터가 결정되면, 실시예에서, 적어도 하나의 움직임 벡터가 이상치로서 삭제된다. 움직임 벡터는 오차 값에의 입력 또는 기여가 움직임 벡터에서의 사전결정된 최대 값 또는 최대 부분보다 큰 경우, 이상치로서 분류된다. 이에 대해 추가적으로 또는 대안적으로, 움직임 벡터는 움직임 벡터가 그것의 중간 부근에서 나머지 움직임 벡터에 대한 유사성 기준을 위반하는 경우에, 이상치로서 분류된다. 이웃하는 벡터와만 비교해야 한다. 비-교정된 가상 뷰의 시야 왜곡은 멀리 있는 움직임 벡터 사이의 자연적으로 큰 편차를 유발한다. 바람직하게는, 평평한 지면이 비용 함수에서 가정된다. 불균일한 지면(연석(kerb)을 포함함)은 실제로 교정에 오차를 도입하여서, 그것을 검출하고 그것이 발생할 때 그것을 폐기하기 위한 메커니즘을 채용해야 한다. 그러나, 지면이 평평하지만 경사져 있을 때, 그것과 경사지지 않은 지면을 구별할 수 없다. 대부분의 경우에, 그러한 오차는 다수의 교정 사이클에 걸쳐 자연적으로 평균된다. 평평하지 않은 지면(예를 들어, 연석)을 위한 검출 메커니즘은 상이한 지면 레벨에 있는 움직임 벡터의 길이에 있어서의 갑작스러운 변화를 검출하는 것이다. 비-교정된 시스템의 시야 오차는 움직임 벡터의 길이에 있어서 균일한 변화를 유발하지만, 연석은 검출될 수 있는 급격한 변화를 유발한다. 벡터 길이는 교정된 시스템에서 물체 높이에 직접 관련된다는 것에 유의한다. 그것은 더 높은 지면이 가상 평면 뷰에서 외견상 더 큰 움직임 및 이에 따라 더 긴 움직임 벡터를 제공한다는 것을 의미한다.
실시예에서, 카메라당 다수의 교정 사이클이 수행된다. 각각의 교정 사이클에 대해, 새로운 투사 파라미터가 각각 결정된다. 상이한 교정 타입으로부터, 대응하는 새로운 투사 파라미터가 각자의 평균된 투사 파라미터로 조합된다. 예를 들어, 이것은 재귀 평균화(recursive averaging)(이동 평균)에 의해 수행될 수 있다. 다시 말해서, 투사 파리미터는 평탄화된다. 재귀 평균화는 예를 들어 IIR 필터(IIR - Infinite Impulse Response, 무한 임펄스 응답), 예를 들어 기하급수적으로 감소하는 임펄스 응답으로서 실현되는 필터에 의해 가능하다. 평균된 투사 파라미터는 각각 다음의 교정 사이클에서 투사의 현재 투사 파라미터로서 기초로서 취해진다. 이에 의해, 교정이 신속하게 수렴하는 이점이 발생한다. 또한, 투사 파라미터를 결정함에 있어서의 추정 오차가 보상된다.
실시예에서, 다수의 교정 사이클이 수행되고, 평균 오차 값이 교정 사이클들 중 하나의 교정 사이클의 오차 값으로부터 그리고 적어도 하나의 이전 교정 사이클의 각자의 오차 값으로부터 결정된다. 새로운 투사 파라미터는 평균 오차 값이 사전결정된 임계 값보다 큰 경우에만 결정된다. 그렇지 않으면, 교정 사이클은 새로운 투사 파라미터가 결정됨이 없이 종결된다. 이에 의해, 교정을 위한 트리거 함수(trigger function)가 생성된다. 예를 들어, 오차 값은 각각의 한 쌍의 카메라 이미지에 대해 다수회 결정될 수 있으며, 이에 의해 오차 신호가 연속적으로 제공될 수 있다. 오차 신호가 트리거 값 또는 임계 값을 초과하면, 평균 오차 값이 다시 임계 값 아래로 감소할 때까지 새로운 파라미터 값을 결정함으로써 실제 교정이 수행된다. 여기서, 이력 임계 값(hysteresis threshold value)이 또한 제공될 수 있다.
이미 설명된 바와 같이, 다수의 카메라가 카메라 이미지를 생성할 수 있다. 다수의 카메라의 변환된 카메라 이미지가 이어서 전체 뷰, 특히 올-어라운드 뷰로 합성되거나 구성될 수 있다. 다수의 카메라가 각각 카메라 이미지를 생성하는 실시예에서, 각각의 카메라에 대해 형성된 움직임 벡터가 서로 매칭된다. 모든 카메라로부터 동시에 획득된 움직임 벡터 모두는 그것이 동일한 양의 직선 움직임을 기술하기 때문에 각각의 카메라의 피치-요-롤 오차가 보상된 후에 동일한 길이를 가져야 하는 것이 사실이다. 모든 카메라에서 동일한 길이의 움직임 벡터를 달성하기 위해 각각의 카메라의 높이를 협력하여 조정하는 데 이 정보를 사용할 수 있다. 이 기술은 차량의 섀시(chassis) 상에 장착된 카메라의 알려진 그리고 고정된 공간적 위치를 고려하고, 4개의 서스펜션 지점으로부터 섀시를 들어올리거나 회전시킴으로써 카메라가 속박된 방식으로 그것으로부터 벗어나도록 허용한다 - 이는 현실에서 일어나는 것임 -. 단일 카메라 시스템 또는 차량 상의 카메라 위치의 사전 지식 없이 교정하기 위해, CAN 또는 FlexRay 버스에 공개된 차량 속도와 같은, 다른 센서로부터의 차량 움직임의 양의 독립적인 측정치를 사용할 수 있다. 그것으로부터, 카메라 높이가 정확하다면 움직임 벡터의 예상 길이를 계산하고 임의의 오차를 보상할 수 있다. 매칭은 투사 파라미터로서의 카메라들 중 적어도 하나의 카메라의 설치 높이를 조정함으로써 실행된다. 실시예에서, 2개의 카메라 사이의 상대적 설치 높이는 모든 카메라에 대한 움직임 벡터가 일치하거나 기껏해야 사전결정된 허용오차 값에서 상이할 때까지 조정된다. 실시예에서, 카메라들 중 하나의 카메라가 후속하여 절대적으로 교정된다. 이를 위해, 카메라의 절대적 설치 높이가 자동차의 이동 속도에 따라 결정된다. 이동 속도에 따라, 움직임 벡터의 벡터 길이에 대한 기준 값이 이 카메라에 대해 결정될 수 있다. 예를 들어, 이동 속도는 자동차의 통신 버스, 특히 CAN 버스(CAN - Controller Area Network, 계측 제어기 통신망)를 통해 결정될 수 있다. 절대적 설치 높이가 각각의 카메라에서 기술된 방식으로 결정되는 것이 또한 규정될 수 있다.
하기에서, 3가지 가능성이 기술되는데, 이들 가능성은 각각 본 발명의 실시예를 제공하고, 특히 투사 파라미터의 반복 교정이 2개의 카메라의 변환된 카메라 이미지를 조정하도록 허용한다. 제 1 및 제 2 카메라가 카메라 이미지를 생성한다. 2개의 카메라의 변환된 카메라 이미지에서, 중첩 오차 값이 결정된다. 제 1 및/또는 제 2 카메라에 대한 새로운 투사 파라미터가 중첩 오차 값에 따라 결정된다. 하기의 중첩 오차 값의 상이한 계산에 의해 3개의 기술된 실시예가 비롯된다.
대안적인 실시예에서, 적어도 하나의 카메라간 움직임 벡터가 제 1 카메라의 변환된 카메라 이미지 및 제 2 카메라의 변환된 카메라 이미지에 기초하여 결정된다. 다시 말해서, 제 1 카메라의 변환된 카메라 이미지에서의 카메라간 움직임 벡터의 시작점 및 제 2 카메라의 변환된 카메라 이미지에서의 카메라간 움직임 벡터의 종료점이 결정된다. 중첩 오차는 적어도 하나의 카메라간 움직임 벡터의 적어도 하나의 기하학적 특징에 따라 형성된다. 특히 직진 이동에서, 기하학적 특징으로서, 카메라간 움직임 벡터가 자동차의 움직임 방향에 평행하게 배향되는지가 확인된다.
대안적인 실시예에서, 변환된 카메라 이미지의 중첩 영역에서, 이미지 블록이 제 1 카메라의 변환된 카메라 이미지에서 결정된다. 이미지 블록은 특징부 검출에 의해 검출되었던 이미지 특징부가 위치되는 이미지 영역이다. 제 2 카메라의 변환된 카메라 이미지에서, 대응하는 이미지 블록이 결정된다. 다시 말해서, 제 2 카메라의 변환된 카메라 이미지에서의 이미지 블록이 다시 검출된다. 이미지 블록은 특히 텍스처 블록(texture block)이다. 특징부는 그에 상응하여 특정 텍스처이다. 중첩 오차 값은 2개의 이미지 블록의 거리에 따라 결정된다. 이러한 블록 매칭에서, 중첩 오차 값은 거리가 감소되도록 새로운 투사 파라미터에 의해 감소된다.
대안적인 실시예에서, 중첩 영역에서, 중첩 영역 내의 제 1 카메라의 변환된 카메라 이미지 및 제 2 카메라의 변환된 카메라 이미지로부터 비교 값이 생성된다. 비교 값은 예를 들어 상관 값일 수 있다. 예를 들어, 2개의 변환된 카메라 이미지의 중첩 영역 내의 픽셀의 휘도 값이 서로로부터 공제될 수 있고, 차이의 제곱의 합이 형성될 수 있다. 중첩 오차 값은 비교 값에 따라 결정된다. 특히, 비교 값은 중첩 오차 값으로서 사용된다. 이에 의해, 새로운 투사 파라미터가 중첩 영역에서의 텍스처 상관에 기초하여 결정된다.
자동차용 카메라 시스템, 즉 자동차용 카메라 장치가 또한 본 발명과 관련된다. 카메라 시스템은 자동차의 환경의 카메라 이미지로부터 이미지 시퀀스를 각각 생성하기 위한 적어도 하나의 카메라를 갖는다. 바람직하게는, 다수의 카메라가 제공된다. 또한, 사전결정된 가상 시야로부터 환경의 가상 뷰를, 특히 투사에 의해 카메라 이미지로부터 환경의 평면 뷰를 각각 생성하도록 구성된 컴퓨팅 장치가 제공된다. 특히, 컴퓨팅 장치가 각각의 카메라의 각각의 하나의 카메라 이미지에 기초하여 변환된 카메라 이미지를 생성하고, 변환된 카메라 이미지를 전체 뷰, 특히 올-어라운드 뷰로 연결하는 것이 규정된다. 본 발명에 따른 카메라 시스템은 또한 카메라 이미지로부터 생성된 가상 뷰를 디스플레이하기 위한, 이에 따라 변환된 카메라 이미지를 디스플레이하기 위한 디스플레이 장치를 갖는다. 특히, 변환된 카메라 이미지, 바람직하게는 자동차의 평면 뷰로 구성된 전체 뷰가 생성되고 디스플레이된다. 본 발명에 따른 카메라 시스템에서, 컴퓨팅 장치는 본 발명에 따른 방법의 실시예를 수행하도록 구성된다.
또한, 본 발명에 따른 카메라 시스템의 실시예를 갖는 자동차가 본 발명과 관련된다. 여기서, 바람직하게는, 카메라 시스템은 다수의 카메라를 갖고, 카메라들 중 제 1 카메라의 캡처링 범위(capturing range)는 자동차 옆의 제 1 측방향 영역에 배향되고, 카메라들 중 제 2 카메라의 캡처링 범위는 자동차 옆의, 제 1 측방향 영역 반대편에 있는 제 2 측방향 영역에 배향되고, 카메라들 중 제 3 카메라의 캡처링 범위는 자동차 앞의 전방 영역에 배향되고, 카메라들 중 제 4 카메라의 캡처링 범위는 자동차 뒤의 후방 영역에 배향되는 것이 규정된다. 바람직하게는, 카메라 시스템은 각각의 카메라의 각각의 하나의 카메라 이미지로부터 각자의 변환된 카메라 이미지를 생성하도록 구성된다. 이와 같이 생성된 변환된 카메라 이미지는 올-어라운드 뷰, 특히 평면 뷰로 연결된다. 즉, 올-어라운드 뷰는 변환된 카메라 이미지로부터 생성된다. 올-어라운드 뷰는 디스플레이 장치에 의해 디스플레이된다. 디스플레이 장치는 예를 들어 스크린, 예를 들어 자동차의 센터 콘솔(center console) 또는 대시보드(dashboard)용 스크린일 수 있다.
하기에서, 본 발명의 실시예가 기술된다.
도 1은 본 발명에 따른 자동차의 실시예의 개략적 예시,
도 2는 교정 전에 도 1의 자동차의 카메라 시스템에 의해 생성되었던 가상 평면 뷰의 디스플레이 이미지의 개략적 예시,
도 3은 카메라 시스템의 교정 후의 도 2의 평면 뷰,
도 4는 본 발명에 따른 방법의 실시예에 대한 흐름도,
도 5는 카메라 시스템의 카메라의 카메라 이미지로부터의 움직임 벡터, 및
도 6은 교정 후의 도 4의 움직임 벡터.
하기에서 설명되는 실시예는 본 발명의 바람직한 실시예이다. 그러나, 실시예에서, 실시예의 기술된 구성요소는 각각 서로 독립적으로 고려되는 본 발명의 개개의 특징을 나타내는데, 이 개개의 특징은 각각 또한 서로 독립적으로 본 발명을 발현시키고, 이에 의해 또한 개별 방식으로 또는 도시된 조합과는 다른 방식으로 본 발명의 구성요소로 간주되어야 한다. 더욱이, 기술된 실시예는 또한 이미 기술된 본 발명의 추가의 특징에 의해 보충될 수 있다.
도면에서, 기능적으로 동일한 요소에는 각각 동일한 도면 부호가 제공된다.
도 1은 자동차, 특히 승용차일 수 있는 자동차(1)를 도시한다. 도 1에 도시된 예에서, 자동차(1)는 환경(2)을 통해 이동할 수 있다. 예를 들어, 자동차(1)는 도로일 수 있는 이동 지면(3) 위에서 굴러가거나 이동할 수 있다. 도 1에 도로의 차선(lane bounding line)(4)이 예시적으로 도시된다. 자동차(1)는 이동 지면(3) 위에서 전방 이동 방향(5)을 따라 이동할 수 있다. 예를 들어, 자동차(1)가 직선 차량 움직임(6)을 수행한다고 가정된다.
자동차(1)는 카메라 시스템(7)을 가질 수 있다. 카메라 시스템(7)은 하나의 또는 다수의 카메라(8, 9, 10, 11)를 가질 수 있다. 도시된 예에서, 카메라(8)는 전방 카메라일 수 있고, 카메라(9, 10)는 각자의 측면 카메라일 수 있고, 카메라(11)는 후방 카메라일 수 있다. 각각의 카메라(8, 9, 10, 11)는 예를 들어 비디오 카메라일 수 있다. 예를 들어, 각각의 카메라(8, 9, 10, 11)는 각각 적외선 이미지 카메라, 흑백 카메라 또는 컬러 이미지 카메라로서 구성될 수 있다. 각각의 카메라(8, 9, 10, 11)는, 예를 들어 제어기에 의해 실현될 수 있는 컴퓨팅 장치(12)에 결합될 수 있다. 컴퓨팅 장치(12)는 각각의 카메라(8, 9, 10, 11)의 각자의 이미지 데이터를 수신하도록 구성될 수 있다. 컴퓨팅 장치(12)는, 예를 들어 자동차 내부에, 예를 들어 센터 콘솔 또는 대시보드 상에 배치될 수 있는, 예를 들어 스크린일 수 있는 디스플레이 장치(13)에 결합될 수 있다. 컴퓨팅 장치(12)는 카메라 이미지로부터 디스플레이 이미지(14)를 생성하도록 구성될 수 있으며, 컴퓨팅 장치(12)는 디스플레이 장치(13) 상에 디스플레이할 수 있다.
예를 들어, 디스플레이 이미지(14)가 자동차(1)의 가상 평면 뷰(15)를 보여주는 것이 규정될 수 있다. 이를 위해, 자동차(1)의 상(picture)(16)이 또한 디스플레이 이미지(14)에 디스플레이될 수 있다. 디스플레이 이미지(14)는 동영상, 이에 따라 비디오 시퀀스 또는 이미지 시퀀스일 수 있다.
가상 평면 뷰(15)는 다음과 같이 카메라 시스템(7)에서 생성될 수 있다. 각각의 카메라(8, 9, 10, 11)의 각자의 이미지 캡처링 범위 또는 간단히 캡처링 범위(17, 18, 19, 20)가 환경(2) 내로 배향될 수 있다. 특히, 각각의 카메라(8, 9, 10, 11)가 각자의 실제 카메라 시야로부터, 예를 들어 20 센티미터 내지 150 센티미터의 범위의 설치 높이로부터, 각각의 카메라(8, 9, 10, 11)의 연속적인 카메라 이미지(21, 22, 23, 24, 25, 26, 27, 28) 내에 이동 지면(3)을 이미징하도록, 각각의 캡처링 범위(17, 18, 19, 20)는 이동 지면(3)에 배향될 수 있다. 캡처링 범위(17, 18, 19, 20)는 쌍을 이룬 중첩 영역(O)을 가질 수 있다.
하기에서, 명료함을 위해, 카메라(9)의 카메라 이미지(23, 24)에 대한 컴퓨팅 장치(12)에 의한 이미지 처리만이 기술된다. 이 설명은 나머지 카메라(8, 10, 11)에 상응하여 적용된다. 카메라 이미지(23, 24)는 투사(P)에 의해 변환되거나 투시 왜곡된다. 투사(P)는 이동 지면(3)이 카메라(9)의 시야로부터 나타나지 않지만, 가상 평면 뷰(15)의 원하는 사전설정된 시야로부터, 이에 따라 자동차(1) 위 또는 꼭대기의 시점으로부터 나타나도록 각각의 카메라 이미지(23, 24)를 왜곡하도록 구성된다. 그러한 투사는 예를 들어 변환, 특히 변환 매트릭스에 의해 수행될 수 있다. 기술된 투사에 대한 다른 명칭은 또한 편위 수정(rectification) 또는 기하학적 왜곡(geometric distortion) 또는 동등화(equalization)이다. 그러한 투사를 수행하기 위한 방법이 그 자체로 종래 기술로부터 알려져 있다.
카메라 이미지(23, 24)로부터, 변환된 카메라 이미지(23', 24')가 각각 투사(P)에 의해 생성된다. 변환된 카메라 이미지(23', 24') 및 카메라(8, 10, 11)의 대응하는 변환된 카메라 이미지는 조합 유닛(29)에 전달될 수 있다. 조합 유닛(29)은 대응하는 카메라 이미지, 이에 따라 동일한 시점에 또는 사전결정된 시간 구간 내에 캡처된 카메라 이미지를 조합하도록 구성될 수 있다. 투사(P) 및 조합 장치(29)는 예를 들어 컴퓨팅 장치(12)의 프로그램 모듈로서 제공될 수 있다.
예에서, 변환된 카메라 이미지(23')가 중첩 또는 스티칭에 의해 매칭하는, 대응하는 변환된 카메라 이미지(21', 25', 27')와 조합되어 가상 평면 뷰(15)로 될 수 있는 방법이 도시된다. 마지막으로, 자동차(1)의 상(16)이 또한 추가될 수 있다. 완성된 디스플레이 이미지(14)는 이어서 디스플레이 장치(13)에 의해 출력될 수 있다. 변환된 카메라 이미지(21', 23', 25', 27')는 캡처링 범위(17, 18, 19, 20)의 중첩 영역(O)에 대응하는, 쌍을 이룬 중첩 영역(O)을 가질 수 있다.
디스플레이 이미지(14)가 현실적인 평면 뷰(15)를 제공하기 위해, 카메라(8, 9, 10, 11)의 기하학적 배열, 특히 기하학적 배향이 서로 매치되어야 할 것이다. 또한, 각각의 카메라(8, 9, 10, 11)는 환경(2) 내로의 정확한 배향을 가져야 하는데, 왜냐하면 디스플레이 이미지(14)에서 인식가능한 물체의 움직임이 실제 차량 움직임(6)에 대응하기 때문이다. 카메라(8, 9, 10, 11)의 기하학적 배향에 있어서의 오차는 투사(P)(카메라(9)의 경우) 및 나머지(예시되지 않음) 투사에 대해 투사 파라미터 값(30)을 조정하거나 교정함으로써 각각 각각의 카메라에 대해 수행될 수 있다.
도 2는 카메라(8, 9, 10, 11)의 기하학적 배향에 있어서의 오차가 보상되지 않을 경우 발생할 수 있는 바와 같은 디스플레이 이미지(14)를 도시한다. 디스플레이 이미지(14)가 예시된다. 디스플레이 이미지(14)는 예시적으로 변환된 카메라 이미지(21', 23', 25', 27')로부터 형성된다. 컴퓨팅 장치(12)에 의해, 서로 인접하거나 서로 중첩하는 이미지 블록(32) - 이들 중 일부에만 명료함을 위해 도 2 및 도 3에서 도면 부호가 제공됨 - 의 매트릭스 또는 격자 패턴(31)이 디스플레이 이미지(14) 내에 각각의 변환된 카메라 이미지(21', 23', 25', 27')에 대해 형성될 수 있다. 각각의 이미지 블록(32)에 대해, 각자의 카메라(8, 9, 10, 11)에 의해 시간적으로 연속하여 생성된 2개의 카메라 이미지(21 내지 28)로부터 움직임 벡터(33)가 추가로 생성되었다. 명료함을 위해, 다시, 움직임 벡터의 일부에만 도면 부호가 제공된다.
2개의 시간적으로 연속하여 캡처된 카메라 이미지 또는 변환된 카메라 이미지로부터의 움직임 벡터의 생성이 그 자체로 종래 기술로부터 알려져 있고 예를 들어 WO 2012/139636 A1호에 기술된다. 움직임 벡터(33)는 특히 변환된 카메라 이미지(21' 내지 27') 내에 이미징된 이동 지면(3)의 텍스처(34)에 기초하여 형성될 수 있다. 도 2에, 움직임 벡터(33)가 차량(1)의 이동 방향(6)을 따른 직진 이동에서 발생하는 것이 도시되며, 그것의 방향은 이동 방향(6)에 평행하게 배향되지 않는다. 또한, 상이하게 긴 움직임 벡터(33)가 발생할 수 있다.
도 3에서, 카메라 시스템(7)의 교정 후에 발생하는 바와 같은, 즉 원하는 투사 파라미터 값(30)을 갖는 디스플레이 이미지(14)가 예시된다. 방향 벡터(33)는 이동 방향(6)에 평행하게 배향되고 동일하게 길다. 움직임 벡터(33)의 평가에서, 개개의 움직임 벡터가 이상치(35)로서 폐기될 수 있다. 도 2 및 도 3에서, 일부 이상치(35)에만 각각 도면 부호가 제공된다. 이상치(35)는 이동 지면(3)이 예를 들어 불균일한 경우 발생한다.
투사 파라미터 값(30)은 예를 들어 카메라(9)의 설치 높이를 지정할 수 있다. 투사 파라미터 값(30)은 또한 예를 들어 카메라(9)의 롤 각도 및/또는 피치 각도 및/또는 경사 각도를 지정할 수 있다. 카메라 시스템(7)의 교정을 위한 투사 파라미터 값(30)을 결정하기 위해, 도 4에 예시된 방법이 수행될 수 있다.
제안된 방법은 대략 직선인 움직임을 요구하고, 회전을 요구하지 않으며, 대부분의 상황하에서 자연적으로 발생하는 지표면 상의 적은 양의 텍스처를 요구한다. 다른 방법과는 다르게, 그것은 코너, 윤곽 또는 에지와 같은 관심대상의 임의의 특정한 특징부가 다수의 프레임에 걸쳐 그러한 특징부의 이미지 또는 추적 상에 존재할 것을 요구하지 않는다. 요구되는 조건이 주어지면, 그것은 2개의 연속적인 비디오 프레임으로부터 동시에 하나 이상의 카메라를 교정할 수 있다. 실제로 현재의 교정은 불균일한 지면 또는 자동차 움직임에 있어서의 진동으로 인한 비-영구적 변화를 필터링하기 위해 N개의 이전 교정의 지수 가중 평균(exponentially weighted average)으로서 유지된다는 것에 유의한다. 대립되는 방법이 그것의 정확도 또는 교정하기 위한 전체 시간을 인용하지 않지만, 본 발명은 신뢰할 수 있는 교정을 매우 신속하게 생성할 수 있기 때문에 속도 및 정확도에서 그것을 능가할 것으로 예상된다.
하기의 단계는 컴퓨팅 장치(12)를 위한 내부 제어를 제공한다:
S1. (각각의 카메라의 회전 및/또는 높이에 있어서의 오차에 대한 매우 높은 허용오차를 갖고서) 모든 카메라의 영구적인 내재적 그리고 현재의 외재적 교정이 주어지면 어안 및 시야 보정과, 단일 가상 평면 뷰로의 4개의 카메라 이미지의 스티칭을 수행한다. 이것은 한 쌍의 가상 평면 뷰를 획득하기 위해 모든 카메라의 2개의 연속적인 프레임에 대해 수행된다.
이미지 보정은 사전-계산된 룩업 테이블(look-up table)을 이용하여 수행될 수 있고, 이미지 품질 및 추적 성능을 개선하기 위해 에일리어싱-방지 필터(anti-aliasing filter)를 포함할 수 있다. 생성된 뷰의 줌 레벨(픽셀당 실제 유닛)은 추적 성능을 최적화하기 위해 속도 및/또는 조명 및 환경 조건에 동적으로 조정될 수 있다. 또한, 프레임은 다음 단계에서 얻어지는 움직임 벡터의 유효 길이 및 이에 따라 SNR을 증가시키기 위해 매우 낮은 속도에서 건너뛰어질 수 있다.
S2. 선택적으로, 어려운 환경 또는 조명 조건에서의 추적 성능을 개선하기 위해 대역-통과 또는 고역 공간 필터링으로 가상 평면 뷰 이미지를 향상시킨다.
S3. 각각의 카메라에 대한 움직임 벡터를 획득하기 위해 한 쌍의 가상 평면 뷰 이미지에서 관심대상의 영역(region of interest)(카메라당 하나의 ROI) 내의 인접한 또는 중첩하는 블록의 격자에 대해 움직임 추정을 수행한다. 블록 매칭은, 이들 블록의 픽셀 강도의 분산이 어떤 임계치 아래인 경우, 즉 블록이 이미지 내의 매우 어두운 또는 과다노출된 부분과 같은 무-텍스처(texture-less) 표면을 나타내는 경우, 일부 또는 모든 블록에 대해 시도되지 않을 수 있다. 블록 매칭은 비디오-압축을 위한 움직임 추정에 또한 사용되는 전형적인 블록 매칭 알고리즘(block matching algorithm, BMA)으로 달성될 수 있고, 더 효율적인 검색 예측을 위해 CAN 버스로부터의 주행거리 데이터로 도움을 받을 수 있다. 하나의 프레임 내의 기준 블록의 픽셀과 다음 프레임 내의 지명된 검색 영역의 픽셀 사이의 절대차의 합(sum of absolute difference, SAD) 또는 제곱차의 합(sum of the squared difference, SSD)과 같은 전형적인 블록 유사성 측정(block similarity measure, BDM)이 사용될 수 있다.
S4. 움직임 필드의 국소 공간적 균일성에 기초하여 명백한 이상치를 거부하는데, 즉 어떤 유사성 측정에 따라 그것의 이웃하는 것으로부터 어떤 허용오차를 초과하는 만큼 벗어나는 움직임 벡터를 폐기한다. 허위 매칭으로 인해 또는 움직이는 물체, 높이를 갖는 물체 또는 불균일한 지면과 같은 허위 물체의 참된 매칭으로 발생하는 임의의 모순된 벡터를 "이상치"로 규정한다.
S5. 지면 평면 상의 움직임 벡터의 간단한 기하학적 특성으로부터 유래되는 비용 함수를 통해 각각의 카메라의 현재 교정 품질을 독립적으로 평가한다. 바람직하게는, 이들 기하학적 특성은 차량 회전을 검출하기 위해 관련 CAN 신호를 통해 또는 움직임 벡터의 추가 처리에 의해 알고리즘으로 지시될 수 있는 직선 차량 움직임을 충족시킨다.
미러 카메라로부터 회전의 양을 검출하기 위한 간단한 발견적 방법은 움직임 벡터 y-성분 및 이미지 상의 그것의 수평 위치(또는 동등하게 격자 상의 그것의 컬럼 인덱스)로부터 얻어진 데이터 점에 선을 피팅하는 것이다. 이 선의 기울기는 차량 회전의 양을 나타낸다.
직선 차량 움직임에 대해, 완전히 교정된 시스템은 시야 왜곡이 없는, 즉 이미지 스캔 라인에 평행한 그리고 모든 카메라 사이에서 동일한 길이를 갖는 움직임 벡터를 가상 평면 뷰 상에 생성하여야 한다(도 6). 즉, 모든 움직임 벡터의 절대 y-성분의 합과 절대 x-성분의 분산(variance)이 둘 모두 0이어야 한다. 이것은 또한 각각 0으로부터의 그리고 평균으로부터의 제곱 잔차의 합(sum of squared residual, SSE)으로서 표현될 수 있으며, 평균 제곱 오차(mean squared error, MSE) 또는 제곱 평균 제곱근 오차(root mean square error, RMSE)와 같은 도함수 형태를 취할 수 있다.
도 5 및 도 6은 시야 왜곡된(도 5) 대 비-왜곡된/교정된(도 6) 움직임 벡터를 도시한다. 가중치 {W1, W2, W3,..., Wn}을 갖는 한 세트의 움직임 벡터 {V1, V2, V3,..., Vn}에 대해, 이때
Figure pct00001
이고,
x-성분 Xi의 가중 평균
Figure pct00002
은 다음과 같다.
Figure pct00003
최소화될 제곱 오차의 합은 다음과 같다.
그리고 제곱 평균 제곱근 교정 오차는 다음과 같다.
Figure pct00005
이 오차가 낮을수록, 교정이, 그리고 묵시적으로 가상 평면-뷰의 스티칭 품질이 양호하다. 실제로, 이 오차는 다양한 소스(source)로부터의 노이즈(noise)를 포함하며, 이에 따라 그것은 시뮬레이션된 이상적인 조건에서를 제외하고는 결코 절대 0(absolute zero)일 수 없다.
교정 오차는 반전되고, 특정 범위(0 내지 100)로 정규화되고, 교정 과정의 자가-진단 및 트리거링(triggering)을 위해 카메라당 현재 교정 품질의 안정된 지시자를 획득하기 위해 지수 이동 평균 MR 필터를 통해 필터링된다. 필터의 평활 인자(smoothing factor)는 교정 트리거의 민감도를 결정한다. 이 신호는 그것이 어떤 이력 임계치 아래로 떨어질 때까지 - 이 경우에 교정 과정이 다음 단계에서 개시되고 품질이 어떤 만족스러운 레벨에 도달할 때까지 반복된다 - 연속적으로 모니터링된다(단계 S1 내지 단계 S5를 반복).
교정 품질은 교정 결과(나중) 및 그 자체 둘 모두에서 적용되는 지수 평활화(exponential smoothing)로 인해 다수의 교정 사이클에 걸쳐 정상 상태(steady state)로 점근적으로 수렴한다는 것에 유의한다. 실제로, 올바른 조건이 주어지면, 정상 상태는 프레임의 각각의 쌍에 대해 하나의 교정을 생성하는 시스템의 능력으로 인해 매우 신속하게 달성된다.
S6. 교정 오차를 평가하기 위해 이전 단계에서 사용된 것과 유사한 비용 함수를 최소화함으로써 각각의 카메라의 배향(피치-요-롤)을 교정한다. 지면 평면에의 재-투사된 움직임 벡터의 제곱 잔차의 합을 최소화함으로써 최소-제곱 의미에서 최적화가 수행된다. 공간 오프셋(spatial offset)으로 변환된 시간 지연이 롤링 셔터(rolling shutter)의 효과를 상쇄하기 위해 비용 함수의 계산에 포함될 수 있다.
S7. 추가의 처리를 위해 각각의 카메라의 교정된 배향을 사용하여 모든 움직임 벡터를 지면 평면에 재-투사한다. 존재하는 벡터에 직접 교정 보정을 적용할 수 있기 때문에, 이 단계에서는 가상 평면 뷰도 블록 매칭된 움직임 벡터도 재계산될 필요가 없다는 것에 유의한다. 이미지 처리는 각각의 교정 사이클의 시작에서만 수행된다.
S8. 이미지 내의 연석 또는 높이를 갖는 다른 큰 물체의 존재를 검출하기 위해 잔차 오차 및 재-투사된 움직임 벡터의 성분의 통계학적 분포 또는 클러스터링(clustering)을 검토한다. 그러한 물체는 모든 벡터가 지면 평면 상에 있다는 가정으로 인해 교정의 정확도를 저하시킬 수 있다. 검출이 양(positive)이면, 움직임 벡터의 전체 세트를 폐기하고 새로운 프레임으로 단계 1부터 다시 시작한다. 대안적으로 우성 클러스터를 유지하고 다음 단계로 진행한다.
단계 6으로부터의 교정 결과는 자연적으로 이미지 내의 연석 또는 유사한 물체의 존재에 의해 영향을 받을 것이다. 이미지를 2개의 반부(half)로 분할하는 직선 연석에 대해, 교정 오차가 주로 차량 종축(움직임 방향)을 중심으로 한 카메라 회전에서 나타나, 움직임 벡터의 이중-모드 클러스터링을 어느 정도 희석시킬 것이다. 대부분의 경우에, 이것은 검출을 방해하지 않는다. 대안적으로, 더 진보한 비용 함수가 연석 또는 극심한 도로 캠버(camber)의 영향을 상쇄하기 위해 채용될 수 있다. 그러한 비용 함수는 지표면에 대한 곡률 모델을 포함하거나, 움직임 벡터의 잔차 오차를 계산할 때 2개의 상이한 지면 레벨을 가정할 수 있다.
S9. 나머지 벡터에 대해 비용 함수를 재평가하고 어떤 임계치를 초과하는 잔차 오차에 기여하는 것들을 제거하여 산발적인 이상치를 추가로 감소시킨다. 단계 S6에서 교정을 반복하고 이어서 다음 단계로 진행한다. 대안적으로, 사용가능한 벡터의 수가 어떤 임계치를 초과하여 유지되면 더 이상의 이상치가 제거될 수 없을 때까지 단계 S6, S7, (S8) 및 S9를 반복한다. 대안적으로, 전체 RANSAC(Random Sample Consensus) 알고리즘이 이상치 거부 단계 (S4)에서 또는 교정 (S9) 동안 임의의 이상치를 제거함이 없이 채용될 수 있다. 또한, 블록 매칭 단계 (S3)으로부터의 다수의 상관 피크(correlation peak)가 하나 초과의 움직임 벡터를 잠재적으로 생성하는 각각의 블록을 갖는 독립적인 관찰로서 RANSAC에 포함될 수 있다.
S10. CAN 또는 FlexRay 버스에 공개된 차량 속도 또는 휠 RPM(Rounds Per Minute)과 같은 다른 센서로부터의 주행거리 데이터를 사용하여 각각의 카메라의 절대 높이를 독립적으로 계산한다. 대안적으로, 그러한 데이터가 입수가능하지 않거나 부정확한 경우, 카메라가 차량 섀시(강체(rigid body)) 상에 장착되고 그것의 움직임이 서스펜션으로부터의 차량 섀시의 이동에 의해 제한된다는 것을 고려함으로써 공칭 디폴트 카메라 높이로부터의 오프셋을 계산한다. 각각의 카메라의 배향을 교정하는 것은 그것의 높이의 사전 지식을 필요로 하지 않는 반면, 높이를 교정하는 것은 배향의 정확한 지식을 필요로 한다는 것에 유의한다.
S11. 비균일한 지면 또는 비검출된 이상치로 인한 관찰 노이즈, 차량 진동 및 일시적 효과를 억제하기 위해 교정된 외재적 값에 지수 평활화를 적용한다. 교정 결과가 어떤 적정한 허용오차 내에 있는 것을 보장하기 위해 최종 온전함 확인이 또한 수행될 수 있다. 필터링된 값은 다음 교정 사이클의 시작 및 모든 후속 처리에서 이미지 교정을 위한 현재 교정으로서 사용될 시스템 내로 공급된다.
각각의 교정 사이클의 시작에서 가상 평면 뷰가 마지막 교정의 결과로부터 업데이트된다는 것에 유의한다. 따라서, 시야 오차는 교정이 정상 상태로 점근적으로 수렴할 때까지 점진적으로 감소된다. 각각의 사이클에서의 개선된 이미지 보정은 또한 매칭된 블록의 더 높은 유사성으로 인해 블록 매칭 성능을 개선한다.
상기의 알고리즘이 대부분의 응용을 위한 충분한 교정 정확도를 제공하지만, 그것은 카메라 간의 중첩 영역 부근의 또는 중첩 영역의 이미지 데이터를 고려함으로써 가상 평면 뷰의 스티칭 정확도를 추가로 최적화하도록 조정될 수 있다. 이러한 영역에서의 상이한 관점 및 유효 해상도의 감소는 블록 매칭을 더 어렵게 만든다. 그러나, 알고리즘의 제 1 부분으로부터 얻어진 교정 결과는 제안된 방법에 매우 양호한 시작점을 제공한다. 매체 주파수 상세를 향상시키고 노이즈를 억제하기 위해 보정된 이미지를 필터링하는 것은 이 시나리오에서 블록 매칭 성능을 상당히 개선할 수 있다.
고려되는 구현에서, 스티칭 영역에서의 시각적 불일치는 카메라 높이, 회전 및 잠재적으로 X-Y 위치를 변경함으로써, 또는 하나 이상의 카메라의 외재적 파라미터의 임의의 유용한 조합에 의해 최소화된다. 가장 간단하게는, 카메라 높이만이 변경된다. 제곱 잔차(기하학적 오차) 및 유사한 이상치 거부의 합을 최소화함으로써 최소-제곱 의미에서 최적화가 수행될 수 있고, 필터링 메커니즘이 앞서와 같이 적용될 수 있다. 하기의 방법이 제안된다:
S12.1 "카메라간" 움직임 벡터를 획득하기 위해 스티칭 라인 부근의 카메라를 가로질러 블록 매칭을 수행한다. 이어서 이들 벡터를 움직임 방향에 평행하게 만들도록 하나 이상의 카메라의 외재적 파라미터를 최적화한다. 이것은 (움직임 방향에 수직인) 횡단 방향에 있어서의 최적의 스티칭 정확도를 보장할 것이다.
S12.2 공통 특징부(텍스처 블록)의 위치를 획득하기 위해 2개의 카메라 간에 공유된 중첩 영역(O')(도 2)에서 블록 매칭을 수행한다. 이어서, 그것들의 각자의 카메라로부터 지면 평면에의 이들 특징부의 재-투사 사이의 기하학적 오차를 최소화함으로써 하나 이상의 카메라의 외재적 파라미터를 최적화한다.
S12.3 각각의 중첩 이미지 쌍에 대한 최상의 상관을 획득하기 위해, 관련된 각각의 카메라에 대해 중첩 영역(O')에서 이미지 보정을 재-계산하는 동안 하나 이상의 카메라의 외재적 파라미터를 최적화한다. 중첩 영역 내의 2개의 큰 직사각형 텍스처 블록 사이에 상관이 수행될 수 있다. 전용 최적화 알고리즘이 어떤 사전규정된 범위 내의 하나 또는 2개의 파라미터의 철저한 검색에 사용될 수 있다. 각각의 시험 교정에 대해, 2개의 블록 사이에 새로운 상관이 수행되어야 하며, 이에 따라 이 방법은 보다 계산적으로 더 비경제적이다.

Claims (15)

  1. 자동차(1)의 카메라 시스템(7)을 교정하기 위한 방법에 있어서,
    상기 카메라 시스템(7)의 적어도 하나의 카메라(8 내지 11)는 상기 자동차(1)의 환경(2)으로부터 각각 카메라 이미지(21 내지 28)를 순차적으로 생성하고, 상기 카메라 시스템(7)의 컴퓨팅 장치(12)는 사전결정된 가상 시야(virtual perspective)로부터 상기 환경(2)의 가상 뷰(virtual view)(14)를, 특히 투사(P)에 의해 상기 카메라 이미지(21 내지 28)로부터 상기 환경(2)의 평면 뷰를 각각 생성하며,
    a) 상기 컴퓨팅 장치(12)는 사전결정된 움직임 방향(6)을 따른 상기 자동차(1)의 움직임, 특히 직선 차량 움직임을 인식하고,
    b) 상기 움직임 방향(6)을 따른 이동이 인식된 상태에서, 상기 컴퓨팅 장치(12)는 각각의 카메라(8 내지 11)에 대해 교정 사이클을 적어도 한 번 진행시키며, 상기 교정 사이클에서 상기 컴퓨팅 장치(12)는
    - 상기 투사(P)의 현재 투사 파라미터(30)에 기초하여 상기 카메라(9)의 카메라 이미지(23, 24)가 변환되는 단계,
    - 상기 변환된 카메라 이미지(23', 24')에 기초하여 상기 가상 뷰(14)에서 움직임 벡터(motion vector)(33)가 결정되는 단계,
    - 상기 움직임 벡터(33)의 적어도 하나의 기하학적 특징, 특히 길이 및/또는 방향에 대해, 각자의 기준 값이 상기 움직임 방향(6)에 따라 설정되는 단계,
    - 상기 움직임 벡터(33)의 적어도 하나의 기하학적 특징과, 각자의 대응하는 기준 값 사이의 차이로부터 오차 값이 결정되는 단계, 및
    - 상기 오차 값에 따라 상기 현재 투사 파라미터(30)로부터 새로운 투사 파라미터가 결정되는 단계를 수행하는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 카메라(8 내지 11)의 적어도 하나의 공간적 배향, 특히 피치 각도(pitch angle)(피치) 및/또는 요 각도(yaw angle)(요) 및/또는 롤 각도(roll angle)(롤), 및/또는 상기 자동차(1) 상의 상기 카메라(8 내지 11)의 설치 높이가 상기 투사 파라미터(30)에 의해 기술되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 적어도 하나의 카메라(8 내지 11)는 이동 지면(travel ground)(3)을 상기 환경(2)으로서 캡처하고, 상기 움직임 벡터(33)는 상기 이동 지면(3)의 텍스처(texture)에 기초하여 결정되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    각각의 변환된 카메라 이미지(23', 24')를 서로 인접하거나 중첩하는 이미지 블록(image block)(32)의 매트릭스(matrix)(31)로 분할하고, 각각의 이미지 블록(32)에 대해 움직임 벡터(33)를 결정함으로써 다수의 움직임 벡터(33)가 결정되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    각각의 교정 사이클에서, 상기 오차 값은, 상기 오차 값이 사전결정된 최적화 기준을 충족시킬 때까지, 상기 오차 값에 기초하여 중간 투사 파라미터를 결정하고, 상기 투사(P)에 의해 새롭게 변환함으로써 상기 중간 투사 파라미터에 기초하여 상기 가상 뷰(14)에서 상기 움직임 벡터(33)만을 새롭게 배향시키는 것에 의해 반복적으로 감소되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    직진 이동이 상기 움직임 방향(6)을 따른 이동으로서 인식되고, 상기 기하학적 특징으로서, 상기 움직임 벡터(33)가 서로 평행하게, 및/또는 상기 가상 뷰(14)의 이미지 에지에 평행하게, 및/또는 동일한 길이로 배치되었는지가 확인되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  7. 제 5 항에 있어서,
    차량 횡축에 평행하게 배향된 각각의 움직임 벡터(33)의 y 성분에 대해, y 기준 값 0이 설정되고, 차량 종축에 평행하게 배향된 x 성분에 대해, 상기 움직임 벡터(33)의 모든 x 성분의 평균 값이 x 기준 값으로서 설정되고, 제곱 차(squared difference)의 합이 상기 오차 값으로서 형성되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    각자의 카메라(9)의 이미지 시퀀스로부터 2개의 카메라 이미지(23, 24)를 선택하기 위해, 적어도 하나의 카메라 이미지가 상기 2개의 카메라 이미지 중 제 1 카메라 이미지와 상기 2개의 카메라 이미지 중 제 2 카메라 이미지 사이에서 건너뛰어지는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 오차 값에 대한 기여가 사전결정된 최대 값보다 크고/크거나, 나머지 움직임 벡터에 대하여 유사성 기준을 위반하는 적어도 하나의 움직임 벡터가 상기 움직임 벡터(33)로부터 이상치(outlier)(35)로서 삭제되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    - 다수의 교정 사이클이 수행되는 단계,
    - 각각의 교정 사이클에 대해, 새로운 투사 파라미터(30)가 각각 결정되는 단계,
    - 상이한 교정 사이클로부터의 대응하는 새로운 투사 파라미터(30)가 각자의 평균된 투사 파라미터로 조합되는 단계, 및
    - 상기 평균된 투사 파라미터(30)가 각각 다음의 교정 사이클에서 상기 투사(P)의 현재 투사 파라미터(30)로서 기초로서 취해지는 단계를 특징으로 하는
    카메라 시스템 교정 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    - 다수의 교정 사이클이 수행되는 단계, 및
    - 상기 교정 사이클들 중 하나의 교정 사이클의 상기 오차 값, 및 적어도 하나의 이전 교정 사이클의 각자의 오차 값으로부터, 평균 오차 값이 결정되고, 상기 새로운 투사 파라미터(30)는 상기 평균 오차 값이 사전결정된 임계 값보다 큰 경우에만 결정되는 단계를 특징으로 하는
    카메라 시스템 교정 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    다수의 카메라(8 내지 11)가 카메라 이미지(21 내지 28)를 생성하고, 각각의 카메라(8 내지 11)에 대해 형성된 상기 움직임 벡터(33)는 상기 카메라들 중 적어도 하나의 카메라의 설치 높이를 투사 파라미터(30)로서 조정함으로써 서로 매칭되는 단계를 특징으로 하는
    카메라 시스템 교정 방법.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    - 제 1 및 제 2 카메라(8 내지 11)가 카메라 이미지(21 내지 28)를 생성하는 단계,
    - 중첩 오차 값이 2개의 카메라(8 내지 11)의 변환된 카메라 이미지(21' 내지 28')에서 결정되고, 상기 제 1 및/또는 상기 제 2 카메라(8 내지 11)에 대한 새로운 투사 파라미터(30)가 상기 중첩 오차 값에 기초하여 결정되는 단계를 특징으로 하며,
    a) 적어도 하나의 카메라간 움직임 벡터가 제 1 카메라 이미지(8 내지 11)의 변환된 카메라 이미지(21' 내지 27') 및 제 2 카메라(8 내지 11)의 변환된 카메라 이미지(21' 내지 27')에 기초하여 결정되고, 상기 중첩 오차 값은 적어도 상기 적어도 하나의 카메라간 움직임 벡터의 적어도 하나의 기하학적 특징에 따라 형성되거나,
    b) 중첩 영역(O')에서, 이미지 블록이 제 1 카메라(8 내지 11)의 변환된 카메라 이미지(21' 내지 27')에서 결정되고, 대응하는 이미지 블록이 제 2 카메라의 변환된 카메라 이미지(21' 내지 27')에서 결정되며, 상기 중첩 오차 값은 2개의 이미지 블록의 거리에 따라 결정되거나,
    c) 중첩 영역(O')에서, 비교 값, 특히 상관 값(correlation value)이 상기 중첩 영역(O') 내의 제 1 카메라의 변환된 카메라 이미지 및 제 2 카메라의 변환된 카메라 이미지로부터 생성되고, 상기 비교 값은 상기 중첩 오차 값으로서 사용되는 것을 특징으로 하는
    카메라 시스템 교정 방법.
  14. 자동차(1)용 카메라 시스템(7)으로서,
    - 상기 자동차(1)의 환경(2)의 카메라 이미지(21 내지 28)로부터 이미지 시퀀스를 각각 생성하기 위한 적어도 하나의 카메라(8 내지 11),
    - 사전결정된 가상 시야로부터의 상기 환경(2)의 가상 뷰(14)를, 특히 투사(P)에 의한 상기 카메라 이미지(21 내지 28)로부터의 상기 환경의 평면 뷰를 갖는 변환된 카메라 이미지(21' 내지 27')를 각각 생성하도록 구성된 컴퓨팅 장치(12), 및
    - 상기 변환된 카메라 이미지(21' 내지 27')를, 특히 상기 자동차(1) 주위의 합성된 올-어라운드 뷰(all-around view)로서 디스플레이하기 위한 디스플레이 장치(13)를 포함하는, 상기 자동차용 카메라 시스템에 있어서,
    상기 컴퓨팅 장치(12)는 제 1 항 내지 제 13 항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 것을 특징으로 하는
    카메라 시스템.
  15. 제 14 항에 따른 카메라 시스템(7)을 갖는 자동차(1)에 있어서,
    상기 카메라 시스템(7)은 다수의 카메라(8 내지 11)를 갖고, 상기 카메라들 중 제 1 카메라(9)의 캡처링 범위(capturing range)(18)는 상기 자동차(1) 옆의 제 1 측방향 영역에 배향되고, 상기 카메라들 중 제 2 카메라(10)의 캡처링 범위(19)는 상기 자동차(1) 옆의, 상기 제 1 측방향 영역 반대편에 있는 제 2 측방향 영역에 배향되고, 상기 카메라들 중 제 3 카메라(8)의 캡처링 범위(17)는 상기 자동차(1) 앞의 전방 영역에 배향되고, 상기 카메라들 중 제 4 카메라(11)의 캡처링 범위(20)는 상기 자동차(1) 뒤의 후방 영역에 배향되고, 상기 카메라 시스템(7)은 각각의 카메라(8 내지 11)의 각각의 하나의 카메라 이미지(21, 23, 25, 27)로부터 각자의 변환된 카메라 이미지(21', 23', 25', 27') 및 상기 변환된 카메라 이미지(21', 23', 25', 27')로부터 올-어라운드 뷰를 생성하도록, 그리고 상기 올-어라운드 뷰를 상기 디스플레이 장치(13)에 의해 디스플레이하도록 구성되는
    자동차.
KR1020177014892A 2014-12-04 2015-11-26 자동차 카메라 시스템의 온라인 교정 Active KR101949263B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014117888.2 2014-12-04
DE102014117888.2A DE102014117888A1 (de) 2014-12-04 2014-12-04 Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems
PCT/EP2015/077735 WO2016087298A1 (en) 2014-12-04 2015-11-26 Online calibration of a motor vehicle camera system

Publications (2)

Publication Number Publication Date
KR20170077223A true KR20170077223A (ko) 2017-07-05
KR101949263B1 KR101949263B1 (ko) 2019-02-18

Family

ID=54705605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177014892A Active KR101949263B1 (ko) 2014-12-04 2015-11-26 자동차 카메라 시스템의 온라인 교정

Country Status (7)

Country Link
US (1) US10163226B2 (ko)
EP (1) EP3189497B1 (ko)
JP (1) JP6411646B2 (ko)
KR (1) KR101949263B1 (ko)
CN (1) CN107004277B (ko)
DE (1) DE102014117888A1 (ko)
WO (1) WO2016087298A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005605A (ko) * 2018-04-26 2021-01-14 콘티넨탈 오토모티브 게엠베하 카메라 고유 파라미터에 대한 온라인 평가

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9834153B2 (en) 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
CN106170676B (zh) * 2015-07-14 2018-10-09 深圳市大疆创新科技有限公司 用于确定移动平台的移动的方法、设备以及系统
DE102016104729A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
JP2018032253A (ja) * 2016-08-25 2018-03-01 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、キャリブレーションプログラム
DE102016220651A1 (de) * 2016-10-20 2018-04-26 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erzeugung einer Fahrzeugumgebungsansicht bei einem Fahrzeug
DE102016223391A1 (de) 2016-11-25 2018-05-30 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zum erzeugen einer fahrzeugumgebungsansicht bei einem fahrzeug
DE102017100062A1 (de) 2017-01-03 2018-07-05 Connaught Electronics Ltd. Visuelle Odometrie
DE102017000307A1 (de) 2017-01-16 2018-07-19 Connaught Electronics Ltd. Verfahren zum Kalibrieren einer Kamera für ein Kraftfahrzeug unter Berücksichtigung eines Kalibrierfehlers, Kamera sowie Kraftfahrzeug
DE102017206295B3 (de) * 2017-04-12 2018-01-25 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE102017110533A1 (de) * 2017-05-15 2018-11-15 Lavision Gmbh Verfahren zum Kalibrieren eines optischen Messaufbaus
US10612951B2 (en) * 2017-05-31 2020-04-07 Pixart Imaging Inc. Optical flow sensor, methods, remote controller device, and rotatable electronic device
KR102436730B1 (ko) * 2017-12-06 2022-08-26 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
CN109948398B (zh) * 2017-12-20 2024-02-13 深圳开阳电子股份有限公司 全景泊车的图像处理方法及全景泊车装置
CN108447095A (zh) * 2018-01-31 2018-08-24 潍坊歌尔电子有限公司 一种鱼眼相机标定方法和装置
US11061120B2 (en) 2018-04-24 2021-07-13 Ford Global Technologies, Llc Sensor calibration
WO2019206247A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd System and method for camera calibration
DE102018212871A1 (de) * 2018-08-02 2020-02-06 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Kamera-Kalibrierung
EP3776485B1 (en) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Any world view generation
CN110969574A (zh) * 2018-09-29 2020-04-07 广州汽车集团股份有限公司 一种车载全景地图创建方法及装置
CN110969664B (zh) * 2018-09-30 2023-10-24 北京魔门塔科技有限公司 一种相机外部参数的动态标定方法
US10776542B2 (en) * 2019-01-30 2020-09-15 StradVision, Inc. Method and device for calibrating physics engine of virtual world simulator to be used for learning of deep learning-based device, and a learning method and learning device for real state network used therefor
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
US11137477B1 (en) * 2019-07-02 2021-10-05 Jacob Rocereto Vehicle sensor calibration template
CN112446924B (zh) * 2019-09-02 2024-06-28 北京车和家信息技术有限公司 车辆的相机标定系统、车辆及相机标定方法
CN110942434B (zh) * 2019-11-22 2023-05-05 华兴源创(成都)科技有限公司 一种显示面板的显示补偿系统及方法
CN113256728B (zh) * 2020-02-13 2024-04-12 纳恩博（北京）科技有限公司 Imu设备参数的标定方法及装置、存储介质、电子装置
CN111311742B (zh) * 2020-03-27 2023-05-05 阿波罗智能技术(北京)有限公司 三维重建方法、三维重建装置和电子设备
JP2021165910A (ja) * 2020-04-06 2021-10-14 トヨタ自動車株式会社 データ送信装置およびデータ送信方法
FR3111464B1 (fr) * 2020-06-12 2022-11-18 Renault Sas Procédé de calibration d’une caméra et dispositif associé
EP4173285A1 (en) * 2020-06-25 2023-05-03 Mobileye Vision Technologies Ltd. Motion-based online calibration of a multi-camera
DE102020212374A1 (de) * 2020-09-30 2022-03-31 Siemens Mobility GmbH Verfahren zur Überprüfung der Kalibrierung eines auf einem Schienenfahrzeug angeordneten Umfeldsensors
CN112422936B (zh) * 2020-11-13 2022-07-05 中国第一汽车股份有限公司 车辆全景影像的标定系统、方法、服务器和存储介质
JP7689021B2 (ja) * 2021-06-17 2025-06-05 Ａｓｔｅｍｏ株式会社 センシング装置及び車両制御装置
CN113496527B (zh) * 2021-06-23 2024-04-26 中汽创智科技有限公司 一种车辆环景影像标定方法、装置、系统及存储介质
CN114252100B (zh) * 2021-12-16 2023-04-28 成都鹏业软件股份有限公司 传感器在线标定方法、装置、设备及存储介质
US11682140B1 (en) * 2022-06-30 2023-06-20 Plusai, Inc. Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor
CN115345941A (zh) * 2022-07-19 2022-11-15 岚图汽车科技有限公司 一种avm标定方法及系统
DE102022130327A1 (de) * 2022-11-16 2024-05-16 Daimler Truck AG Lagewinkel-Kalibrierung einer Fahrzeugkamera während der Fahrt
CN121527329B (zh) * 2026-01-19 2026-04-24 意柯那(上海)工业设计有限公司 一种基于工程约束的汽车外饰三视图自动生成与校准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012504889A (ja) * 2008-10-01 2012-02-23 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
US20140350834A1 (en) * 2013-05-21 2014-11-27 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100289862B1 (ko) * 1997-10-16 2001-05-15 정선종 2차원병진움직임벡터와회기법을이용한전역움직임존재유무판정방법
SG89282A1 (en) 1999-05-28 2002-06-18 Kent Ridge Digital Labs Motion information extraction system
JP4015051B2 (ja) * 2002-04-22 2007-11-28 松下電器産業株式会社 カメラ補正装置
US7446798B2 (en) * 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
JP4533824B2 (ja) 2005-08-30 2010-09-01 株式会社日立製作所 画像入力装置及び校正方法
EP2166510B1 (de) * 2008-09-18 2018-03-28 Delphi Technologies, Inc. Verfahren zum Ermitteln der Position und der Orientierung einer in einem Fahrzeug angeordneten Kamera
CN101425181B (zh) * 2008-12-15 2012-05-09 浙江大学 一种全景视觉辅助泊车系统的标定方法
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
DE102010062297B4 (de) * 2010-12-01 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug
WO2012139636A1 (en) 2011-04-13 2012-10-18 Connaught Electronics Limited Online vehicle camera calibration based on road surface texture tracking and geometric properties
WO2012143036A1 (en) 2011-04-18 2012-10-26 Connaught Electronics Limited Online vehicle camera calibration based on continuity of features
EP2618305B1 (de) * 2012-01-20 2014-04-30 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
EP2858035B1 (en) * 2013-10-01 2020-04-22 Application Solutions (Electronics and Vision) Limited System, vehicle and method for online calibration of a camera on a vehicle
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012504889A (ja) * 2008-10-01 2012-02-23 ハイ キー リミテッド 画像取込装置の較正方法および較正システム
US20140350834A1 (en) * 2013-05-21 2014-11-27 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005605A (ko) * 2018-04-26 2021-01-14 콘티넨탈 오토모티브 게엠베하 카메라 고유 파라미터에 대한 온라인 평가

Also Published As

Publication number Publication date
US20170323459A1 (en) 2017-11-09
JP6411646B2 (ja) 2018-10-24
KR101949263B1 (ko) 2019-02-18
CN107004277B (zh) 2021-05-07
EP3189497B1 (en) 2021-06-23
EP3189497A1 (en) 2017-07-12
JP2017536613A (ja) 2017-12-07
DE102014117888A1 (de) 2016-10-13
CN107004277A (zh) 2017-08-01
US10163226B2 (en) 2018-12-25
WO2016087298A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
KR101949263B1 (ko) 자동차 카메라 시스템의 온라인 교정
US10567704B2 (en) Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
JP6354425B2 (ja) 車載カメラの取り付け姿勢検出方法およびその装置
JP7002007B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
CN111336951A (zh) 用于校准图像传感器的外部参数的方法和设备
WO2012145818A1 (en) Method and system for dynamically calibrating vehicular cameras
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
JP7445415B2 (ja) 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
CN109074480A (zh) 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
JP7311407B2 (ja) 姿勢推定装置、および、姿勢推定方法
JP2023520189A5 (ko)
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
CN114290995A (zh) 透明a柱的实现方法、装置、汽车及介质
JP2003323627A (ja) 車両検出装置及び方法
CN119445057B (zh) 一种机械车位的车位方向检测方法、装置、设备及介质
JP6334773B2 (ja) ステレオカメラ
CN120563632A (zh) 摄像头外参标定方法、装置、设备、车辆、介质及产品
CN121616501A (zh) 图像处理方法、装置和设备
CN116007518A (zh) 基于机器视觉的隔震结构支座形变监测方法、装置及计算机设备
JP2021032678A (ja) 姿勢推定装置、および、姿勢推定方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20220203

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8