KR20170139548A

KR20170139548A - 이미지 라인들로부터의 카메라 외부 파라미터들 추정

Info

Publication number: KR20170139548A
Application number: KR1020177030394A
Authority: KR
Inventors: 후이 게헤이루; 안드레아스 파나코스; 카를로스 실바; 데브 야다브
Original assignee: 어플리케이션 솔루션스 (일렉트로닉스 앤드 비전) 리미티드
Priority date: 2015-04-23
Filing date: 2016-04-08
Publication date: 2017-12-19
Anticipated expiration: 2036-04-08
Also published as: EP3086284A1; DE112016001150T5; JP2018519696A; KR102516326B1; US10719955B2; WO2016169790A1; JP6767998B2; US20180040141A1

Abstract

이미지 라인들로부터의 카메라 외부 파라미터들 추정
본 출원은 차량의 적어도 2개의 카메라들을 교정하는 방법을 제공한다. 차량은 기준 프레임을 갖는다. 방법은 각각의 카메라에 의해 장면의 이미지를 촬영하는 단계를 포함한다. 그 다음, 차량의 그라운드 평면은 이미지의 피처들에 따라 결정된다. 차량 기준 프레임의 원점은 나중에 결정된 그라운드 평면 상에 위치되는 것으로 정의된다. 카메라의 기준 프레임의 이동은 이후에 카메라 기준 프레임을 차량 기준 프레임과 정렬시키기 위해 결정된다.

Description

이미지 라인들로부터의 카메라 외부 파라미터들 추정{CAMERA EXTRINSIC PARAMETERS ESTIMATION FROM IMAGE LINES}

본 출원은 카메라 교정(calibration)에 관한 것이다. 특히, 본 출원은 카메라의 외부 교정 파라미터들을 결정하는 방법에 관한 것이다.

디지털 카메라는 광학 렌즈 및 이미지 센서를 가지며, 이는 복수의 픽셀 센서들을 포함한다. 광학 렌즈는 카메라의 전방에 배치되는 객체로부터 광선을 수신하기 위해 사용된다. 광학 렌즈는 이미지 센서로 이동하기 위해, 광선이 광학 렌즈를 통과하는 것을 허용한다.

교정 파라미터들은 카메라의 특성을 설명하기 위해 사용된다. 이들 교정 파라미터들은 내부 파라미터들 및 외부 파라미터들을 포함한다.

외부 파라미터들은 카메라 기준 프레임의 위치 및 방향을 월드(world)의 공지된 기준 프레임의 위치 및 방향과 정렬시키기 위해 카메라의 기준 프레임의 이동 및 회전을 정의하기 위해 사용된다. 월드는 카메라가 위치되는 영역을 의미한다. 외부 파라미터들의 값들은 카메라의 사용 또는 응용에 따라 변한다.

내부 파라미터들을 참조하면, 그들은 이미지 센서의 이미지의 픽셀 좌표들을 카메라 기준 프레임의 대응하는 좌표들과 링크시키거나 매핑하도록 동작한다. 좌표들은 종종 위치를 설명하기 위한 한 세트의 숫자들을 의미한다. 사실상, 내부 파라미터들은 광학 렌즈에서 광선의 좌표들을 이미지 센서의 픽셀 센서의 대응하는 좌표들에 관련시킨다.

일반적으로, 광선은 가시적 또는 비가시적일 수 있는 전자기 방사선을 의미한다. 비가시적 광선의 예는 적외선 광선이다.

센서 이미지의 픽셀 좌표들과 내부 파라미터들에 의해 정의되는 카메라 기준 프레임의 좌표들 사이의 이들 매핑은 종종 카메라 광학 렌즈가 광각 렌즈의 형태로 제공되는 경우 비선형이다. 광각 렌즈는 또한 어안 렌즈로 칭하여진다. 카메라를 생산한 공장에서 정의되는 내부 파라미터들은 종종 카메라의 메모리 유닛에 저장되는 고정된 값들을 갖는다.

내부 및 외부 파라미터들은 월드의 포인트의 좌표를 카메라의 이미지 센서의 대응하는 포인트의 좌표에 관련시키기 위해 함께 사용된다.

카메라의 외부 파라미터들을 결정하는 방법이 아래에 설명된다. 방법은 카메라의 이미지 센서에 의해 교정 타겟의 이미지를 검출하는 단계를 포함한다. 타겟은 일반적으로 미리 결정된 기하학적 구조를 가지며, 이는 타겟의 더 용이한 식별을 허용한다. 타겟은 모델 피팅 기술들을 사용하여 이미지로부터 검출될 수 있다.

외부 카메라 파라미터들을 결정하는 다른 접근법들은 수개의 카메라들로부터의 다수의 이미지들의 피처들을 매칭하는 것 또는 하나의 이동 카메라로부터의 다수의 이미지들의 피처들을 매칭하는 것을 포함한다.

카메라 교정에 관련한 수개의 간행물들이 아래에 설명된다.

설명은 한 쌍의 괄호 내에 둘러싸인 숫자 지정자에 의한 식별을 포함한다. 예를 들어, 이와 같은 참고 문헌은 "참조 [1]" 또는 단순히 "[1]"을 인용함으로써 식별될 수 있다. 다수의 참고 문헌들은 하나보다 많은 지정자를 둘러싼 한 쌍의 괄호, 예를 들어 "[2, 4]"에 의해 식별될 것이다. 각각의 지정자에 대응하는 간행물들의 목록은 간행물들의 설명의 끝에 표시된다.

참고 문헌들

[1] Joao P. Barreto. "중앙 투영 시스템들에 대한 통합된 기하학적 표현", 컴퓨터 비전 및 이미지 이해, 103(3), 207-217 페이지. 2006년 9월.

[2] FA Andal

, G Taubin, S Goldenstein. "단일-뷰 사진측량을 위한 투영 평면 상에서의 세그먼트 클러스터링에 의한 소실점들 검출". 정보 법의학 및 보안(WIFS), IEEE 국제 워크숍, 2010.

[3] E. Lutton, H. Maitre, J. Lopez-Krahe. "허프 변환을 사용한 소실점들의 결정에 대한 기여". 패턴 분석 및 머신 인텔리전스 아카이브에 대한 IEEE 트랜잭션들, 1994.

[4] P. Palmer 및 A. Tai, "최적화된 소실점 탐지기", British Mach. Vis. Conf., 1993, 529-538 페이지.

[5] Joao P. Barreto 및 Kostas Daniilidis. "방사형 왜곡의 광역 다중 카메라 교정 및 추정". 전방향 비전, 카메라 네트워크들, 및 비표준 카메라들에 대한 Int. work, 프라하, 2004년 5월.

Barreto[1]는 방사형 왜곡(굴절 시스템들)을 갖는 또는 갖지 않는 렌즈들뿐만 아니라 거울들 및 렌즈들(반사굴절)의 조합들을 포함하는, 단일 효과 뷰포인트를 갖는 투영 시스템들에 대한 통합된 기하학적 표현을 정의한다.

Andal

등[2]은 단일 이미지를 사용하는 효과적인 소실점 검출기를 제공한다. 방법은 자동 세그먼트 클러스터링을 사용하여, 건축 환경에 적용되고 장면의 수직 방향 및 그라운드 평면에 대한 소실선을 복구한다.

Lutton 등[3]은 장면의 직교 방향들 및 로컬 소실점들을 검출한다. 알고리즘은 2개의 캐스케이드식 허프 변환들을 기반으로 한다.

Palmer 등[4]은 고전적인 허프 변환 알고리즘을 사용하여 장면에서 라인 세그먼트들의 검출을 도시한다. 이미지의 소실점들은 누적(accumulation)에서의 스무스 보팅 커널(smooth voting kernel)을 사용하여 라인 교차점들로부터 결정되고 후처리(post process)는 소실점 어큐뮬레이터에서 샘플링 에러들을 제거하기 위해 제공된다.

Barreto 등[5]은 넓은 영역에 분포되는 카메라들을 교정하는 방법의 예를 제공한다. 뷰들 사이의 대응들은 카메라들의 전방에서 다양한 위치로 LED를 이동시킴으로써 획득되는 포인트들이다. 방법은 다수의 뷰들에 걸쳐 투영 매트릭스 및 방사형 왜곡을 동시에 복구한다.

본 출원의 목적은 카메라의 교정 파라미터들을 결정하는 개선된 방법을 제공하는 것이다.

이들 교정 파라미터들은 내부 파라미터들 및 외부 파라미터들을 포함하고, 그들은 카메라의 특성을 설명하기 위해 사용된다.

응용은 차량의 적어도 2개의 카메라들을 교정하는 방법을 제공한다. 차량은 사람 또는 물건들을 운반하기 위해 사용된다. 카메라들을 참조하면, 그들은 차량의 일부들에 고정된다. 일반적으로, 그들은 차량의 전방, 측면들, 또는 후방에 부착될 수 있다. 카메라들은 또한 영역의 장면에 지향될 수 있으며, 여기서 차량은 카메라들에 의해 촬영된 이미지들 또는 픽쳐들이 공통 객체들을 갖도록 배치된다. 즉, 카메라들의 이미지들은 오버랩된다.

방법은 각각의 카메라가 장면의 이미지를 촬영하는 단계를 포함한다. 이러한 방법은 다른 방법들과 달리, 1개의 카메라 이미지만이 작동할 것을 요구한다.

그 다음, 차량의 그라운드 평면은 카메라 이미지의 피처들에 따라 결정된다. 그라운드 평면은 차량이 정지하고 있는 그라운드를 의미한다. 그라운드는 차량을 지지하고 있다.

그 다음, 차량의 기준 프레임의 원점은 결정된 그라운드 평면 상에 위치되는 것으로 정의된다. 차량 기준 프레임은 교점을 갖는 3개의 직교 축들을 포함할 수 있으며, 여기서 원점은 교점에 배치된다.

일반적으로, 기준 프레임은 또한 기준으로 칭하여진다. 차량 기준 프레임은 차량의 위치 및 방향을 설명한다. 기준 프레임은 일반적으로 좌표 시스템의 형태로 제공된다.

이 후에, 카메라 기준 프레임의 위치를 차량 기준 프레임의 대응하는 위치와 정렬시키기 위한 카메라의 기준 프레임의 이동이 결정된다. 일 예에서, 이동은 카메라 기준 프레임의 원점을 차량 기준 프레임의 원점과 정렬시키도록 동작한다.

그 다음, 카메라 기준 프레임의 이동의 이러한 결정은 카메라의 교정 타겟의 이미지 및 하나 이상의 다른 카메라들의 교정 타겟의 이미지에 따라 수행된다. 이들 다른 카메라들은 제1 카메라의 부근에 제공된다.

차량에서 카메라의 초기 또는 이전 위치들은 종종 알려진다.

이러한 방법은 수개의 장점들을 제공한다.

이러한 방법은 카메라 외부 파라미터들을 결정하거나 교정하기 위해 각각의 카메라로부터 장면의 이미지의 단일 프레임만을 필요로 한다. 이것은 이들 다수의 이미지들로부터 카메라 교정 파라미터들을 도출하기 위해 1개의 카메라로부터 다수의 이미지들을 사용하는 다른 방법들과 상이하며, 이는 복잡하다. 이들 다수의 이미지들로부터 카메라 위치 정보를 결정하는 것이 여전히 가능할 수 있지만, 이들 이미지들로부터 카메라 스케일 팩터 정보(scale-factor information)를 결정하는 것은 어렵다.

이러한 방법은 또한 단일 프레임만을 필요로 함에 따라 실시간으로 작동할 수 있다. 카메라 스케일 팩터 정보는 서라운드 뷰 시스템에서 카메라 위치의 정보에 의해 제공될 수 있다.

이러한 방법은 또한 카메라의 임의의 시프트를 정정하도록 동작한다. 즉, 이러한 방법은 카메라 위치의 변경들 또는 시프트들에 의해 영향을 받지 않는다. 카메라 위치는 카메라 하우징 열화 및 낮은 차량 타이어 압력과 같은 요인들로 인해 변할 수 있다. 카메라가 차의 범퍼에 내장되는 경우, 카메라 위치는 다른 차량과 차의 충돌에 의해 시프트될 수 있다. 다른 한편, 고정된 교정 타겟들을 사용하는 다른 방법들은 카메라 위치들의 변경들에 의해 영향을 받는다. 이와 같은 방법들은 또한 교정 타겟들의 위치들의 변경들에 의해 영향을 받는다. 레이저에 의해 투영함으로써 제공되는 교정 타겟의 위치조차도 또한 시간에 걸쳐 변할 수 있다. 이때, 이들 다른 방법들은 카메라 위치의 변경들 및 타겟 위치들의 변경들을 보상하기 위해 미리 결정된 간격들에서 다시 수행될 필요가 있으며, 추가적인 자원들을 차지한다.

일반적으로, 이러한 방법은 비디오 또는 이미지 시퀀스들로 확장될 수 있다.

일반적으로, 피처는 이미지의 픽셀 또는 포인트, 에지, 및/또는 라인을 포함할 수 있다.

유사하게, 교정 타겟은 또한 이미지의 픽셀 또는 포인트, 에지, 및/또는 라인을 포함할 수 있다.

차량의 그라운드 평면의 결정은 그라운드 평면의 레벨을 결정하는 단계를 포함할 수 있다. 그라운드 평면이 일반적으로 수평임에 따라, 그라운드 평면의 레벨은 그라운드 평면을 정의하기에 충분하다.

차량의 그라운드 평면의 결정은 허프 어큐뮬레이터 알고리즘을 사용하여 행하여 질 수 있다.

허프 어큐뮬레이터 알고리즘은 허프 어큐뮬레이터의 피크 및 법선 벡터와 카메라의 축 사이의 최소 각도를 선택하는 단계를 포함할 수 있다.

카메라 기준 프레임의 이동을 결정하는 단계는 스케일 및 회전 불변 매칭 알고리즘을 사용하여 카메라들로부터의 교정 타겟의 이미지들을 매칭하는 단계 및 카메라의 현재 위치를 결정하기 위해 교정 타겟들의 매칭의 임의의 미스매치를 사용하는 단계를 포함할 수 있다.

방법은 또한 카메라 기준 프레임의 방향을 차량 기준 프레임의 방향과 정렬시키기 위해 카메라의 기준 프레임의 회전을 결정하는 단계를 포함할 수 있다.

카메라 기준 프레임의 회전의 이러한 결정은 종종 차량의 카메라들의 초기 외부 교정으로부터 도출된다. 초기 카메라 외부 교정은 카메라들을 갖는 차량을 생산한 공장에서 행하여질 수 있다.

응용은 또한 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품은 그 안에 컴퓨터 실행가능 프로그램 코드 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 포함한다.

컴퓨터 실행가능 프로그램 코드 명령어들은 카메라 이미지를 수신하고, 카메라 이미지의 피처들에 따라 차량의 그라운드 평면을 결정하고, 차량의 기준 프레임의 원점을 결정된 그라운드 평면 상에 위치되는 것으로서 정의하고, 카메라 기준 프레임의 위치를 차량 기준 프레임의 대응하는 위치와 정렬시키기 위해 카메라의 기준 프레임의 이동을 결정하는 프로그램 코드를 정의한다.

응용은 또한 카메라 제어 유닛을 제공한다. 카메라 제어 유닛은 2개 이상의 카메라 포트들 및 디지털 프로세서를 포함한다.

특히, 각각의 카메라 포트는 차량의 대응하는 카메라와 연결하도록 의도된다. 차량은 사람 또는 물건들을 운반하기 위해 사용된다. 카메라는 장면의 적어도 하나의 이미지를 촬영하기 위해 제공된다.

프로세서는 카메라 포트들로부터 이미지 데이터를 수신하기 위해 카메라 포트들과 연결하도록 의도된다.

사용에 있어서, 카메라 포트들은 장면의 이미지의 데이터를 수신하도록 조정되거나 구성되며, 이는 카메라들의 전방에 위치된다.

프로세서는 각각의 카메라 포트로부터의 장면의 하나 이상의 이미지들의 데이터의 피처들에 따라 차량의 그라운드 평면을 결정하도록 조정된다. 피처들은 카메라 이미지의 포인트, 픽셀 또는 라인을 의미할 수 있다.

그 다음, 프로세서는 차량의 기준 프레임의 원점을 결정된 그라운드 평면 상에 위치되는 것으로서 정의한다. 그라운드는 차량 기준 프레임에 대해 본질적으로 안정적이고 일정한 기준을 제공하며, 이는 차량보다 더 안정적이거나 일정하다. 차량은 예를 들어 차량 타이어 압력의 변화들로 인해 시프트될 수 있다.

프로세서는 나중에 카메라 기준 프레임의 위치를 차량 기준 프레임의 대응하는 위치와 정렬시키기 위해, 이미지 데이터를 제공한 카메라의 기준 프레임의 이동을 결정한다.

카메라 기준 프레임의 이동의 결정은 하나의 카메라 포트로부터의 교정 타겟의 이미지 데이터 및 다른 카메라 포트로부터의 교정 타겟의 다른 이미지 데이터에 따라 수행된다. 각각의 카메라 포트는 차량 상에 장착되는 하나의 카메라와 연결된다.

응용들의 다른 측면들이 아래에 제공된다.

피처는 이미지의 포인트, 에지, 또는 라인으로 구성되는 그룹으로부터 선택되는 하나 이상의 객체들을 의미할 수 있다.

프로세서는 또한 허프 어큐뮬레이터 알고리즘을 사용하여 차량의 그라운드 평면을 결정하도록 종종 더 조정된다.

응용의 일 측면에서, 프로세서는 카메라 기준 프레임의 방향을 차량 기준 프레임의 방향과 정렬시키기 위해 카메라의 기준 프레임의 회전을 결정하도록 더 조정된다.

응용은 또한 카메라 모듈을 제공한다. 카메라 모듈은 2개 이상의 카메라들 및 상술한 카메라 제어 유닛을 포함한다. 카메라들은 차량에 부착되도록 의도된다. 카메라 제어 유닛은 카메라 포트들을 포함하며, 이들은 각각의 카메라들과 연결된다.

응용은 또한 차량에 상술한 카메라 모듈을 제공하며, 여기서 카메라 모듈의 카메라들 및 프로세서는 차량에 부착된다.

요약하면, 응용은 차량의 복수의 카메라들의 외부 파라미터를 결정하는 개선된 방법을 제공한다. 이들 카메라들은 서라운드 뷰 시스템의 일부이다.

차량은 사람 또는 물건들을 운반하도록 의도된다. 차량은 또한 영역의 그라운드 상에 배치되며, 이는 객체들을 갖는다. 카메라들은 차량과 연결되고 이에 고정된다. 카메라들은 또한 카메라들에 의해 촬영되거나 캡처되는 이미지들이 공통된 또는 오버랩된 부분들을 갖도록 영역의 객체들에 지향된다.

방법은 각각의 카메라가 영역의 장면의 이미지를 촬영하는 단계를 포함한다. 다시 말해서, 각각의 카메라는 장면의 객체들의 하나의 픽쳐 프레임을 기록한다. 이들 이미지들은 공통 객체들을 갖는다.

이 후에, 그라운드의 높이 또는 레벨은 이미지들의 라인들에 따라 추정되거나 결정된다. 그라운드가 종종 수평면에 배치되므로, 그라운드의 레벨은 또한 그라운드를 본질적으로 정의한다.

일반적으로, 이미지들의 피처들은 이미지들에서 상술한 라인들을 대체할 수 있다. 피처들의 예들은 이미지의 픽셀 또는 포인트, 에지, 또는 라인을 포함한다. 라인의 일 예는 도로 표시이다.

그 다음, 차량의 기준 프레임은 결정된 그라운드 상에 배치되는 것으로 정의된다.

이 다음에, 카메라의 방향을 정의된 차량 기준 프레임의 방향과 정렬시키기 위해 요구되는 각각의 카메라의 회전이 결정된다.

카메라를 정의된 차량 기준 프레임으로 위치시키기 위해 요구되는 각각의 카메라의 이동이 이후에 결정된다. 이것은 카메라들의 이미지들에서 공통 피처들을 식별하는 단계에 의해 행하여진다. 그 다음, 공통 피처들은 카메라의 상대적인 위치들을 결정하기 위해 사용된다. 이 후에, 모든 카메라들을 정의된 차량 기준 프레임에 위치시키기 위해 요구되는 카메라들의 이동들이 결정된다.

카메라의 위의 회전 및 이동은 차량 기준 프레임에 대한 카메라의 기준 프레임을 설명하기 위해 사용될 수 있다.

이때, 카메라의 이동 및 회전은 카메라의 외부 파라미터들의 역할을 한다.

도 1은 서라운드 뷰 시스템을 갖는 차량을 예시한다.
도 2는 기준 프레임을 갖는 도 1의 차량을 예시한다.
도 3은 도 1의 차량의 카메라들의 외부 파라미터들을 결정하는 방법의 흐름도를 예시한다.
도 4는 도 1의 차량의 카메라에 의해 캡처되는 장면의 이미지를 예시한다.
도 5는 도 3의 카메라에 대응하는, 연산 모델로서의 역할을 하는 단위 구체를 예시한다.
도 6은 도 4의 이미지의 포인트들을 갖는 도 5의 단위 구체를 예시하며, 여기서 포인트들은 단위 구체의 표면 상으로 투영된다.
도 7은 이미지의 투영된 포인트들을 통과하는 라인들 상에 배치되는 소실점을 예시한다.

이하의 설명에서, 상세들은 응용의 실시예들을 설명하기 위해 제공된다. 그러나, 실시예들은 이와 같은 상세들 없이 실시될 수 있다는 것이 당업자에게 명백할 것이다.

실시예들의 일부 부분들은 유사한 부분들을 갖는다. 유사한 부분들은 동일한 명칭들 또는 유사한 부분 번호들을 가질 수 있다. 하나의 유사한 부분의 설명은 또한 적절한 경우에 다른 유사한 부분들에 참조로 적용되며, 이것에 의해 본 개시를 제한하는 것 없이 텍스트의 반복을 감소시킨다.

도 1은 서라운드 뷰 시스템(3)을 갖는 차량(1)을 도시한다. 서라운드 뷰 시스템(3)은 4개의 디지털 카메라들(5) 및 카메라들(5)에 전기적으로 연결되는 프로세서(7)를 포함한다.

차량(1)은 객체들을 갖는 영역의 그라운드(9) 상에 위치된다. 그라운드(9)는 수평면을 갖는다. 객체들은 도면에 도시되지 않는다.

도 2에 도시된 바와 같이, 차량(1)은 전륜 축을 갖는다. 평면 상의 전륜 축의 투영은 그라운드 평면을 정의하는 역할을 한다. 차량(1)은 또한 좌표 시스템(13)을 갖는 기준 프레임(12)을 갖는다. 좌표 시스템(12)은 3개의 직교 축들(14, 16, 및 18) 및 원점(20)을 포함한다.

원점(20)은 3개의 직교 축들(14, 16, 및 18)의 교차점에 위치된다.

직교 축들은 x-축(14), y-축(16), 및 z-축(18)을 포함한다. x-축(14)은 차량(1)의 후방으로 지시된다. y-축(16)은 차량(1)의 우측면으로 지시된다. z-축(18)은 상방으로 지시된다.

4개의 카메라들(5)을 참조하면, 그들은 차량(1)의 미리 결정된 위치들에 위치되며, 여기서 차량(1)에 대한 카메라들(5)의 상대적인 위치들은 공지되거나 미리 결정된다. 카메라들(5)은 영역의 장면에 지향되거나 지시된다. 카메라들(5)의 이미지들은 오버랩되거나 공통된 객체들 또는 피처들을 갖는다.

일반적으로, 서라운드 뷰 시스템(3)은 4개의 카메라들 대신에, 2개 이상의 카메라들을 가질 수 있다.

기능상, 차량(1)은 사람 및 물건들을 운반하기 위해 사용된다. 카메라들(5)은 객체들의 픽쳐들 및 이미지들을 촬영하고 이미지들의 데이터를 프로세서(7)에 송신하기 위해 사용된다. 프로세서(7)는 이미지 데이터를 처리하기 위해 사용된다.

도 3은 아래에 설명되는 차량(1)의 각각의 카메라(5)의 외부 파라미터들을 결정하는 방법의 흐름도(25)를 도시한다.

외부 파라미터들은 각각의 카메라(5)에 대한 기준 프레임을 정의한다. 특히, 외부 파라미터들은 카메라 기준 프레임의 방향 및 위치를 차량 기준 프레임(12)의 방향 및 위치와 정렬시키기 위한 카메라(5)의 회전 및 이동을 포함한다.

흐름도(25)는 각각의 카메라(5)가 차량(1)이 위치되는 영역의 장면의 단일 이미지 또는 하나의 픽쳐 프레임을 촬영하는 단계(28)를 포함한다. 카메라(5)의 장면의 이미지(29)는 도 4에 예시된다.

일반적으로, 카메라(5)는 일련의 이미지를 포함하는 비디오 레코딩을 취할 수 있다. 이때, 이러한 방법은 비디오 레코딩의 하나의 이미지 상에만 적용된다.

그 다음, 이미지 데이터는 프로세서(7)에 송신된다.

흐름도(25)는 또한 프로세서(7)가 차량(1)의 그라운드(9) 또는 그라운드 평면의 레벨을 결정하는 단계(31)를 포함하며, 이는 단계(28) 이후에 행하여진다. 차량(1)의 그라운드 평면은 나중에 추정되거나 이미지들의 라인들에 따라 결정된다.

초점 길이 및 다른 렌즈 파라미터들을 포함하는 카메라(5)의 내부 파라미터들은 카메라(5)의 이미지의 포인트들(32)을 카메라(5)의 렌즈를 통과하는 대응하는 광선에 매핑하거나 관련시키기 위해 프로세서(7)에 의해 사용된다. 각각의 포인트(32)는 카메라(5)의 이미지 센서 픽셀에 대응한다.

그 다음, 단위 벡터들이 카메라(5)의 외부로부터 카메라 렌즈를 통해 들어오는 이들 광선들을 나타내기 위해 프로세서(7)에 의해 선택된다. 단위 벡터들은 또한 단위 구체(35)를 정의하며, 이는 도 5에 예시된다. 각각의 단위 구체(35)는 하나의 카메라(5)에 관련된다.

그 다음, 이미지 포인트들(32)은 도 6에 도시된 바와 같이, 프로세서(7)에 의해 단위 구체(35) 상으로 매핑되거나 투영된다. 특히, 이미지의 라인의 에지의 각각의 포인트(32)는 단위 구체(35) 상으로 투영된다.

그 다음, 프로세서(7)는 단위 구체(35) 상의 각각의 이미지의 라인들을 검출하기 위해 소프트웨어 에지 검출기를 사용한다.

상세하게, 단위 구체(35) 상의 각각의 4개의 이미지-포인트들에 대해, 단위 구체(35)의 표면 상에 한 세트의 원 라인들이 정의된다.

2개의 이미지-포인트들은 구체 표면(37) 상에 하나의 원을 정의하기에 충분하다.

그 다음, 4개의 이미지-포인트들은 구체 표면(37) 상에 적어도 한 세트의 2개의 원들을 정의한다. 세트는 2개의 원들이 2개의 포인트들에서 교차하는 것을 특징으로 하며, 여기서 이들 교점들은 도 7에 예시된 바와 같이, 소실점을 정의하는 후보의 역할을 할 수 있다. 소실점은 라인들의 교차점에 배치되며, 여기서 이들 라인들은 이들 교점들을 통과한다.

구체 표면의 4개의 원들은 4개의 교점들(i1, i2, i3, 및 i4)을 제공하며, 이는 단위 구체(35)를 통과하는 평면(P)을 정의한다. 따라서, 단위 구체(35)를 통과하는 평면을 정의하기 위한 교점들의 최소 수는 4개이다.

동질적인 표현을 사용하면, 3D(three-dimensional) 공간에서의 평면은 다음과 같이 정의된다.

평면은 다음과 같이 표현될 수 있다.

여기서

이고

이다.

이러한 형태에서,

는 원점으로부터 평면의 거리이고

는 평면에 대한 법선 벡터이다.

각각의 평면은 다음과 같이 표현된다.

이미지에서 각각의 4개의 에지-포인트들에 대해, 다음의 3개의 평면들이 가능하다.

이때, 3개의 가능한 평면들은 허프 공간에 누적된다.

허프 어큐뮬레이터의 하나의 피크 및 법선 벡터와 카메라 y-축(16) 사이의 최소 각도는 이후에 프로세서에 의해 그라운드 평면이 되도록 선택된다. 선택된 피크는 아마도 가장 높은 강도를 갖는다.

일반적으로, 피처들은 라인들일 수 있으며, 여기서 피처들은 포인트들, 에지들, 또는 라인들을 포함한다.

흐름도(25)는 또한 프로세서(7)가 차량 기준 프레임(12)의 원점(20)을 차량(1)의 결정된 그라운드 평면 상에 위치되는 것으로서 정의하는 단계(40)를 포함하며, 이는 단계(28) 후에 그리고 단계(31) 후에 수행된다.

특히, 원점(20) 및 y-축(16)은 그라운드(9)의 라인 상에 위치되며, 여기서 라인은 그라운드 평면 상의 차량(1)의 전륜 축의 수직 투영에 의해 정의된다.

위의 단계(40)는 프로세서(7)가 카메라 기준 프레임의 방향을 차량 기준 프레임(12)의 방향과 정렬시키기 위해 카메라 기준 프레임의 회전을 산출하거나 결정하는 단계(45)로 이어진다.

카메라 기준 프레임의 이러한 회전은 초기 카메라 외부 교정으로부터 도출될 수 있으며, 이는 카메라 기준 프레임의 회전을 포함한다. 초기 카메라 외부 교정은 일반적으로 카메라(5)를 갖는 차량을 생산한 공장에서 행하여 진다.

상세하게는, 차량 기준 프레임에서 그라운드 평면에 대한 법선은 다음과 같이 정의된다.

따라서, 그라운드 평면을 추정하기 위해 차량 외부

를 적용함으로써, 다음과 같은 그라운드 평면 법선

를 획득할 것이다.

이러한 방정식은 다음과 같이 재작성되도록 행하여지며:

여기서

는 의사역행렬이다.

행렬(R)은 나중에 각각의 축의 회전들을 획득하기 위해 다음과 같이 분해된다.

흐름도(25)는 단계(45) 이후에, 프로세서(7)가 카메라 기준 프레임의 위치를 차량 기준 프레임(12)의 위치와 정렬시키기 위해 각각의 카메라 기준 프레임의 이동을 산출하거나 결정하는 단계(50)가 행하여지는 것을 포함한다.

이러한 단계(50)는 카메라들(5)의 이미지들의 교정 피처들을 사용하여 행하여진다.

실제로, 카메라(5)의 위치는 시간에 걸쳐 변할 수 있다. 이러한 단계(50)는 카메라 위치의 임의의 변경을 결정하도록 의도되며, 이것에 의해 카메라(5)의 더 정확한 위치를 제공한다.

이러한 카메라 위치의 변경의 산출은 회귀 기술들을 사용하여 행하여진다.

차량(1)에 대한 카메라들(5)의 위치들 및 차량(1)의 치수들은 이전에 공지되거나 결정된다.

프로세서(7)는 나중에 코너 검출 알고리즘을 사용하여 카메라(5)의 각각의 이미지에서 교정 포인트들의 세트를 검출하거나 결정한다. 미리 결정된 교정 포인트들의 세트는 또한 라인들의 차단 또는 다른 방법들을 사용하여 결정될 수 있다.

프로세서(7)는 이후에 카메라 기준 프레임의 미리 결정된 회전을 이용하고 이전에 기록된 카메라 위치를 이용하여 차량 기준 프레임(12)에 이들 검출된 교정 포인트들을 투영하며, 이는 카메라 기준 프레임의 초기 이동을 결정하기 위해 사용된다.

프로세서(7)는 또한 차량 기준 프레임에 인접한 카메라들(5)로부터의 교정 포인트들을 투영한다.

프로세서(7)는 나중에 스케일 및 회전 불변 매칭 알고리즘을 사용하여 상기 카메라(5)로부터의 투영된 교정 포인트들을 인접한 카메라(5)로부터의 투영된 교정 포인트들과 매칭시킨다.

이때, 교정 포인트들의 이러한 매칭의 임의의 에러는 각각의 카메라(5)의 새로운 위치를 추정하거나 결정하기 위해 사용된다.

일반적으로, 로봇들 및 머신 비전과 같은 다른 디바이스들은 또한 카메라들(5)을 교정하는 이러한 방법을 적용할 수 있다.

위의 설명이 많은 특이성을 포함하고 있지만, 이것은 실시예들의 범위를 제한하는 것이 아니라 단지 예측 가능한 실시예들의 예시를 제공하는 것으로 해석되어야 한다. 실시예들의 상기 진술된 장점들은 실시예들의 범위를 특별히 제한하는 것이 아니라 설명된 실시예들이 실행되는 경우 가능한 성과들을 단지 설명하기 위한 것으로서 해석되어야 한다. 따라서, 실시예들의 범위는 주어진 예들보다는 오히려 청구항들 및 그들의 등가물들에 의해 결정되어야 한다.

1 차량
3 서라운드 뷰 시스템
5 카메라
7 프로세서
9 그라운드
12 기준 프레임
13 좌표 시스템
14 x-축
16 y-축
18 z-축
20 원점
25 흐름도
28 단계
29 이미지
31 단계
32 이미지 포인트
35 단위 구체
37 구체 표면
40 단계
45 단계
50 단계
i1 교점
i2 교점
i3 교점
i4 교점

Claims

차량의 적어도 2개의 카메라들을 교정하는 방법으로서, 상기 방법은,
각각의 카메라에 의한 장면의 이미지를 촬영하는 단계,
상기 이미지의 피처들에 따라 상기 차량의 그라운드 평면을 결정하는 단계,
상기 차량의 기준 프레임의 원점을 상기 그라운드 평면 상에 위치되는 것으로 정의하는 단계, 및
상기 카메라 기준 프레임의 위치를 상기 차량 기준 프레임의 대응하는 위치와 정렬시키기 위해 상기 카메라의 기준 프레임의 이동을 결정하는 단계를 포함하며,
상기 카메라 기준 프레임의 상기 이동의 상기 결정 단계는 상기 카메라로부터의 교정 타겟의 이미지 및 상기 카메라의 부근에 제공되는 적어도 하나의 다른 카메라로부터의 교정 타겟의 이미지에 따라 수행되는 방법.
제1항에 있어서,
상기 피처는 상기 이미지의 포인트, 에지 또는 라인으로 구성되는 그룹으로부터 선택되는 적어도 하나의 객체를 포함하는 방법.
제1항 또는 제2항에 있어서,
상기 교정 타겟은 상기 이미지의 포인트, 에지 또는 라인으로 구성되는 그룹으로부터 선택되는 적어도 하나의 객체를 포함하는 방법.
제1항 내지 제3항 중 한 항에 있어서,
상기 차량의 상기 그라운드 평면의 상기 결정 단계는 상기 그라운드 평면의 레벨을 결정하는 단계를 포함하는 방법.
제1항 내지 제4항 중 한 항에 있어서,
상기 차량의 상기 그라운드 평면의 상기 결정 단계는 허프 어큐뮬레이터 알고리즘을 사용하여 행하여지는 방법.
제5항에 있어서,
상기 허프 어큐뮬레이터 알고리즘은 허프 어큐뮬레이터의 피크 및 법선 벡터와 상기 카메라의 축 사이의 최소 각도를 선택하는 단계를 포함하는 방법.
제1항 내지 제6항 중 한 항에 있어서,
상기 카메라 기준 프레임의 상기 이동의 상기 결정 단계는,
- 스케일 및 회전 불변 매칭 알고리즘을 사용하여 상기 카메라들로부터의 상기 교정 타겟의 상기 이미지들을 매칭하는 단계 및
- 상기 카메라의 위치를 결정하기 위해 상기 교정 타겟들의 상기 매칭의 미스매치를 사용하는 단계를 포함하는 방법.
제1항 내지 제7항 중 한 항에 있어서,
상기 카메라 기준 프레임의 방향을 상기 차량 기준 프레임의 방향과 정렬시키기 위해 상기 카메라의 기준 프레임의 회전을 결정하는 단계를 더 포함하는 방법.
제8항에 있어서,
상기 카메라 기준 프레임의 상기 회전의 상기 결정 단계는 상기 차량의 상기 카메라들의 초기 외부 교정으로부터 도출되는 방법.
컴퓨터 프로그램 제품으로서,
컴퓨터 실행가능 프로그램 코드 명령어들이 저장된 컴퓨터 판독가능 저장 매체를 포함하며, 상기 컴퓨터 실행가능 프로그램 코드 명령어들은
- 카메라 이미지를 수신하고,
- 상기 카메라 이미지의 피처들에 따라 차량의 그라운드 평면을 결정하고,
- 상기 차량의 기준 프레임의 원점을 상기 그라운드 평면 상에 위치되는 것으로 정의하고,
- 상기 카메라 기준 프레임의 위치를 상기 차량 기준 프레임의 대응하는 위치와 정렬시키기 위해 상기 카메라의 기준 프레임의 이동을 결정하는 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
카메라 제어 유닛으로서,
적어도 2개의 카메라 포트들 - 각각의 카메라 포트는 대응하는 차량 카메라에 부착되어 연결되도록 제공됨 - 및
적어도 2개의 카메라 포트들로부터의 이미지 데이터를 처리하는 프로세서를 포함하며,
상기 프로세서는
- 상기 카메라 포트들 중 적어도 하나로부터의 상기 이미지 데이터의 피처들에 따라 차량의 그라운드 평면을 결정하는 단계,
- 상기 차량의 기준 프레임의 원점을 상기 그라운드 평면 상에 위치되는 것으로 정의하는 단계, 및
- 상기 카메라 기준 프레임의 위치를 상기 차량 기준 프레임의 대응하는 위치와 정렬시키기 위해 카메라의 기준 프레임의 이동을 결정하는 단계에 대해 조정되며,
상기 카메라 기준 프레임의 상기 이동의 상기 결정 단계는 하나의 카메라 포트로부터의 교정 타겟의 이미지 데이터 및 다른 카메라 포트로부터의 교정 타겟의 이미지 데이터에 따라 수행되는 카메라 제어 유닛.
제11항에 있어서,
상기 프로세서는 허프 어큐뮬레이터 알고리즘을 사용하여 상기 차량의 그라운드 평면을 결정하는 단계에 대해 더 조정되는 카메라 제어 유닛.
제11항 또는 제12항에 있어서,
상기 프로세서는 상기 카메라 기준 프레임의 방향을 상기 차량 기준 프레임의 방향과 정렬시키기 위해 상기 카메라의 기준 프레임의 회전을 결정하는 단계에 대해 더 조정되는 카메라 제어 유닛.
카메라 모듈로서,
차량에 부착되는 적어도 2개의 카메라들 및 상기 제11 내지 제13항 중 한 항에 따른 카메라 제어 유닛 - 상기 카메라 제어 유닛의 카메라 포트들은 상기 카메라들과 연결됨 -을 포함하는 카메라 모듈.
제14항에 따른 카메라 모듈을 갖는 차량으로서,
상기 카메라 모듈의 적어도 2개의 카메라들 및 프로세서가 상기 차량에 부착되는 차량.