KR20140102174A

KR20140102174A - 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치

Info

Publication number: KR20140102174A
Application number: KR1020147002888A
Authority: KR
Inventors: 다쿠야 야기; 교지 요시노; 고지 이나가키
Original assignee: 다이니폰 인사츠 가부시키가이샤
Priority date: 2011-12-19
Filing date: 2012-12-18
Publication date: 2014-08-21
Anticipated expiration: 2032-12-18
Also published as: JP5966341B2; CN104011767A; US9269124B2; JP2013127739A; KR102126241B1; CN104011767B; TWI574224B; TW201342306A; WO2013094588A1; US20140314336A1

Abstract

광각 렌즈 또는 전방위 미러를 이용한 촬영으로 얻어진 왜곡 영상 S를 취득하고, 왜곡 화상에서 일부분을 잘라낸 영역 E를 꺼내기 위한 잘라내기 기준점 P를 설정하고 잘라내기 기준점에 따라 잘라낸 영역을 설정하고, 왜곡 영상 촬영의 시점을 기점으로 잘라낸 기준점에 대응하는 시선 벡터 n을 설정하고, 잘라낸 기준점에서 소정의 거리 잘라낸 영역을 이동시켜, 시선 방향에 따라 왜곡 화상에서 평면 정칙 화상 T'로 변환하는 화상 변환에 의해 이동된 잘라낸 영역 E'를 변환한다.

Description

화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING DEVICE, STORAGE MEDIUM, AND IMAGE DISPLAY DEVICE}

본 발명은, 광각 렌즈 또는 전방위(全方位) 미러를 사용한 촬영된 화상을 화상 처리하는 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치에 관한 것이다.

광각 렌즈 또는 전방위 미러를 사용하는 카메라는, 차량의 운전자에게 있어 장애물이나 다양한 상황이 확인 가능하도록 사용되고 있다. 예를 들면, 특허 문헌 1에는, 차량 후방의 낮은 위치에 광각 렌즈의 카메라를 구비하고, 높은 위치에 협각 렌즈의 카메라를 구비하고, 차량 상태 검출 장치가 차량의 상태에 따라 필요한 화상을 전환 표시하는 차량 후방 표시 장치가 개시되어 있다.

(선행 기술 문헌)

특허 문헌 1: 일본공개특허 제2003－212041호 공보

그러나, 특허 문헌 1의 기술에서는, 광각 렌즈의 카메라 및 협각 렌즈의 카메라의 2대의 카메라에 의해 촬상(撮像)한 화상을 1매의 화상으로 표시할 때, 2매의 화상을 합성하거나 전환하거나, 특히 광각 렌즈의 카메라로부터의 화상을 위화감이 없는 화상으로 하기 위한 화상의 조정을 하거나 하는 것이 필요하다. 또한, 2대의 카메라가 필요하므로, 비용이 든다.

그래서, 본 발명은 상기 문제점 등에 감안하여 이루어진 것이며, 그 과제의 일례는, 장애물 등의 상황이 확인 가능하도록, 1대의 카메라에 의해 촬영된 왜곡 화상으로부터, 보다 자연스러운 화상을 생성하는 화상 처리 장치 등을 제공하는 것을 목적으로 한다.

상기의 과제를 해결하기 위해, 청구항 1에 기재된 발명은, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단, 상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단, 상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단, 상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단, 상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단, 상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단을 포함하는 것을 특징으로 한다.

또한, 청구항 2의 발명은, 청구항 1의 화상 처리 장치에 있어서, 상기 왜곡 화상의 중심을 중심으로 한 가상 구면을 설정하는 가상 구면 설정 수단을 더 포함하고, 상기 시선 벡터 설정 수단이, 상기 가상 구면의 중심으로부터, 상기 왜곡 화상을 포함하는 평면과 직교하고 상기 잘라내기 기준점을 통과하는 직선과, 상기 가상 구면이 교차하는 교점으로 향하는 시선 벡터를 설정하는 것을 특징으로 한다.

또한, 청구항 3의 발명은, 청구항 1 또는 청구항 2의 화상 처리 장치에 있어서, 상기 시선 벡터 설정 수단이, 상기 시선 벡터를 특정하는 파라미터의 입력을 받아들여 상기 시선 벡터를 설정하고, 상기 잘라내기 영역 설정 수단이, 상기 시선 벡터의 방향에서 교차하는 교점에 있어서 상기 시선 벡터와 직교하는 면 내에, 상기 잘라내기 영역에 대응하는 상기 평면 정측 화상의 영역을 설정하고, 상기 오프셋 수단이, 상기 시선 벡터와 직교하는 면 내에 있어서, 상기 설정된 평면 정측 화상의 영역을 이동시키고, 상기 화상 변환 수단이, 상기 시선 벡터에 따라, 상기 이동된 평면 정측 화상의 영역의 각 점에 대응하는 상기 왜곡 화상의 화소값을 구하고, 상기 구해진 상기 왜곡 화상의 화소값을 상기 평면 정측 화상의 화소값으로 하는 것을 특징으로 한다.

또한, 청구항 4의 발명은, 청구항 3의 화상 처리 장치에 있어서, 상기 시선 벡터와 직교하는 면은 원기둥의 면인 것을 특징으로 한다.

또한, 청구항 5의 발명은, 청구항 1 내지 청구항 4 중 어느 한 항의 화상 처리 장치에 있어서, 상기 시선 벡터 설정 수단이, 복수의 시선 벡터를 설정하고, 상기 잘라내기 영역 설정 수단이, 각 시선 벡터에 따른 잘라내기 영역을 설정하고, 상기 화상 변환 수단이, 상기 각각의 잘라내기 영역을 평면 정측 화상으로 변환하고, 상기 화상 변환 수단이 구한 각 평면 정측 화상을 1개의 표시 수단에 표시하는 것을 특징으로 한다.

또한, 청구항 6의 발명은, 화상 처리 장치가 화상을 처리하는 화상 처리 방법으로서, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 단계, 상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 단계, 상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 단계, 상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 단계, 상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 단계, 상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 단계를 포함하는 것을 특징으로 한다.

또한, 청구항 7의 발명은, 컴퓨터를, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단, 상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단, 상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단, 상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단, 상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단, 및 상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단으로 기능하게 하는 것을 특징으로 한다.

또한, 청구항 8의 발명은, 컴퓨터를, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단, 상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단, 상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단, 상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단, 상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단, 및 상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단으로 기능하게 하는 것을 특징으로 한다.

또한, 청구항 9의 발명은, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단, 상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단, 상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단, 상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단, 상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단, 상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단, 상기 화상 변환 수단에 의해 얻어진 평면 정측 화상을 표시하는 표시 수단을 포함하는 것을 특징으로 한다.

본 발명에 의하면, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하고, 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하고, 잘라내기 기준점에 따라 잘라내기 영역을 설정하고, 왜곡 화상의 촬영 시점을 기점으로 하여, 잘라내기 기준점에 대응하는 시선 벡터를 설정하고, 잘라내기 기준점으로부터 소정 거리 잘라내기 영역을 이동시키고, 시선 벡터에 따라 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 이동된 잘라내기 영역을 변환함으로써, 1대의 카메라에 의해 촬영된 왜곡 화상으로부터, 보다 자연스러운 화상을 생성할 수 있다.

도 1은 본 발명의 실시 형태에 관한 화상 표시 시스템의 개요 구성예를 나타낸 블록도이다.
도 2는 3차원 XYZ 직교 좌표계에 있어서 왜곡 원형 화상 S를 포함하는 2차원 XY 직교 좌표계와 평면 정측 화상 T를 포함하는 2차원 UV 직교 좌표계와의 관계의 일례를 나타낸 사시도이다.
도 3은 2차원 XY 직교 좌표계와 2차원 UV 만곡 좌표계와의 관계의 일례를 나타낸 사시도이다.
도 4는 2차원 UV 직교 좌표계 상에서의 점 T(u, ｖ)와 2차원 UV 만곡 좌표계 상에서의 점 C(u, ｖ)와의 대응 관계의 일례를 나타낸 평면도이다.
도 5는 평면 정측 화상 T와 오프셋 후의 평면 정측 화상 T'의 관계, 및 잘라내기 영역 E와 오프셋 후의 잘라내기 영역 E'의 관계의 일례를 나타낸 사시도이다.
도 6은 평면 정측 화상 T와 오프셋 후의 평면 정측 화상 T'의 관계의 일례를 나타낸 평면도이다.
도 7은 도 1의 화상 표시 시스템의 동작예를 나타낸 순서도다.
도 8은 시선 벡터의 방향과 오프셋 기능을 사용하여 변환된 화상의 일례를 나타낸 모식도이다.
도 9는 시선 벡터의 방향과 오프셋 기능을 이용하지 않고 변환된 화상의 일례를 나타낸 모식도이다.
도 10은 차체의 뒤쪽에 어안 카메라를 구비한 일례를 나타낸 모식도이다.
도 11은 어안 카메라로 촬영한 왜곡 원형 화상의 일례를 나타낸 모식도이다.
도 12는 시점 벡터가 렌즈의 광축에 대하여 수직 방향을 향하고 있는 상태에서, 오프셋 후의 평면 정측 화상 T'의 일례를 나타낸 사시도이다.
도 13은 파노라마 화상과 내려다 보는 화상이 표시된 화면 표시의 일례를 나타낸 모식도이다.
도 14는 시점 벡터가 렌즈의 광축에 대하여 수평 방향을 향하고 있는 상태에서, 오프셋 후의 평면 정측 화상 T'의 일례를 나타낸 사시도이다.
도 15는 평면 정측 화상 T와 오프셋 후의 평면 정측 화상 T'의 관계의 일례를 나타낸 평면도이다.
도 16은 차체의 앞부분에 어안 카메라를 구비한 차가 T자로에서 정차하고 있는 부감도이다.
도 17은 어안 카메라로 촬영한 왜곡 원형 화상의 일례를 나타낸 모식도이다.
도 18은 복수의 평면 정측 화상이 표시된 화면 표시의 일례를 나타낸 모식도이다.
도 19는 차체의 뒤쪽에 어안 카메라를 구비한 일례를 나타낸 모식도이다.
도 20은 복수의 평면 정측 화상이 표시된 화면 표시의 일례를 나타낸 모식도이다.
도 21은 복수의 평면 정측 화상이 표시된 화면 표시의 일례를 나타낸 모식도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 설명한다. 그리고, 이하에 설명하는 실시 형태는, 화상 표시 시스템에 대하여 본 발명을 적용한 경우의 실시 형태이다.

[1. 화상 표시 시스템의 구성 및 기능의 개요]

(1.1 화상 표시 시스템(1)의 구성 및 기능)

먼저, 본 발명의 일 실시 형태에 관한 화상 표시 시스템의 구성 및 개요 기능에 대하여, 도 1을 참조하여 설명한다.

도 1은, 본 실시 형태에 관한 화상 표시 시스템(1)의 개요 구성예를 나타낸 블록도이다.

도 1에 나타낸 바와 같이, 화상 표시 시스템(1)(화상 표시 장치의 일례)은, 광각 렌즈 또는 전방위 미러를 가지는 카메라(2), 카메라(2)에 의해 촬영된 화상에 대하여 화상 처리를 행하는 화상 처리 장치(10), 화상 처리 장치(10)의 처리에 필요한 파라미터를 입력하는 파라미터 입력부(3), 화상 처리 장치(10)에서의 연산에 필요한 메모리를 가지는 프레임 메모리(4) 및 화상 처리 장치(10)에 의한 화상을 표시하는 표시용 모니터(5)를 포함하고 있다.

카메라(2)는, 예를 들면, 정사영(正射影) 방식의 어안 렌즈이며, 동영상의 왜곡 원형 화상(왜곡 화상의 일례)을 출력한다. 또한, 카메라(2)는, 차량의 후방 등에 소정의 방향으로 설치되고, 운전자의 사각을 없애도록 광범위한 화상을 파악한다. 그리고, 카메라(2)의 렌즈는, 광각 렌즈에 한정되지 않고, 전방위 미러와 조합한 통상의 화각의 렌즈이어도 된다. 또한, 광각 렌즈의 화각은 180°에 한정되지 않고, 180°보다 커도, 작아도 된다. 또한, 카메라(2)가 촬영하는 화상은, 정지 화상이어도 좋다. 또한, 카메라(2)가, 대각선 어안 렌즈를 가지는 경우, 직사각형의 왜곡 화상을 출력한다. 카메라(2)는, 등거리 투영 방식의 렌즈나, 등 입체각 투영 방식의 렌즈 등의 비정사영 방식의 렌즈이어도 된다.

파라미터 입력부(3)는, 왜곡 원형 화상으로부터 평면 정측 화상으로의 화상 변환에 필요한 파라미터의 입력을 접수한다. 예를 들면, 파라미터 입력부(3)는, 왜곡 원형 화상의 촬영의 시점을 기점으로 한 시선 벡터나, 왜곡 원형 화상으로부터 잘라내는 잘라내기 영역에 대응하는 평면 정측 화상의 크기를 나타낸 파라미터나, 표시하게 하는 평면 정측 화상의 배율 등을 설정하기 위해 필요한 파라미터의 입력을, 사용자의 지시 입력에 따라 접수한다. 여기서, 평면 정측 화상은, 왜곡 화상의 불균일을 경감시키기 위해, 임의의 규칙에 따라, 좌표 변환된 평면 정측 화상이다.

프레임 메모리(4)는, 기억 수단의 일례로서, 기억부는 RAM(Random Access Memory), 하드디스크 또는 실리콘 디스크 등에 의해 구성되어 있다. 프레임 메모리(4)는, 카메라(2)에 의해 촬영된 왜곡 원형 화상이나, 화상 변환의 연산 도중의 화상 데이터나, 화상 변환된 평면 정측 화상 등을 기억한다.

표시용 모니터(5)는, 표시 수단의 일례로서, 액정 표시 소자 또는 EL(Electro Luminescence) 소자 등에 의해 구성되어 있는 모니터 화면(평면 화면)이다. 표시용 모니터(5)는, 카메라(2)에 의해 촬영된 왜곡 원형 화상이나, 화상 변환으로 얻어진 평면 정측 화상 등을 표시한다.

화상 처리 장치(10)는, 보정 계수 및 대응 좌표를 산출하는 보정·연산부(11) 및 왜곡 원형 화상을 평면 정측 화상으로 변환하여, 표시용 모니터(5)에 표시하기 위한 평면 정측 화상을 생성하는 화상 생성부(12)를 가진다.

보정·연산부(11)는, 전용의 연산 등을 행하는 LSI(Large Scale Integration) 칩을 사용한 하드웨어에 의해 구성되어 있다. 보정·연산부(11)는, 화상 생성부(12)로부터 임의의 좌표가 주어진 경우, 화상 변환의 대응 관계식을 이용한 연산을 실행하거나, 대응 좌표를 산출하거나, 시선 벡터에 대응한 위치로부터 잘라내기 영역을 이동시킨 경우의 화상 변환의 대응 관계식을 이용한 연산을 실행하고, 대응 좌표를 산출한다. 그리고, 화상 변환의 대응 관계식에 대하여는, 화상 변환(I) 및 화상 변환(II)에서 설명한다.

화상 생성부(12)는, 전용의 연산 등을 행하는 LSI(Large Scale Integration) 칩을 사용한 하드웨어에 의해 구성되어 있다. 화상 생성부(12)는, 왜곡 원형 화상으로부터 평면 정측 화상으로의 화상 변환의 연산을 행하거나, 화상 변환에 의해 생성된 평면 정측 화상을 프레임 메모리(4)에 기억시키거나 판독하거나 한다.

(1.2 화상 변환(I))

이하, 어안 렌즈를 가지는 카메라(2)를 사용한 촬영에 의해 얻어진 왜곡 원형 화상을 불균일을 경감시킨 평면 정측 화상으로 변환하는 화상 변환(I)의 처리의 기본 원리에 대하여, 도 2를 참조하여 설명한다.

도 2에 나타낸 바와 같이, XY 평면 상에 형성된 왜곡 원형 화상 S는, 좌표계의 원점 O를 중심으로 한 반경 R의 원을 구성하는 화상이며, 렌즈의 광축인 Z축의 플러스의 영역 측에서의 180°의 화각을 가지는 영역에 존재하는 상을 비뚤어지게 하여 기록한 왜곡 화상이다. 그리고, 도 2의 모델은, 정사영 방식의 어안 렌즈에 의해 촬영된 경우의 모델이다.

여기서, 왜곡 원형 화상 S로부터 일부분의 영역(잘라내기 영역 E)을 잘라내어, 화상 변환을 행하여 평면 정측 화상 T를 얻을 수 있다. 그러므로, 도 2에 나타낸 바와 같이, 왜곡 원형 화상 S로부터 어느 영역을 잘라낼지를 결정하기 위한 잘라내기 기준점의 일례로서, 잘라내기 중심점 P(x0, y0)이 설정된다. 그리고, 잘라내기 기준점은, 중심으로 한정되지 않아도 된다.

다음에, 왜곡 원형 화상 S의 중심(왜곡 화상의 촬영의 시점의 일례)을 중심으로 한 가상 구면 H가 설정된다. 도 2에 나타낸 바와 같이, 왜곡 원형 화상 S 상에 설정된 잘라내기 중심점 P(x0, y0)을 지나고, Z축(3차원 XYZ 직교 좌표계의 좌표축)에 평행한 직선과 가상 구면 H와의 교점 Q(x0, y0, z0)가 설정된다. 왜곡 원형 화상의 중심으로부터 교점 Q(x0, y0, z0)를 향하는 시선 벡터(왜곡 화상의 촬영의 시점을 기점으로 하여, 잘라내기 기준점에 대응하는 시선 벡터의 일례)가 설정된다.

다음에, 교점 Q(x0, y0, z0)에 있어서, 가상 구면 H에 접하는 접평면(시선 벡터의 방향에서 교차하는 교점에 있어서 시선 벡터와 직교하는 면의 일례)이 설정되고, 이 접평면 상에 2차원 UV 직교 좌표계가 설정된다.

그리고, 배율 m에 의해 2차원 UV 직교 좌표계를 시선 벡터 n과 직교하도록 평행 이동시키고, 평면 정측 화상 T를 2차원 UV 직교 좌표계 위의 화상으로서 구한다. 2차원 UV 직교 좌표계는, 점 G(xg, yg, zg)이 원점으로 되도록 설정되어 있다. 배율 m에 의하여, 가상 구면의 반경이 변동되고, 평면 정측 화상 T의 면이, 가상 구면의 반경을 변동시킨 가상 구면에 접하는 면(시선 벡터의 방향에서 교차하는 교점에 있어서 시선 벡터와 직교하는 면)으로 된다. 여기서, 배율 m은, 좌표값(u, ｖ)의 스케일링(scaling)과 좌표값(x, y)의 스케일링과의 관계를 나타낸 것이다. 따라서, 두 점 OG 사이의 거리는 m·R로 설정되어 있다. 그리고, 파라미터인 배율 m은, 파라미터 입력부(3)로부터 입력되어도 되고, 미리 설정하여 두어도 된다. 또한, 도 2에 나타낸 바와 같이, 배율 m이 1보다 큰 경우, 평면 정측 화상 T는, 가상 평면 H의 외측이 된다. 배율이 1보다 작은 경우, 평면 정측 화상 T의 시선 벡터의 방향에서 교차하는 점 G는, 가상 평면 H의 내측이 된다.

점 G(xg, yg, zg)의 위치는, 방위각 α와 천정각 β에 의해 특정할 수 있다. 또한 UV 좌표계를 결정하기 위하여, U축과 J축(회전 기준축)이 이루는 각도를 평면 경사각 φ이라고 정의한다. 그리고, XY 좌표계의 원점 O로부터 UV 좌표계의 원점 G로 향하는 방향의 벡터가 시선 벡터 n이다. 또한, 파라미터인 방위각 α, 천정각 β, 및 평면 경사각 φ은, 파라미터 입력부(3)로부터 입력되어도 되고, 미리 설정하여 두어도 된다.

여기서, XY 좌표계 상에 정의된 왜곡 원형 화상 S 상의 잘라내기 중심점 P(x0, y0)을 중심으로 한 잘라내기 영역 내의 왜곡 화상을 잘라내어 변형하여, UV 좌표계 상에 평면 정측 화상 T를 얻기 위한 대응 관계식은, 다음의 식 (1) 내지 (9)에 나타낸다.

이 대응 관계식에 기초한 변환 연산으로 얻어지는 평면 정측 화상은, 수평 방향의 불균일은 작지만 수직 방향의 불균일이 크다.

(1.3 화상 변환(II))

다음에, 어안 렌즈를 가지는 카메라(2)를 사용한 촬영에 의해 얻어진 왜곡 원형 화상을, 불균일을 경감시킨 평면 정측 화상으로 변환하는 화상 변환(II)의 처리의 기본 원리에 대하여, 도 3 및 도 4를 참조하여 설명한다. 그리고, 화상 변환(II)은, 일본공개특허 제2010－62790에 개시되어 있는 기술이다.

도 2의 모델에서는, UV 좌표계는, 점 G(xg, yg, zg)을 지나고, 시선 벡터 n과 직교하는 평면 상에 설정되어 있는 것에 비해, 도 3에 나타낸 모델에서는, 이 평면 상에 정의된 UV 좌표계를 원기둥 측면을 따라 만곡시키고 있다.

따라서, 도 3의 모델에서는, 2차원 UV 만곡 좌표계(원기둥 측면 위의 좌표계) 상에 만곡된 평면 정측 화상 C를 얻을 수 있게 된다.

도 3에 파선(破線)으로 나타내는 평면 정측 화상 T는 도 2의 평면 정측 화상 T와 같은 것이며, 평면 정측 화상 C는, 이 평면 정측 화상 T를 만곡시킨 화상에 상당하고, 원기둥 측면에 따른 곡면상의 화상이 된다.

2차원 만곡 좌표계도, U축과 Y축을 가지는 2차원의 좌표계이며, 평면 정측 화상 C 내의 임의의 1점이 (u, ｖ)되는 좌표로 나타내는 점은 통상의 평면 상의 2차원 좌표계의 경우와 같다. 이 2차원 만곡 좌표계는, 점 G를 원점으로 하고, 시선 벡터 n과 직교하는 평면 상에 배치된 2차원 UV 직교 좌표계를, 가상원 기둥의 측면을 따라 만곡시킴으로써 설정된 좌표계이다.

따라서, 화상 변환(II)에서는, 원기둥 측면 상에 정의된 2차원 UV 만곡 좌표계 상에 평면 정측 화상 C를 구하고, 이 평면 정측 화상 C를 나타낸 화소 배열 데이터를 사용하여, 통상의 모니터 화면(평면 화면)에 화소 표시를 행한다.

여기서, 2차원 UV 직교 좌표계 위의 좌표 (u, ｖ)와 2차원 XY 직교 좌표계 위의 좌표 (x, y)와의 대응 관계를 나타낸 대응 관계식을 설명한다.

도 4는, 2차원 UV 직교 좌표계(좌표면은 도 4의 T가 된다)와 이것을 만곡되는 것에 의해 얻어지는 2차원 UV 만곡 좌표계(좌표면은 도 4의 C가 된다)와의 위치 관계를 나타낸 측면도이다.

도 4에 나타낸 바와 같이, 2차원 UV 직교 좌표계에서의 점 T(u, ｖ)와 2차원 UV 만곡 좌표계에서의 점 C(u, ｖ)가 있고, 굵은 선의 선분 D와 선분 A는 같은 길이이다. 모두 좌표 (u, ｖ)로 표현되어 있는 점이지만, 상이한 좌표계로 설정된 점이기 때문에, XYZ 3차원 직교 좌표계로 표시되는 공간 상의 위치는 상이하게 되어 있다. XYZ 3차원 직교 좌표계로 생각하면, 점 T(u, ｖ)는 점 T(u, ｖ, w)가 되는데 비해, 점 C(u, ｖ)의 좌표값은 C(u', ｖ, w')가 된다. 따라서, u', ｖ'와 u, ｖ와의 관계는, 식 (10) 내지 식 (12)로 나타내는 것이 가능하다.

이 식 (10) 내지 식 (12)을, 식 (1) 내지 식 (9)에 적용함으로써, UV 좌표계 상에 평면 정측 화상 C를 얻기 위한 대응 관계식은, 다음의 식 (1') 및 (2')로 나타낸다.

이와 같이, 식 (1) 및 식 (2)에서의 변수 u 대신에 식 (11)에 나타낸 변수 u'를 사용하고, 변수 w 대신에 식 (12)에 나타낸 변수 w'를 사용하여 식 (1'), (2')에 대입함으로써, 2차원 XY 직교 좌표계에서의 대응 좌표 (x, y)가 산출된다.

화상 변환(II)은, 화상 변환(I)에 대하여, 좌우 윤곽 근방의 불균일이 대폭 개선된다. 수평 패닝을 행하는(파노라마 영상을 촬영하는) 것과 같은 경우에서도, 부드러운 패닝 영상을 얻을 수 있다. 따라서, 화상 변환(II)은, 화상의 우측단이나 좌측단에 위치하는 인물의 섬세한 특징을 파악하는 것에 적합하다.

(1.4 평면 정측 화상의 오프셋)

다음에, 시점 벡터 n을 바꾸지 않고, 2차원 UV 직교 좌표계 상에 평면 정측 화상을 표시하는 오프셋 기능에 대하여 도 5 및 도 6을 참조하여 설명한다. 그리고, 편의 상, 먼저 화상 변환(I)의 예를 사용하여, 오프셋 기능에 대하여 설명한다.

도 5에 나타낸 바와 같이, 왜곡 원형 화상 S로부터 잘라내기 영역 E의 잘라내기 중심점 P(x0, y0)을 지정하고, 방위각 α, 천정각 β의 값이 얻어지고, 식 (1) 내지 식 (9)에 나타나 있는 대응 관계식을 이용하여, 잘라내기 영역 E를 화상 변환하여 평면 정측 화상 T를 얻을 수 있다. 그리고, 도 5에는, 파선으로 나타나 있는 잘라내기 영역 E를 화상 변환하여, 파선으로 나타나 있는 평면 정측 화상 T를 얻는 모델이 나타나 있다.

또한, 도 5에 나타낸 바와 같이, 잘라내기 중심점 P(x0, y0)을 바꾸지 않으면서 시점 벡터 n의 방향을 일정하게 하고, 화상 변환을 개시하는 점을 이동시키는 오프셋을 가함으로써, 잘라내기 영역 E'르 화상 변환한 평면 정측 화상 T'를 얻을 수 있다. 그리고, 도 5에는, 실선으로 나타나 있는 잘라내기 영역 E'를 화상 변환하고, 실선으로 나타나 있는 평면 정측 화상 T'를 얻는 모델도 나타나 있다.

또한, 도 5 및 도 6에 나타낸 바와 같이, 평면 정측 화상 T에 있어서, 점 G(xg, yg, zg)을 원점으로 하고, 왜곡 원형 화상 S에 포함되는 잘라내기 영역 E의 화상 변환을 개시하는 점을, 점 Ts(us, ｖs)로 한다. 이 화상 변환을 개시하는 점 Ts(us, ｖs)에 U 축 방향과 V 축 방향으로 오프셋을 더하여, 화상 변환을 개시하는 점을 변경함으로써 평면 정측 화상 T'를 얻을 수 있다. 오프셋을 부가한 평면 정측 화상 T'의 화상 변환을 개시하는 점은, 점 Ts'(us', ｖs')로 된다. 또한 평면 정측 화상 T'는 시선 벡터 n에 수직인 평면이다.

화상 변환(I)에 대하여 오프셋 기능을 적용한 경우, 대응 관계식은, 식 (13) 및 식 (14)에 나타낸 바와 같이 된다.

여기서, 2차원 UV 좌표 위의 화상 변환을 개시하는 점 Ts(us, ｖs)에 오프셋 값 uos, ｖos가 각각 ej해진다. us'=us＋uos 및vs'=vs＋vos가 된다.

다음에, 화상 변환(II)에 대하여 오프셋 기능을 적용한 경우의 대응 관계식을 나타낸다.

2차원 UV 만곡 좌표 위의 화상 변환을 개시하는 점에 오프셋 값 uos, vos가 각각 더해진 경우, 식 (10) 내지 식 (12)에 대응하여, 식 (15) 내지 식 (17)을 얻을 수 있다.

그리고, 대응 관계식은, 식 (18) 및 식 (19)에 나타낸 바와 같이 된다.

이와 같이 화상 변환(I) 또는 화상 변환(II)에 대하여 오프셋을 적용함으로써, 화상 변환을 개시하는 점으로부터 순차 주사로 좌표의 값이 변화되어 평면 정측 화상을 얻을 수 있다.

그리고, 화상 변환(I) 또는 화상 변환(II)에 있어서, 비정사영 방식의 어안 렌즈에 의해 촬영된 비정사영 화상인 경우에는, 정사영 화상 위의 좌표와 비정사영 화상 위의 좌표와의 사이의 좌표 변환식을 이용하여, 잘라내기 중심점 P의 좌표를 보정하고, 보정 후의 점을 지나고 Z 축에 평행한 직선과 상기 가상 구면과의 교점 Q을 정의하고, 상기 원점 O를 기점으로 하여 교점 Q를 지나는 벡터를 시선 벡터 n으로 하면 된다.

또한, 화각이 180°보다 작은 경우, 가상 구면 H의 반경은, 화각 180°로 설정되고, 왜곡 원형 화상의 반경보다 커진다. 화각이 180°보다 큰 경우, 가상 구면 H의 반경은, 화각 180°으로 설정되어 있으므로, 180° 이상의 화각의 부분의 왜곡 원형 화상은, 가상 구면 H의 중심에 되접은 형태로 설정된다.

[2. 화상 표시 시스템의 동작]

다음에, 본 발명의 1 실시 형태에 관한 화상 표시 시스템의 동작에 대하여 도 7 내지 도 17을 참조하여 설명한다.

도 7에 나타낸 바와 같이, 화상 처리 장치(10)가 왜곡 원형 화상을 취득한다(단계 S1). 구체적으로는, 화상 처리 장치(10)의 화상 생성부(12)가, 카메라(2)가 촬영한 왜곡 원형 화상 S을 카메라(2)로부터 취득한다. 그리고, 화상 처리 장치(10)의 화상 생성부(12)가, 왜곡 원형 화상 S을 표시용 모니터(5)에 표시하게 한다. 여기서, 카메라(2)의 방향은, 도 8에 나타낸 바와 같이, 수평 방향으로 한다. 카메라(2)의 경사 아래에 있는 벤치에 3명의 인간이 나란히 앉아 있는 화상을, 카메라(2)가 촬영하고 있는 것으로 한다. 그리고, 화상 처리 장치(10)는, 왜곡 원형 화상의 반경 R을, 왜곡 원형 화상 S로부터 구하거나, 파라미터 입력부(3)로부터 취득하거나 한다. 이와 같이, 화상 처리 장치(10)는, 광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 왜곡 원형 화상에 잘라내기 영역의 잘라내기 중심점을 설정한다(단계 S2). 구체적으로는, 표시용 모니터(5)를 보고 있는 사용자에 의해, 파라미터 입력부(3)에 왜곡 원형 화상 S에서의 잘라내기 영역의 잘라내기 중심점의 좌표가 입력된다. 그리고, 화상 생성부(12)가, 파라미터 입력부(3)로부터 잘라내기 영역의 잘라내기 중심점의 좌표의 정보를 취득하고, 왜곡 원형 화상 S에 잘라내기 영역 E의 잘라내기 중심점을 설정한다. 이와 같이, 화상 처리 장치(10)는, 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 가상 구면의 중심을 기점으로 하여 잘라내기 중심점에 대응하는 시점 벡터를 설정한다(단계 S3). 도 5에 나타낸 바와 같이, 잘라내기 중심점 P(x0, y0)가 설정되는 것에 의하여, 방위각 α 및 천정각 β가 정해진다. 방위각 α 및 천정각 β이 정해지는 것은, 시점 벡터의 방향이 설정되는 것으로 된다. 또한, 시점 벡터 n이 설정되는 것은, 식 (3) 내지 식 (8)의 A로부터 F가 설정되고, 대응 관계식 (1) 및 (2)이 정해지는 것에 상당한다. 그리고, 평면 경사각 φ=0으로 하면, 식 (3) 내지 식 (8)의 A 내지 F가 설정된다. 또한, 시점 벡터 n의 길이는, OG 사이의 거리 m·R로도 된다. 또한, 평면 경사각 φ의 값은, 파라미터 입력부(3)에 의해 사용자가 지정 가능하도록 하여도 된다.

도 5에 나타낸 경우에는, 잘라내기 중심점 P(x0, y0)가 설정되고, 방위각 α, 천정각 β이 정해져, 시점 벡터 n이 설정된다. 이 시점 벡터 n은, 가상 구면 S의 중심 O를 기점으로 하여, 잘라내기 중심점 P(x0, y0)으로부터 Z축에 평행하게 신장되는 직선과 가상 구면 H과 교차하는 교점(x0, y0, z0)을 향하는 방향으로 설정된다.

도 8에 나타낸 경우에는, 잘라내기 영역 E의 잘라내기 중심점은, 왜곡 원형 화상 S의 중심 O에 설정되고, 방위각 α=0, 천정각 β=0이 정해져, 시점 벡터 n은, 수평 방향으로 된다.

화상 처리 장치(10)의 화상 생성부(12)가, 파라미터 입력부(3)에 입력된 잘라내기 중심점의 좌표값으로부터, 시점 벡터 n의 방향을 설정한다. 즉, 화상 처리 장치(10)의 화상 생성부(12)가, 방위각 α 및 천정각 β를, 파라미터 입력부(3)에 입력된 잘라내기 중심점의 좌표값으로부터 설정한다. 그리고, 사용자가 파라미터 입력부(3)에 방위각 α 및 천정각 β의 파라미터의 값을 입력하여, 잘라내기 중심점이 설정되도록 해도 된다.

이와 같이 화상 처리 장치(10)는, 왜곡 화상의 촬영의 시점을 기점으로 하여, 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단의 일례로서 기능한다. 또한, 화상 처리 장치(10)는, 가상 구면의 중심으로부터, 왜곡 화상을 포함하는 평면과 직교하여 잘라내기 기준점을 통과하는 직선과 가상 구면이 교차하는 교점에 향하는 시선 벡터를 설정하는 시선 벡터 설정 수단의 일례로서 기능한다. 또한, 화상 처리 장치(10)는, 시선 벡터를 특정하는 파라미터의 입력을 받아들여, 시선 벡터를 설정하는 시선 벡터 설정 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 시점 벡터에 기초하여, 잘라내기 영역에 대응하는 평면 정측 화상의 영역을 설정한다(단계 S4). 구체적으로는, 사용자가 파라미터 입력부(3)를 조작하여, 잘라내기 영역 E에 대응하는 평면 정측 화상 T의 크기 및 배율 m이 지정된다. 그리고, 화상 생성부(12)가, 파라미터 입력부(3)로부터 지정된 평면 정측 화상 T의 크기의 정보를 취득하고, 시점 벡터 n에 기초하여, 2차원 UV 직교 좌표계에서의 평면 정측 화상 T를 설정한다. 이 때, 오프셋을 가하는 전의 화상 변환을 개시하는 점 Ts(us, vs)도 설정된다. 그리고, 도 8에 나타낸 경우에는, 표시용 모니터(5)에 출력되는 평면 정측 화상(20)에 대응한 평면 정측 화상 T의 크기가 설정된다. 그리고, 화상 변환(II)의 2차원 UV 만곡 좌표계의 경우, 평면 정측 화상 T은, 평면 정측 화상 C로 한다(이하 동일).

이와 같이 화상 처리 장치(10)는, 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단의 일례로서 기능한다. 또한, 화상 처리 장치(10)는, 시선 벡터의 방향에서 교차하는 교점에 있어서, 시선 벡터와 직교하는 면 내에, 잘라내기 영역에 대응하는 평면 정측 화상의 영역을 설정하는 잘라내기 영역 설정 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 평면 정측 화상의 영역의 오프셋 개시 위치를 취득한다(단계 S5). 구체적으로는, 사용자가 파라미터 입력부(3)를 조작하여, 평면 정측 화상 T를, 어느 방향으로 어느 정도의 거리를 이동시켜 오프셋을 행하고 싶은지가 지정된다. 그리고, 화상 생성부(12)가, 파라미터 입력부(3)로부터 지정된 오프셋에 관한 정보를 취득하고, 평면 정측 화상의 영역의 오프셋 개시 위치를 설정한다. 보다 구체적으로는, 화상 생성부(12)가, 오프셋을 부가한 평면 정측 화상 T'의 화상 변환을 개시하는 점 Ts'(us', vs')를 설정한다. 그리고, 대응 관계식 (1) (2), 대응 관계식 (1') (2'), 대응 관계식 (13) (14), 및 대응 관계식 (18) (19)의 어느 화상 변환의 식을 적용할지의 정보를, 파라미터 입력부(3)를 통하여, 화상 생성부(12)가 취득하여 둔다.

이와 같이 화상 처리 장치(10)는, 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단의 일례로서 기능한다. 또한, 화상 처리 장치(10)는, 시선 벡터와 직교하는 면 내에 있어서, 설정된 평면 정측 화상의 영역을 이동시키는 오프셋 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 시선 벡터에 따라, 평면 정측 화상의 영역의 각 점에 대응하는 왜곡 원형 화상의 화소값을 구한다(단계 S6). 구체적으로는, 화상 처리 장치(10)의 화상 생성부(12)가, 시선 벡터에 대응하는 방위각 α, 천정각 β, 및 배율 m에 관한 데이터와, 왜곡 원형 화상의 반경 R의 데이터와, 평면 경사각 φ의 데이터를, 보정·연산부(11)에 송신한다. 보정·연산부(11)는, 수신한 방위각 α, 천정각 β, 평면 경사각 φ, 배율 m, 및 반경 R로부터, 식 (13) 및 식 (14)을 적용하여, 값 A, B, C, D, E, F 및 w를 산출하여, 설정한다. 또한, 화상 생성부(12)가, 대응 관계식 (1) (2), 대응 관계식 (1') (2'), 대응 관계식 (13) (14) 및 대응 관계식 (18) (19)의 어느 변환을 행할 것인지의 정보를 보정·연산부(11)에 송신한다. 또한, 오프셋 기능을 사용하는 경우, 화상 처리 장치(10)의 화상 생성부(12)가, 오프셋 개시 위치(점 Ts'(us', ｖs'))에 관한 데이터(오프셋 값 uos, vos의 데이터)를 보정·연산부(11)에 송신한다. 그리고, 평면 정측 화상 T 또는 평면 정측 화상 T'의 좌표값에 기초하여, 대응 관계식 (1) (2), 대응 관계식 (1') (2'), 대응 관계식 (13) (14), 및 대응 관계식 (18) (19)에 따라, 즉 시선 벡터에 따라, 왜곡 원형 화상의 화소값이 계산 가능하게 된다.

그리고, 화상 생성부(12)가, 화상 변환을 개시하는 점 Ts'(us', ｖs')로부터, 평면 정측 화상 T'를 1화소분씩 평면 정측 화상의 영역을 스캔하여, 순차적으로 상기 화소의 좌표의 데이터를 보정·연산부(11)에 송신한다. 보정·연산부(11)는, 대응 관계식 (1) (2), 대응 관계식 (1') (2'), 대응 관계식 (13) (14), 및 대응 관계식 (18) (19)에 따라, 평면 정측 화상 T'에 대응하는 왜곡 원형 화상 E'의 화소값을 순차적으로 연산한다. 그리고, 도 8에 나타낸 경우에는, 화상 변환(II)에 대하여 오프셋 기능을 적용한 경우의 대응 관계식 (18) (19)을 이용한 경우이다. 그리고, 스캔의 방향은, u 방향, ｖ방향 어느 쪽이어도 된다.

다음에, 화상 처리 장치(10)가, 구한 왜곡 원형 화상의 화소값을 평면 정측 화상의 화소값으로 한다(단계 S7). 구체적으로는, 화상 처리 장치(10)의 화상 생성부(12)가, 보정·연산부(11)에 의해 연산된 왜곡 원형 화상 E'의 화소값을 순차적으로 취득한다. 그리고, 화상 생성부(12)가, 취득한 화소값에 따라, 평면 정측 화상 T'의 위치에, 왜곡 원형 화상 E'의 화소값을 플롯(plot)하여 평면 정측 화상을 생성한다.

이와 같이 화상 처리 장치(10)는, 시선 벡터에 따라 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 이동된 잘라내기 영역을 변환하는 화상 변환 수단의 일례로서 기능한다. 또한, 화상 처리 장치(10)는, 시선 벡터에 따라, 이동된 평면 정측 화상의 영역의 각 점에 대응하는 왜곡 화상의 화소값을 구하고, 상기 구한 왜곡 화상의 화소값을 평면 정측 화상의 화소값으로 하는 화상 변환 수단의 일례로서 기능한다.

이와 같이 화상 처리 장치(10)는, 화상 변환(I) 및 화상 변환(II)의 대응 관계식을 설정함으로써, 왜곡 화상의 중심을 중심으로 한 가상 구면을 설정하는 가상 구면 설정 수단의 일례로서 기능한다.

다음에, 화상 처리 장치(10)가, 평면 정측 화상을 표시한다(단계 S8). 구체적으로는, 화상 처리 장치(10)의 화상 생성부(12)가, 생성한 평면 정측 화상을 표시 모니터(5)에 송신하고, 표시 모니터(5)에 평면 정측 화상이 표시된다. 도 8의 경우에는, 평면 정측 화상(20)이 표시 모니터(5)에 표시된다. 도 8에 나타낸 바와 같이, 평면 정측 화상(20)에 있어서, 평면 정측 화상(20)의 단에 비치고 있는 인물도, 도면 중 대략 수직 방향으로 촬영되어 있다.

그리고, 도 9에 나타낸 바와 같이, 시선 벡터 n의 방향을 내려다 본 상태로 하면, 평면 정측 화상(21)의 단에 비치고 있는 인물이나 의자가, 경사지게 기울게 촬영된다.

카메라(2)가 동영상을 촬영하는 경우, 화상 처리 장치(10)는, 각 프레임 화상에 있어서, 상기 수순을 반복, 동영상의 평면 정측 화상을 생성하고, 표시 모니터(5)에 표시하게 한다.

다음에, 카메라(2)의 설정의 변형예, 및 평면 정측 화상의 표시의 방법에 대하여 도 10 내지 도 18을 참조하여 설명한다.

먼저, 도 10 내지 도 15를 사용하여, 잘라내기 기준점이 복수 설정된 예에 대하여 설명한다.

도 10에 나타낸 바와 같이, 본 실시 형태에서는, 차체에 후방 확인용 카메라로 하여, 카메라(2)가 수평 방향으로 장착되어 있다.

도 11에 나타낸 바와 같이, 차체의 뒤쪽에 어안 카메라를 구비한 차가 후방 주차할 때, 화상 처리 장치(10)는, 카메라(2)로 촬영한 왜곡 원형 화상의 원화상을 취득한다(단계 S1).

그리고, 내려다 본 화상 등을 표시하므로, 화상 처리 장치(10)는, 도 12에 나타낸 바와 같이 차체에 대하여 수직 방향으로 잘라내기 중심점을 설정한다(단계 S2). 도 11에 나타낸 바와 같이, 왜곡 원형 화상에 대하여 잘라내기 중심점 P1이 설정된다.

이 경우, 방위각 α=0°, 천정각 β=90°가 되고, 시점 벡터 n은 X축의 방향으로 한다(단계 S3). 그리고, 화상 처리 장치(10)는, 평면 정측 화상 T'의 크기를 설정한다(단계 S4).

다음에, 도 10에 나타낸 바와 같이, 차체의 범퍼의 부분이 표시되지 않도록 화상의 표시 위치를 조정하고 싶은 경우에는, 화상 처리 장치(10)는, 도 12에 나타낸 바와 같이, 시점 벡터 n을 렌즈의 광축(Z축)에 대하여 수직 방향으로 고정한 상태로, 평면 정측 화상 T로부터 평면 정측 화상 T'의 위치로 Z축 방향으로 이동시키는 오프셋을 설정한다(단계 S5). 그리고, 화상 처리 장치(10)는, 화상 변환(I)을 적용하여, 즉 대응 관계식(식 (13) 및 (14))을 적용하여, 내려다 본 화상으로서의 평면 정측 화상 T'를 생성한다(단계 S6, S7).

다음에, 도 13에 나타낸 바와 같이, 화상 처리 장치(10)는, 내려다 본 화상(26)을 표시용 모니터(5)의 화상(25)의 하측에 표시하게 한다(단계 S8).

다음에, 표시용 모니터(5)의 화상(25)의 파노라마 화상(27)에 관하여, 화상 처리 장치(10)는, 도 14에 나타낸 바와 같이, 잘라내기 중심점을 차체에 대하여 수평 방향으로 설정한다(단계 S2). 도 11에 나타낸 바와 같이, 왜곡 원형 화상에 대하여 잘라내기 중심점 P2가 설정된다.

이 경우, 방위각 α=0° 및 천정각 β=0°가 되고, 시점 벡터 n는 Z축의 방향으로 한다(단계 S3). 그리고, 화상 처리 장치(10)는, 파노라마 화상용으로 평면 정측 화상 T'의 크기를 설정한다(단계 S4).

다음에, 파노라마 화상의 화상 표시 위치를, 오프셋 기능에 의해 조정하고 싶은 경우에는, 화상 처리 장치(10)는, 도 15에 나타낸 바와 같이, 시점 벡터 n을 렌즈의 광축에 고정한 상태로, 평면 정측 화상 T으로부터 평면 정측 화상 T'의 위치로, 2차원 UV 좌표계 상에서, 예를 들면, X축 방향으로 이동시키는 오프셋을 설정한다(단계 S5). 그리고, 화상 처리 장치(10)는, 화상 변환(II)을 적용하여, 즉 대응 관계식(식 (18) 및 (19))을 적용하여, 파노라마 화상(27)으로서의 평면 정측 화상 T'를 생성한다(단계 S6, S7).

다음에, 도 13에 나타낸 바와 같이, 화상 처리 장치(10)는, 파노라마 화상(27)을 표시용 모니터(5)의 화상(25)의 상측에 표시하게 한다(단계 S8).

다음에, 도 16 내지 도 18을 사용하여, 잘라내기 기준점이 복수 설정된 예에 대하여 설명한다.

도 16은, 차체의 앞부분에 카메라(2)를 구비한 차가 T자로에서 정차하고 있는 부감도를 나타내고 있다.

도 16에 나타낸 바와 같이, 차체의 전방 확인용 카메라로서, 카메라(2)가 수평 방향으로 장착되어 있다.

차체의 앞부분에 카메라(2)를 구비한 차가 T자로에서 정차했을 때, 도 17에 나타낸 바와 같이, 화상 처리 장치(10)는, 카메라(2)로 촬영한 왜곡 원형 화상의 원화상을 취득한다.

다음에, 도 18에 나타낸 바와 같이, 화상(30)의 파노라마 화상(31)을 생성하기 위하여, 화상 처리 장치(10)는, 왜곡 원형 화상에 대하여 잘라내기 중심점 P3을 설정하고, 파노라마 화상(31)용의 평면 정측 화상의 크기를 설정한다. 그리고, 화상 처리 장치(10)는, 도 17의 화살표의 방향으로 오프셋시켜, 화상 변환(II)에 의하여, 파노라마 화상(31)을 생성한다. 그리고, 파노라마 화상(31)은, 도 17에서 왜곡 원형 화상의 점선분을 화상 변환하여 파노라마 표시한 화상이다.

다음에, 화상(30)의 부분 확대 화상(32)을 생성하기 위하여, 화상 처리 장치(10)는, 왜곡 원형 화상에 대하여 잘라내기 중심점 P3을 설정하고, 부분 확대 화상(32) 용의 평면 정측 화상의 크기를 설정한다. 그리고, 화상 처리 장치(10)는, 도 17의 화살표의 방향으로 오프셋시켜, 화상 변환(I) 또는 화상 변환(II)에 의하여, 부분 확대 화상(32)을 생성한다.

다음에, 화상(30)의 부분 확대 화상(33)을 생성하기 위하여, 화상 처리 장치(10)는, 왜곡 원형 화상에 대하여 잘라내기 중심점 P4을 설정하고, 부분 확대 화상(33) 용의 평면 정측 화상의 크기를 설정한다. 그리고, 화상 처리 장치(10)는, 도 17의 화살표의 방향으로 오프셋시켜, 화상 변환(I) 또는 화상 변환(II)에 의하여, 부분 확대 화상(32)을 생성한다.

이상, 본 실시 형태에 의하면, 광각 렌즈 또는 전방위 미러를 사용한 카메라(2)에 촬영된 왜곡 원형 화상(왜곡 화상의 일례) S를 취득하고, 왜곡 원형 화상 S로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 중심점 P(잘라내기 기준점의 일례)를 설정하고, 잘라내기 중심점 P에 따라, 잘라내기 영역 E를 설정하고, 왜곡 원형 화상 S의 촬영의 시점을 기점으로 하여, 잘라내기 중심점 P에 대응하는 시선 벡터 n을 설정하고, 잘라내기 중심점 P으로부터 소정 거리, 잘라내기 영역 E를 이동시키고, 시선 벡터 n에 따라 왜곡 원형 화상 S로부터 평면 정측 화상 T, C로 변환하는 화상 변환(대응 관계식 (1) (2), 대응 관계식 (1') (2'), 대응 관계식 (13) (14), 및 대응 관계식 (18) (19))에 의하여, 이동된 잘라내기 영역 E'를 변환함으로써, 1대의 카메라에 의해 촬영된 왜곡 화상으로부터, 보다 자연스러운 화상을 생성할 수 있다.

특히, 시선 벡터 n을 고정한 상태로 잘라내기 영역을 이동시키는 오프셋 기능에 의하여, 화상 변환의 다양한 대응 관계식에 따라, 보다 자연스러운 평면 정측 화상을 얻을 수 있다. 예를 들면, 도 8에 나타낸 바와 같이, 왜곡 원형 화상의 중심으로부터 이격된 곳에서, 파노라마풍의 평면 정측 화상을 더욱 자연스럽게 생성할 수 있다. 따라서, 차량에 대하여 수평의 방향으로 설치된 카메라에 의해 왜곡 원형 화상을 얻은 경우라도, 보다 자연스러운 화상을 생성하므로, 사용자는 지면 방향의 장애물 등의 물체의 상황이 확인하기 쉬워진다. 특히, 화상 변환(II)을 사용한 경우, 차체 등에 대하여 수평 방향의 물체가 인식되기 쉬워진다.

또한, 화상 처리 장치(10)는, 1대의 카메라(2)에 의해 촬영된 왜곡 원형 화상으로부터, 평면 정측 화상을 생성하고 있으므로, 화상을 합성할 필요가 없다. 또한, 1대의 카메라(2)에 의해 촬영된 왜곡 원형 화상으로부터, 평면 정측 화상을 생성 가능하므로, 비용를 절감할 수 있다.

또한, 도 8에 나타낸 바와 같이, 시선 벡터 n을 수평 방향으로 고정하고, 오프셋 기능을 사용하여 촬영한 경우와, 도 9에 나타낸 바와 같이, 오프셋 기능을 사용하지 않고, 시선 벡터 n을 인물에게 향해 촬영한 경우를 비교하면, 도 9의 평면 정측 화상(21)에서는, 시점 벡터 n의 방향이 내려다 본 상태로 되어 있으므로, 인물이나 의자의 수직 방향이 경사지게 기울어 있어 위화감이 있는 화상이 된다. 한편, 도 8의 평면 정측 화상(20)에서는, 시점 벡터 n의 방향이 수평 방향을 향하고 있는 상태로 되어 있고, 인물이나 의자의 수직 방향이 기울지 않고, 위화감이 없는 화상이 된다. 따라서, 인물이 수직으로 표시되어 있으므로, 평면 정측 화상(20)으로부터 인물을 용이하게 검출할 수 있고, 화상 인식이 용이해진다. 또한, 외측 부분(윤곽 근방)의 불균일이 경감하고, 인물의 섬세한 특징을 확인하기 쉬워진다. 따라서 인간의 눈으로 볼 때 거리 감각을 인식하는 것이나 물체를 판단하는 것이 용이하게 된다.

또한, 일반적인 후방 확인용 카메라의 경우, 내려다 보는 화상을 표시하기 위하여 카메라를 차체에 대하여 수평 방향으로부터 수직 방향을 향해 정도 경사지게 설치할 필요가 있었지만, 후방 확인용 카메라의 장착 각도에 제한이 완화되어 시야 범위를 넓히는 것이 가능하다.

또한, 왜곡 화상의 일례의 왜곡 원형 화상 S의 중심 O를 중심으로 한 가상 구면 H를 설정하고, 가상 구면 H의 중심으로부터, 왜곡 화상을 포함하는 평면과 직교하여 잘라내기 기준점을 통과하는 직선과 가상 구면 H이 교차하는 교점 Q에 향하는 시선 벡터 n을 설정하는 경우, 불균일이 경감된 평면 정측 화상을 얻을 수 있다. 또한, 상기한 화상 변환(I)나 화상 변환(II)의 대응 관계식이 산출하기 쉬워진다.

또한, 시선 벡터 n을 특정하는 파라미터의 입력을 받아들여, 시선 벡터를 설정하고, 시선 벡터 n의 방향에서 교차하는 교점 Q에 있어서, 시선 벡터 n와 직교하는 면 내에, 잘라내기 영역 E에 대응하는 평면 정측 화상 T의 영역을 설정하고, 시선 벡터와 직교하는 면 내에 있어서, 설정된 평면 정측 화상 T의 영역을 이동시키고, 시선 벡터 n에 따라, 이동된 평면 정측 화상 T'의 영역의 각 점에 대응하는 왜곡 화상의 화소값을 구하고, 상기 구한 왜곡 화상의 화소값을 평면 정측 화상 T'의 화소값으로 하는 경우, 불균일이 경감된 평면 정측 화상을 얻을 수 있다. 또한, 오프셋 기능을 가지는 화상 변환(I)나 화상 변환(II)의 대응 관계식이 산출하기 쉬워진다.

또한, 시선 벡터 n의 방향에서 교차하는 교점 Q에 있어서, 시선 벡터와 직교하는 면이, 원기둥의 면 C인 경우, 불균일이 경감된 파노라마 화상의 평면 정측 화상을 얻을 수 있다.

또한, 각 시선 벡터에 따른 잘라내기 영역을 설정하고, 각각의 잘라내기 영역을 평면 정측 화상으로 변환하여, 화상 변환 수단이 구한 각 평면 정측 화상을 1개의 표시 수단에 표시하는 경우, 용도에 따라, 화상 변환(I) 및 화상 변환(II)과 오프셋 기능을 조합한, 왜곡 화상의 다양한 방향에 있어서 양호한 정밀도의 평면 정측 화상을, 조합시켜 표시하게 할 수 있다.

예를 들면, 도 13이나 도 18에 나타낸 바와 같이, 화상 변환(I)과 화상 변환(II)의 평면 정측 화상을 병용하여 화상을 표시할 수 있다. 도 13에 나타낸 바와 같이, 파노라마 화상(27)에 의하여, 우측단, 좌측단의 물체나 인물을 정확하게 확인하기 쉽고, 내려다 보아 화상(26)에 의하여, 주차시의 에지 돌이나 장애물을 확인하기 쉬워진다.

그리고, 도 19에 나타낸 바와 같이, 카메라(2)가, 차체의 뒤쪽에, 렌즈의 광축이 차체에 대하여 수직으로 되도록 설정되어도 된다. 이 경우, 도 13의 내려다 보는 화상(26)을 표시하기 위해서는, 시점 벡터 n을, 광축 방향으로 하여, 오프셋 기능을 이용하지 않는, 화상 변환(I)나 화상 변환(II)의 대응 관계식을 이용해도 된다. 또한, 범퍼가 들어가지 않도록, 오프셋 기능을 이용해도 되고, 시점 벡터 n의 방향을 바꾸어도 된다. 또한, 도 13의 파노라마 화상(27)을 표시하기 위해서는, 시점 벡터 n을, 광축 방향으로 하여, 오프셋 기능에 의하여, 평면 정측 화상 T'을 수평 방향으로 이동시키고, 화상 변환(II)의 대응 관계식을 이용해도 된다.

또한, 도 20에 나타낸 바와 같이, 버스의 운전석의 상부에 카메라(2)를 설치하여, 고객 석의 방향의 화상(34)과 운전석을 내려다 보는 화상(35)을 표시하도록 해도 된다. 1대의 카메라로 버스 차내 전체의 모양이 파악하기 쉬워진다. 이들의 화상을 화상 인식에 사용하면, 사람의 인식이나, 차내의 인원수의 파악, 얼굴의 인식이 하기 용이해진다.

또한, 도 21에 나타낸 바와 같이, ATM(Automatic teller machine)의 상부에 카메라(2)를 설치하여, ATM의 이용자의 방향을 향하는 화상(36)과 ATM의 입력 부분을 내려다 보는 화상(37)을 표시하도록 해도 된다. 1대의 카메라로, ATM의 이용자의 모양이나, 조작의 모양이 파악하기 쉬워진다. 이들의 화상을 화상 인식에 사용하면, 얼굴의 인식이나, 조작의 인식이 하기 용이해진다.

그리고, 화상 표시 시스템(1)이나 화상 처리 장치(10)에 의해 행해지는 처리는, CPU(Central Processing Unit)를 가지는 컴퓨터이어도 좋다. 컴퓨터에 의하여, 화상 변환(I), 화상 변환(II), 오프셋 기능 등의 연산이 행해진다.

또한, 본 발명은, 상기 각각의 실시 형태에 한정되는 것은 아니다. 상기 각각의 실시 형태는 예시이며, 본 발명의 특허 청구의 범위에 기재된 기술적 사상과 실질적으로 동일 구성을 가지고 마찬가지의 작용 효과를 얻을 수 있는 것은, 어떠한 것이어도 본 발명의 기술적 범위에 포함된다.

1: 화상 표시 시스템(화상 표시 장치)
2: 카메라
3: 파라미터 입력부
4: 프레임 메모리
5: 표시용 모니터(표시 수단)
10: 화상 처리 장치
11: 보정·연산부
12: 화상 생성부
S: 왜곡 원형 화상(왜곡 화상)
P: 잘라내기 중심점(잘라내기 기준점)
E, E': 잘라내기 영역
n: 시선 벡터
T, T', C: 평면 정측 화상
H: 가상 구면

Claims

광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단;
상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단;
상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단;
상기 왜곡 화상의 촬영의 시점(視點)을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단;
상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단;
상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단
을 포함하는 화상 처리 장치.
제1항에 있어서,
상기 왜곡 화상의 중심을 중심으로 한 가상 구면을 설정하는 가상 구면 설정 수단
을 더 포함하고,
상기 시선 벡터 설정 수단이, 상기 가상 구면의 중심으로부터, 상기 왜곡 화상을 포함하는 평면과 직교하고 상기 잘라내기 기준점을 통과하는 직선과, 상기 가상 구면이 교차하는 교점으로 향하는 시선 벡터를 설정하는, 화상 처리 장치.
제1항 또는 제2항에 있어서,
상기 시선 벡터 설정 수단이, 상기 시선 벡터를 특정하는 파라미터의 입력을 받아들여 상기 시선 벡터를 설정하고,
상기 잘라내기 영역 설정 수단이, 상기 시선 벡터의 방향에서 교차하는 교점에 있어서 상기 시선 벡터와 직교하는 면 내에, 상기 잘라내기 영역에 대응하는 상기 평면 정측 화상의 영역을 설정하고,
상기 오프셋 수단이, 상기 시선 벡터와 직교하는 면 내에 있어서, 상기 설정된 평면 정측 화상의 영역을 이동시키고,
상기 화상 변환 수단이, 상기 시선 벡터에 따라, 상기 이동된 평면 정측 화상의 영역의 각 점에 대응하는 상기 왜곡 화상의 화소값을 구하고, 상기 구해진 상기 왜곡 화상의 화소값을 상기 평면 정측 화상의 화소값으로 하는, 화상 처리 장치.
제3항에 있어서,
상기 시선 벡터와 직교하는 면은 원기둥의 면인, 화상 처리 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 시선 벡터 설정 수단이, 복수의 시선 벡터를 설정하고,
상기 잘라내기 영역 설정 수단이, 각 시선 벡터에 따른 잘라내기 영역을 설정하고,
상기 화상 변환 수단이, 상기 각각의 잘라내기 영역을 평면 정측 화상으로 변환하고,
상기 화상 변환 수단이 구한 각 평면 정측 화상을 1개의 표시 수단에 표시하는, 화상 처리 장치.
화상 처리 장치가 화상을 처리하는 화상 처리 방법으로서,
광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 단계;
상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 단계;
상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 단계;
상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 단계;
상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 단계;
상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 단계
를 포함하는 화상 처리 방법.
컴퓨터를,
광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단;
상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단;
상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단;
상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단;
상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단; 및
상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단
으로 기능하게 하는 화상 처리 장치용 프로그램.
컴퓨터를,
광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단,
상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단;
상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단;
상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단;
상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단; 및
상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단
으로 기능하게 하는 화상 처리 장치용 프로그램이 컴퓨터 판독 가능하게 기록된 기록 매체.
광각 렌즈 또는 전방위 미러를 사용한 촬영에 의해 얻어진 왜곡 화상을 취득하는 왜곡 화상 취득 수단;
상기 왜곡 화상으로부터 일부분의 잘라내기 영역을 잘라내기 위한 잘라내기 기준점을 설정하는 잘라내기 기준점 설정 수단;
상기 잘라내기 기준점에 따라, 잘라내기 영역을 설정하는 잘라내기 영역 설정 수단;
상기 왜곡 화상의 촬영의 시점을 기점으로 하여, 상기 잘라내기 기준점에 대응하는 시선 벡터를 설정하는 시선 벡터 설정 수단;
상기 잘라내기 기준점으로부터 소정 거리 상기 잘라내기 영역을 이동시키는 오프셋 수단;
상기 시선 벡터에 따라 상기 왜곡 화상으로부터 평면 정측 화상으로 변환하는 화상 변환에 의하여, 상기 이동된 잘라내기 영역을 변환하는 화상 변환 수단;
상기 화상 변환 수단에 의해 얻어진 평면 정측 화상을 표시하는 표시 수단
을 포함하는 화상 표시 장치.