KR20200070135A - 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템 - Google Patents

후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템 Download PDF

Info

Publication number
KR20200070135A
KR20200070135A KR1020190162336A KR20190162336A KR20200070135A KR 20200070135 A KR20200070135 A KR 20200070135A KR 1020190162336 A KR1020190162336 A KR 1020190162336A KR 20190162336 A KR20190162336 A KR 20190162336A KR 20200070135 A KR20200070135 A KR 20200070135A
Authority
KR
South Korea
Prior art keywords
image
camera
cover
truck
conversion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190162336A
Other languages
English (en)
Other versions
KR102270793B1 (ko
Inventor
강문준
박성령
엄태정
하수영
성동진
정명환
Original Assignee
아진산업(주)
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 오토아이티(주) filed Critical 아진산업(주)
Publication of KR20200070135A publication Critical patent/KR20200070135A/ko
Application granted granted Critical
Publication of KR102270793B1 publication Critical patent/KR102270793B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/144—Garbage trucks, e.g. refuse trucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 적재함 후방 덮개가 개방 가능한 형태로 구현된 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템은, 트럭의 본체에 분산 배치되어, 전방 영상, 좌측 영상, 우측 영상을 획득 및 제공하는 복수의 본체 카메라들; 상기 트럭의 덮개 내측에 배치되어, 제1 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 내측 카메라; 상기 트럭의 덮개 외측에 배치되어, 제2 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 외측 카메라; 덮개 개방 상태와 덮개 폐쇄 상태에서 카메라 캘리브레이션을 반복 수행하여 제1 영상변환 모델과 제2 영상변환 모델을 획득 및 저장하는 카메라 캘리브레이션부; 및 덮개 개방 상태에서는 상기 제1 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 내측 카메라의 카메라 영상들을 제1 AVM(Around View Monitor) 영상으로 변환하고, 덮개 폐쇄 상태에서는 상기 제2 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 외측 카메라의 카메라 영상들을 제2 AVM 영상으로 변환하는 AVM 영상 생성부를 포함할 수 있다.

Description

후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템{Around view monitor system for rear open trucks}
본 출원은 적재함 후방 덮개가 개방 가능한 형태로 구현된 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템에 관한 것이다.
어라운드 뷰 모니터(Around View Monitor; AVM) 시스템이란, 차량에 부착된 카메라가 촬영한 차량 주변의 영상을 차량 내에 있는 모니터에 표시하여, 운전자가 모니터의 영상을 통해 차량 주변의 상황을 인지한 상태에서 운전을 할 수 있게 해주는 시스템을 말한다.
일반적으로 어라운드 뷰 모니터 시스템은 모니터를 통해 차량의 전방 영상과 더불어 차량의 위에서 내려다본 탑 뷰(Top View)를 표시해 줌으로써, 운전자가 차량의 전방뿐만 아니라, 좌측, 우측 및 후방의 상황도 인지할 수 있게 한다.
다만, 환경미화 차량과 같이 적재함 후방 덮개가 개방 가능한 형태로 구현된 후방 개방형 트럭에 어라운드 뷰 모니터 시스템을 적용하는 경우, 후방 개방형 트럭의 동작, 예를 들어 후방 개방형 트럭의 후면의 덮개를 개폐함에 따라 후방의 영상을 제대로 획득하는데 어려움이 있다.
따라서, 당해 기술분야에서는 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템에 있어서, 후방 개방형 트럭의 덮개 개방 여부와 상관없이 AVM 영상을 정상적으로 획득하여 제공하기 위한 방안이 요구되고 있다.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예는 적재함 후방 덮개가 개방 가능한 형태로 구현된 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템을 제공한다.
상기 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템은, 트럭의 본체에 분산 배치되어, 전방 영상, 좌측 영상, 우측 영상을 획득 및 제공하는 복수의 본체 카메라들; 상기 트럭의 덮개 내측에 배치되어, 제1 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 내측 카메라; 상기 트럭의 덮개 외측에 배치되어, 제2 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 외측 카메라; 덮개 개방 상태와 덮개 폐쇄 상태에서 카메라 캘리브레이션을 반복 수행하여 제1 영상변환 모델과 제2 영상변환 모델을 획득 및 저장하는 카메라 캘리브레이션부; 및 덮개 개방 상태에서는 상기 제1 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 내측 카메라의 카메라 영상들을 제1 AVM(Around View Monitor) 영상으로 변환하고, 덮개 폐쇄 상태에서는 상기 제2 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 외측 카메라의 카메라 영상들을 제2 AVM 영상으로 변환하는 AVM 영상 생성부를 포함한다.
상기 카메라 캘리브레이션부는 덮개 상태를 변경하면서 상기 트럭 주변에 배치된 교정판을 반복 촬영한 후, 카메라 영상별로 카메라 영상으로부터 추출된 교정판 좌표를 수학 모델 기반으로 산출된 교정판 좌표와 비교 분석하여 수학 모델의 파라미터를 결정한 후, 상기 수학 모델을 덮개 상태에 따라 수집 및 취합함으로써, 덮개 개방 상태에 대응되는 제1 영상 변환 모델과 덮개 폐쇄 상태에 대응되는 제2 영상 변환 모델을 생성하는 것을 특징으로 한다.
상기 수학 모델은 교정판 좌표계 기준으로 정의된 특징점 좌표를 기준 좌표계 기준으로 변환하는 과정, 기준 좌표계 기준으로 정의된 특징점 좌표를 카메라 좌표계 기준으로 변환하는 과정, 카메라 좌표계 기준으로 정의된 특징점 좌표를 센서 좌표계 기준으로 변환하는 과정, 및 센서 좌표계 기준으로 정의된 특징점 좌표를 방사 왜곡 변환한 후, 방사 왜곡 변환된 특징점 좌표를 영상좌표로 변환하는 과정을 순차 수행하는 영상 변환 모델인 것을 특징으로 한다.
상기 어라운드 뷰 모니터 시스템은 상기 제1 AVM 영상과 상기 제2 AVM 영상의 영상오차가 최소화되도록, 제1 영상변환 모델과 제2 영상변환 모델 중 어느 하나를 추가 보정하는 상기 영상오차 보정부를 더 포함하는 것을 특징으로 한다.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 후방 개방형 트럭의 후면에 위치한 덮개의 외측뿐만 아니라 내측에도 카메라를 추가적으로 설치하고, 덮개 개폐에 따라 외측 또는 내측 카메라에 의해 획득한 후방의 영상을 선택적으로 표시할 수 있다. 이에 따라, 후방 개방형 트럭의 덮개가 개방된 경우에도 후방의 영상을 정상적으로 획득하여 제공할 수 있다.
또한 적재함 덮개의 개방 여부와 상관없이, 항상 일정한 위치와 각도를 유지할 수 있는 AVM 영상도 획득 및 제공할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템의 구성도이다.
도 2은 본 발명의 일 실시예에 따른 카메라 배치도를 나타낸 도면이다.
도 3 내지 도 6은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 방법을 설명하기 위한 도면이다.
도 7은 발명의 일 실시예에 따른 AVM 영상 생성 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템은 카메라부(100), 카메라 캘리브레이션부(200), AVM 영상 생성부(300), 영상오차 보정부(400), 및 모니터(500) 등을 포함할 수 있다.
카메라부(100)는 차량의 본체에 분산 설치된 복수의 본체 카메라들(110) 이외에 트럭의 덮개 내측에 배치된 적어도 하나 이상의 덮개 내측 카메라(120), 트럭의 덮개 외측에 배치된 적어도 하나 이상의 덮개 외측 카메라(130)를 추가 포함할 수 있다.
복수의 본체 카메라들(110)은 차량 주변, 즉 전방, 후방, 좌측 및 우측을 각각 촬영하여 복수의 주변 영상을 획득 및 제공하고, 덮개 내측 카메라(120)는 덮개 개방 상태일 때의 후방 영상을 획득 및 제공하고, 덮개 외측 카메라(130)는 덮개 폐쇄 상태일 때의 후방 영상을 획득 및 제공한다.
참고로, 쓰레기 차량과 같은 후방 개방형 트럭의 경우 후방의 영상이 중요하며, 특히 쓰레기차량의 후면에 위치한 덮개의 동작 및 작업자의 위치 등을 고려할 때 쓰레기차량 후방의 중심 영역보다는 가장자리 영역이 더 중요하다. 또한, 쓰레기차량의 후면에 위치한 덮개가 열리는 경우에는 후방에 설치된 카메라의 위치가 변경되어 후방의 영상을 제대로 획득할 수 없는 문제가 발생할 수 있다.
따라서, 본 발명에서는 덮개 개방 여부와 상관없이 트럭 후방의 영상을 획득하기 위해, 쓰레기차량의 후면에 위치한 덮개의 외측과 내측 모두에 카메라가 각각 설치되도록 한다.
카메라 캘리브레이션부(200)는 덮개의 개방 여부에 따라 차량의 무게 중심이 변화될 수 있으며, 동일 위치에 설치된 카메라일지라도 덮개의 개방 여부에 따라 카메라 외부 파라미터가 가변될 수 있음을 고려하여, 덮개 개방 여부를 달리 하면서 2번의 카메라 캘리브레이션을 수행하도록 한다.
즉, 덮개 개방 상태에서 본체 카메라들(110)과 덮개 내측 카메라(120)에 대한 카메라 캘리브레이션을 수행하여 제1 영상변환 모델을 획득 및 저장하고, 덮개 폐쇄 상태에서 본체 카메라들(110)과 덮개 외측 카메라(130)에 대한 카메라 캘리브레이션을 수행하여 제2 영상변환 모델을 획득 및 저장하도록 한다. 이때, 덮개 개방 여부는 차량 ECU 또는 차량 센서 등을 이용하여 감지될 수 있다.
AVM 영상 생성부(300)는 덮개의 개방 여부에 따라 이용 카메라의 종류와 영상변환 모델의 종류를 달리하면서, AVM 영상을 생성하도록 한다.
즉, 덮개 개방 상태에서는 본체 카메라들(110)과 덮개 내측 카메라(120)에 의해 획득한 카메라 영상들을 수신하고, 이들 각각의 좌표계를 제1 영상변환 모델에 따라 변환하여 좌표계 통일시킨 후 하나의 영상으로 합성하여 제1 AVM 영상을 생성한다.
그리고 덮개 폐쇄 상태에서는 본체 카메라들(110)과 덮개 외측 카메라(130)를 통해 획득된 카메라 영상들을 수신하고, 이들 각각의 좌표계를 제2 영상변환 모델에 따라 변환하여 좌표계 통일시킨 후 하나의 영상으로 합성하여 제2 AVM 영상을 생성한다.
더하여, 본 발명은 영상오차 보정부(400)를 추가 구비하여, 제1 AVM 영상과 제2 AVM 영상의 영상오차가 최소화되도록, 제1 영상변환 모델과 제2 영상변환 모델 중 어느 하나의 파라미터를 보정할 수 있도록 한다.
즉, 덮개의 개방 여부에 따라 차량의 무게 중심이 변화하고, 이에 따라 카메라의 위치가 조금씩 변화하더라도 제1 AVM 영상과 제2 AVM 영상의 위치 및 각도는 일정 값을 그대로 유지할 수 있도록 한다.
도 2은 본 발명의 일 실시예에 따른 카메라 배치도를 나타낸 도면이다.
도 2에 도시된 바와 같이, 본체 카메라들(110)은 차량 전방, 좌측, 우측에 배치되어, 전방 영상, 좌측 영상및 우측 영상을 획득 및 제공한다.
덮개 내측 카메라(120)는 차량 후방 덮개의 내측에 설치되거나, 차량 후방 덮개가 개방된 경우에만 선택적으로 노출되는 차량 후방면에 배치되어, 차량 덮개가 개방되었을 때에만 선택적으로 후방 영상을 획득 및 제공한다.
덮개 외측 카메라(130)는 차량 후방 덮개의 외측에 배치되어, 차량 덮개 가 폐쇄되었을 때에만 선택적으로 후방 영상을 획득 및 제공한다.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 방법을 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 본 발명의 카메라 캘리브레이션 방법은 크게 교정판 배치 및 좌표계 정의 단계(S1), 카메라 촬영 단계(S2), 수학 모델을 통한 특징점 계산 단계(S3), 영상 처리를 통한 특징점 추출 단계(S4), 최적접합을 통한 수학모델의 파라미터 추정 단계(S5), 및 영상 변환 모델 결정 단계(S6)로 구성된다.
단계 S1에서는, 도 4에서와 같이, 후방 개방형 트럭의 차량 주변(예를 들어, 전방 좌측, 전방 우측, 후방 좌측, 후방 우측)에 다수의 교정판을 분산 배치한 후, 특징점 계산용 수학 모델에서 사용할 좌표계들을 정의한다.
즉, 카메라 본체에 대응되는 카메라 좌표계, 교정판에 대응되는 교정판 좌표계, 차량에 대응되는 기준 좌표계를 정의한다. 또한 도 4에서는 미도시되어 있으나, 카메라 본체에 내장되어 실제 촬영 동작을 수행하는 카메라 센서에 대응되는 카메라 센서 좌표계도 추가 정의하도록 한다.
단계 S2에서는 후방 개방형 차량의 차량 덮개를 개방 또는 폐쇄시킨 후, 차량 전방, 후방, 좌측, 우측 영상 각각을 획득한다.
만약, 덮개 개방 상태이라면, 본체 카메라들(110)과 덮개 내측 카메라(120)를 이용하여 차량 전방, 후방, 좌측, 우측 영상 각각을 획득하고, 덮개 폐쇄 상태이라면, 본체 카메라들(110)과 덮개 외측 카메라(130)를 이용하여 차량 전방, 후방, 좌측, 우측 영상 각각을 획득할 수 있을 것이다.
단계 S3에서는 수학 모델을 이용하여 교정판 각각의 특징점을 영상좌표로 변환하는 과정을 반복 수행한다.
본 발명의 수학 모델은 도 5에서와 같이, 교정판 좌표계 기준으로 정의된 특징점 좌표를 기준 좌표계 기준으로 1차 변환하는 과정(STEP1), 기준 좌표계 기준으로 정의된 특징점 좌표를 카메라 좌표계 기준으로 2차 변환하는 과정(STEP2), 카메라 좌표계 기준으로 정의된 특징점 좌표를 센서 좌표계 기준으로 3차 변환하는 과정(STEP3), 마지막으로 센서 좌표계 기준으로 정의된 특징점 좌표를 방사 왜곡 변환한 후, 방사 왜곡 변환된 특징점 좌표를 영상좌표로 4차 변환하는 과정(STEP4)을 순차 수행하는 영상 변환 모델이다.
특징점 좌표 및 기준 좌표계는 수학식 1, 2로 정의되며, 기준 좌표계 기준으로 정의된 특징점 좌표는 수학식 3에 따라 카메라 좌표계 기준의 좌표로 변환된다.
[수학식 1]
Figure pat00001
이때, c는 cos, s는 sin, c 혹은 s 밑첨자 중 1은 z축으로 회전한 각도, c 혹은 s 밑첨자 중 2은 x축으로 회전한 각도, c 혹은 s 밑첨자 중 3은 z축으로 회전한 각도, x는 교정판 좌표계의 x축 좌표, y는 y축 좌표, z는 z축 좌표이다.
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
카메라 좌표계 기준으로 정의된 특징점 좌표는 수학식 4에 따라 센서 좌표계 기준으로 변환된다.
[수학식 4]
Figure pat00004
이때, f는 카메라 센서의 초점거리이다.
센서 좌표계 기준으로 정의된 특징점 좌표는 수학식 5에 따라 방사 왜곡 변환되고, 방사 왜곡 변환된 특징점 좌표는 다시 수학식 6에 따라 영상좌표로 변환된다.
[수학식 5]
Figure pat00005
이때, Ru는 방사왜곡이 없는 영상에서 방사왜곡 중심에서 특징점까지의 거리이고, Rd는 방사왜곡이 있는 영상에서 방사왜곡 중심에서 특징점까지의 거리이다.
[수학식 6]
Figure pat00006
이때, u0는 x축 방사왜곡 중심, v0는 y축 방사왜곡 중심, kx는 x축의 센서좌표에서 영상좌표로 변환하는 계수, ky는 y축의 센서좌표에서 영상좌표로 변환하는 계수이다.
단계 S4에서는 단계 S2를 통해 획득된 영상 각각에 대해 교정판 검출 및 특징점 추출 동작을 반복 수행함으로써, 영상 각각에 대응되는 교정판 특징점 좌표를 추출하도록 한다.
단계 S5에서는, 도 6에서와 같이 영상 각각에 대해, 비선형 최소자승법을 이용하여 단계 S3의 변환 좌표와 단계 S4의 추출 좌표를 비교 분석함으로써, 좌표간 오차를 최소화시키는 수학모델의 파라미터를 추정한다. 즉, 덮개 개방 상태일 때의 전방, 후방, 좌측, 우측 영상 각각에 대응되는 4개의 수학 모델과, 덮개 폐쇄 상태일 때의 전방, 후방, 좌측, 우측 영상 각각에 대응되는 4개의 수학 모델을 최종 생성하도록 한다.
단계 S6에서는, 덮개 개방 상태일 때의 전방, 후방, 좌측, 우측 영상 각각에 대응되는 4개의 수학 모델을 포함하는 제1 영상 변환 모델을 생성하고, 덮개 폐쇄 상태일 때의 전방, 후방, 좌측, 우측 영상 각각에 대응되는 4개의 수학 모델을 포함하는 제2 영상 변환 모델을 생성하도록 한다.
다만, 앞서 설명한 바와 같이 덮개의 개방 여부에 따라 무게 중심 변화에 따른 차량 기울어짐이 발생하는 데, 이러한 경우 카메라의 내부 파라미터 및 설치된 카메라의 상대적 자세는 그대로 유지되나 카메라의 외부 파라미터는 변화되고, 이에 따라 제1 AVM 영상과 제2 AVM 영상간에도 위치 및 각도가 달라지는 영상 오차가 발생하게 된다.
이에 제1 AVM 영상과 제2 AVM 영상의 영상오차가 최소화되도록, 제1 영상변환 모델과 제2 영상변환 모델 각각에 대응되는 기준 좌표계들 중 어느 하나의 자세를 조정한 후, 이를 반영하여 해당 영상변환 모델의 파라미터를 추가적으로 조정할 수 있도록 한다.
따라서 본 발명은 도 7에서와 같이, 덮개 개방 상태에서는 본체 카메라들(110)과 덮개 내측 카메라(120)에 의해 획득한 영상을 이용하여 제1 영상변환 모델에 따라 변환한 후 합성하여 제1 AVM 영상을 획득 및 제공하고, 덮개 폐쇄 상태에서는 본체 카메라들(110)과 덮개 외측 카메라(130)를 통해 획득된 영상들을 제2 영상변환 모델에 따라 변환 및 합성하여 제2 AVM 영상을 획득 및 제공하도록 한다.
그리고 이때의 제1 AVM 영상과 제2 AVM 영상은 동일 위치 및 각도를 가지는 영상일 수 있도록 한다. 즉, 영상 오차 보정 과정을 통해 덮개의 개방 여부에 따른 영상 불일치 현상이 발생하는 것을 사전 차단할 수 있도록 한다.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.
100: 카메라
200: 카메라 캘리브레이션부
300: AVM 영상 생성부
400: 영상오차 보정부
500: 모니터

Claims (4)

  1. 적재함 후방 덮개가 개방 가능한 형태로 구현된 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템에 있어서,
    트럭의 본체에 분산 배치되어, 전방 영상, 좌측 영상, 우측 영상을 획득 및 제공하는 복수의 본체 카메라들;
    상기 트럭의 덮개 내측에 배치되어, 제1 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 내측 카메라;
    상기 트럭의 덮개 외측에 배치되어, 제2 후방 영상을 획득 및 제공하는 적어도 하나 이상의 덮개 외측 카메라;
    덮개 개방 상태와 덮개 폐쇄 상태에서 카메라 캘리브레이션을 반복 수행하여 제1 영상변환 모델과 제2 영상변환 모델을 획득 및 저장하는 카메라 캘리브레이션부; 및
    덮개 개방 상태에서는 상기 제1 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 내측 카메라의 카메라 영상들을 제1 AVM(Around View Monitor) 영상으로 변환하고, 덮개 폐쇄 상태에서는 상기 제2 영상변환 모델을 이용하여 상기 본체 카메라들과 상기 덮개 외측 카메라의 카메라 영상들을 제2 AVM 영상으로 변환하는 AVM 영상 생성부를 포함하는 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템.
  2. 제1항에 있어서, 상기 카메라 캘리브레이션부는
    덮개 상태를 변경하면서 상기 트럭 주변에 배치된 교정판을 반복 촬영한 후, 카메라 영상별로 카메라 영상으로부터 추출된 교정판 좌표를 수학 모델 기반으로 산출된 교정판 좌표와 비교 분석하여 수학 모델의 파라미터를 결정한 후, 상기 수학 모델을 덮개 상태에 따라 수집 및 취합함으로써, 덮개 개방 상태에 대응되는 제1 영상 변환 모델과 덮개 폐쇄 상태에 대응되는 제2 영상 변환 모델을 생성하는 것을 특징으로 하는 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템.
  3. 제2항에 있어서, 상기 수학 모델은
    교정판 좌표계 기준으로 정의된 특징점 좌표를 기준 좌표계 기준으로 변환하는 과정, 기준 좌표계 기준으로 정의된 특징점 좌표를 카메라 좌표계 기준으로 변환하는 과정, 카메라 좌표계 기준으로 정의된 특징점 좌표를 센서 좌표계 기준으로 변환하는 과정, 및 센서 좌표계 기준으로 정의된 특징점 좌표를 방사 왜곡 변환한 후, 방사 왜곡 변환된 특징점 좌표를 영상좌표로 변환하는 과정을 순차 수행하는 영상 변환 모델인 것을 특징으로 하는 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템.
  4. 제1항에 있어서,
    상기 제1 AVM 영상과 상기 제2 AVM 영상의 영상오차가 최소화되도록, 제1 영상변환 모델과 제2 영상변환 모델 중 어느 하나를 추가 보정하는 상기 영상오차 보정부를 더 포함하는 것을 특징으로 하는 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템.
KR1020190162336A 2018-12-07 2019-12-09 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템 Active KR102270793B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180157420 2018-12-07
KR20180157420 2018-12-07

Publications (2)

Publication Number Publication Date
KR20200070135A true KR20200070135A (ko) 2020-06-17
KR102270793B1 KR102270793B1 (ko) 2021-06-29

Family

ID=71405667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162336A Active KR102270793B1 (ko) 2018-12-07 2019-12-09 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템

Country Status (1)

Country Link
KR (1) KR102270793B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
KR20140095220A (ko) * 2013-01-24 2014-08-01 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2014221641A (ja) * 2014-09-02 2014-11-27 株式会社小松製作所 ダンプトラック
KR20160034670A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012169352A1 (ja) * 2011-06-07 2012-12-13 株式会社小松製作所 作業車両の周辺監視装置
JP2016035791A (ja) * 2011-06-07 2016-03-17 株式会社小松製作所 作業車両の周辺監視装置
KR20140095220A (ko) * 2013-01-24 2014-08-01 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
JP2014221641A (ja) * 2014-09-02 2014-11-27 株式会社小松製作所 ダンプトラック
KR20160034670A (ko) * 2014-09-22 2016-03-30 에스엘 주식회사 차량의 주변 감시 장치 및 방법

Also Published As

Publication number Publication date
KR102270793B1 (ko) 2021-06-29

Similar Documents

Publication Publication Date Title
JP6334734B2 (ja) 車両サラウンドビューシステムの較正用データ処理システムおよび方法
EP3367677B1 (en) Calibration apparatus, calibration method, and calibration program
US9087374B2 (en) Automatic airview correction method
EP3114430B1 (en) Calibration method, calibration device, and computer program product
JP6034775B2 (ja) カメラ校正装置
CN112419423B (zh) 一种标定方法、装置、电子设备及存储介质
Wang et al. Epipolar resampling of linear pushbroom satellite imagery by a new epipolarity model
CN107107822A (zh) 车载相机校正装置、图像生成装置、车载相机校正方法、图像生成方法
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
CN108053375B (zh) 图像数据修正方法、装置及其汽车
CN103426160B (zh) 数据导出装置及数据导出方法
US20150110152A1 (en) Device for non-contact temperature measurement and temperature measurement method
US10740923B2 (en) Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image
KR20110067437A (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP2021140262A (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP2014174067A (ja) 車載カメラのキャリブレーション装置
KR20200070135A (ko) 후방 개방형 트럭을 위한 어라운드 뷰 모니터 시스템
GB2513703A (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
KR20210111218A (ko) Avm 영상 보정 시스템 및 그 제어방법
EP4637168A1 (en) Camera calibration device and camera calibration method
WO2021004642A1 (en) A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
CN117671020A (zh) 鱼眼相机的标定方法、全景影像的获取方法及车辆
US12537907B2 (en) Method for forming panoramic images and related apparatus

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191209

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201217

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210520

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210623

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210624

End annual number: 3

Start annual number: 1

PG1601 Publication of registration