JP4748082B2 - 車両用周辺監視装置及び車両用周辺監視方法 - Google Patents

車両用周辺監視装置及び車両用周辺監視方法 Download PDF

Info

Publication number
JP4748082B2
JP4748082B2 JP2007044441A JP2007044441A JP4748082B2 JP 4748082 B2 JP4748082 B2 JP 4748082B2 JP 2007044441 A JP2007044441 A JP 2007044441A JP 2007044441 A JP2007044441 A JP 2007044441A JP 4748082 B2 JP4748082 B2 JP 4748082B2
Authority
JP
Japan
Prior art keywords
imaging
vehicle
image
camera
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007044441A
Other languages
English (en)
Other versions
JP2008211373A (ja
Inventor
浩司 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2007044441A priority Critical patent/JP4748082B2/ja
Priority to PCT/JP2008/052741 priority patent/WO2008102764A1/ja
Priority to US12/515,683 priority patent/US20100060735A1/en
Priority to CN2008800048982A priority patent/CN101611632B/zh
Priority to KR1020097016438A priority patent/KR101132099B1/ko
Priority to DE112008000089T priority patent/DE112008000089T5/de
Publication of JP2008211373A publication Critical patent/JP2008211373A/ja
Application granted granted Critical
Publication of JP4748082B2 publication Critical patent/JP4748082B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、２以上の撮像手段を用いる車両用周辺監視装置及び車両用周辺監視方法に関する。
従来から、車両の側方に配置されて第１画像を撮像する第１撮像手段と、前記第１撮像手段よりも前方に配置されて第２画像を撮像する第２撮像手段と、前記第１画像および前記第２画像を合成して表示する表示手段とを備える車両周辺監視装置が知られている（例えば、特許文献１参照）。
特開２００６−２３７９６９号公報
しかしながら、上記の特許文献１に記載の車両周辺監視装置において、第１撮像手段と第２撮像手段の撮像タイミングが同期していない場合には、時間軸上でずれた２つの画像を合成してしまうことになるので、合成画像の精度ないし信頼性が低下する虞がある。特に、車両においては、例えば２つの撮像手段における撮像タイミングの１／３０（ｓｅｃ）ずれが、車速１０８ｋｍ／ｈにおける車両の約１．０ｍの移動距離に相当するので、合成画像の信頼性に与える影響が大きい。尚、この問題点は、上記の特許文献１のような２つのカメラの撮像画像を合成表示する構成のみならず、２つのカメラの撮像画像から物標認識したり、物標の３次元情報ないし距離情報を取得したりするような構成に対しても、同様に当てはまる。即ち、かかる構成においては、２以上の撮像手段における撮像タイミングの非同期が許容レベルを超えた物標の認識誤差や測距誤差等を招く虞がある。
そこで、本発明は、２以上の撮像手段の撮像タイミングの非同期を補償して精度の高い情報を生成することができる車両用周辺監視装置及び車両用周辺監視方法の提供を目的とする。
上記目的を達成するため、第１の発明に係る車両用周辺監視装置は、車両の外部を第１撮像領域で所定周期毎に撮像する第１撮像手段と、
前記第１撮像領域の少なくとも一部と重複する第２撮像領域で、車両の外部を所定周期毎に撮像する第２撮像手段と、
前記第１及び第２撮像手段の双方の撮像画像から、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段とを備え、
前記情報生成手段は、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれに応じて、前記第１及び第２撮像手段の一方の撮像画像を補正し、該補正した画像と、他方の撮像手段の撮像画像とを用いて、前記所定情報を生成することを特徴とする。
第２の発明は、第１の発明に係る車両用周辺監視装置において、
前記所定情報は、車両外部の物標の距離に関する情報であることを特徴とする。
第３の発明は、第２の発明に係る車両用周辺監視装置において、
前記車両外部の物標の距離に関する情報は、プリクラッシュ制御に用いられることを特徴とする。

第４の発明は、第１の発明に係る車両用周辺監視装置において、
前記所定情報は、車両外部の環境を表す画像であり、前記第１及び第２撮像手段の双方から得られる画像を合成して生成されることを特徴とする。
第５の発明は、車両用周辺監視方法に関し、
第１撮像手段を用いて、第１タイミングにて、車両の外部を撮像するステップと、
第２撮像手段を用いて、第１タイミングよりも遅い又は早い第２タイミングにて、車両の外部を撮像するステップと、
前記第１撮像手段の撮像画像を、前記第１タイミングと前記第２タイミングのずれに応じて補正する補正画像生成ステップと、
前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、所定情報を生成する情報生成ステップとを含むことを特徴とする。
第６の発明は、第５の発明に係る車両用周辺監視方法において、
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、車両外部の物標の距離に関する情報を生成することを含むことを特徴とする。
第７の発明は、第５の発明に係る車両用周辺監視方法において、
前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを合成して、ディスプレイで表示させる表示用合成画像を生成することを含むことを特徴とする。
本発明によれば、２以上の撮像手段の撮像タイミングの非同期を補償して精度の高い情報を生成することができる車両用周辺監視装置及び車両用周辺監視方法が得られる。
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
図１は、本発明による車両用周辺監視装置の実施例１を示すシステム構成図である。本実施例の車両用周辺監視装置は、画像処理装置３０を備える。画像処理装置３０は、車両に搭載されたカメラ１０から得られる撮像画像に基づいて、車両に搭載されるディスプレイ２０を介して、車両周辺の画像（映像）を表示する。ディスプレイ２０は、例えば液晶ディスプレイであってよく、乗員が視認しやすい位置（例えばインストルメントパネルやメータ付近）に設置される。
図２は、カメラ１０の設置態様及びその撮像領域の一例を示す平面図である。カメラ１０は、図２に示すように、車両の前部、両側部及び後部の計４箇所に設置される。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により路面を含む周囲画像を取得する。各カメラ１０は、魚眼レンズを備える広角カメラであってよい。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、所定のフレーム周期（例えば３０fps)のストリーム形式で画像処理装置３０に供給するものであってよい。
前方カメラ１０ＦＲは、図２に概略的に示すように、車両前方の路面を含む周囲画像を取得するように、車体の前部（例えばバンパ付近）に設置される。左側方カメラ１０ＳＬは、図２に概略的に示すように、車両左側方の路面を含む周囲画像を取得するように、左側のドアミラーに設置される。右側方カメラ１０ＳＲは、図２に概略的に示すように、車両右側方の路面を含む周囲画像を取得するように、右側のドアミラーに設置される。後方カメラ１０ＲＲは、図２に概略的に示すように、車両後方の路面を含む周囲画像を取得するように、車体の後部（例えば後部バンパ付近やバックドア）に設置される。
図２には、各カメラ１０の撮像領域の一例が概略的に示されている。図２に示す例では、各カメラ１０は、広角カメラであり、各カメラ１０の撮像領域は略扇形で示されている。図２には、前方カメラ１０ＦＲの撮像領域Ｒｆと、右側方カメラ１０ＳＲの撮像領域Ｒｒとが、ハッチングにより強調して示されている。これらの各撮像領域は、図２に示すように、互いに重複する領域（例えば図２のＲｒｆ）を有してもよい。このように図２に示す例では、車両の全周囲の風景が、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲにより協働して捕捉される。
図３は、ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。表示画像は、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを介して得られる画像を合成して生成される。図３に示す例では、表示画像の中央領域に、車両を模した画像（車両画像）が組み込まれている。かかる車両画像は、予め作成され、所定のメモリに記憶しておいたものが利用されてよい。表示画像は、中央領域に車両画像を配置し、その他の領域に、各カメラ１０から得られる画像を配置することにより得られる。各カメラ１０から得られる画像は、路面を上空から俯瞰した俯瞰（鳥瞰）表示用の画像となるように適切な前処理（例えば座標変換、歪補正や遠近補正等）を受けてから、ディスプレイ２０上に表示される（図中のハッチング部分が路面ないし路上物体を俯瞰した画像部分を表す）。これにより、乗員は、車両を中心として全方位に亘って、路面の状態ないし路上物体の状態（例えば、各種道路区画線や各種障害物の位置等）を把握することができる。
ところで、上述のような２以上のカメラ１０ＦＲ，１０ＳＲ等の撮像画像を合成して表示画像を生成する構成において、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが同期していない場合には、時間的にずれた画像を合成することになるので、各画像の境界部の不連続や、同一の物標の多重表示等の問題が生ずる。例えば、図４に示すように、車両外部の物標が、ｉ番目のフレーム周期のカメラ１０ＦＲの撮像タイミングｔＦＲ（ｉ）にてカメラ１０ＦＲの撮像領域に入り、ｉ番目のフレーム周期のカメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）にてカメラ１０ＦＲ，１０ＳＲの重複領域Ｒｒｆに入る場合を想定する。カメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）は、同期ずれにより、同フレーム周期のカメラ１０ＦＲの撮像タイミングｔＦＲ（ｉ）よりも遅れたタイミングであるとする。この場合、同一のフレーム周期でカメラ１０ＦＲ及びカメラ１０ＳＲにより撮像したそれぞれの画像を単に合成すると、１つの物標が２つ表示されてしまうことになる（同一の物標の多重表示）。この種の非同期が発生した場合に、撮像タイミングを補正して同期を維持することは技術的に困難な場合がある。
そこで、本実施例では、この種の非同期を許容しつつ、画像処理装置３０に非同期補償機能を付与することで、各カメラ１０の撮像タイミングが同期していない場合に生ずる問題を解消する。以下、この非同期補償機能について詳説する。
図５は、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングの一例を示す図である。図５に示す例では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、同一の３０fpsのフレームレートであり、それぞれ非同期である。この場合、３０fpsのフレームレートであることから、最大で１／３０秒のずれが発生しうる。
図６は、画像処理装置３０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。以下では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）のうち、カメラ１０ＳＲの撮像タイミングを基準として合成画像を生成する場合について、説明する。但し、基準となるカメラは任意である。図６の示す処理ルーチンは、カメラ１０ＳＲの撮像タイミング毎に繰り返し実行される。
図７は、図６の非同期補償機能の説明図であり、図７（Ａ）は、フレーム周期（ｉ）におけるカメラ１０ＦＲの撮像画像を模式的に示す図であり、図７（Ｂ）は、後述のステップ２０４の補正処理により得られるカメラ１０ＦＲの補正画像を模式的に示す図であり、図７（Ｃ）は、フレーム周期（ｉ）におけるカメラ１０ＳＲの撮像画像を模式的に示す図である。図７に示す例では、図４に示したような物標が撮像されており、図７の各図には、撮像画像における重複領域Ｒｒｆの部分が点線にて指示されている。
図６を参照するに、ステップ２０２では、同一フレーム周期（ｉ）における各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングのずれが算出される。ここでは、カメラ１０ＳＲの撮像タイミングを基準としてずれが算出される。例えば図５に示す例では、カメラ１０ＦＲの同期ずれ量ΔｔＦＲは、ΔｔＦＲ＝ｔＳＲ（ｉ）−ｔＦＲ（ｉ）として算出される。尚、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミング（ｔＳＲ（ｉ）等）は、タイムスタンプ等を用いて検出可能とされてよい。或いは、同期ずれ量Δｔは、各撮像画像間の重複領域における相関性を評価することで算出されてもよい。
ステップ２０４では、上記のステップ２０２で算出された同期ずれ量に基づいて、フレーム周期（ｉ）におけるカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの撮像画像が補正される。例えば、カメラ１０ＦＲの撮像画像に関して、今回のフレーム周期（ｉ）におけるカメラ１０ＦＲの撮像画像Ｉ（ｉ）（図７（Ａ）参照）は、カメラ１０ＳＲの撮像タイミングｔＳＲ（ｉ）と同期して撮像された場合に得られる撮像画像（図７（Ｂ）参照）に対応するように、補正される。この補正には、例えばフレーム間の相関関係（相互相関関数）を利用した補間技術が用いられる。例えば、この補正は、ＭＰＥＧにおけるI（Intra）フレーム（本例の場合、時刻ｔＦＲ（ｉ）で得られる撮像画像Ｉ（ｉ））からＰ（Predictive）フレーム（本例の場合、時刻ｔＦＲ（ｉ）から時間ΔｔＦＲ後の時刻ｔＳＲ（ｉ）での仮想フレーム）を導出する要領で実現されてもよい。尚、ＭＰＥＧにおけるフレーム間予測には、レーム周期間隔に対する同期ずれ量Δｔの関係を考慮した動き補償技術（物標の動きベクトルを推定・補償する技術）が用いられてよい。この際、例えば車輪速センサから導出可能な現在の車速も考慮されてもよい。なお、このようにして得られた補正画像（図７（Ｂ）参照）は、フレーム周期（ｉ）におけるカメラ１０ＳＲの撮像画像（図７（Ｃ）参照）との間で重複領域Ｒｒｆの画素情報（例えば輝度信号や色信号）の相関性を評価することで、更なる補正を受けてもよい。
ステップ２０６では、上記のステップ２０４で得られるカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの各撮像画像に対する各補正画像と、カメラ１０ＳＲの撮像画像とを用いて、表示画像（図３参照）が生成される。この際、各カメラ１０の撮像領域が重複する領域（例えば図２のＲｒｆ）については、何れかの一方の画像を選択して当該重複領域に関する最終的な表示画像が生成されてもよく、或いは、双方の画像を協働的に用いて当該重複領域に関する最終的な表示画像が生成されてもよい。例えば、カメラ１０ＳＲとカメラ１０ＦＲとの重複領域Ｒｒｆについては、図７（Ｂ）に示すカメラ１０ＦＲの補正画像の重複領域Ｒｒｆの部分と、図７（Ｃ）に示すカメラ１０ＳＲの撮像画像重複領域Ｒｒｆの部分のいずれか一方を用いて描画されてもよいし、双方を協働的に用いて描画されてもよい。
このように、本実施例によれば、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが同期していない場合でも、撮像タイミングのずれを補正した補正画像を用いて表示画像が生成されるので、上述の各カメラ１０の撮像タイミングが同期していない場合に生ずる問題を無くすことができる。即ち、境界部の不連続や、同一の物標の多重表示等の無い精度の高い（違和感の無い）表示画像を生成することができる。
尚、本実施例においては、図６に示すように、同一のフレーム周期で時間的に最後の撮像タイミングのカメラ（本例の場合、カメラ１０ＳＲ）を基準として、他のカメラ（本例の場合、カメラ１０ＦＲ，１０ＳＬ及び１０ＲＲ）の撮像画像を補正しているが、他のカメラ（本例の場合、カメラ１０ＦＲ，１０ＳＬ及び１０ＲＲ）を基準としてもよい。例えば、カメラ１０ＦＲの撮像タイミングを基準とした場合には、カメラ１０ＳＬの撮像画像は上述と同様、同期ずれ分だけ先のＰフレームを導出する要領（前方向予測）で補正されてよく、一方、カメラ１０ＳＲ及びカメラ１０ＲＲの撮像画像は、同期ずれ分だけ前のＰフレームを導出する要領（後方向予測）で補正されてよいし、或いは、前フレーム周期の撮像画像と今回のフレーム周期の撮像画像とを用いて、Ｂ（Bidirectional predictive）フレームを導出する要領（両方向予測）で補正されてもよい。
また、本実施例において、異なるフレーム周期の撮像画像を合成して表示することも可能である。例えば、図５に示す同期ずれの場合に、カメラ１０ＳＲの撮像画像が取得された時点で、次フレーム周期のカメラ１０ＦＲ，１０ＳＬ及び１０ＲＲの撮像画像を、同期ずれ分だけ前のＰフレームを導出する要領（後方向予測又は両方向予測）で補正し、この結果得られる補正画像と、カメラ１０ＳＲの撮像画像とを合成して表示することとしてもよい。
図８は、本発明による車両用周辺監視装置の実施例２を示すシステム構成図である。本実施例の車両用周辺監視装置は、画像処理装置６０を備える。画像処理装置６０は、車両に搭載されたカメラ４０から得られる撮像画像に基づいて、撮像画像内の物標を画像認識し、車両外部の物標の距離に関する情報（以下、「距離情報」という）を生成する。物標とは、他車両、歩行者、建造物、道路標識（ペイントを含む）等の地物であってよい。距離情報は、プリクラッシュ・ＥＣＵ５０に供給され、プリクラッシュ制御に用いられる。距離情報は、その他、クリアランスソナーの測距データの代わりとして用いられてもよいし、車間距離制御やレーンキープアシスト制御等のような他の制御に用いられてもよい。プリクラッシュ制御は、障害物との衝突前に、警報を出力したり、シートベルトの張力を高めたり、バンパの高さを適切な高さまで駆動したり、ブレーキ力を発生させたりする等の制御を含む。
図９は、カメラ４０の設置態様及びその撮像領域の一例を示す平面図である。カメラ４０は、図９に示すように、車両の幅方向に離間して配置される２つのカメラ４１、４２からなるステレオカメラである。各カメラ４１、４２は、ＣＣＤ等の撮像素子により車両前方の周囲画像を取得する。カメラ４０は、例えば車室内のウインドシールドガラスの上縁付近に配置されてよい。各カメラ４１、４２は、所定のフレーム周期（例えば３０fps)のストリーム形式で画像処理装置６０に供給するものであってよい。
図９には、各カメラ４１、４２の撮像領域の一例が概略的に示されている。図９に示す例では、各カメラ４１、４２の撮像領域は略扇形で示されている。各カメラ４１、４２の撮像領域は、図９に示すように、互いに重複する領域（例えば図９のＲｒｆ）を有する。このように図９に示す例では、車両の前方の風景が、２つのカメラ４１、４２により視差をもって捕捉される。
図１０は、各カメラ４１、４２の撮像タイミングの一例を示す図である。図５に示す例では、各カメラ４１、４２は、同一の３０fpsのフレームレートであり、それぞれ非同期である。この場合、３０fpsのフレームレートであることから、最大で１／３０秒のずれが発生しうる。
図１１は、画像処理装置６０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。以下では、各カメラ４１、４２のうち、左カメラ４２の撮像タイミングを基準として距離情報を生成する場合について、説明する。但し、基準となるカメラは任意である。図１１の示す処理ルーチンは、左カメラ４２の撮像タイミング毎に繰り返し実行される。
ステップ３０２では、同一フレーム周期（ｉ）における各カメラ４１、４２の撮像タイミングのずれが算出される。例えば図１０に示す例では、カメラ１０ＦＲの同期ずれ量Δｔは、Δｔ＝ｔ２（ｉ）−ｔ１（ｉ）として算出される。尚、各カメラ４１、４２の撮像タイミング（ｔ２（ｉ）等）は、タイムスタンプ等を用いて検出可能とされてよい。
ステップ３０４では、上記のステップ３０２で算出された同期ずれ量に基づいて、フレーム周期（ｉ）におけるカメラ４１の撮像画像が補正される。同期ずれ量に応じた撮像画像の補正方法は、上述の実施例１と同様であってよい。
ステップ３０６では、上記のステップ３０４で得られるカメラ４１の撮像画像に対する補正画像と、カメラ４２の撮像画像とを用いて、距離情報が生成される。この距離情報は、撮像タイミングが同期したステレオカメラを用いた場合と同様の要領で生成されてよい。撮像タイミングが同期したステレオカメラを用いた場合と異なるのは、カメラ４１の撮像画像が上述の如く補正されている点だけである。
このように、本実施例によれば、各カメラ４１、４２の撮像タイミングが同期していない場合でも、撮像タイミングのずれを補正した補正画像を用いて距離情報が生成されるので、各カメラ４１、４２の撮像タイミングが同期していない場合に生ずる測距誤差を無くすことができる。これにより、精度の高い距離情報を生成することができる。
尚、以上説明した各実施例においては、添付の特許請求の範囲の「情報生成手段」は、画像処理装置３０又は６０が図６の処理または図９の処理を実行することで実現されている。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
例えば、上述した実施例では、合成画像の表示や距離情報の生成に、２以上のカメラの撮像画像を協調して用いているが、本発明は、同期されていないか或いは同期ずれが生ずる２以上のカメラの撮像画像を協調して用いる如何なるアプリケーションに対しても適用可能である。
また、上述した実施例では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）等のフレームレートは同一であったが、異なるフレームレートであってもよい。また、上述した実施例１では、各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングが互いにすべて異なっているが、少なくともいずれか１つのカメラの撮像タイミングが他のカメラの撮像タイミングと異なっていれば本発明の効果を享受することができる。
本発明による車両用周辺監視装置の実施例１を示すシステム構成図である。 カメラ１０の設置態様及びその撮像領域の一例を概略的に示す平面図である。 ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。 各カメラ１０ＦＲ，１０ＳＲの撮像タイミングの非同期に起因した物標の撮像位置の相違を示す図であり、車両に対する物標の相対的な動きを模式的に示す平面図である。 各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）の撮像タイミングの一例を示す図である。 画像処理装置３０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。 図６の非同期補償機能の説明図である。 本発明による車両用周辺監視装置の実施例２を示すシステム構成図である。 実施例２によるカメラ４０の設置態様及びその撮像領域の一例を示す平面図である。 各カメラ４１、４２の撮像タイミングの一例を示す図である。 画像処理装置６０により実現される非同期補償機能の基本処理の流れを示すフローチャートである。
符号の説明
１０、４０ カメラ
２０ ディスプレイ
３０、６０ 画像処理装置
５０ プリクラッシュ・ＥＣＵ

Claims (7)

  1. 車両の外部を第１撮像領域で所定周期毎に撮像する第１撮像手段と、
    前記第１撮像領域の少なくとも一部と重複する第２撮像領域で、車両の外部を所定周期毎に撮像する第２撮像手段と、
    前記第１及び第２撮像手段の双方の撮像画像から、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段とを備え、
    前記情報生成手段は、前記第１撮像手段の撮像タイミングと第２撮像手段の撮像タイミングとの間のずれに応じて、前記第１及び第２撮像手段の一方の撮像画像を補正し、該補正した画像と、他方の撮像手段の撮像画像とを用いて、前記所定情報を生成することを特徴とする、車両用周辺監視装置。
  2. 前記所定情報は、車両外部の物標の距離に関する情報である、請求項１に記載の車両用周辺監視装置。
  3. 前記車両外部の物標の距離に関する情報は、プリクラッシュ制御に用いられる、請求項２に記載の車両用周辺監視装置。
  4. 前記所定情報は、車両外部の環境を表す画像であり、前記第１及び第２撮像手段の双方から得られる画像を合成して生成される、請求項１に記載の車両用周辺監視装置。
  5. 第１撮像手段を用いて、第１タイミングにて、車両の外部を撮像するステップと、
    第２撮像手段を用いて、第１タイミングよりも遅い又は早い第２タイミングにて、車両の外部を撮像するステップと、
    前記第１撮像手段の撮像画像を、前記第１タイミングと前記第２タイミングのずれに応じて補正する補正画像生成ステップと、
    前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、所定情報を生成する情報生成ステップとを含むことを特徴とする、車両用周辺監視方法。
  6. 前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを用いて、車両外部の物標の距離に関する情報を生成することを含む、請求項５に記載の車両用周辺監視方法。
  7. 前記情報生成ステップは、前記補正画像生成ステップにより得られる補正画像と、前記第２撮像手段の撮像画像とを合成して、ディスプレイで表示させる表示用合成画像を生成することを含む、請求項５に記載の車両用周辺監視方法。
JP2007044441A 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法 Expired - Fee Related JP4748082B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007044441A JP4748082B2 (ja) 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法
PCT/JP2008/052741 WO2008102764A1 (ja) 2007-02-23 2008-02-19 車両用周辺監視装置及び車両用周辺監視方法
US12/515,683 US20100060735A1 (en) 2007-02-23 2008-02-19 Device and method of monitoring surroundings of a vehicle
CN2008800048982A CN101611632B (zh) 2007-02-23 2008-02-19 车辆用周边监视装置及车辆用周边监视方法
KR1020097016438A KR101132099B1 (ko) 2007-02-23 2008-02-19 차량용 주변 감시 장치 및 차량용 주변 감시 방법
DE112008000089T DE112008000089T5 (de) 2007-02-23 2008-02-19 Vorrichtung und Verfahren zum Überwachen von Umgebung eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007044441A JP4748082B2 (ja) 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法

Publications (2)

Publication Number Publication Date
JP2008211373A JP2008211373A (ja) 2008-09-11
JP4748082B2 true JP4748082B2 (ja) 2011-08-17

Family

ID=39710041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007044441A Expired - Fee Related JP4748082B2 (ja) 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法

Country Status (6)

Country Link
US (1) US20100060735A1 (ja)
JP (1) JP4748082B2 (ja)
KR (1) KR101132099B1 (ja)
CN (1) CN101611632B (ja)
DE (1) DE112008000089T5 (ja)
WO (1) WO2008102764A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110795B2 (en) 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
US20150235094A1 (en) 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
TWI401175B (zh) * 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
WO2012120814A1 (ja) * 2011-03-08 2012-09-13 ルネサスエレクトロニクス株式会社 撮像装置
JP5849724B2 (ja) * 2012-01-25 2016-02-03 富士通株式会社 映像取得装置及び方法
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
US20150077560A1 (en) * 2013-03-22 2015-03-19 GM Global Technology Operations LLC Front curb viewing system based upon dual cameras
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
KR101670847B1 (ko) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
JP6458384B2 (ja) 2014-07-24 2019-01-30 株式会社デンソー 車線検出装置および車線検出方法
US20160031370A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with video switching
DE102015214900A1 (de) * 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
JP6540395B2 (ja) * 2015-09-04 2019-07-10 株式会社ソシオネクスト 画像処理方法および画像処理プログラム
JP6659317B2 (ja) 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
EP3522516B1 (en) * 2016-09-28 2023-09-06 Kyocera Corporation Camera module, selector, controller, camera monitoring system, and moving body
JP6604297B2 (ja) * 2016-10-03 2019-11-13 株式会社デンソー 撮影装置
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR102479492B1 (ko) * 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
GB2583704B (en) * 2019-04-19 2023-05-24 Jaguar Land Rover Ltd Imaging system and method
JP2020205498A (ja) * 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
JP7521604B2 (ja) * 2020-12-22 2024-07-24 日本電信電話株式会社 映像信号を合成する装置、方法及びプログラム
JP7717524B2 (ja) * 2021-08-02 2025-08-04 Ａｓｔｅｍｏ株式会社 マルチカメラ装置
DE102021132334A1 (de) 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH0937238A (ja) * 1995-07-19 1997-02-07 Hitachi Denshi Ltd 複数画面表示装置
EP1408693A1 (en) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US20060274829A1 (en) * 2001-11-01 2006-12-07 A4S Security, Inc. Mobile surveillance system with redundant media
JP2003230076A (ja) * 2002-02-01 2003-08-15 Clarion Co Ltd 画像処理装置及び画像表示システム
JP3958638B2 (ja) * 2002-06-25 2007-08-15 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4476575B2 (ja) * 2003-06-06 2010-06-09 富士通テン株式会社 車両状況判定装置
JP2006044409A (ja) * 2004-08-03 2006-02-16 Nissan Motor Co Ltd 乗員保護装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP2006119843A (ja) * 2004-10-20 2006-05-11 Olympus Corp 画像生成方法およびその装置
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
JP4752284B2 (ja) 2005-02-24 2011-08-17 アイシン精機株式会社 車両周辺監視装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2007049598A (ja) * 2005-08-12 2007-02-22 Seiko Epson Corp 画像処理コントローラ、電子機器及び画像処理方法
JP2007044441A (ja) 2005-08-12 2007-02-22 Samii Kk 遊技媒体貸出機
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view

Also Published As

Publication number Publication date
CN101611632B (zh) 2011-11-23
WO2008102764A1 (ja) 2008-08-28
JP2008211373A (ja) 2008-09-11
DE112008000089T5 (de) 2009-12-03
KR101132099B1 (ko) 2012-04-04
KR20090101480A (ko) 2009-09-28
US20100060735A1 (en) 2010-03-11
CN101611632A (zh) 2009-12-23

Similar Documents

Publication Publication Date Title
JP4748082B2 (ja) 車両用周辺監視装置及び車両用周辺監視方法
JP4879031B2 (ja) 運転支援システム、画像処理装置及びずれ検出方法
US8305204B2 (en) Vehicle surrounding confirmation apparatus
CN107021015B (zh) 用于图像处理的系统及方法
EP2485203B1 (en) Vehicle-surroundings monitoring device
EP2045132B1 (en) Driving support device, driving support method, and computer program
JP4193886B2 (ja) 画像表示装置
US9998675B2 (en) Rearview imaging system for vehicle
JP5503660B2 (ja) 運転支援表示装置
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
US20060119472A1 (en) Driving support apparatus and driving support method
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP2010166196A (ja) 車両周辺監視装置
JP2001218197A (ja) 車両用周辺表示装置
US20080151053A1 (en) Operation Support Device
JP2009081664A (ja) 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
GB2548970A (en) Method and device for generating an image of an area surrounding a vehicle
JP6338930B2 (ja) 車両周囲表示装置
WO2017154787A1 (ja) 駐車領域表示システム及びそれを用いた自動駐車システム
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP2018157496A (ja) キャリブレーション装置
JP2011155651A (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP5195776B2 (ja) 車両周辺監視装置
JP2010237798A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110502

R151 Written notification of patent or utility model registration

Ref document number: 4748082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees