JP6723820B2 - 画像生成装置、画像表示システムおよび画像表示方法 - Google Patents

画像生成装置、画像表示システムおよび画像表示方法 Download PDF

Info

Publication number
JP6723820B2
JP6723820B2 JP2016099603A JP2016099603A JP6723820B2 JP 6723820 B2 JP6723820 B2 JP 6723820B2 JP 2016099603 A JP2016099603 A JP 2016099603A JP 2016099603 A JP2016099603 A JP 2016099603A JP 6723820 B2 JP6723820 B2 JP 6723820B2
Authority
JP
Japan
Prior art keywords
image
vehicle
intention
detected
virtual viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016099603A
Other languages
English (en)
Other versions
JP2017208690A (ja
Inventor
淳司 藤田
淳司 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2016099603A priority Critical patent/JP6723820B2/ja
Priority to US15/492,313 priority patent/US10703275B2/en
Publication of JP2017208690A publication Critical patent/JP2017208690A/ja
Application granted granted Critical
Publication of JP6723820B2 publication Critical patent/JP6723820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成装置、画像表示システムおよび画像表示方法に関する。
従来、車両に搭載された複数の撮像装置から得られるカメラ画像を合成することにより、車両の直上や後部などの任意の仮想視点からみた車両の周囲の様子を示す合成画像を生成してディスプレイに出力する装置が提案されている。
例えば、特許文献１には、ウィンカースイッチが操作された場合に、ウィンカースイッチで指示された側の車両の側方領域を車両の後方位置からみた合成画像を生成する画像生成装置が記載されている。この画像生成装置によれば、ドライバ自身の視野の向きと同じ視野の向きの合成画像をディスプレイに表示させることができる。
特開２０１０−２７４８１３号公報
しかしながら、上述した従来技術には、右左折や進路変更等を行う際の確認を容易化するという点でさらなる改善の余地がある。
例えば、右左折や進路変更等を行う際に自車両と接触する可能性がある車両等は、自車両の後方から自車両に接近してくるケースが多い。このため、従来技術のように、車両の後方位置から車両の側方領域をみた合成画像を生成するのでは、後方から接近してくる車両等を早期に捉えにくく、発見が遅れる可能性がある。
本発明は、上記に鑑みてなされたものであって、右左折や進路変更等を行う際の確認を容易化することができる画像生成装置、画像表示システムおよび画像表示方法を提供することを目的とする。
本発明に係る画像生成装置は、画像処理部と、検出部とを備える。画像処理部は、自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する。検出部は、自車両に対してなされた運転操作に基づき、自車両を進行方向に対して右側または左側へ移動させる意思表示を検出する。また、画像処理部は、検出部によって意思表示が検出された場合に、検出された意思表示に対応する側の自車両の側面を進行方向の前方側から見た合成画像を生成する。
本発明によれば、右左折や進路変更等を行う際の確認を容易化することができる。
図１Ａは、実施形態に係る画像表示方法の説明図である。 図１Ｂは、表示部に表示される合成画像の一例を示す図である。 図２は、実施形態に係る画像表示システムの構成例を示す図である。 図３は、複数の撮像装置の配置例を示す図である。 図４Ａは、自車両の周囲に設定される仮想視点領域および視線対象領域を示す図である。 図４Ｂは、意思表示に対応する仮想視点領域と視線対象領域との組み合わせを示す図である。 図５Ａは、仮想視点領域に設定される仮想視点および視線対象領域に設定される視線対象の一例を示す図である。 図５Ｂは、仮想視点領域に設定される仮想視点および視線対象領域に設定される視線対象の一例を示す図である。 図６Ａは、サイドミラーから自車両の側面を見た合成画像を生成する場合の説明図である。 図６Ｂは、サイドミラーから自車両の側面を見た合成画像を生成する場合の説明図である。 図７Ａは、ドライバの意思表示が左折である場合に設定される仮想視点および視線対象の位置を示す図である。 図７Ｂは、ドライバの意思表示が左側への進路変更である場合に設定される仮想視点および視線対象の位置を示す図である。 図８は、設定情報の一例を示す図である。 図９は、画像生成装置が実行する処理手順を示すフローチャートである。 図１０は、自車両の周囲に設定される仮想視点領域および視線対象領域の変形例を示す図である。
以下に添付図面を参照して、本発明に係る画像生成装置、画像表示システムおよび画像表示方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
以下では先ず、実施形態に係る画像表示方法の概要について図１Ａおよび図１Ｂを参照して説明する。図１Ａは、実施形態に係る画像表示方法の説明図である。また、図１Ｂは、表示部に表示される合成画像の一例を示す図である。なお、図１Ａには、自車両のドライバが左折しようとしている状況を示している。
実施形態に係る画像表示方法は、例えば右左折や進路変更など、自車両１００を進行方向に対して右側または左側へ移動させるドライバの意思表示を検出する（ステップＳ０１）。
この意思表示は、ウィンカースイッチやステアリング等への運転操作に基づいて検出することができる。すなわち、例えば左ウィンカーを点滅させる操作やステアリングを左に所定角度以上切る操作が行われた場合には、自車両１００を進行方向に対して左側へ移動させるドライバの意思表示を検出する。同様に、右ウィンカーを点滅させる操作やステアリングを右に所定角度以上切る操作が行われた場合には、自車両１００を進行方向に対して右側へ移動させるドライバの意思表示を検出する。
上記意思表示が検出されると、自車両１００に設けられた複数の撮像装置（図示せず）によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成する（ステップＳ０２）。具体的には、検出した意思表示に対応する側の自車両１００の側面を自車両１００の進行方向の前方側から見た合成画像を生成する。
例えば、自車両１００を進行方向に対して左側へ移動させるドライバの意思表示（図１Ａに示す場合には、左折の意思表示）が検出された場合、自車両１００の左側面（自車両１００に向かって右側面）を自車両１００の前方側から見た合成画像を生成して表示部２０へ出力する。これにより、表示部２０には、図１Ｂに示したような合成画像が表示される。
このように、実施形態に係る画像表示方法では、自車両１００の進行方向前方側の仮想視点から自車両１００の側面を見た合成画像を生成して表示部２０に表示することとした。
このため、実施形態に係る画像表示方法によれば、車両の後方側から車両の側方領域をみた合成画像を生成する従来技術と比べて、自車両１００の後方から接近してくる障害物Ｏをより早期に捉えることができる。
また、実施形態に係る画像表示方法によれば、意思表示に対応する側の自車両１００の側面、例えば左折であれば左側面、右折であれば右側面を見た合成画像を生成するため、障害物Ｏと接触する可能性が高い自車両１００の側面を確実に画像中に捉えておくことができる。
したがって、実施形態に係る画像表示方法によれば、右左折や進路変更等を行う際の確認を容易化することができる。
なお、図１Ａおよび図１Ｂには、自車両１００の外部から自車両１００の側面を見た合成画像を生成する場合の例を示したが、これに限らず、自車両１００の内側から自車両１００の側面を見た合成画像を生成してもよい。この点については後述する。
次に、実施形態に係る画像表示システムの構成例について図２および図３を参照して説明する。図２は、実施形態に係る画像表示システムの構成例を示す図である。また、図３は、複数の撮像装置の配置例を示す図である。
図２に示すように、実施形態に係る画像表示システム１は、画像生成装置１０と、表示部２０と、位置情報出力部３０と、地図情報出力部４０と、操作部５０とを備える。
画像生成装置１０は、例えばＥＣＵ(Electronic Control Unit)であり、他のＥＣＵ、例えば後述するウィンカー情報出力部３、シフトレバー情報出力部４、操舵情報出力部５等との間で情報の送受信を行うことができる。ＥＣＵ間の通信は、例えばＣＡＮ（Controller Area Network）バス等の車載ＬＡＮ（Local Area Network）を用いて行われる。
表示部２０、位置情報出力部３０、地図情報出力部４０および操作部５０は、例えばカーナビゲーション装置に設けられる。なお、画像表示システム１は、画像生成装置１０および表示部２０を一体的に含んだ単体の車載装置であってもよい。
画像生成装置１０は、画像処理部１１と、検出部１２と、記憶処理部１３と、記憶部１４とを備える。
画像処理部１１は、自車両１００に設けられた複数の撮像装置２ａ〜２ｄによって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部２０へ出力する。
図３に示すように、複数の撮像装置２ａ〜２ｄは、それぞれ自車両１００の前方、後方、右方および左方にそれぞれ配置される。
撮像装置２ａ〜２ｄは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて自車両１００の周囲を撮像する。具体的には、撮像装置２ａは自車両１００の前方を撮像し、撮像装置２ｂは自車両１００の後方を撮像し、撮像装置２ｃは自車両１００の右方を撮像し、撮像装置２ｄは自車両１００の左方を撮像する。
撮像装置２ａ〜２ｄは、魚眼レンズなどの広角レンズを備えており、１８０度以上の画角を有する。したがって、撮像装置２ａ〜２ｄにより自車両１００の全周囲を撮影することができる。
画像処理部１１は、各撮像装置２ａ〜２ｄによって撮像された画像を例えばＮＴＳＣ（National Television System Committee）ケーブル等の出力線を介して取得する。また、画像処理部１１は、取得した撮像画像に対して座標変換処理を行うことにより、自車両１００の周囲を任意の仮想視点から見た合成画像を生成する。
かかる座標変換処理において、画像処理部１１は、例えば、撮像画像を所定の投影面に投影（マッピング）し、所定の投影面に投影された入力画像のうち任意の仮想視点から見て所定の視野角に含まれる領域の画像を合成画像とする。
例えば、画像処理部１１は、入力画像に含まれるデータの位置と、所定の投影面の位置との対応関係を示すテーブルを記憶しており、かかるテーブルを用いて、入力画像に含まれるデータを、所定の投影面の対応する位置に投影することができる。
かかる所定の投影面は、例えば、略半球状（例えば、お椀形状）をしており、その中心領域（例えば、お椀の底部分）は自車両１００の位置であり、自車両１００の位置の外側（例えば、お椀の底部分以外の部分）は、自車両１００の周囲の領域に相当する。所定の投影面は、曲面でなく平面であってもよい。
そして、画像処理部１１は、生成した合成画像に対し、自車両１００を上記仮想視点から見た車両画像をクロマキー合成した合成画像を生成して表示部２０に表示させる。
表示部２０は、例えばＬＣＤ（Liquid Crystal Display）を備え、画像処理部１１から取得した合成画像を表示する。表示部２０としては、例えばタッチパネル式ディスプレイを用いることができる。この場合、タッチパネルは、例えば操作部５０に相当する。
画像処理部１１は、自車両１００を進行方向に対して右側または左側へ移動させるドライバの意思表示が検出部１２によって検出された場合に、検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側から見た合成画像を生成する。
かかる点について図４Ａおよび図４Ｂを参照して説明する。図４Ａは、自車両１００の周囲に設定される仮想視点領域および視線対象領域を示す図である。また、図４Ｂは、意思表示に対応する仮想視点領域と視線対象領域との組み合わせを示す図である。
図４Ａに示すように、自車両１００の周囲には、複数の仮想視点領域ＦＬ，ＦＲ，ＢＲ，ＢＬが予め設定されている。例えば、仮想視点領域ＦＬおよびＦＲは、自車両１００中央よりも前方側かつ自車両１００の外部の領域である。このうち、仮想視点領域ＦＬは自車両１００の中央よりも左側の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも右側の領域である。また、仮想視点領域ＢＲおよびＢＬは、自車両１００の背面よりも後方側の領域であり、このうち、仮想視点領域ＢＬは自車両１００の中央よりも右側（後退方向左側）の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも左側（後退方向右側）の領域である。
また、自車両１００の両側面には、それぞれ視線対象領域ＳＬ，ＳＲが設定されている。視線対象領域ＳＬ，ＳＲは、例えば、自車両１００の中央よりも後方側の側面であり、このうち、視線対象領域ＳＬは自車両１００の中央よりも左側の領域であり、視線対象領域ＳＲは自車両１００の中央よりも右側の領域である。
画像処理部１１は、進行方向が前進方向である場合には、検出部１２によって検出された意思表示に対応する側の自車両１００の側面を自車両１００の前方側から見た合成画像を生成し、進行方向が後退方向である場合には、検出された意思表示に対応する側の自車両１００の側面を自車両１００の後方側から見た合成画像を生成する。また、画像処理部１１は、自車両１００を進行方向に対して左側へ移動させる意思表示が検出部１２によって検出された場合には、進行方向に対して左前方側の外部から自車両１００の左側面を見た合成画像を生成し、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、進行方向に対して右前方側の外部から自車両の右側面を見た合成画像を生成する。
例えば、図４Ｂに示すように、自車両１００の進行方向が前進であるときに、自車両１００を前進方向左側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＦＬから視線対象領域ＳＬを見た合成画像を生成する。また、自車両１００の進行方向が前進であるときに、自車両１００を前進方向右側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＦＲから視線対象領域ＳＲを見た合成画像を生成する。
また、自車両１００の進行方向が後退であるときに、自車両１００を後退方向右側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＢＲから視線対象領域ＳＬを見た合成画像を生成する。また、自車両１００の進行方向が後退であるときに、自車両１００を後退方向左側へ移動させるドライバの意思表示が検出部１２によって検出された場合、画像処理部１１は、仮想視点領域ＢＬから視線対象領域ＳＲを見た合成画像を生成する。
このように、画像処理部１１は、自車両１００の進行方向前方側から自車両１００の側面を見た合成画像を生成して表示部２０に出力する。これにより、車両の後方側から車両の側方領域をみた合成画像を生成する従来技術と比べて、自車両１００の後方から接近してくる障害物Ｏ（図１Ａ参照）をより早期に捉えることができる。
また、意思表示に対応する側の自車両１００の側面、例えば左折であれば左側面、右折であれば右側面を見た合成画像を生成することで、障害物Ｏと接触する可能性が高い自車両１００の側面を確実に捉えた合成画像をドライバに提供することができる。
また、自車両１００の側面を進行方向の前方側かつ自車両１００の外部から見た合成画像を生成することで、自車両１００の側面と障害物Ｏとの位置関係を把握し易い合成画像をドライバに提供することができる。
さらに、自車両１００を進行方向に対して左側へ移動させる意思表示が検出された場合には、進行方向に対して左前方側の外部から自車両１００の左側面を見た合成画像を生成し、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、進行方向に対して右前方側の外部から自車両１００の右側面を見た合成画像を生成する。したがって、右左折時や進路変更時において障害物Ｏと接触する可能性が高い自車両１００の側面をこの側面により正対する位置から見た合成画像をドライバに提供することができる。
図５Ａおよび図５Ｂは、仮想視点領域ＦＬに設定される仮想視点および視線対象領域ＳＬに設定される視線対象の一例を示す図である。なお、ここでは、仮想視点領域が「ＦＬ」であり視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域および視線対象領域の他の組み合わせについても同様である。
図５Ａおよび図５Ｂに示すように、仮想視点ＶＰの位置は、仮想視点領域ＦＬ内において乗車者が任意に設定可能である。例えば、図５Ａおよび図５Ｂに示すように、仮想視点ＶＰの位置は、仮想視点ＶＰと視線対象Ｔとを結ぶ線（すなわち視線）の自車両１００の進行方向に対する角度、視線対象Ｔと仮想視点ＶＰとの距離、仮想視点ＶＰの路面からの高さなどを設定することで決定される。また、図５Ｂに示すように、視線対象Ｔの位置も視線対象領域ＳＬ内において乗車者が任意に設定可能である。
仮想視点ＶＰおよび視線対象Ｔの位置は、例えば操作部５０への操作により設定可能である。設定された情報は、後述する記憶処理部１３によって記憶部１４に記憶される。画像処理部１１は、記憶部１４に記憶された設定情報を参照して仮想視点ＶＰおよび視線対象Ｔの位置を決定する。
上記の例では、仮想視点ＶＰの位置は任意に設定可能であることとしたが、仮想視点ＶＰの位置は予め決定されていてもよい。かかる点について図６Ａおよび図６Ｂを参照して説明する。図６Ａおよび図６Ｂは、サイドミラーから自車両１００の側面を見た合成画像を生成する場合の説明図である。なお、図６Ａおよび図６Ｂでは、仮想視点領域が「ＦＬ」であり、視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域が「ＦＲ」であり、視線対象領域が「ＳＲ」である場合にも同様の処理が可能である。
図６Ａに示すように、仮想視点領域ＦＬには自車両１００のサイドミラーが含まれる。そこで、画像処理部１１は、サイドミラーの位置を仮想視点ＶＰとし、かかる仮想視点ＶＰから視線対象Ｔを見た合成画像を生成するようにしてもよい。具体的には、画像処理部１１は、検出部１２によって検出された意思表示に対応する側の自車両１００の側面に設けられるサイドミラーの位置として予め決められた位置から自車両１００の側面を見た合成画像を生成し、生成した合成画像を左右反転させて表示部２０に出力する。
これにより、図６Ｂに示すように、実際にサイドミラーで見たときに見える範囲Ｍよりも広い範囲を捉えた合成画像を表示部２０に表示させることができる。したがって、自車両１００のドライバは、左折時や左側への進路変更時等において、かかる合成画像を見ながら容易に障害物Ｏの有無等を確認することができる。
ところで、画像処理部１１は、ドライバの意思表示が「右左折」であるか「進路変更」であるかに応じて、仮想視点ＶＰの位置を変化させてもよい。かかる点について図７Ａおよび図７Ｂを参照して説明する。図７Ａは、ドライバの意思表示が左折である場合に設定される仮想視点ＶＰおよび視線対象Ｔの位置を示す図である。また、図７Ｂは、ドライバの意思表示が左側への進路変更である場合に設定される仮想視点ＶＰおよび視線対象Ｔの位置を示す図である。なお、ここでは、仮想視点領域が「ＦＬ」であり、視線対象領域が「ＳＬ」である場合を例に挙げて説明するが、仮想視点領域が「ＦＲ」であり、視線対象領域が「ＳＲ」である場合にも同様の処理が可能である。
図７Ａに示すように、仮想視点領域ＦＬは、例えば、左側の領域である左折領域ＦＬＬと、右側の領域である進路変更領域ＦＬＲに分割される。そして、画像処理部１１は、自車両１００を左折させる意思表示が検出部１２によって検出された場合には、左折領域ＦＬＬから視線対象領域ＳＬを見た合成画像を生成する。
一方、図７Ｂに示すように、画像処理部１１は、自車両１００を左側へ進路変更させる意思表示が検出部１２によって検出された場合には、進路変更領域ＦＬＲから視線対象領域ＳＬを見た合成画像を生成する。
このように、画像処理部１１は、ドライバの意思表示が左折であるか進路変更であるかによって領域ＦＬＬ，ＦＬＲを異ならせてもよい。
左折領域ＦＬＬは、進路変更領域ＦＬＲよりも自車両１００から遠い側に設けられる。このため、左折領域ＦＬＬ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度は、進路変更領域ＦＬＲ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度よりも深くなる。
左折時においては、いわゆる巻き込み事故を防止するために、自車両１００の左側面に障害物Ｏが存在しないことを重点的に確認することが好ましい。そこで、左折時において、自車両１００の左側面をこの側面により正対する位置から見た合成画像を生成することで、左折時の確認により適した合成画像をドライバに提供することができる。
一方、進路変更領域ＦＬＲは、左折領域ＦＬＬよりも自車両１００から近い側に設けられる。このため、進路変更領域ＦＬＲ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度は、左折領域ＦＬＬ内の仮想視点ＶＰから視線対象Ｔを見る視線の角度よりも浅くなる。
進路変更時においては、後続車両との追突を防止するために、自車両１００の後方の状況をより重点的に確認することが好ましい。そこで、進路変更時においては、自車両１００の後方側の領域をより広く捉えた合成画像を生成することで、進路変更時の確認により適した合成画像をドライバに提供することができる。
図２に戻り、検出部１２の構成について説明する。検出部１２は、自車両１００に対してなされた運転操作に基づき、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出する。
例えば、検出部１２は、自車両１００が、前進、後退および駐停車のいずれの状態であるかを検出する。具体的には、検出部１２は、シフトレバーの位置が、ドライブ（Ｄ）やセカンド（２）等である旨の情報をシフトレバー情報出力部４から取得した場合に、自車両１００が前進状態であることを検出する。また、検出部１２は、シフトレバーの位置が、リバース（Ｒ）である旨の情報をシフトレバー情報出力部４から取得した場合には、自車両１００が後退状態であることを検出し、パーキング（Ｐ）である旨の情報を取得した場合には、駐停車状態であることを検出する。
そして、検出部１２は、自車両１００が前進状態である場合において、左ウィンカー（運転席から見て左側に設けられたウィンカー）を点滅させる操作がなされた旨の情報をウィンカー情報出力部３から取得すると、自車両１００を前進方向に対して左側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。また、検出部１２は、自車両１００が前進状態である場合において、右ウィンカーを点滅させる操作がなされた旨の情報をウィンカー情報出力部３から取得すると、自車両１００を前進方向に対して右側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。
また、検出部１２は、自車両１００が後退状態である場合において、ステアリングを左に所定角度以上切る操作が行われた旨の情報を操舵情報出力部５から取得すると、自車両１００を後退方向に対して右側（前進方向に対しては左側）へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。また、検出部１２は、自車両１００が後退状態である場合において、ステアリングを右に所定角度以上切る操作が行われた旨の情報を操舵情報出力部５から取得すると、自車両１００を後退方向に対して左側へ移動させるドライバの意思表示を検出し、検出結果を画像処理部１１へ出力する。
また、検出部１２は、位置情報出力部３０および地図情報出力部４０から出力される情報に基づき、自車両１００を前進方向に対して左側へ移動させるドライバの意思表示が、具体的には左折であるのか、左側への進路変更であるのかをさらに検出する。
例えば、検出部１２は、位置情報出力部３０から出力される自車両１００の現在位置の情報と、地図情報出力部４０から出力される地図情報とを用いて、自車両１００が走行中の道路に関する情報、例えば、交差点の有無等を認識することができる。そして、検出部１２は、例えば自車両１００の前進中に自車両１００を左側へ移動させる意思表示を検出した場合に、自車両１００の前方に交差点があり、かつ、その交差点から所定範囲内に自車両１００が位置するか否かを判定し、肯定されれば上記意思表示が「左折」であることを検出し、否定されれば「左側への進路変更」であることを検出する。なお、自車両１００の前進中に自車両１００を右側へ移動させる意思表示を検出した場合も同様である。
記憶処理部１３は、複数の仮想視点のうち操作部５０への操作によって選択された仮想視点ＶＰの位置等を意思表示と対応付けて記憶部１４に記憶させる。ここで、記憶部１４に記憶される設定情報の一例について図８を参照して説明する。図８は、設定情報の一例を示す図である。
図８に示すように、設定情報は、例えば「仮想視点の位置」、「視線対象の位置」、「鏡像出力の有無」等の項目をドライバの意思表示に対応付けた情報である。ここで、「仮想視点の位置」項目は、仮想視点領域ＦＬ，ＦＲ，ＢＬ，ＢＲ内における仮想視点ＶＰの座標を示す情報である。また、「視線対象の位置」項目は、視線対象領域ＳＬ，ＳＲ内における視線対象Ｔの座標を示す情報である。また、「鏡像出力の有無」項目は、合成画像を左右反転させて表示部２０へ出力するか否かについての情報である。
画像処理部１１は、記憶部１４に記憶された設定情報に基づき、検出された意思表示に対応付けて記憶された仮想視点ＶＰから、検出された意思表示に対応付けられた視線対象Ｔを見た合成画像を生成する。
例えば、図８に示す例では、意思表示「左折」に対し、「仮想視点の位置」として「ＦＬ１」、「視線対象の位置」として「ＳＬ１」、「鏡像出力の有無」として「あり」が設定されている。この場合、画像処理部１１は、「ＦＬ１」の座標位置から「ＳＬ１」の座標位置を見た合成画像を生成し、生成した合成画像を左右反転させて表示部２０へ出力する。このように、仮想視点を任意に変更できるようにすることで、ドライバは、自分にとって最適な仮想視点の位置を自由に選択することが可能である。
次に、画像生成装置１０の具体的動作について図９を参照して説明する。図９は、画像生成装置１０が実行する処理手順を示すフローチャートである。なお、図９には、表示部２０に対して合成画像が出力されるまでの処理手順を示している。
図９に示すように、画像生成装置１０は、まず、自車両１００の進行方向が前進であるか否かを判定する（ステップＳ１０１）。この判定において、自車両１００の進行方向が前進であると判定された場合（ステップＳ１０１，Ｙｅｓ）、画像生成装置１０は、ドライバの意思表示を検出したか否かを判定する（ステップＳ１０２）。この判定において意思表示が検出されない場合（ステップＳ１０２、Ｎｏ）、画像生成装置１０は、処理をステップＳ１０１へ戻す。
ステップＳ１０２においてドライバの意思表示が検出された場合（ステップＳ１０２，Ｙｅｓ）、画像生成装置１０は、検出された意思表示に対応する合成画像を生成する（ステップＳ１０３）。すなわち、画像処理部１１は、左折や左側への進路変更など、自車両１００を進行方向に対して左側へ移動させる意思表示が検出された場合には、仮想視点領域ＦＬから視線対象領域ＳＬを見た合成画像を記憶部１４に記憶された設定情報に基づいて生成する。また、画像処理部１１は、右折や右側への進路変更など、自車両１００を進行方向に対して右側へ移動させる意思表示が検出された場合には、仮想視点領域ＦＲから視線対象領域ＳＲを見た合成画像を記憶部１４に記憶された設定情報に基づいて生成する。
なお、画像処理部１１は、左折または右折の意思表示が検出された場合には、仮想視点領域ＦＬの左側の領域（左折領域ＦＬＬ）または仮想視点領域ＦＲの右側の領域から視線対象領域ＳＬ，ＳＲを見た合成画像を生成するようにしてもよい。また、画像処理部１１は、進路変更の意思表示が検出された場合には、仮想視点領域ＦＬの右側の領域（進路変更領域ＦＬＲ）または仮想視点領域ＦＲの左側の領域から視線対象領域ＳＬ，ＳＲを見た合成画像を生成するようにしてもよい。
つづいて、画像生成装置１０は、鏡像出力が「あり」に設定されているか否かを判定し（ステップＳ１０４）、設定されていれば（ステップＳ１０４，Ｙｅｓ）、生成した合成画像を反転して（ステップＳ１０５）、表示部２０へ出力する（ステップＳ１０６）。このように、生成した合成画像を左右反転させて表示部２０へ出力することで、サイドミラーやルームミラーを用いて見たときと同じような画像をドライバに提供することができる。したがって、例えば、サイドミラーやルームミラーを用いて確認し、さらに、合成画像でも確認しようとする場合に、ドライバの混乱を防止することができる。
一方、鏡像出力が「あり」に設定されていない場合（ステップＳ１０４，Ｎｏ）、画像生成装置１０は、生成した合成画像を反転することなく表示部２０へ出力する（ステップＳ１０６）。
また、画像生成装置１０は、ステップＳ１０１において、自車両１００の進行方向が前進でない場合（ステップＳ１０１，Ｎｏ）、自車両１００の進行方向が後退であるか否かを判定する（ステップＳ１０７）。この判定において、自車両１００の進行方向が後退であると判定された場合（ステップＳ１０７，Ｙｅｓ）、画像生成装置１０は、撮像装置２ｂ（図３参照）によって撮像された撮像画像（以下、「バック画像」と記載する）を表示部２０へ出力する（ステップＳ１０８）。
つづいて、画像生成装置１０は、ドライバの意思表示を検出したか否かを判定する（ステップＳ１０９）。この判定は、例えば、操舵情報出力部５から出力される情報に基づき、ステアリングを所定角度以上切る操作を検出したか否かにより行われる。この判定においてドライバの意思表示が検出された場合（ステップＳ１０９，Ｙｅｓ）、画像生成装置１０は、検出された意思表示に対応する合成画像を生成する（ステップＳ１１０）。すなわち、画像処理部１１は、自車両１００を後退方向に対して左側へ移動させる意思表示が検出された場合には、仮想視点領域ＢＬから視線対象領域ＳＲを見た合成画像を生成し、自車両１００を後退方向に対して右側へ移動させる意思表示が検出された場合には、仮想視点領域ＢＲから視線対象領域ＳＬを見た合成画像を生成する。仮想視点領域ＢＬ，ＢＲ内における仮想視点ＶＰの位置および視線対象領域ＳＬ，ＳＲ内における視線対象Ｔの位置は、記憶部１４に記憶された設定情報に基づいて決定される。
つづいて、画像生成装置１０は、鏡像出力が「あり」に設定されているか否かを判定し（ステップＳ１１１）、設定されていれば（ステップＳ１１１，Ｙｅｓ）、生成した合成画像を反転する（ステップＳ１１２）。そして、画像生成装置１０は、ステップＳ１１２において生成した合成画像をバック画像とともに表示部２０に出力する、すなわち２画面出力する（ステップＳ１１３）。このように、自車両１００の後退時において、合成画像をバック画像とともに表示部２０に表示することにより、ドライバは、バック画像により自車両１００の後方を確認しつつ、合成画像によりドライバの意思表示に対応する側の自車両１００の側面を確認することができる。
一方、ステップＳ１１１において、鏡像出力が「あり」に設定されていない場合には（ステップＳ１１１，Ｎｏ）、ステップＳ１１０において生成した合成画像をバック画像とともに表示部２０に出力する（ステップＳ１１３）。
ステップＳ１０７において自車両の進行方向が後退ではない場合（ステップＳ１０７，Ｎｏ）、すなわち、例えば駐停車状態である場合、画像生成装置１０は、処理をステップＳ１０１へ戻す。すなわち、仮に、駐停車状態においてウィンカースイッチ等が操作されたとしても、ドライバの意思表示としては検出せず、合成画像の生成も行わない。また、画像生成装置１０は、ステップＳ１０９においてドライバの意思表示が検出されない場合にも（ステップＳ１０９，Ｎｏ）、処理をステップＳ１０１へ戻す。
ところで、上述した実施形態では、自車両１００の外部から自車両１００の側面を見た合成画像を生成する場合の例を示したが、これに限らず、自車両１００の内側から自車両１００の側面を見た合成画像を生成してもよい。かかる点について図１０を参照して説明する。図１０は、自車両１００の周囲に設定される仮想視点領域および視線対象領域の変形例を示す図である。
図１０に示すように、変形例では、仮想視点領域ＦＬ，ＦＲが自車両１００の内部の領域に設定される。具体的には、仮想視点領域ＦＬおよびＦＲは、自車両１００の中央よりも前方側かつ自車両１００の内側の領域であり、そのうち、仮想視点領域ＦＬは自車両１００の中央よりも前進方向左側の領域であり、仮想視点領域ＦＲは自車両１００の中央よりも前進方向右側の領域である。
そして、変形例に係る画像処理部１１は、検出部１２によって検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側かつ自車両１００の内側から見た合成画像を生成する。
例えば、図１０に示すように、自車両１００を進行方向に対して左側に移動させる意思表示が検出部１２によって検出された場合、画像処理部１１は、自車両１００の左側面を仮想視点領域ＦＲから見た合成画像を生成して表示部２０へ出力する。これにより、自車両１００の内部から自車両１００を透過させて自車両１００の側面を見た合成画像が表示部２０に表示される。
このように、自車両１００の内部、具体的には運転席から自車両１００の側面を見た合成画像を生成することにより、例えば目視で巻き込み確認を行うのと同じような画像をドライバに提供することができる。
上述してきたように、実施形態に係る画像生成装置１０は、画像処理部１１と、検出部１２とを備える。画像処理部１１は、自車両１００に設けられた複数の撮像装置２ａ〜２ｄによって撮像された撮像画像に基づき、仮想視点ＶＰから見た合成画像を生成して表示部２０へ出力する。検出部１２は、自車両１００に対してなされた運転操作に基づき、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出する。また、画像処理部１１は、検出部１２によって意思表示が検出された場合に、検出された意思表示に対応する側の自車両１００の側面を進行方向の前方側から見た合成画像を生成する。
したがって、実施形態に係る画像生成装置１０によれば、右左折や進路変更等を行う際の確認を容易化することができる。
なお、上述した実施形態では、ウィンカースイッチへの操作に基づいて、右左折または進路変更の意思表示を検出することとしたが、これに限らず、ステアリングが右または左に所定角度以上切った場合に、自車両１００を進行方向に対して右側または左側へ移動させる意思表示を検出するようにしてもよい。
また、上述した実施形態では、ウィンカースイッチが操作された場合に、自車両１００が交差点の近くに位置していれば、右左折の意思表示として検出し、そうでなければ、進路変更の意思表示として検出する場合の例について説明した。しかし、これに限らず、例えば、検出部１２は、自車両１００に搭載された車速センサ等から自車両１００の速度に関する情報を取得し、ウィンカースイッチが操作された場合に、自車両１００の速度が閾値以上であれば進路変更の意思表示として検出し、閾値未満であれば右左折の進路変更として検出するようにしてもよい。
以上、本願に係る画像処理装置および画像処理方法の実施例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１ 画像表示システム
２ａ〜２ｄ 撮像装置
１０ 画像生成装置
１１ 画像処理部
１２ 検出部
１３ 記憶処理部
１４ 記憶部
２０ 表示部

Claims (10)

  1. 自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する画像処理部と、
    前記自車両に対してなされた運転操作に基づき、前記自車両を進行方向に対して右側または左側へ移動させる右左折および進路変更を含む意思表示を検出する検出部と
    を備え、
    前記画像処理部は、
    前記検出部によって前記意思表示が検出された場合に、検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側から見た前記合成画像を生成するとともに、検出された前記意思表示が前記右左折であるか前記進路変更であるかに応じて前記仮想視点の位置を変化させ、
    前記意思表示が前記右左折である場合の前記仮想視点の位置は、前記意思表示が前記進路変更である場合の前記仮想視点の位置に比べて前記自車両から遠い側に設定されること
    を特徴とする画像生成装置。
  2. 前記画像処理部は、
    検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側かつ前記自車両の外部から見た前記合成画像を生成すること
    を特徴とする請求項１に記載の画像生成装置。
  3. 前記画像処理部は、
    前記自車両を進行方向に対して左側へ移動させる前記意思表示が検出された場合には、前記進行方向に対して左前方側の外部から前記自車両の左側面を見た前記合成画像を生成し、前記自車両を進行方向に対して右側へ移動させる前記意思表示が検出された場合には、前記進行方向に対して右前方側の外部から前記自車両の右側面を見た前記合成画像を生成すること
    を特徴とする請求項２に記載の画像生成装置。
  4. 前記画像処理部は、
    検出された前記意思表示に対応する側の前記自車両の側面に設けられるサイドミラーの位置として予め決められた位置から前記自車両の側面を見た前記合成画像を生成すること
    を特徴とする請求項１〜３のいずれか一つに記載の画像生成装置。
  5. 前記画像処理部は、
    検出された前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側かつ前記自車両の内部から見た前記合成画像を生成すること
    を特徴とする請求項１に記載の画像生成装置。
  6. 前記画像処理部は、
    前記進行方向が後退方向である場合、検出された前記意思表示に対応する側の前記自車両の側面を前記自車両の後方側から見た前記合成画像を生成し、前記自車両から前記自車両の後方を見た画像とともに前記表示部へ出力すること
    を特徴とする請求項１〜５のいずれか一つに記載の画像生成装置。
  7. 前記画像処理部は、
    前記合成画像を反転させて前記表示部へ出力すること
    を特徴とする請求項１〜６のいずれか一つに記載の画像生成装置。
  8. 複数の前記仮想視点のうち選択された前記仮想視点を前記意思表示と対応付けて記憶部に記憶させる記憶処理部
    を備え、
    前記画像処理部は、
    検出された前記意思表示に対応する側の前記自車両の側面を、検出された前記意思表示に対応付けて記憶された前記仮想視点から見た前記合成画像を生成すること
    を特徴とする請求項１〜７のいずれか一つに記載の画像生成装置。
  9. 請求項１〜８のいずれか一つに記載の画像生成装置と、
    前記画像生成装置によって生成された画像を表示する表示部と
    を備えることを特徴とする画像表示システム。
  10. 自車両に設けられた複数の撮像装置によって撮像された撮像画像に基づき、仮想視点から見た合成画像を生成して表示部へ出力する画像処理工程と、
    前記自車両に対してなされた運転操作に基づき、前記自車両を進行方向に対して右側または左側へ移動させる右左折および進路変更を含む意思表示を検出する検出工程と
    を含み、
    前記画像処理工程は、
    前記検出工程において前記意思表示を検出した場合に、検出した前記意思表示に対応する側の前記自車両の側面を前記進行方向の前方側から見た前記合成画像を生成するとともに、検出された前記意思表示が前記右左折であるか前記進路変更であるかに応じて前記仮想視点の位置を変化させ、
    前記意思表示が前記右左折である場合の前記仮想視点の位置は、前記意思表示が前記進路変更である場合の前記仮想視点の位置に比べて前記自車両から遠い側に設定されること
    を特徴とする画像表示方法。
JP2016099603A 2016-05-18 2016-05-18 画像生成装置、画像表示システムおよび画像表示方法 Active JP6723820B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016099603A JP6723820B2 (ja) 2016-05-18 2016-05-18 画像生成装置、画像表示システムおよび画像表示方法
US15/492,313 US10703275B2 (en) 2016-05-18 2017-04-20 Image generation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016099603A JP6723820B2 (ja) 2016-05-18 2016-05-18 画像生成装置、画像表示システムおよび画像表示方法

Publications (2)

Publication Number Publication Date
JP2017208690A JP2017208690A (ja) 2017-11-24
JP6723820B2 true JP6723820B2 (ja) 2020-07-15

Family

ID=60329815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016099603A Active JP6723820B2 (ja) 2016-05-18 2016-05-18 画像生成装置、画像表示システムおよび画像表示方法

Country Status (2)

Country Link
US (1) US10703275B2 (ja)
JP (1) JP6723820B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
JP6717516B2 (ja) * 2017-12-26 2020-07-01 株式会社音楽館 画像生成システム、画像生成方法及びプログラム
EP3776485B1 (en) * 2018-09-26 2022-01-26 Coherent Logix, Inc. Any world view generation
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7222254B2 (ja) * 2019-01-25 2023-02-15 株式会社アイシン 周辺表示制御装置
JP7316620B2 (ja) * 2019-02-15 2023-07-28 トヨタ モーター ヨーロッパ 画像正規化のためのシステムと方法
US20230061195A1 (en) * 2021-08-27 2023-03-02 Continental Automotive Systems, Inc. Enhanced transparent trailer
JP2024044213A (ja) * 2022-09-20 2024-04-02 トヨタ自動車株式会社 車両用表示制御装置
JP2024144827A (ja) * 2023-03-31 2024-10-15 本田技研工業株式会社 再現システム、再現方法、および再現プログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000020257A1 (en) * 1998-10-08 2000-04-13 Matsushita Electric Industrial Co., Ltd. Driving assisting device and recording medium
EP1179958B1 (en) * 1999-04-16 2012-08-08 Panasonic Corporation Image processing device and monitoring system
JP4593070B2 (ja) 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
JP2005242606A (ja) 2004-02-26 2005-09-08 Olympus Corp 画像生成装置、画像生成プログラム、及び画像生成方法
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP2007099261A (ja) * 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
US8218007B2 (en) * 2007-09-23 2012-07-10 Volkswagen Ag Camera system for a vehicle and method for controlling a camera system
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP5344227B2 (ja) * 2009-03-25 2013-11-20 アイシン精機株式会社 車両用周辺監視装置
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP5412979B2 (ja) 2009-06-19 2014-02-12 コニカミノルタ株式会社 周辺表示装置
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
JP5209578B2 (ja) 2009-07-28 2013-06-12 東芝アルパイン・オートモティブテクノロジー株式会社 車両用画像表示装置
JP5077307B2 (ja) * 2009-08-05 2012-11-21 株式会社デンソー 車両周囲画像表示制御装置
EP2473871B1 (en) * 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5251804B2 (ja) * 2009-09-18 2013-07-31 三菱自動車工業株式会社 運転支援装置
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
JP5387763B2 (ja) * 2010-05-25 2014-01-15 富士通株式会社 映像処理装置、映像処理方法及び映像処理プログラム
JP5681569B2 (ja) * 2011-05-31 2015-03-11 富士通テン株式会社 情報処理システム、サーバ装置、および、車載装置
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
JP6130118B2 (ja) * 2012-09-28 2017-05-17 富士通テン株式会社 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP5854154B2 (ja) * 2012-11-27 2016-02-09 日産自動車株式会社 加減速誤操作判定装置、誤操作加速抑制制御装置、加減速誤操作判定方法
US9654740B2 (en) * 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
JP5479639B2 (ja) 2013-06-19 2014-04-23 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
US20160176343A1 (en) * 2013-08-30 2016-06-23 Clarion Co., Ltd. Camera Calibration Device, Camera Calibration System, and Camera Calibration Method
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
DE102015202846B4 (de) * 2014-02-19 2020-06-25 Magna Electronics, Inc. Fahrzeugsichtsystem mit Anzeige
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
WO2015194501A1 (ja) * 2014-06-20 2015-12-23 クラリオン株式会社 映像合成システムとそのための映像合成装置及び映像合成方法
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
CN108778784B (zh) * 2016-01-14 2021-10-15 大陆汽车系统公司 用于车辆和拖车组件的倒车系统和用于控制其的方法
JP6669569B2 (ja) * 2016-04-04 2020-03-18 アルパイン株式会社 車両用周辺監視装置

Also Published As

Publication number Publication date
JP2017208690A (ja) 2017-11-24
US20170334356A1 (en) 2017-11-23
US10703275B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
JP6723820B2 (ja) 画像生成装置、画像表示システムおよび画像表示方法
US12220825B2 (en) Display apparatus
CN111186376B (zh) 车辆电子镜系统
CN102474597B (zh) 车辆周围图像生成装置
CN103692973B (zh) 图像生成装置、图像显示系统、以及图像生成方法
JP5858650B2 (ja) 画像生成装置、画像表示システム、及び、画像生成方法
EP3967554B1 (en) Vehicular display system
JP5251804B2 (ja) 運転支援装置
JP2020120327A (ja) 周辺表示制御装置
JP2018144526A (ja) 周辺監視装置
JP2020088697A (ja) 周辺監視装置
US10793069B2 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
JP2021013072A (ja) 画像処理装置および画像処理方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
CN113060156B (zh) 车辆周围监视装置、车辆、车辆周围监视方法和程序
WO2018061261A1 (ja) 表示制御装置
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
WO2022202780A1 (ja) 表示制御装置
JP5605605B2 (ja) 車両周辺監視装置
US20220086368A1 (en) Vehicular display system
JP2019038372A (ja) 画像表示装置
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
JP2004328216A (ja) 車載立体ディスプレイシステム
JP2022048456A (ja) 車両用表示装置
JP2022048458A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200624

R150 Certificate of patent or registration of utility model

Ref document number: 6723820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250