JP6880455B2 - 運転支援装置及び運転支援システム - Google Patents

運転支援装置及び運転支援システム Download PDF

Info

Publication number
JP6880455B2
JP6880455B2 JP2017207359A JP2017207359A JP6880455B2 JP 6880455 B2 JP6880455 B2 JP 6880455B2 JP 2017207359 A JP2017207359 A JP 2017207359A JP 2017207359 A JP2017207359 A JP 2017207359A JP 6880455 B2 JP6880455 B2 JP 6880455B2
Authority
JP
Japan
Prior art keywords
driving support
vehicle
person
pattern information
scene pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017207359A
Other languages
English (en)
Other versions
JP2019079413A (ja
Inventor
敬滋 堀
敬滋 堀
真 赤羽
真 赤羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017207359A priority Critical patent/JP6880455B2/ja
Priority to CN201811214963.6A priority patent/CN109712431B/zh
Priority to US16/168,375 priority patent/US10504371B2/en
Publication of JP2019079413A publication Critical patent/JP2019079413A/ja
Application granted granted Critical
Publication of JP6880455B2 publication Critical patent/JP6880455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、運転支援装置及び運転支援システムに関する。
下記特許文献１には、自車両が走行する走行車線の路側にいる歩行者の横断可能性をより早い段階で予測して、歩行者との衝突を防止するように支援する運転支援装置が開示されている。
特開２０１２−２３４４９９号公報
特許文献１では、自車両に搭載されたカメラにより検知された歩行者の横断可能性を予測することはできるが、例えば、走行路に面して存在する建物の裏側で走行路に向かって移動している人物等のように、車載カメラにより検知することができない物体の横断可能性を予測することはできない。
そこで、本発明は、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することを目的とする。
本発明の一態様に係る運転支援装置は、車両に搭載される運転支援装置であって、前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、前記受信された危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
上記態様において、前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信することとしてもよい。
上記態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
上記態様において、前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
本発明の他の態様に係る運転支援システムは、車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、を備える。
上記他の態様において、前記障害物の方向に動作を行っている人物は、少なくとも、前記障害物の方向に手を振る人物、及び前記障害物の方向に目線又は顔を向ける人物のいずれかであることとしてもよい。
上記他の態様において、前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起することとしてもよい。
本発明によれば、車載カメラにより検知することができない物体の横断可能性を予測することができる運転支援装置及び運転支援システムを提供することができる。
実施形態に係る運転支援装置を含む運転支援システムの構成を例示する図である。 危険シーンのパターンを例示する模式図である。 危険シーンのパターンを例示する模式図である。 危険シーン・パターン情報を蓄積する際の動作例を説明するシーケンスチャートである。 危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作例を説明するフローチャートである。
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは同一又は同様の構成を有する。
図１を参照し、実施形態に係る運転支援装置を含む運転支援システムの構成について説明する。運転支援システム１００は、例えば、データセンタ等に配置されるサーバ１と、車両に搭載される運転支援装置２とを含む。サーバ１及び運転支援装置２は、無線ネットワークを介して相互に通信できるように構成される。
サーバ１は、機能的な構成として、例えば、画像解析部１１と、記憶部１２と、通信部１３とを有する。サーバ１は、物理的な構成として、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びメモリを含む制御ユニット、記憶装置、通信装置等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、画像解析部１１、記憶部１２及び通信部１３の各機能が実現する。各機能について、以下に説明する。
画像解析部１１は、運転支援装置２から受信する画像を解析する。運転支援装置２から受信する画像は、後述する車両に搭載される前方撮影用のカメラで撮影された画像である。
画像解析部１１は、画像を解析し、危険シーンのパターンを特定する。危険シーンのパターンは、例えば、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、障害物の裏側から車両前方の走行路に向かって移動する物体と、の組み合わせにより定まる。物体には、例えば、人物、動物、車両、自転車等の移動するものが含まれる。
つまり、画像解析部１１は、画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物、及び障害物の裏側から車両前方の走行路に向かって移動する物体をそれぞれ認識し、認識した人物と物体とに基づいて、危険シーンのパターンを特定する。図２及び図３を参照して、危険シーンのパターンについて具体的に説明する。
図２は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、人物Ｐと建築物Ｓとが納まっていることを示す模式図である。人物（例えば母親）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に手を振る動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば子供）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
この場合、建築物Ｓの方向に手を振る動作を行っている人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（人物）とが、危険シーンのパターンとして特定される。
図３は、走行路Ｔを走行している車両Ｘに搭載されているカメラの撮影範囲Ｒに、複数の人物Ｐと建築物Ｓとが納まっていることを示す模式図である。複数の人物（例えば通行人）Ｐは、車両Ｘの前方の走行路Ｔに面して存在する建築物Ｓの方向に目線や顔を向ける動作を行っている。この後、建築物Ｓの裏側から車両前方の走行路Ｔに向かって移動する物体（例えば消防車）が、車載カメラによって検知され、画像解析部１１により認識されることとなる。
この場合、建築物Ｓの方向に目線や顔を向ける動作を行っている複数の人物と、建築物Ｓの裏側から走行路Ｔに向かって移動する物体（車両）とが、危険シーンのパターンとして特定される。
図１の説明に戻る。サーバ１の記憶部１２は、画像解析部１１により特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する。
サーバ１の通信部１３は、他の装置との通信を制御する。例えば、通信部１３は、運転支援装置２により送信された画像を受信し、記憶部１２に記憶された危険シーン・パターン情報を運転支援装置２に送信する。危険シーン・パターン情報を運転支援装置２に送信するタイミングは、例えば、危険シーン・パターン情報を記憶するたびであってもよいし、所定の周期ごとであってもよく、任意に設定することができる。
図１に示す運転支援装置２は、機能的な構成として、例えば、判定部２１と、運転支援部２２と、通信部２３と、記憶部２４とを有する。運転支援装置２は、物理的な構成として、例えば、ＣＰＵ及びメモリを含む制御ユニット、通信装置、記憶装置、カメラ、操作部、ディスプレイ、スピーカ等を備えて構成される。ＣＰＵがメモリに格納された所定のプログラムを実行することにより、判定部２１、運転支援部２２、通信部２３及び記憶部２４の各機能が実現する。各機能について、以下に説明する。
判定部２１は、車両に搭載される前方撮影用のカメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する。例えば、判定部２１は、カメラで撮影された画像に基づいて認識される人物部分と、記憶部２４により記憶された危険シーン・パターン情報に含まれるパターン画像とを照合し、類似度が所定値以上となるパターン画像が存在する場合に、類似すると判定する。以下に、具体的に説明する。
例えば、図２に示す人物Ｐが存在する場所に、建築物Ｓの方向に手を振る人物が認識された場合、判定部２１は、類似すると判定することになる。また、図３に示す複数の人物Ｐが存在する場所に、建築物Ｓの方向に目線や顔を向ける人物が認識された場合、判定部２１は、類似すると判定することになる。
図１の運転支援部２２は、判定部２１により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する。以下に、具体的に説明する。
例えば、図２に示す人物Ｐの位置に、建築物Ｓの方向に手を振る人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する人物に注意するように、運転手に喚起する。また、図３に示す複数の人物Ｐの位置に、建築物Ｓの方向に目線や顔を向ける人物が存在する場合、運転支援部２２は、建築物Ｓの裏側から走行路Ｔに向かって移動する車両に注意するように、運転手に喚起する。
注意喚起する方法は、音声メッセージをスピーカから出力することとしてもよいし、文字等を含むイメージによるメッセージをディスプレイ等に表示することとしてもよい。
図１に示す運転支援装置２の通信部２３は、他の装置との通信を制御する。例えば、通信部２３は、車両に搭載される前方撮影用のカメラで撮影された画像をサーバ１に送信し、画像を解析した結果である危険シーン・パターン情報をサーバ１から受信する。
運転支援装置２の記憶部２４は、サーバ１から受信した危険シーン・パターン情報を記憶する。
なお、サーバ１及び運転支援装置２の構成要素は、前述した構成要素に限定されることなく、必要に応じて任意の構成要素を適宜追加することができる。
次に、実施形態に係る運転支援装置を含む運転支援システムの動作の一例について説明する。まず、図４を参照して、危険シーン・パターン情報を蓄積する際の動作について説明する。
最初に、運転支援装置２の通信部２３は、前方撮影用の車載カメラで撮影された画像をサーバ１に送信する（ステップＳ１０１）。
続いて、サーバ１の画像解析部１１は、上記ステップＳ１０１で受信した画像を解析し、危険シーンのパターンを特定する（ステップＳ１０２）。
続いて、サーバ１の記憶部１２は、上記ステップＳ１０２で特定した危険シーンのパターンを含む危険シーン・パターン情報を記憶する（ステップＳ１０３）。
続いて、サーバ１の通信部１３は、上記ステップＳ１０３で記憶した危険シーン・パターン情報を運転支援装置２に送信する（ステップＳ１０４）。
続いて、運転支援装置２の記憶部２４は、上記ステップＳ１０４でサーバ１から受信した危険シーン・パターン情報を記憶する（ステップＳ１０５）。そして、本動作を終了する。
次に、図５を参照して、運転支援装置２において、危険シーン・パターン情報を利用して運転者に注意を喚起する際の動作について説明する。
最初に、運転支援装置２の判定部２１は、前方撮影用の車載カメラで撮影された画像に基づいて認識される人物の動作が、記憶部２４に記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する（ステップＳ２０１）。この判定がＮＯである場合（ステップＳ２０１；ＮＯ）には、本動作を終了する。
上記ステップＳ２０１の判定で類似すると判定された場合（ステップＳ２０１；ＹＥＳ）に、運転支援装置２の運転支援部２２は、類似すると判定された危険シーン・パターン情報に含まれる物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起する（ステップＳ２０２）。そして、本動作を終了する。
前述したように、実施形態における運転支援システム１００によれば、前方撮影用の車載カメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に動作を行っている人物と、その障害物の裏側から車両前方の走行路に向かって移動する物体とをそれぞれ認識した場合に、その認識した人物の動作及び物体の組み合わせを危険シーンのパターンとして特定し、危険シーン・パターン情報として記憶することができる。
加えて、車載カメラの撮影画像に基づいて認識される人物の動作が、記憶した危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定し、類似すると判定した場合に、その類似すると判定した危険シーン・パターン情報に対応する物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することができる。
換言すると、実施形態における運転支援システム１００によれば、障害物の存在により運転者が予測できない危険シーンのパターンを予め蓄積しておき、車両で走行している際に、車載カメラを利用して通行人等の人物の動きを認識し、危険シーンのパターンと類似する動きが検知された場合に、障害物から走行路に物体が出現する可能性があることを、運転者に注意喚起することができる。これにより、事故を未然に防ぐことができる。
このように実施形態における運転支援システム１００によれば、車載カメラにより検知することができない物体の横断可能性を予測することが可能となる。
[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。したがって、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、前述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、又は並列に実行することができる。
また、前述した実施形態では、サーバ１及び運転支援装置２の双方において、危険シーン・パターン情報を記憶部で記憶しているが、いずれか一方、又は別途設けた記憶サーバ装置等で危険シーン・パターン情報を記憶することとしてもよい。この場合、危険シーン・パターン情報を記憶していない装置は、通信部を介して危険シーン・パターン情報を参照することとすればよい。
１…サーバ、２…運転支援装置、１１…画像解析部、１２…記憶部、１３…通信部、２１…判定部、２２…運転支援部、２３…通信部、２４…記憶部、１００…運転支援システム

Claims (5)

  1. 車両に搭載される運転支援装置であって、
    前記車両に搭載される前方撮影用のカメラで撮影された画像をサーバに送信する送信部と、
    前記画像を解析して認識された、車両前方の走行路に面して存在する障害物の方向に手を振る人物及び前記障害物の方向に目線又は顔を向ける人物のいずれか、並びに前記障害物の裏側から車両前方の走行路に向かって移動する物体の組み合わせからなる危険シーンのパターンに関する危険シーン・パターン情報をサーバから受信する受信部と、
    前記受信された危険シーン・パターン情報を記憶する記憶部と、
    前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
    前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
    を備える運転支援装置。
  2. 前記受信部は、少なくとも危険シーン・パターン情報がサーバにおいて記憶されるたび及び所定の周期ごとのいずれかのタイミングによりサーバから送信される危険シーン・パターン情報を受信する、
    請求項１記載の運転支援装置。
  3. 前記運転支援部は、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
    請求項１又は２記載の運転支援装置。
  4. 車両に搭載される前方撮影用のカメラで撮影された画像を解析し、車両前方の走行路に面して存在する障害物の方向に手を振る人物及び前記障害物の方向に目線又は顔を向ける人物のいずれか、並びに前記障害物の裏側から車両前方の走行路に向かって移動する物体を認識した場合に、当該認識した人物の動作及び前記物体の組み合わせを、危険シーンのパターンとして特定する画像解析部と、
    前記特定された危険シーンのパターンに関する危険シーン・パターン情報を記憶する記憶部と、
    前記カメラで撮影された画像に基づいて認識される人物の動作が、前記記憶部により記憶された危険シーン・パターン情報に含まれる人物の動作と類似するか否かを判定する判定部と、
    前記判定部により類似すると判定された場合に、類似すると判定された危険シーン・パターン情報に含まれる前記物体が、車両前方の走行路に出現する可能性があることを、運転者に注意喚起することで運転を支援する運転支援部と、
    を備える運転支援システム。
  5. 前記運転支援部は、少なくとも、音声メッセージをスピーカから出力すること、及び文字を含むイメージによるメッセージをディスプレイに表示することのいずれかにより、運転者に注意喚起する、
    請求項４記載の運転支援システム。
JP2017207359A 2017-10-26 2017-10-26 運転支援装置及び運転支援システム Active JP6880455B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207359A JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム
CN201811214963.6A CN109712431B (zh) 2017-10-26 2018-10-18 驾驶辅助装置及驾驶辅助系统
US16/168,375 US10504371B2 (en) 2017-10-26 2018-10-23 Drive assist apparatus and drive assist system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207359A JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム

Publications (2)

Publication Number Publication Date
JP2019079413A JP2019079413A (ja) 2019-05-23
JP6880455B2 true JP6880455B2 (ja) 2021-06-02

Family

ID=66244053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207359A Active JP6880455B2 (ja) 2017-10-26 2017-10-26 運転支援装置及び運転支援システム

Country Status (3)

Country Link
US (1) US10504371B2 (ja)
JP (1) JP6880455B2 (ja)
CN (1) CN109712431B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276322B (zh) * 2019-06-26 2022-01-07 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN110435672A (zh) * 2019-08-11 2019-11-12 西藏宁算科技集团有限公司 一种基于场景预判安全驾驶辅助方法及其系统
JP7276093B2 (ja) * 2019-11-19 2023-05-18 トヨタ自動車株式会社 情報収集システム、中継装置、及びプログラム
CN111294586B (zh) * 2020-02-10 2022-06-21 Oppo广东移动通信有限公司 图像显示方法、装置、头戴显示设备及计算机可读介质
CN111572540A (zh) * 2020-04-09 2020-08-25 大连理工大学 一种检测视野外是否来车的安全辅助驾驶系统、车辆
JP7384181B2 (ja) * 2021-02-16 2023-11-21 トヨタ自動車株式会社 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム
CN113225433B (zh) * 2021-03-26 2023-01-10 北京海纳川汽车部件股份有限公司 车辆语音提醒方法、装置、电子设备及存储介质
JP2022160956A (ja) * 2021-04-07 2022-10-20 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び端末装置
CN113415232B (zh) * 2021-07-07 2022-02-01 深圳前海汉视科技有限公司 一种用于障碍物识别的车灯系统
CN115009272B (zh) * 2022-07-08 2023-01-31 北京捷升通达信息技术有限公司 一种基于激光雷达路障分类识别的车辆全自主越障方法
JP2024011505A (ja) * 2022-07-14 2024-01-25 株式会社Subaru 車外リスクの視認誘導装置
CN115973190B (zh) * 2022-12-22 2025-11-28 阿波罗智联(北京)科技有限公司 自动驾驶车辆的决策方法、装置和电子设备
CN116587975B (zh) * 2023-04-26 2025-12-16 重庆赛力斯凤凰智创科技有限公司 一种车辆危险警示灯控制方法、装置和汽车
CN120922162B (zh) * 2025-07-25 2026-01-06 芜湖辛巴网络科技有限公司 一种用于智能驾驶预警方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4255906B2 (ja) * 2004-12-03 2009-04-22 富士通テン株式会社 運転支援装置
JP2007219836A (ja) * 2006-02-16 2007-08-30 Mazda Motor Corp 車両用走行支援装置
JP2008310376A (ja) * 2007-06-12 2008-12-25 Mazda Motor Corp 歩行者検出装置
JP2010113601A (ja) 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP5498183B2 (ja) * 2010-02-03 2014-05-21 富士重工業株式会社 行動検出装置
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
CN201946119U (zh) * 2010-11-02 2011-08-24 南通大学 一种道路交通警示装置
JP2012234499A (ja) * 2011-05-09 2012-11-29 Mitsubishi Motors Corp 運転支援装置
JP2014006700A (ja) 2012-06-25 2014-01-16 Mitsubishi Motors Corp 歩行者検出装置
DE102013102087A1 (de) * 2013-03-04 2014-09-04 Conti Temic Microelectronic Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
HRP20130542A2 (hr) * 2013-06-12 2013-11-22 Vojislav Iliev Svjetlosno-zvuäśni sustav upozorbe sudionika u cestovnom prometu
EP3023963B1 (en) * 2013-07-19 2018-02-21 Nissan Motor Co., Ltd Drive assist device for vehicle, and drive assist method for vehicle
DE102014220654A1 (de) * 2014-10-13 2016-04-14 Robert Bosch Gmbh Verfahren zum Reagieren auf eine Umfeldsituation eines Kraftfahrzeugs
CN104361649B (zh) * 2014-10-14 2017-02-15 江苏科技大学 一种具有信号灯提示其他车辆的行车记录仪及其控制方法
CN105774809B (zh) * 2014-12-26 2019-01-08 中国移动通信集团公司 一种行车盲区提示的方法和装置
JP6630521B2 (ja) * 2014-12-26 2020-01-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険判定方法、危険判定装置、危険出力装置及び危険判定システム
JP6254554B2 (ja) * 2015-07-21 2017-12-27 トヨタ自動車株式会社 情報提示システム
CN106515580A (zh) * 2015-09-15 2017-03-22 北汽福田汽车股份有限公司 用于实现安全控制的方法和系统
CN105678316B (zh) * 2015-12-29 2019-08-27 大连楼兰科技股份有限公司 基于多信息融合的主动驾驶方法

Also Published As

Publication number Publication date
CN109712431B (zh) 2021-03-12
US10504371B2 (en) 2019-12-10
JP2019079413A (ja) 2019-05-23
CN109712431A (zh) 2019-05-03
US20190130757A1 (en) 2019-05-02

Similar Documents

Publication Publication Date Title
JP6880455B2 (ja) 運転支援装置及び運転支援システム
US11705005B2 (en) Method, apparatus and device for illegal vehicle warning
US10332401B2 (en) Running vehicle alerting system and method
US10059261B2 (en) Collision warning system
US8493198B1 (en) Vehicle and mobile device traffic hazard warning techniques
EP3187372A2 (en) Collision warning system and method
US20180105107A1 (en) Pedestrian collision warning system for vehicles
KR20210016761A (ko) 차량용 전자 장치 및 차량용 전자 장치 동작 방법
US20120133738A1 (en) Data Processing System and Method for Providing at Least One Driver Assistance Function
JP2006085285A (ja) 危険車両予測装置
WO2015156146A1 (ja) 走行制御装置、車載用表示装置、及び走行制御システム
US20220319318A1 (en) Driving assist device, driving assist system, and driving assist method
CN115107641B (zh) 灯光投影装置、方法及存储介质
JP7545450B2 (ja) 高度道路交通システム内の衝突前ｄｅｎｍメッセージ
JP7140067B2 (ja) 車両制御装置、車両制御方法、及びプログラム
CN109416872B (zh) 用于对用户告警潜在碰撞的系统和方法
JP2019197303A (ja) 車外報知装置
JP2020052863A (ja) 車両監視装置
JP7671861B2 (ja) 交通安全支援システム及び交通安全支援方法
WO2018135509A1 (ja) イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
KR20250078413A (ko) 에스컬레이션 기반 응답을 제공하기 위한 방법 및 시스템
WO2017104209A1 (ja) 運転支援装置
CN112581792A (zh) 行驶辅助系统、行驶辅助方法以及存储程序的计算机可读取存储介质
SE539693C2 (en) Method, control unit and system for warning a road user
JP6237339B2 (ja) 運転支援システム、運転支援方法、及び運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210414

R151 Written notification of patent or utility model registration

Ref document number: 6880455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151