JP7492985B2 - 制御装置、制御方法、及び制御プログラム - Google Patents

制御装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP7492985B2
JP7492985B2 JP2022045044A JP2022045044A JP7492985B2 JP 7492985 B2 JP7492985 B2 JP 7492985B2 JP 2022045044 A JP2022045044 A JP 2022045044A JP 2022045044 A JP2022045044 A JP 2022045044A JP 7492985 B2 JP7492985 B2 JP 7492985B2
Authority
JP
Japan
Prior art keywords
guide
external environment
recognition image
moving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022045044A
Other languages
English (en)
Other versions
JP2023139485A (ja
Inventor
裕貴 ▲高▼久
沢坤 修
豪 笹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022045044A priority Critical patent/JP7492985B2/ja
Priority to US18/113,364 priority patent/US12151741B2/en
Priority to CN202310161780.7A priority patent/CN116795094A/zh
Publication of JP2023139485A publication Critical patent/JP2023139485A/ja
Application granted granted Critical
Publication of JP7492985B2 publication Critical patent/JP7492985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G05D1/628—Obstacle avoidance following the obstacle profile, e.g. a wall or undulated terrain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、制御装置、制御方法、及び制御プログラムに関する。
近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。
従来、駐車時等の車両移動時（低速移動時）において、車載カメラ等で撮像した車両周辺の映像を車両の表示装置に表示することは知られている。特許文献１には、撮像した車両周辺の画像上に車両の走行軌跡線を描画し、描画した走行軌跡線と画像内に存在する障害物とが画像内で重なる場合に、その重なる部分の走行軌跡線を、重ならない部分の走行軌跡線と異なるように、例えば、重なる部分の走行軌跡線を半透明な線で表示する運転支援装置が記載されている。特許文献２には、センサによって検出した障害物と車両の移動軌跡範囲とに基づいて、路面上から垂直方向に起立するように見える検知表示シンボルを生成し、当該検知表示シンボルを車両周辺の映像に重畳して表示する車両用視界モニタシステムが記載されている。
特開２００７－４３５３０号公報 特開２００５－４５６０２号公報
特許文献１の運転支援装置によれば、障害物と重なる部分の走行軌跡線を半透明な線で表示することにより、走行軌跡線が画像上で浮き上がって見えてしまうのを防ぐことが可能になる。特許文献２の車両用視界モニタシステムによれば、路面上から垂直方向に起立するように見える検知表示シンボルを映像に重畳して表示することにより、車両周辺の状況を理解し易くさせることが可能である。このように、運転支援技術においては、車両の走行をガイドする画像の表示について各種の表示態様が提案されているが、望ましい表示態様についてはさらなる改善の余地がある。
本発明は、車両の走行をガイドするガイド画像の視認性を向上させることが可能な制御装置、制御方法、及び制御プログラムを提供することを目的とする。そして、延いては持続可能な輸送システムの発展に寄与するものである。
本発明は、
移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部と、
前記外界認識画像を表示装置に表示させる表示制御部と、を備え、
前記表示制御部は、
前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることが可能であり、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率より高くする、
制御装置である。
本発明は、
移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置が、
前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率よりを高くする、
制御方法である。
本発明は、
移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置のプロセッサに、
前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率より高くする、
処理を実行させるための制御プログラムである。
本発明によれば、車両の走行をガイドするガイド画像の視認性を向上させることが可能な制御装置、制御方法、及び制御プログラムを提供することができる。
本実施形態の制御装置によって移動制御される車両の一例を示す側面図である。 図１に示す車両の上面図である。 図１に示す車両の内部構成を示すブロック図である。 演算部による処理の一例を示すフローチャートである。 車両のタッチパネルに表示される移動ガイドの一例を示す図である。 図５に表示されている前方認識画像と移動ガイドとを別々に表示した図である。 車両のタッチパネルに表示される移動ガイド及び停止ガイドの従来の表示態様を示す図である。 図７に表示されている前方認識画像と移動ガイドと停止ガイドとを別々に表示した図である。 車両のタッチパネルに表示される移動ガイド及び停止ガイドの本発明の表示態様を示す図である。 図９に表示されている前方認識画像と移動ガイドと停止ガイドとを別々に表示した図である。
以下、本発明の制御装置、制御方法、及び制御プログラムの一実施形態を、添付図面に基づいて説明する。なお、図面は、符号の向きに見るものとする。また、本明細書等では説明を簡単かつ明確にするために、前後、左右、上下の各方向は、図１及び図２に示す車両１０の運転者から見た方向に従って記載し、図面には、車両１０の前方をＦｒ、後方をＲｒ、左方をＬ、右方をＲ、上方をＵ、下方をＤ、として示す。
＜本発明の制御装置によって移動制御される車両１０＞
図１は、本発明の制御装置によって移動制御される車両１０の側面図である。図２は、図１に示した車両１０の上面図である。車両１０は、本発明の移動体の一例である。
車両１０は、駆動源（図示略）と、駆動源の動力によって駆動される駆動輪及び転舵可能な転舵輪を含む車輪と、を有する自動車である。本実施形態では、車両１０は、左右一対の前輪及び後輪を有する四輪の自動車である。車両１０の駆動源は、例えば電動機である。なお、車両１０の駆動源は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよいし、電動機と内燃機関との組み合わせであってもよい。また、車両１０の駆動源は、左右一対の前輪を駆動してもよいし、左右一対の後輪を駆動してもよいし、左右一対の前輪及び後輪の四輪を駆動してもよい。前輪及び後輪は、双方が転舵可能な転舵輪であってもよいし、いずれか一方が転舵可能な転舵輪であってもよい。
車両１０は、さらにサイドミラー１１Ｌ，１１Ｒを備える。サイドミラー１１Ｌ，１１Ｒは、車両１０の前席ドアの外側に設けられた、運転者が後方及び後側方を確認するためのミラー（バックミラー）である。サイドミラー１１Ｌ，１１Ｒは、それぞれ垂直方向に延びる回転軸によって車両１０の本体に固定されており、この回転軸を中心に回転することにより開閉可能である。
車両１０は、さらに前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、及び右側方カメラ１２Ｒを備える。前方カメラ１２Ｆｒは、車両１０の前方に設けられ、車両１０の前方を撮像するデジタルカメラである。後方カメラ１２Ｒｒは、車両１０の後方に設けられ、車両１０の後方を撮像するデジタルカメラである。左側方カメラ１２Ｌは、車両１０の左のサイドミラー１１Ｌに設けられ、車両１０の左側方を撮像するデジタルカメラである。右側方カメラ１２Ｒは、車両１０の右のサイドミラー１１Ｒに設けられ、車両１０の右側方を撮像するデジタルカメラである。
＜車両１０の内部構成＞
図３は、図１に示した車両１０の内部構成の一例を示すブロック図である。図３に示すように、車両１０は、センサ群１６と、ナビゲーション装置１８と、制御ＥＣＵ（Electronic Control Unit）２０と、ＥＰＳ（Electric Power Steering）システム２２と、通信部２４と、を有する。車両１０は、さらに駆動力制御システム２６と、制動力制御システム２８と、を有する。
センサ群１６は、制御ＥＣＵ２０による制御に用いられる各種の検出値を取得する。センサ群１６には、前方カメラ１２Ｆｒと、後方カメラ１２Ｒｒと、左側方カメラ１２Ｌと、右側方カメラ１２Ｒとが含まれる。また、センサ群１６には、前方ソナー群３２ａと、後方ソナー群３２ｂと、左側方ソナー群３２ｃと、右側方ソナー群３２ｄとが含まれる。また、センサ群１６には、車輪センサ３４ａ，３４ｂと、車速センサ３６と、操作検出部３８とが含まれる。なお、センサ群１６にはレーダを含めてもよい。
前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、及び右側方カメラ１２Ｒは、車両１０の周辺を撮像することにより、車両１０の周辺を認識するための認識データ（例えば、外界認識画像）を取得する。前方カメラ１２Ｆｒによって撮像される外界認識画像は前方認識画像と称される。後方カメラ１２Ｒｒによって撮像される外界認識画像は後方認識画像と称される。左側方カメラ１２Ｌによって撮像される外界認識画像は左側方認識画像と称される。右側方カメラ１２Ｒによって撮像される外界認識画像は右側方認識画像と称される。左側方認識画像と右側方認識画像とによって構成される画像を側方認識画像と称してもよい。前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、右側方カメラ１２Ｒの各撮像データを合成することにより生成される外界認識画像を車両１０の俯瞰画像と称してもよい。
前方ソナー群３２ａと、後方ソナー群３２ｂと、左側方ソナー群３２ｃと、右側方ソナー群３２ｄとは、車両１０の周辺に音波を発射すると共に、他物体からの反射音を受信する。前方ソナー群３２ａは、例えば４つのソナーを含む。前方ソナー群３２ａを構成するソナーは、車両１０の左斜め前方、前方左側、前方右側及び右斜め前方にそれぞれ設けられている。後方ソナー群３２ｂは、例えば４つのソナーを含む。後方ソナー群３２ｂを構成するソナーは、車両１０の左斜め後方、後方左側、後方右側及び右斜め後方にそれぞれ設けられている。左側方ソナー群３２ｃは、例えば２つのソナーを含む。左側方ソナー群３２ｃを構成するソナーは、車両１０の左側部前方及び左側部後方にそれぞれ設けられている。右側方ソナー群３２ｄは、例えば２つのソナーを含む。右側方ソナー群３２ｄを構成するソナーは、車両１０の右側部前方及び右側部後方にそれぞれ設けられている。
車輪センサ３４ａ，３４ｂは、車両１０の車輪の回転角度を検出する。車輪センサ３４ａ，３４ｂは、角度センサによって構成されていてもよいし、変位センサによって構成されていてもよい。車輪センサ３４ａ，３４ｂは、車輪が所定角度回転する毎に検出パルスを出力する。車輪センサ３４ａ，３４ｂから出力される検出パルスは、車輪の回転角度及び車輪の回転速度の算出に用いられる。車輪の回転角度に基づいて、車両１０の移動距離が算出される。車輪センサ３４ａは、例えば、左後輪の回転角度θａを検出する。車輪センサ３４ｂは、例えば、右後輪の回転角度θｂを検出する。
車速センサ３６は、車両１０の車体の速度、すなわち車速Ｖを検出し、検出した車速Ｖを制御ＥＣＵ２０に出力する。車速センサ３６は、例えば、トランスミッションのカウンタシャフトの回転に基づいて車速Ｖを検出する。
操作検出部３８は、操作入力部１４を用いて行われるユーザによる操作内容を検出し、検出した操作内容を制御ＥＣＵ２０に出力する。操作入力部１４には、例えばサイドミラー１１Ｌ，１１Ｒの開閉状態を切り替えるサイドミラースイッチや、シフトレバー（セレクトレバーやセレクタ）など各種のユーザインタフェースが含まれる。
ナビゲーション装置１８は、例えばＧＰＳ（Global Positioning System）を用いて車両１０の現在位置を検出すると共に、目的地までの経路をユーザに案内する。ナビゲーション装置１８は、地図情報データベースが備えられた不図示の記憶装置を有する。
ナビゲーション装置１８には、タッチパネル４２と、スピーカ４４とが備えられている。タッチパネル４２は、制御ＥＣＵ２０の入力装置及び表示装置として機能する。スピーカ４４は、車両１０のユーザに対して各種の案内情報を音声で出力する。
タッチパネル４２は、制御ＥＣＵ２０に対する各種の指令を入力することができるように構成されている。例えば、ユーザは、タッチパネル４２を介して、車両１０の外界認識画像を表示させる指令を入力することが可能である。また、タッチパネル４２は、制御ＥＣＵ２０の制御内容に関する各種の画面を表示するように構成されている。例えば、タッチパネル４２には、車両１０の外界認識画像が表示される。なお、タッチパネル４２以外の構成要素、例えばＨＵＤ（Ｈｅａｄ－Ｕｐ Ｄｉｓｐｌａｙ）、スマートフォン、タブレット端末等を入力装置又は表示装置として用いるようにしてもよい。
制御ＥＣＵ２０は、入出力部５０と、演算部５２と、記憶部５４とを有する。演算部５２は、例えばＣＰＵ（Central Processing Unit）によって構成される。演算部５２は、記憶部５４に記憶されているプログラムに基づいて各部を制御することにより各種の制御を行う。また、演算部５２は、入出力部５０を介して、制御ＥＣＵ２０に接続される各部との間で信号を入出力する。
演算部５２は、外界認識画像を認識する外界認識部５５と、外界認識画像を表示制御する表示制御部５６と、車両１０周辺の障害物を認識する障害物認識部５７と、を有する。演算部５２は、本発明の制御装置の一例である。
外界認識部５５は、前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、右側方カメラ１２Ｒによって撮像された車両１０の周辺画像の認識結果を表す外界認識画像を各カメラから取得する。
表示制御部５６は、外界認識部５５によって取得された外界認識画像を車両１０の表示装置に表示させる。具体的には、表示制御部５６は、前方カメラ１２Ｆｒによって撮像される前方認識画像、後方カメラ１２Ｒｒによって撮像される後方認識画像、左側方カメラ１２Ｌによって撮像される左側方認識画像、及び右側方カメラ１２Ｒによって撮像される右側方認識画像をタッチパネル４２に表示させる。また、表示制御部５６は、前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、右側方カメラ１２Ｒの各撮像データを合成することにより生成される車両１０の俯瞰画像をタッチパネル４２に表示させる。
また、表示制御部５６は、車両１０の進行方向の所定位置を表す移動ガイドと、車両１０の移動停止が必要な位置を表す停止ガイドとを、外界認識画像に重畳してタッチパネル４２に表示させる。移動ガイドは、例えば、車両１０の幅や車両１０の前端及び後端を表すガイドである。移動ガイドは、車両１０から一定の距離を開けて常時固定して表示されるガイドである。なお、移動ガイドが表示される固定位置は、車両１０の走行速度に応じて変化させるようにしてもよい。具体的には、走行速度が速いほど車両１０から開ける一定の距離を大きくしてもよい。停止ガイドは、例えば、車両１０の停止が必要であることを表すガイド、すなわち障害物に接近したことを警告するガイドであり、例えば、縦看板のように表示される。停止ガイドは、透過性を有する。移動ガイドと停止ガイドとは異なる色のガイドとして表示される。
表示制御部５６は、外界認識画像に重畳して表示する移動ガイド及び停止ガイドの表示透過率を所定条件に応じて変化させる。例えば、表示制御部５６は、移動ガイドと停止ガイドの両ガイドを外界認識画像に重畳する場合における移動ガイドの透過率を、移動ガイド及び停止ガイドのうち移動ガイドのみを外界認識画像に重畳する場合の移動ガイドの透過率よりも高くする。また、例えば、表示制御部５６は、移動ガイドと停止ガイドの両ガイドを外界認識画像に重畳する場合において、移動ガイドと停止ガイドとが重なって表示されている領域における移動ガイドの透過率を、移動ガイドと停止ガイドとが重なっていない領域における移動ガイドの透過率よりも高くする。また、表示制御部５６は、外界認識画像に重畳して移動ガイド及び停止ガイドを表示する場合に、移動ガイドの透過率をユーザが選択した透過率で表示する。
また、表示制御部５６は、例えば、車両１０のユーザにより外界認識画像を表示させるためのタッチパネル４２による所定の指示操作あるいはスイッチ等による所定の指示操作があったときに移動ガイドを外界認識画像に重畳して表示する。また、表示制御部５６は、例えば、車両１０の走行速度が１５ｋｍ／ｈ以下になったとき、あるいは急に減速されたときに移動ガイドを外界認識画像に重畳して表示する。また、表示制御部５６は、例えば、ＧＰＳにより取得される車両１０の現在位置情報や、カメラにより撮像される外界認識画像に基づいて、車両１０が駐車場にいるあるいは駐車しようとしていると判定されたときに移動ガイドを外界認識画像に重畳して表示する。また、表示制御部５６は、車両１０の周辺に検出された障害物と車両１０との距離が所定以下に近づいたときに、停止ガイドを外界認識画像に重畳して表示する。
障害物認識部５７は、車両１０の周辺に存在する障害物を認識する。障害物認識部５７は、例えば、車両１０を駐車する際に、車両１０の目標となる駐車位置の周辺に障害物が存在するか否か、あるいは車両１０を出庫する際に、現在の車両１０の駐車位置の周辺に障害物が存在するか否か認識する。障害物とは車両１０の走行の妨げになる物、例えば、壁、柱、他車両、人間等が挙げられる。障害物認識部５７としては、例えば、ソナー群３２ａ～３２ｄ、カメラ１２Ｆｒ，１２Ｒｒ，１２Ｌ，１２Ｒ、ライダ（ＬｉＤＡＲ）等である。
ＥＰＳシステム２２は、舵角センサ１００と、トルクセンサ１０２と、ＥＰＳモータ１０４と、レゾルバ１０６と、ＥＰＳ ＥＣＵ１０８と、を有する。舵角センサ１００は、ステアリング１１０の舵角θｓｔを検出する。トルクセンサ１０２は、ステアリング１１０に加わるトルクＴＱを検出する。
ＥＰＳモータ１０４は、ステアリング１１０に連結されたステアリングコラム１１２に対して駆動力又は反力を付与することにより、乗員によるステアリング１１０の操作支援や駐車支援時の自動操舵を可能とする。レゾルバ１０６は、ＥＰＳモータ１０４の回転角度θｍを検出する。ＥＰＳ ＥＣＵ１０８は、ＥＰＳシステム２２の全体の制御を司る。ＥＰＳ ＥＣＵ１０８には、入出力部（図示せず）と、演算部（図示せず）と、記憶部（図示せず）とが備えられている。
通信部２４は、他の通信装置１２０との間で無線通信を行うことを可能とするものである。他の通信装置１２０とは、基地局や、他車両の通信装置や、車両１０のユーザが携帯するスマートフォンあるいはタブレット端末などである。
駆動力制御システム２６には、駆動ＥＣＵ１３０が備えられている。駆動力制御システム２６は、車両１０の駆動力制御を実行する。駆動ＥＣＵ１３０は、不図示のアクセルペダルに対するユーザによる操作に基づいて、不図示のエンジン等を制御することによって、車両１０の駆動力を制御する。
制動力制御システム２８には、制動ＥＣＵ１３２が備えられている。制動力制御システム２８は、車両１０の制動力制御を実行する。制動ＥＣＵ１３２は、不図示のブレーキペダルに対するユーザによる操作に基づいて、不図示のブレーキ機構等を制御することによって、車両１０の制動力を制御する。
＜演算部５２による処理＞
次に、車両１０の演算部５２による移動ガイド及び停止ガイドの表示処理の一例について図４に示すフローチャートを参照して説明する。
例えば、車両１０を運転するユーザが駐車場で車両１０を駐車スペースに駐車させようとしている。車両１０は、例えば、低速走行（例えば、１５ｋｍ／ｈ以下）されている状態、あるいは停止された状態であるとする。車両１０の演算部５２は、例えば、車速センサ３６の検出値に基づいて車両１０の走行状態を検知すると、図４に示す処理を開始する。
演算部５２の表示制御部５６は、外界認識部５５により取得される外界認識画像をナビゲーション装置１８のタッチパネル４２に表示するか否か判定する（ステップＳ１１）。外界認識画像は、例えば、タッチパネル４２上に表示される駐車ボタン（図示省略）がタップ操作されると表示される。したがって、表示制御部５６は、例えば、ユーザによって駐車ボタンがタップ操作されたか否か判定する。
ステップＳ１１において、外界認識画像をタッチパネル４２に表示しない場合、すなわち駐車ボタンがタップ操作されていない場合（ステップＳ１１：Ｎｏ）には、表示制御部５６は、駐車ボタンがタップ操作されるまでステップＳ１１の処理を繰り返して待機する。
ステップＳ１１において、外界認識画像をタッチパネル４２に表示する場合、すなわち駐車ボタンがタップ操作された場合（ステップＳ１１：Ｙｅｓ）には、表示制御部５６は、外界認識画像をタッチパネル４２に表示する（ステップＳ１２）。なお、表示制御部５６は、例えば、車両１０のギヤがリバースにセットされている場合には、後方カメラ１２Ｒｒによって撮像された後方認識画像をタッチパネル４２に表示する。また、表示制御部５６は、例えば、車両１０のギヤがドライブ、ニュートラル、パーキング等にセットされている場合には、前方カメラ１２Ｆｒによって撮像された前方認識画像をタッチパネル４２に表示する。
次に、表示制御部５６は、車両１０が障害物に近接しているか否かを判定する（ステップＳ１３）。上述したように、車両１０の周辺の障害物は、障害物認識部５７によって認識される。障害物に近接しているとは、一例としては、車両１０の前端及び後端と車両１０周辺の障害物との距離が１ｍ以下となったことをいう。
ステップＳ１３において、車両１０が障害物に近接していない場合（ステップＳ１３：Ｎｏ）には、表示制御部５６は、透過率を上げていない（低透過率の）移動ガイドのみを外界認識画像に重畳してタッチパネル４２に表示する（ステップＳ１４）。透過率を上げていない移動ガイドとは、例えば、透過率が０％の移動ガイドであり、移動ガイドを透かして反対側を見ることができない状態のガイドのことをいう。したがって、外界認識画像に移動ガイドを重畳した場合には、移動ガイドが重なっている部分の外界認識画像は移動ガイドによって隠された状態になる。ユーザは、タッチパネル４２に表示された外界認識画像及び外界認識画像に重畳された移動ガイドを参照しながら目標の駐車スペースに車両１０を駐車させる。
ステップＳ１３において、車両１０が障害物に近接している場合（ステップＳ１３：Ｙｅｓ）には、表示制御部５６は、透過率を上げた（高透過率の）移動ガイドと、停止ガイドとの両ガイドを外界認識画像に重畳してタッチパネル４２に表示する（ステップＳ１５）。表示制御部５６は、外界認識画像に先ず停止ガイドを重畳し、次にその停止ガイドに移動ガイドを重畳する順番で移動ガイドと停止ガイドとを重畳する。表示制御部５６は、外界認識画像に重畳する移動ガイドと停止ガイドにおいて、移動ガイドと停止ガイドとが重なって表示されている領域における移動ガイドの透過率を上げ、移動ガイドと停止ガイドとが重なっていない領域における移動ガイドの透過率を上げない。例えば、移動ガイドと停止ガイドとが重なって表示されている領域における移動ガイドの透過率を５０％とし、移動ガイドと停止ガイドとが重なっていない領域における移動ガイドの透過率を０％（不透明）とする。このため、例えば、外界認識画像に重畳した移動ガイドを及び停止ガイド透かして反対側（奥側）の外界認識画像を見ることが可能である。ユーザは、タッチパネル４２に表示された外界認識画像及び外界認識画像に重畳された移動ガイドと停止ガイドを参照しながら目標の駐車スペースに車両１０を駐車させる。
ステップＳ１４で移動ガイドを重畳表示した後、及びステップＳ１５で移動ガイドと停止ガイドを重畳表示した後、表示制御部５６は、タッチパネル４２に表示している外界認識画像を非表示にするか否か判定する（ステップＳ１６）。外界認識画像は、例えば、タッチパネル４２上に表示される終了ボタン（図示省略）がタップ操作される、あるいは車両１０が駐車移動が停止されると非表示となる。したがって、表示制御部５６は、例えば、ユーザによって終了ボタンがタップ操作されたか否か、あるいは駐車移動が停止されたか否か判定する。
ステップＳ１６において、外界認識画像を非表示にしない場合、すなわち終了ボタンがタップ操作されていない場合（ステップＳ１６：Ｎｏ）には、表示制御部５６は、ステップＳ１３に戻って各ステップの処理を繰り返し実行する。
ステップＳ１６において、外界認識画像を非表示にする場合、すなわち終了ボタンがタップ操作された場合（ステップＳ１６：Ｙｅｓ）には、表示制御部５６は、外界認識画像をタッチパネル４２から非表示にして（ステップＳ１７）、本表示処理を終了する。
＜表示制御部５６によるガイド表示＞
次に、表示制御部５６によりタッチパネル４２に表示される移動ガイド及び停止ガイドの一例について図５から図１０を参照して説明する。
＜第１の表示態様＞
図５は、車両１０を縦列駐車する場合において、前方に他車両９０（障害物）が停車しており、その他車両９０と自車両１０との距離がまだ一定以上に離れている状態のときに、前方認識画像６１（外界認識画像６０）及び俯瞰画像６５に重畳して表示される移動ガイド７０の表示態様を示す図である。車両１０のギヤはドライブ状態になっているものとする。
図５に示すように、表示制御部５６は、タッチパネル４２上に、例えば、第１表示領域４２ａと第２表示領域４２ｂを生成する。表示制御部５６は、第１表示領域４２ａに、前方カメラ１２Ｆｒにより撮像された前方認識画像６１と、前方認識画像６１に重畳させた移動ガイド７０と、を表示する。前方認識画像６１には、車両１０の前方に停車する他車両９０の画像が含まれている。また、表示制御部５６は、第１表示領域４２ａに表示される外界認識画像６０の種類（前方認識画像、後方認識画像、左側方認識画像、右側方認識画像）を切り替える視点切替ボタン６２ａ～６２ｄを、例えば、第１表示領域４２ａの下側に表示する。表示制御部５６は、第２表示領域４２ｂに、前方カメラ１２Ｆｒ、後方カメラ１２Ｒｒ、左側方カメラ１２Ｌ、及び右側方カメラ１２Ｒの各撮像画像に基づいて生成された車両１０の周囲の俯瞰画像６５と、俯瞰画像６５に重畳させた移動ガイド７０と、を表示する。
第１表示領域４２ａに示されるように他車両９０が車両１０からまだ遠い状態であるため、第２表示領域４２ｂでは他車両９０が表示されていない。また、他車両９０が車両１０からまだ遠い状態であるため、前方認識画像６１及び俯瞰画像６５には、移動ガイド７０のみが重畳して表示され停止ガイドは表示されていない。移動ガイド７０は、上述したように、車両１０の幅や車両１０の前端を表すガイドであり、車両１０から一定の距離を開けて常時固定して表示される。
図６は、図５の第１表示領域４２ａに表示されている前方認識画像６１と移動ガイド７０とを別々に表示した図である。図６に示すように、表示制御部５６は、移動ガイド７０のみを前方認識画像６１に重畳して表示する場合には、移動ガイド７０の透過率を低い透過率（例えば、透過率０％）にして表示する。これにより、前方認識画像６１及び俯瞰画像６５において、重畳して表示した移動ガイド７０の位置が認識しやすくなる。なお、図５及び図６の移動ガイド７０は、図４のステップＳ１４において重畳表示される移動ガイドに相当する。
＜従来の表示態様＞
図７は、車両１０と他車両９０との距離が一定未満に近づいた場合に、前方認識画像６１（外界認識画像６０）及び俯瞰画像６５に重畳して表示される移動ガイド及び停止ガイドの従来の表示態様を示す図である。なお、車両１０と他車両９０との距離が一定以上に離れている場合におけるガイドの表示態様は、従来の場合にも図５に示した表示態様と同様である。
図７に示すように、車両１０と他車両９０との距離が一定未満に近づいた場合、従来の表示制御部（以下、「従来制御部」と称する。）は、前方認識画像６１及び俯瞰画像６５にそれぞれ、移動ガイド１７０と、例えば４枚の停止ガイド８０ａ～８０ｄと、を重畳して表示する。停止ガイド８０ａ～８０ｄは、他車両９０の位置に対応するように表示されるとともに、移動ガイド１７０の一部と重なった状態で表示される。停止ガイド８０ａ～８０ｄは、上述したように、車両１０の停止が必要であることを表すガイド、すなわち障害物に接近したことを警告するガイドであり、横方向に並列する４枚の縦看板のように表示される。
このとき、図７に示す従来の表示態様の場合、従来制御部は、移動ガイド１７０を図５で表示した移動ガイド７０の場合と同様に表示する。すなわち、従来制御部は、移動ガイド１７０を一様に低い透過率（例えば、透過率０％）の状態で表示する。
図８は、図７の第１表示領域４２ａに表示されている前方認識画像６１と移動ガイド１７０と停止ガイド８０ａ～８０ｄとを別々に表示した図である。図８に示すように、従来制御部は、前方認識画像６１に移動ガイド１７０と停止ガイド８０ａ～８０ｄとの両方のガイドを重畳して表示する場合においても、図５で表示した移動ガイド７０と同様に、移動ガイド１７０を全体が一様に透過率０％の不透明な状態のガイドとして表示する。
これにより、移動ガイド１７０の前側（他車両９０側）に停止ガイド８０ａ～８０ｄが配置させている場合には、移動ガイド１７０と重なった停止ガイド８０ａ～８０ｄの領域は移動ガイド１７０に隠されて見えない。また、移動ガイド１７０が他車両９０に重なっている場合には、移動ガイド１７０が重なっている領域だけ移動ガイド１７０に隠されて見えない。
このため、図７に示す従来の表示態様の場合には、ユーザがタッチパネル４２を見たときに、前方認識画像６１及び俯瞰画像６５に重畳させて表示した移動ガイド１７０が、例えば、宙に浮いているような不自然な画像として見えてしまう場合がある。
そこで、本発明者は、この移動ガイド１７０の不自然な見え方を解消するために、移動ガイドを以下の第２の表示態様のように表示させることを考えた。
＜第２の表示態様＞
図９は、車両１０と他車両９０との距離が一定未満に近づいた場合に、表示制御部５６によって、前方認識画像６１（外界認識画像６０）及び俯瞰画像６５に重畳して表示される移動ガイド及び停止ガイドの表示態様を示す図である。
図９に示すように、車両１０と他車両９０との距離が一定未満に近づいた場合、表示制御部５６は、前方認識画像６１及び俯瞰画像６５に重畳して移動ガイド７１と、４枚の停止ガイド８０ａ～８０ｄを表示する。４枚の停止ガイド８０ａ～８０ｄは、図７で説明した停止ガイドと同様である。
表示制御部５６は、移動ガイド７１と停止ガイド８０ａ～８０ｄとの両方のガイドを前方認識画像６１及び俯瞰画像６５に重畳して表示する場合に、移動ガイド７１と停止ガイド８０ａ～８０ｄとが重なって表示されている領域における移動ガイド７１の透過率を、移動ガイド７１と停止ガイド８０ａ～８０ｄとが重なっていない領域における移動ガイド７１の透過率よりも高くする。
図１０は、図９の第１表示領域４２ａに表示されている前方認識画像６１と移動ガイド７１と停止ガイド８０ａ～８０ｄとを別々に表示した図である。図１０に示すように、表示制御部５６は、移動ガイド７１において停止ガイド８０ａ～８０ｄが重なって表示される重畳領域７２ａ～７２ｄの透過率を、例えば、透過率５０％とし、移動ガイド７１において停止ガイド８０ａ～８０ｄが重なって表示されない非重畳領域７３ａ～７３ｅの透過率を、例えば、透過率０％（不透明）とする。なお、図９及び図１０の移動ガイド７１と停止ガイド８０ａ～８０ｄは、図４のステップＳ１５において重畳表示される移動ガイド及び停止ガイドに相当する。
これにより、停止ガイド８０ａ～８０ｄが移動ガイド７１の前側（他車両９０側）に配置されていても、移動ガイド７１と重なっている停止ガイド８０ａ～８０ｄの領域を、移動ガイド１７０を透して認識することができる。また、移動ガイド７１が他車両９０に重なっている場合には、移動ガイド７１を透して他車両９０を認識することができる。
以上説明したように、演算部５２の表示制御部５６は、移動ガイド７１及び停止ガイド８０ａ～８０ｄを前方認識画像６１及び俯瞰画像６５に重畳する場合、移動ガイド７１及び停止ガイド８０ａ～８０ｄのうち移動ガイド７１のみを前方認識画像６１及び俯瞰画像６５に重畳する場合よりも、移動ガイド７１の透過率を高くする。この構成によれば、移動ガイド７１の透過率を高くすることにより、停止ガイド８０ａ～８０ｄの視認性を向上できるとともに、移動ガイド７１の見え方の違和感、例えば、移動ガイド７１が宙に浮いているような不自然な画像として見えてしまうのを抑制でき、車両１０の的確な駐車が可能となる。
また、表示制御部５６は、移動ガイド７１のうち停止ガイド８０ａ～８０ｄと重なる領域の透過率を、移動ガイ７１ドのうち停止ガイド８０ａ～８０ｄと重ならない領域の透過率より高くする。これにより、移動ガイド７１における停止ガイド８０ａ～８０ｄと重ならない領域の視認性を通常通りに確保しつつ、停止ガイド８０ａ～８０ｄの視認性を向上させるとともに、移動ガイド７１の見え方の違和感を抑制することができ、車両１０の的確な駐車が可能となる。
また、表示制御部５６は、車両１０のユーザによる指示操作と、車両１０の移動速度と、車両１０の現在位置と、の少なくともいずれかに基づいて、前方認識画像６１及び俯瞰画像６５に移動ガイド７０を重畳して表示する。これにより、車両１０の周囲を重点的に確認することが必要となる適切なタイミングで移動ガイド７０表示することができ、車両１０の的確な駐車が可能となる。
また、表示制御部５６は、他車両９０（障害物）と自車両１０との接近に基づいて、前方認識画像６１及び俯瞰画像６５に停止ガイド８０ａ～８０ｄを重畳して表示する。この構成によれば、移動ガイド７１に重畳して停止ガイド８０ａ～８０ｄが表示されるので、他車両９０（障害物）と自車両１０が接触する事態を未然に抑制することが可能となり、さらに車両１０の的確な駐車が可能となる。
また、表示制御部５６は、移動ガイド７１及び停止ガイド８０ａ～８０ｄを前方認識画像６１及び俯瞰画像６５に重畳する場合、停止ガイド８０ａ～８０ｄと重なる移動ガイド７１の領域の透過率の設定を、ユーザの選択に基づいて設定する。これにより、ユーザによってガイドの見え方が異なる（見にくい、見やすい）場合でもユーザが移動ガイドの透過率を選択できるので、停止ガイド８０ａ～８０ｄの視認性を向上できるとともに、移動ガイド７１の見え方の違和感を抑制でき、さらに車両１０の的確な駐車が可能となる。
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。
例えば、上記実施形態では、車両１０を駐車する場合について説明したが、車両１０を出庫する場合にも同様に制御することができる。
なお、前述した実施形態で説明した制御方法は、予め用意された制御プログラムをコンピュータで実行することにより実現できる。本制御プログラムは、コンピュータが読み取り可能な記憶媒体に記録され、記憶媒体から読み出されることによって実行される。また、本制御プログラムは、フラッシュメモリ等の非一過性の記憶媒体に記憶された形で提供されてもよいし、インターネット等のネットワークを介して提供されてもよい。本制御プログラムを実行するコンピュータは、制御装置に含まれるものであってもよいし、制御装置と通信可能なスマートフォン、タブレット端末、又はパーソナルコンピュータ等の電子機器に含まれるものでもあってもよいし、これら制御装置及び電子機器と通信可能なサーバ装置に含まれるものであってもよい。
また、本明細書には少なくとも以下の事項が記載されている。なお、括弧内には、上記した実施形態において対応する構成要素等を示しているが、これに限定されるものではない。
（１） 移動体（車両１０）の周辺の認識結果を表す外界認識画像（外界認識画像６０）を取得する外界認識部（外界認識部５５）と、
前記外界認識画像を表示装置（タッチパネル４２）に表示させる表示制御部（表示制御部５６）と、を備え、
前記表示制御部は、
前記移動体の進行方向の所定位置を表す移動ガイド（移動ガイド７０，７１）と、前記移動体の移動停止が必要な位置を表す停止ガイド（停止ガイド８０ａ～８０ｄ）とを、前記外界認識画像に重畳して前記表示装置に表示させることが可能であり、
前記移動ガイド（移動ガイド７１）及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイド（移動ガイド７０）のみを前記外界認識画像に重畳する場合よりも、前記移動ガイドの透過率を高くする、
制御装置。
（１）によれば、停止ガイドの視認性を向上できるとともに、移動ガイドの見え方の違和感（例えば、人によっては移動ガイドが宙に浮いて見える）を抑制でき、移動体の安全性を向上させることが可能となる。
（２） （１）に記載の制御装置であって、
前記表示制御部は、前記移動ガイドのうち前記停止ガイドと重なる領域（重畳領域７２ａ～７２ｄ）の透過率を、前記移動ガイドのうち他の領域（非重畳領域７３ａ～７３ｅ）の透過率より高くする、
制御装置。
（２）によれば、停止ガイドの視認性を向上できるとともに、移動ガイドの見え方の違和感を抑制し、また移動ガイドにおける重畳領域以外の領域は通常通りに視認することができ、移動体の安全性を向上させることが可能となる。
（３） （１）又は（２）に記載の制御装置であって、
前記表示制御部は、前記移動体のユーザによる指示操作と、前記移動体の移動速度と、前記移動体の位置と、の少なくともいずれかに基づいて、前記外界認識画像に前記移動ガイドを重畳する、
制御装置。
（３）によれば、移動体の安全性を向上できる。
（４） （１）から（３）のいずれかに記載の制御装置であって、
前記移動体の周辺における障害物を認識する障害物認識部（障害物認識部５７）を更に備え、
前記表示制御部は、前記障害物と前記移動体との接近に基づいて、前記外界認識画像に前記停止ガイドを重畳する、
制御装置。
（４）によれば、障害物と移動体が接触する事態を未然に抑制することが可能となり、移動体の安全性を向上させることが可能となる。
（５） （１）から（４）のいずれかに記載の制御装置であって、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合の前記移動ガイドの透過率がユーザにより選択可能である、
制御装置。
（５）によれば、ユーザに応じて見え方が異なる（見にくい、見やすい）場合でもユーザが透過率を選択できることで、停止ガイドの視認性を向上できるとともに、移動ガイドの見え方の違和感を抑制でき、移動体の安全性を向上させることが可能となる。
（６） 移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置が、
前記移動体の進行方向の所定位置を表す移動ガイドと、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドの透過率を高くする、
制御方法。
（６）によれば、停止ガイドの視認性を向上できるとともに、移動ガイドの見え方の違和感（例えば、人によっては移動ガイドが宙に浮いて見える）を抑制でき、移動体の安全性を向上させることが可能となる。
（７） 移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置のプロセッサに、
前記移動体の進行方向の所定位置を表す移動ガイドと、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドの透過率を高くする、
処理を実行させるための制御プログラム。
（７）によれば、停止ガイドの視認性を向上できるとともに、移動ガイドの見え方の違和感（例えば、人によっては移動ガイドが宙に浮いて見える）を抑制でき、移動体の安全性を向上させることが可能となる。
１０ 車両（移動体）
４２ タッチパネル（表示装置）
５５ 外界認識部
５６ 表示制御部
５７ 障害物認識部
６０ 外界認識画像
７０，７１ 移動ガイド
７２ａ～７２ｄ 重畳領域
７３ａ～７３ｄ 非重畳領域
８０ａ～８０ｄ 停止ガイド

Claims (6)

  1. 移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部と、
    前記外界認識画像を表示装置に表示させる表示制御部と、を備え、
    前記表示制御部は、
    前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることが可能であり、
    前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率より高くする、
    制御装置。
  2. 請求項１に記載の制御装置であって、
    前記表示制御部は、前記移動体のユーザによる指示操作と、前記移動体の移動速度と、前記移動体の位置と、の少なくともいずれかに基づいて、前記外界認識画像に前記移動ガイドを重畳する、
    制御装置。
  3. 請求項１又は２に記載の制御装置であって、
    前記移動体の周辺における障害物を認識する障害物認識部を更に備え、
    前記表示制御部は、前記障害物と前記移動体との接近に基づいて、前記外界認識画像に前記停止ガイドを重畳する、
    制御装置。
  4. 請求項１から３のいずれか１項に記載の制御装置であって、
    前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合の前記移動ガイドの透過率がユーザにより選択可能である、
    制御装置。
  5. 移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置が、
    前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
    前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率より高くする、
    制御方法。
  6. 移動体の周辺の認識結果を表す外界認識画像を取得する外界認識部を備え、前記外界認識画像を表示装置に表示させる制御装置のプロセッサに、
    前記移動体の進行方向の所定位置を表す移動ガイドと、透明性を有し、前記移動体の移動停止が必要な位置を表す停止ガイドとを、前記外界認識画像に重畳して前記表示装置に表示させることを可能にし、
    前記移動ガイド及び前記停止ガイドを前記外界認識画像に重畳する場合、前記移動ガイド及び前記停止ガイドのうち前記移動ガイドのみを前記外界認識画像に重畳する場合よりも、前記移動ガイドのうち前記停止ガイドと重なる領域の透過率を、前記移動ガイドのうち他の領域の透過率より高くする、
    処理を実行させるための制御プログラム。
JP2022045044A 2022-03-22 2022-03-22 制御装置、制御方法、及び制御プログラム Active JP7492985B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022045044A JP7492985B2 (ja) 2022-03-22 2022-03-22 制御装置、制御方法、及び制御プログラム
US18/113,364 US12151741B2 (en) 2022-03-22 2023-02-23 Control device, control method, and computer- readable recording medium
CN202310161780.7A CN116795094A (zh) 2022-03-22 2023-02-23 控制装置、控制方法以及计算机可读取记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022045044A JP7492985B2 (ja) 2022-03-22 2022-03-22 制御装置、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2023139485A JP2023139485A (ja) 2023-10-04
JP7492985B2 true JP7492985B2 (ja) 2024-05-30

Family

ID=88045206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022045044A Active JP7492985B2 (ja) 2022-03-22 2022-03-22 制御装置、制御方法、及び制御プログラム

Country Status (3)

Country Link
US (1) US12151741B2 (ja)
JP (1) JP7492985B2 (ja)
CN (1) CN116795094A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098567A (ja) 2016-12-09 2018-06-21 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両
JP2020161866A (ja) 2019-03-25 2020-10-01 パナソニックＩｐマネジメント株式会社 画像生成装置、カメラ、表示システム及び車両
JP2021037894A (ja) 2019-09-04 2021-03-11 株式会社デンソー 表示制御装置および表示制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000020257A1 (en) * 1998-10-08 2000-04-13 Matsushita Electric Industrial Co., Ltd. Driving assisting device and recording medium
JP3894322B2 (ja) 2003-07-23 2007-03-22 松下電工株式会社 車両用視界モニタシステム
JP2007043530A (ja) 2005-08-04 2007-02-15 Nissan Motor Co Ltd 運転支援装置、および運転支援方法
WO2018105417A1 (ja) 2016-12-09 2018-06-14 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018098567A (ja) 2016-12-09 2018-06-21 京セラ株式会社 撮像装置、画像処理装置、表示システム、および車両
JP2020161866A (ja) 2019-03-25 2020-10-01 パナソニックＩｐマネジメント株式会社 画像生成装置、カメラ、表示システム及び車両
JP2021037894A (ja) 2019-09-04 2021-03-11 株式会社デンソー 表示制御装置および表示制御プログラム

Also Published As

Publication number Publication date
JP2023139485A (ja) 2023-10-04
US20230303169A1 (en) 2023-09-28
US12151741B2 (en) 2024-11-26
CN116795094A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
JP2021043815A (ja) 画像処理装置
US12151618B2 (en) Control device, control method, and storage medium
US20250196877A1 (en) Control device, control method, and storage medium storing control program
JP7421584B2 (ja) 制御装置、制御方法、及び制御プログラム
JP7492985B2 (ja) 制御装置、制御方法、及び制御プログラム
JP7398492B2 (ja) 制御装置、制御方法、及び制御プログラム
US12045945B2 (en) Control device, control method, and recording medium
JP7408715B2 (ja) 制御装置、制御方法、及び制御プログラム
US12491870B2 (en) Control device, control method, and storage medium
JP2023063108A (ja) 制御装置および車両
JP7806158B1 (ja) 制御装置、制御方法、及び制御プログラム
JP7408714B2 (ja) 制御装置、制御方法、及び制御プログラム
US20260062054A1 (en) Control device, control method, and non-transitory computer-readable storage medium
JP7806157B1 (ja) 制御装置、制御方法、及び制御プログラム
JP7522803B2 (ja) 制御装置、及び移動体
CN116233396B (zh) 控制装置、控制方法以及存储介质
US12370945B2 (en) Control device, control method, and computer-readable recording medium
US12242084B2 (en) Control device, control method, and recording medium
US20250304093A1 (en) Control device, control method, and storage medium
JP2025144985A (ja) 車両の周辺映像表示装置
JP2024064414A (ja) 移動体制御装置、移動体制御方法、及び移動体制御プログラム
CN118722420A (zh) 控制装置、控制方法以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240520

R150 Certificate of patent or registration of utility model

Ref document number: 7492985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150