WO2023007785A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- WO2023007785A1 WO2023007785A1 PCT/JP2022/006849 JP2022006849W WO2023007785A1 WO 2023007785 A1 WO2023007785 A1 WO 2023007785A1 JP 2022006849 W JP2022006849 W JP 2022006849W WO 2023007785 A1 WO2023007785 A1 WO 2023007785A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- area
- parking
- vehicle
- camera
- vacancy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/027—Parking aids, e.g. instruction means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/145—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
- G08G1/146—Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/188—Displaying information using colour changes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Definitions
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- It is a figure explaining the example of a camera configuration of a vehicle.
- FIG. 4 is a diagram illustrating a specific example of a bird's-eye view generated based on an image of a vehicle captured by a camera
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram illustrating a specific example of processing executed by the information processing apparatus of the present disclosure
- It is a figure explaining the parking area in which parallel parking is possible, and the specific example of the vehicle which is going to park.
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 4 is a diagram describing a specific example of display data generated by the information processing apparatus of the present disclosure
- FIG. 8 is an example of display data in which parking availability identification graphic data (color frame) generated by the process of the present disclosure is superimposed on display data (bird's-eye view) generated by synthesizing a plurality of images.
- the parking availability identification graphic data (color frame) are of the following three types. (1) Parking area identification display data (green frame) 101 (2) Display data for identification of no-parking area (red frame) 102 (3) Display data (yellow frame) 103 for identification of possible empty area Note that the colors green, red, and yellow are examples, and combinations of colors different from these may be used.
- steps S106 to S111 is executed when it is determined in step S103 that no parked vehicle has been detected in the processing target area (Px).
- FIG. 15 a specific example of the processing of steps S108 and S109 executed when the vacancy likelihood (possibility of vacancy) of the processing target area calculated in step S106 is the threshold value (Th) or more, ie, 50% or more, is shown in FIG. 15, with reference to FIG.
- the parking area P5 shown in FIG. 15 is the same upper right parking area as the parking area P5 described above with reference to FIG.
- the area that can be confirmed from the camera 11 of the vehicle 10 is increasing.
- the parking area analysis unit 151 further executes a process of acquiring parameters used for displaying the parking permission/prohibition identification graphic data (color frame).
- a parameter is a parameter containing the following data. (a) a parking segment area ID; (b) Parking availability identification result (parking allowed, parking not allowed, vacancy possible), (c) center position coordinates (x, y) of the parking section area; (d) the shape of the parking segment area (d, w); (e) the inclination angle ( ⁇ ) of the parking segment area;
- FIG. 22 does not show "(3) possible empty area identification display data (yellow frame) 103".
- the display conditions for the parking permission/inhibition identification graphic data (color frame) of (1) to (3) are as follows.
- step S207 the data processing unit of the information processing device determines the length of the vacant area (interval between parked vehicles before and after the vacant area) from each of the vacant areas for which the vacant area identifier (vacant area ID) is set. A vacant area less than a threshold (vehicle parking available length) is selected, and the selected area is determined to be a non-parking area.
- a threshold vehicle parking available length
- the length of the vacant area is equal to or greater than the threshold value (length of vehicle parking). Determine the empty area as the "processing target area”.
- the parking area analysis unit 151 further executes a process of acquiring parameters used for displaying the parking permission/prohibition identification graphic data (color frame).
- a parameter is a parameter containing the following data. (a) free space ID, (b) Parking availability identification result (parking allowed, parking not allowed, vacancy possible), (c) center position coordinates (x, y) of empty area, (d) the shape of the free space (d, w); (e) Inclination angle ( ⁇ ) of empty area,
- the parking permission/inhibition identification graphic data generation unit 152 generates parking permission/inhibition identification graphic data (color frame) using the parameters (a) to (e). Furthermore, the parking availability identification graphic data generation unit 152 superimposes the generated parking availability identification graphic data (color frame) on each area of the attention area (ROI) selected as the parking available area displayed on the display unit 153. displayed.
- ROI attention area
- the vehicle 10 is running, and the photographing range of the camera 11 mounted on the vehicle 10 is changed at any time. It is in a state of being updated sequentially.
- Step S303 On the other hand, in step S301, when no parked vehicle is detected in the "display data (yellow frame) display area for identifying an area with the possibility of being vacant", the data processing unit of the information processing device executes the process of step S303.
- Step S401 First, in step S401, the data processing unit (automatic driving control unit) of the information processing device mounted on the vehicle 10 identifies the parking possible area from the parking possibility identification graphic data (color frame) displayed on the display unit. Search the display area for the display data for use (green frame) or the display data for identifying a potentially empty area (yellow frame).
- Step S404 On the other hand, the process of step S404 is performed when the display area of the display data for identifying the parking area (green frame) is not detected from the parking possibility identification graphic data (color frame) displayed on the display unit in step S402. run to
- Step S405 In the process of step S405, it is determined that the display area of the display data for area identification (yellow frame) with the possibility of vacancy has been detected from the parking permission/prohibition identification graphic data (color frame) displayed on the display unit in step S404. Execute if
- the area analysis unit 211 of the parking area analysis unit 203 executes analysis processing of the parking area. For example, in the case of a parking lot where parking divisions are clearly defined by white lines, such as the parallel parking lot described above with reference to FIG. do. again.
- the parking area is set as a region of interest (ROI), and from the area of interest, Perform processing such as detecting empty space.
- ROI region of interest
- the area analysis unit 211 of the parking area analysis unit 203 further performs the processing of step S101 in the flowchart shown in FIG.
- the process of step S201 of the flowchart is executed.
- the vacancy likelihood (vacancy possibility) calculation unit 213 performs vacancy likelihood (vacancy possibility) calculation processing for an area in which no parked vehicle is detected.
- the vacancy likelihood (possibility of vacancy) of each area is calculated according to (Formula 1) below.
- Likelihood of vacancy (possibility of vacancy) (%) (1-(Occlusion area area)/(Parking area total area)) ⁇ 100 (%) (Formula 1)
- the occlusion area is an area that cannot be confirmed in the captured image of the camera.
- the user determines whether each area is a parking area based on the color of the parking availability identification graphic data (color frame) displayed superimposed on each area of the attention area (ROI). It is possible to immediately determine whether it is an area where parking is not possible or an area where there is a possibility of vacancy.
- FIG. 37 is an example hardware configuration of the information processing device in the vehicle 10 .
- the hardware configuration shown in FIG. 37 will be described.
- a drive 310 connected to the input/output interface 305 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
- a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
- the vehicle control system 511 includes a vehicle control ECU (Electronic Control Unit) 521, a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530 , an HMI (Human Machine Interface) 531 , and a vehicle control unit 532 .
- a vehicle control ECU Electronic Control Unit
- a communication unit 522 includes a communication unit 522, a map information accumulation unit 523, a GNSS (Global Navigation Satellite System) reception unit 524, an external recognition sensor 525, an in-vehicle sensor 526, a vehicle sensor 527, It has a recording unit 528 , a driving support/automatic driving control unit 529 , a DMS (Driver Monitoring System) 530
- the self-position estimator 571 may estimate the self-position of the vehicle 500 based on the GNSS signal and sensor data from the vehicle sensor 527.
- the recognition unit 573 executes a detection process for detecting the situation outside the vehicle 500 and a recognition process for recognizing the situation outside the vehicle 500 .
- trajectory planning is the process of planning a rough route from the start to the goal. This route planning is referred to as trajectory planning, and in the route planned in the route planning, trajectory generation (Local path planning) processing is also included. Path planning may be distinguished from long-term path planning and activation generation from short-term path planning, or from local path planning. A safety priority path represents a concept similar to launch generation, short-term path planning, or local path planning.
- FIG. 39 is a diagram showing an example of sensing areas by the camera 551, radar 552, LiDAR 553, ultrasonic sensor 554, etc. of the external recognition sensor 525 in FIG. 39 schematically shows the vehicle 500 viewed from above, the left end side being the front end (front) side of the vehicle 500, and the right end side being the rear end (rear) side of the vehicle 500.
- the sensing results in the sensing area 595 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
- ACC Adaptive Cruise Control
- emergency braking emergency braking
- collision avoidance collision avoidance
- the sensing regions of the camera 551, the radar 552, the LiDAR 553, and the ultrasonic sensor 554 included in the external recognition sensor 525 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 554 may sense the sides of the vehicle 500 , and the LiDAR 553 may sense the rear of the vehicle 500 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Abstract
Description
車両の運転者であるユーザは、駐車場から駐車可能な空きスペースを探して駐車する。この場合、ユーザは、駐車場内で車両を走行させ、周囲を目視で確認して空きスペースを探すことになる。
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
前記駐車領域解析部は、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置にある。
情報処理装置において実行する情報処理方法であり、
駐車領域解析部が、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
表示制御部が、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
駐車領域解析部に、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
表示制御部に、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
前記駐車領域解析部の前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
前記表示制御部の前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラムにある。
具体的には、例えば、カメラ撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、解析結果に基づいて区分領域単位の駐車可否識別グラフィックデータを生成し、カメラ撮影画像上に重畳表示する表示制御部を有する。駐車領域解析部は、カメラ撮影画像から駐車車両が検出されない区分領域について、オクルージョン領域の区分領域全面積に対する比率を算出し、算出比率の値に応じて区分領域が駐車可能領域、または空き可能性あり領域のいずれであるかを判定し、表示制御部は、各領域で異なるグラフィックデータを重畳して表示する。
本構成により、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.駐車場における車両駐車処理の一般的な処理と、その問題点について
2.駐車可能領域と駐車不可領域、さらに空き可能性あり領域の3種類の領域識別用データを生成してユーザに提示する本開示の処理について
3.(実施例1)本開示の情報処理装置が実行する処理の詳細について
4.(実施例2)駐車区分領域が規定されていない縦列駐車の場合の処理例について
5.表示データの更新処理について
6.車両が自動運転車両である場合の自動運転処理について
7.本開示の情報処理装置の構成例について
8.本開示の情報処理装置のハードウェア構成例について
9.車両の構成例について
10.本開示の構成のまとめ
まず、駐車場における車両駐車処理の一般的な処理と、その問題点について説明する。
図1には、車両10と駐車場20を示している、車両10は、駐車場20の入り口から駐車場20に入り、空きスペースを探して駐車しようとしている。
例えば、店舗の入り口が、駐車場の奥側(図の上方側)にあるため、車両10の運転者であるユーザは、できるだけ駐車場の奥側(図の上方側)に駐車したいと考えているとする。
また、図に示す駐車区分の左上端から2番目の駐車領域は空いてはいるが、円錐コーン22がおかれているため利用できない領域となっている。
しかし、侵入時点では車両10の運転者であるユーザは、この円錐コーン22を視覚で確認することができない。
表示部12には、例えば図3に示すようなカメラ撮影画像が表示される。しかし、この表示画像を見ても、例えば、駐車場の右奥の駐車領域23は、手前の駐車車両の陰になっており、運転者は駐車可能か否かを明確に判定することができない。
次に、駐車可能領域と駐車不可領域、さらに空き可能性あり領域の3種類の領域識別用データを生成してユーザに提示する本開示の処理について説明する。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
図5に示すように、駐車区分領域の各々に対して、以下の3種類の駐車可否識別グラフィックデータ(カラー枠)が表示される。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
表示部12に表示する表示データは、このような前方撮影カメラによる撮影画像に限らず、様々なデータとすることが可能である。
(a)車両10の前方を撮影する前方向カメラ11F、
(b)車両10の後方を撮影する後方向カメラ11B、
(c)車両10の左側を撮影する左方向カメラ11L、
(d)車両10の右側を撮影する右方向カメラ11R、
このような処理によって車両10の表示部12に表示される画像の例を図7に示す。
このように、複数画像の合成処理よって生成される表示データ(鳥瞰図)は、被写体の歪みなどが発生し、運転者(ユーザ)が、即座に各駐車領域の状態(駐車可能、駐車不可能、空き可能性あり)を判別することは困難である。
駐車可否識別グラフィックデータ(カラー枠)は、以下の3種類である。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
すなわち、「(1)駐車可能領域識別用表示データ(緑色枠)101」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値以上の駐車区分領域に対して重畳表示される。
「(3)空き可能性あり領域識別用表示データ(黄色枠)103」は、車両10に装着されたカメラ11による撮影画像の解析結果として駐車車両が検出されず、かつ、空き尤度(空き可能性)が規定しきい値未満の駐車区分領域に対して重畳表示される。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
次に、本開示の実施例1の情報処理装置が実行する処理の詳細について説明する。
情報処理装置は、車両に装着されたカメラの撮影画像を入力して、表示部への表示データを生成するとともに、撮影画像の解析処理を実行して、駐車区分領域各々の駐車可否等を判別し、駐車区分領域各々に対する駐車可否識別グラフィックデータ(カラー枠)を生成して表示部に表示された駐車場画像に重畳して表示する処理などを行う。
なお、図10に示すフローチャートは、本開示の情報処理装置のデータ処理部の制御の下で実行される。本開示の情報処理装置は例えばCPU等のプログラム実行機能を持つデータ処理部を有し、データ処理部は情報処理装置内の記憶部に格納されたプログラムに従って図10に示すフローに従った処理を実行する。
以下、図10に示すフローチャートの各ステップの処理について説明する。
まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS101において、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車区分領域を検出し、検出した駐車区分領域に駐車区分領域識別子(ID)を設定する。
(a)車両10の前方を撮影する前方向カメラ11F、
(b)車両10の後方を撮影する後方向カメラ11B、
(c)車両10の左側を撮影する左方向カメラ11L、
(d)車両10の右側を撮影する右方向カメラ11R、
これらの4つのカメラの全て、あるいは複数カメラの撮影画像、あるいはこれらの複数の撮影画像に基づいて生成される合成画像(鳥瞰図)である。
例えば、畳み込みニューラルネットワークであるCNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して、カメラによって明確に撮影されない領域の駐車区分領域を判別して駐車区分領域の推定処理を行ってもよい。
図11に示す例は、先に図1を参照して説明したと同様の並列駐車を行う駐車場から検出した8つの駐車区分領域に対する駐車区分領域識別子(ID)の設定例を示す図である。
左上の駐車区分領域から右下の駐車区分領域まで、8つの駐車区分領域識別子(ID=P1~P8)を設定した例である。
次に、車両10に搭載された情報処理装置のデータ処理部は、ステップS102において、ステップS101で検出した駐車区分領域(P1~Pn)から、1つの処理対象領域(Px)を選択する。
次に、情報処理装置のデータ処理部は、ステップS103において、処理対象領域(Px)に駐車車両が検出されたか否かを判定する。
この判定処理は、車両10に搭載したカメラの撮影画像に基づいて実行される。
一方、処理対象領域(Px)に駐車車両が検出されなかった場合は、ステップS106に進む。
ステップS104~S105の処理は、ステップS103において、処理対象領域(Px)に駐車車両が検出されたと判定した場合に実行する。
次に、情報処理装置のデータ処理部は、ステップS105において、ステップS104で駐車不可領域と判定した、処理対象領域(Px)に駐車不可領域識別用表示データ(赤色枠)を表示する。
図12は、車両10のカメラ11による駐車車両の検出状態を示す図である。
図12に示すように、駐車区分領域P1に駐車された車両の一部は、手前側の駐車車両や柱21によって隠れている(図のグレー部分)が、一部はカメラ11によって撮影可能な状態である。
ステップS106~S111の処理は、ステップS103において、処理対象領域(Px)に駐車車両が検出されなかったと判定した場合に実行する。
前述したように、空き尤度(空き可能性)とは、駐車区分領域が空いている可能性を示す指標値である。
同様に、駐車区分領域P5も車両10のカメラ11によって駐車車両が検出されない駐車区分領域である。
図14(a)空き尤度(空き可能性)算出式に示すように、各駐車区分領域の空き尤度(空き可能性)は、以下の(式1)に従って算出する。
駐車区分領域全面積は、駐車区分の前後方向長さ(d)と横幅(w)の乗算値:d×wである。
駐車区分領域P2の空き尤度(空き可能性)=15%
となる。
駐車区分領域P5の空き尤度(空き可能性)=10%
となる。
ステップS106において、処理対象領域の空き尤度(空き可能性)の算出処理が完了すると、次に、情報処理装置のデータ処理部は、ステップS107において、算出した空き尤度(空き可能性)と予め規定したしきい値(Th)とを比較し、算出空き尤度がしきい値(Th)以上か否かを判定する。
なお、しきい値=50%は一例であり、しきい値の値は、様々な設定が可能である。
一方、算出した空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS110に進む。
ステップS108~S109の処理は、ステップS106で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上である場合に実行する。
さらに、ステップS109において、この処理対象領域に駐車可能領域識別用表示データ(緑色枠)を表示する。
一方、ステップS110~S111の処理は、ステップS106で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満である場合に実行する。
さらに、ステップS111において、この処理対象領域に空き可能性あり領域識別用表示データ(黄色枠)を表示する。
ステップS112では、すべての駐車区分領域についての処理が終了したか否かを判定する。
未処理の駐車区分領域がある場合は、ステップS102に戻り、未処理の駐車区分領域について、ステップS102以下の処理を実行する。
図13に示す駐車区分領域P2と、駐車区分領域P5の空き尤度(空き可能性)は、先に説明した(式1)、すなわち、
空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
駐車区分領域P2の空き尤度(空き可能性)=15%
駐車区分領域P5の空き尤度(空き可能性)=10%
となる。
また、駐車区分領域P5は、駐車区分領域P5の全面積(d×w)中、オクルージョン領域(カメラの撮影画像では確認できない領域)以外の領域、すなわちカメラの撮影画像から確認できる領域が10%である。
この判定処理を、図14のステップS107(No)として示している。
図15に示す駐車区分領域P5は、先に図13を参照して説明した駐車区分領域P5と同じ右上端の駐車区分領域であるが、その手前の駐車区分領域P6に駐車車両が出て行った状態であり、車両10のカメラ11から確認できる領域が増加している。
空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
駐車区分領域P5の空き尤度(空き可能性)=90%
となる。
この空き尤度(空き可能性)算出処理を、図16のステップS106a~S106bとして示している。
この判定処理を、図16のステップS107(Yes)として示している。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
図17には、左から、以下の3つの駐車区分領域に対する駐車可否識別グラフィックデータ(カラー枠)の割り当て処理の具体的シーケンスを示している。
駐車区分領域Px
駐車区分領域Py
駐車区分領域Pz
駐車区分領域Pyは、カメラ撮影画像から駐車車両が確認されず、空き尤度(空き可能性)がしきい値以上の駐車区分領域である。
駐車区分領域Pzは、カメラ撮影画像から駐車車両が確認されず、空き尤度(空き可能性)がしきい値未満の駐車区分領域である。
図17に示すように、駐車区分領域Pxは、カメラ撮影画像から駐車車両が確認され、ステップS103でYesの判定がなされる。
この判定に従い、駐車区分領域Pxは、ステップS104~S105で、駐車不可領域と判定され、駐車不可能領域識別用表示データ(赤色枠)の表示処理が実行される。
この判定に従い、駐車区分領域Pyについては、ステップS106で空き尤度(空き可能性)の算出処理が行われ、ステップS107で、算出値がしきい値以上であるか否かが判定される。
駐車区分領域Pyの空き尤度(空き可能性)は、しきい値以上と判定され、ステップS107の判定結果がYesとなる。
この判定結果に基づいて、ステップS108~S109において、駐車区分領域Pyは、駐車可能領域と判定され、駐車可能領域識別用表示データ(緑色枠)の表示処理が実行される。
この判定に従い、駐車区分領域Pzについては、ステップS106で空き尤度(空き可能性)の算出処理が行われ、ステップS107で、算出値がしきい値以上であるか否かが判定される。
駐車区分領域Pzの空き尤度(空き可能性)は、しきい値未満と判定され、ステップS107の判定結果がNoとなる。
この判定結果に基づいて、ステップS110~S111において、駐車区分領域Pzは、空き可能性あり領域と判定され、空き可能性あり領域識別用表示データ(緑色枠)の表示処理が実行される。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのカラー枠は、各駐車区分領域の表示位置に合わせて表示することが必要である。
図に示す例は、最上段の駐車区分領域Pnのパラメータの取得処理例である。
図に示すように、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)を、駐車可否識別グラフィックデータ(カラー枠)表示処理用パラメータとして取得する。
駐車区分領域Pnの中心位置の座標(x,y)は、このXY座標上の位置情報として取得する。
まず、これらのパラメータを取得する。
なお、XY座標の設定は一例であり、この他の座標を利用する構成としてもよい。
例えば図19に示すように、駐車区分領域の長さ(d)と幅(w)が、XY軸から傾きを持つ構成である場合もある。
傾き(θ)は、駐車区分領域Pnの長さ方向のY軸に対する傾きである。
表示部12に表示された駐車場の画像に駐車可否識別グラフィックデータ(カラー枠)を重畳するため、駐車可否識別グラフィックデータ生成部は、図19(1)に示すパラメータ取得処理によって取得されたパラメータ、すなわち、駐車区分領域Pnの中心位置の座標(x,y)と、形状データとしての長さ(d)と幅(w)と、傾き(θ)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成し、表示部12に表示された駐車場の画像内の駐車区分領域Pnの位置に駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
駐車領域解析部151は、先に図10を参照して説明したフローチャートに従った処理を実行して駐車区分領域が、
(1)駐車可能領域
(2)駐車不可領域
(3)空き可能性あり領域
このいずれの領域であるかを判定する。
パラメータは、以下のデータを含むパラメータである。
(a)駐車区分領域ID、
(b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
(c)駐車区分領域の中心位置座標(x,y)、
(d)駐車区分領域の形状(d,w)、
(e)駐車区分領域の傾き角度(θ)、
駐車可否識別グラフィックデータ生成部152は、上記パラメータ(a)~(e)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成する。
さらに、駐車可否識別グラフィックデータ生成部152は、表示部153に表示されている駐車場の画像内の1つの駐車区分領域の位置に生成した駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳された画像が表示されることになる。
次に、実施例2として、駐車区分領域が規定されていない縦列駐車の場合の処理例について説明する。
すなわち、上記実施例1では、個々の駐車領域が白線などで明確に区分されている駐車場の各駐車区分領域が、
(1)駐車可能領域
(2)駐車不可領域
(3)空き可能性あり領域
このいずれの領域であるかを判定する処理を行っていた。
以下に説明する実施例2は、このように、個々の駐車領域を規定する白線などがない駐車可能領域である場合、その駐車可能領域を、すでに駐車されている車両などに基づいて区分する処理を行う。さらに生成した区分領域の各々について、
(1)駐車可能領域
(2)駐車不可領域
(3)空き可能性あり領域
このいずれの領域であるかを判定する処理を行う実施例である。
図21は、道路を走行中の車両10が、道路の左側に設けられた縦列駐車帯のどこかに駐車しようとしいる状態を示す図である。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
なお、緑、赤、黄の色は一例であり、これらと異なる色の組み合わせでもよい。
上記(1)~(3)の駐車可否識別グラフィックデータ(カラー枠)の表示条件は以下の通りである。
図22に示す駐車不可領域識別用表示データ102aは、駐車車両が検出された領域であり、図22に示す駐車不可領域識別用表示データ102bが、空き領域の長さが車両を駐車するのに不十分な長さである領域である。
(1)駐車可能領域識別用表示データ(緑色枠)101
(2)駐車不可領域識別用表示データ(赤色枠)102
(3)空き可能性あり領域識別用表示データ(黄色枠)103
以下、図23、図24に示すフローチャートの各ステップの処理について説明する。
まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS201において、カメラの撮影画像等のセンサ検出情報、またはセンサ検出情報とAI予測データ、または、外部からの入力情報に基づいて、駐車許容領域、例えば道路サイドの縦列駐車許容領域を検出する。
(a)車両10の前方を撮影する前方向カメラ11F、
(b)車両10の後方を撮影する後方向カメラ11B、
(c)車両10の左側を撮影する左方向カメラ11L、
(d)車両10の右側を撮影する右方向カメラ11R、
これらの4つのカメラの全て、あるいは複数カメラの撮影画像、あるいはこれらの複数の撮影画像に基づいて生成される合成画像(鳥瞰図)である。
あるいは、カメラ撮影画像のみならず、AI予測データを利用して駐車許容領域を推定してもよい。
例えば、畳み込みニューラルネットワークであるCNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して、カメラによって明確に撮影されない領域の駐車許容領域を判別して駐車許容領域の推定処理を行ってもよい。
次に、車両10に搭載された情報処理装置のデータ処理部は、ステップS202において、ステップS201で検出した駐車許容領域、例えば縦列駐車許容領域を解析対象とする注目領域(ROI:Region of Interest)に設定する。
次に、情報処理装置のデータ処理部は、ステップS203において、注目領域(ROI)内の駐車車両を検出する。
次に、情報処理装置のデータ処理部は、ステップS204において、注目領域(ROI)内の駐車車両が検出された領域を駐車不可領域と判定する。
次に、情報処理装置のデータ処理部は、ステップS204で駐車不可領域と判定した駐車車両の存在領域に対して、駐車不可領域識別用表示データ(赤色枠)を表示する。
次に、情報処理装置のデータ処理部は、ステップS206において、駐車車両の間の空き領域(区分領域)の各々に空き領域識別子(空き領域ID)を設定する。
次に、情報処理装置のデータ処理部は、ステップS207において、空き領域識別子(空き領域ID)を設定した空き領域の各々から、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域を選択し、選択領域を駐車不可領域と判定する。
次に、情報処理装置のデータ処理部は、ステップS208において、空き領域の長さ(前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)未満の空き領域に駐車不可能領域識別用表示データ(赤色枠)を表示する。
次に、情報処理装置のデータ処理部は、ステップS209において、識別子(空き領域ID)を設定した空き領域の各々から、空き領域の長さ(前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域を「処理対象領域」に決定する。
次に、情報処理装置のデータ処理部は、ステップS210において、処理対象領域の空き尤度(空き可能性)算出処理を実行する。
前述したように、空き尤度(空き可能性)とは、駐車領域が空いている可能性を示す指標値である。
ステップS210の空き尤度(空き可能性)算出処理は、処理対象領域に駐車車両が検出されず、さらに、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域であると判定された空き領域について実行される処理である。
図29に示す空き領域ID=2の空き領域は、図29に示すように、車両10のカメラ11によって駐車車両が検出されない空き領域であり、空き領域の長さ(空き領域前後の駐車車両の間隔)が、しきい値(車両駐車可能長さ)以上の空き領域であると判定された空き領域である。
各空き領域の空き尤度(空き可能性)は、先に説明した実施例1と同様、以下の(式1)に従って算出する。
駐車区分領域全面積は、駐車区分の前後方向長さ(d)と横幅(w)の乗算値:d×wである。
図30のステップS210bに示すように、
空き領域ID=2の空き尤度(空き可能性)=60%
となる。
ステップS210において、処理対象領域の空き尤度(空き可能性)の算出処理が完了すると、次に、情報処理装置のデータ処理部は、ステップS211において、算出した空き尤度(空き可能性)と予め規定したしきい値(Th)とを比較し、算出空き尤度がしきい値(Th)以上か否かを判定する。
なお、しきい値=50%は一例であり、しきい値の値は、様々な設定が可能である。
一方、算出した空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS214に進む。
ステップS212~S213の処理は、ステップS210で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上である場合に実行する。
さらに、ステップS213において、この処理対象領域に駐車可能領域識別用表示データ(緑色枠)を表示する。
図30には、図29に示す空き領域ID=2の空き領域に対する処理例を示している。
図30のステップS211(Yes)に示すように、
また、空き領域ID=2の空き領域の空き尤度(空き可能性)=60%は、しきい値(Th)=50%以上であるので、ステップS211の判定がYesとなる。
図31に示すように、空き領域ID=2の空き領域には、駐車可能領域識別用表示データ(緑色枠)が表示される。
ステップS214~S215の処理は、ステップS210で算出した処理対象領域の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%未満である場合に実行する。
さらに、ステップS215において、この処理対象領域に空き可能性あり領域識別用表示データ(黄色枠)を表示する。
ステップS216では、すべての処理対象領域についての処理が終了したか否かを判定する。
未処理の処理対象領域がある場合は、ステップS210に戻り、未処理の処理対象領域について、ステップS210以下の処理を実行する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
駐車領域解析部151は、先に図23、図24を参照して説明したフローチャートに従った処理を実行して、駐車可能領域として選択された注目領域(ROI)の各領域の各々が、
(1)駐車可能領域
(2)駐車不可領域
(3)空き可能性あり領域
このいずれの領域であるかを判定する。
パラメータは、以下のデータを含むパラメータである。
(a)空き領域ID、
(b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
(c)空き領域の中心位置座標(x,y)、
(d)空き領域の形状(d,w)、
(e)空き領域の傾き角度(θ)、
駐車可否識別グラフィックデータ生成部152は、上記パラメータ(a)~(e)を利用して、駐車可否識別グラフィックデータ(カラー枠)を生成する。
さらに、駐車可否識別グラフィックデータ生成部152は、表示部153に表示されている駐車可能領域として選択された注目領域(ROI)の各領域に生成した駐車可否識別グラフィックデータ(カラー枠)を重畳して表示する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳された画像が表示されることになる。
次に、表示データの更新処理について説明する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳して表示される。
車両10が走行すると車両10に装着されたカメラ11の撮影範囲が変化し、例えば、空き可能性あり領域識別用表示データ(黄色枠)の表示領域に駐車車両が検出される可能性がある。
この場合、空き可能性あり領域識別用表示データ(黄色枠)の表示領域の駐車可否識別グラフィックデータ(カラー枠)は、駐車不可領域識別用表示データ(赤色枠)に切り替えられる。
空き尤度が変化し、空き尤度がしきい値(Th)以上になった場合は、空き可能性あり領域識別用表示データ(黄色枠)の表示領域の駐車可否識別グラフィックデータ(カラー枠)は、駐車可能領域識別用表示データ(緑色枠)に切り替えられる。
図33に示すフローチャートの各ステップの処理について、順次、説明する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳して表示されている。
まず、車両10に搭載された情報処理装置のデータ処理部は、ステップS301において、カメラ11の最新の撮影画像を解析して、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されたか否かを判定する。
検出されていない場合は、ステップS303に進む。
ステップS301において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されたと判定した場合、情報処理装置のデータ処理部は、ステップS302の処理を実行する。
一方、ステップS301において、「空き可能性あり領域識別用表示データ(黄色枠)表示領域」に駐車車両が検出されていない場合、情報処理装置のデータ処理部は、ステップS303の処理を実行する。
前述したように、空き尤度(空き可能性)とは、駐車区分領域が空いている可能性を示す指標値である。
空き尤度(空き可能性)は、先に説明したように以下の(式1)に従って算出する。
次に、情報処理装置のデータ処理部は、ステップS304において、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になったか否かを判定する。
算出した最新の空き尤度(空き可能性)がしきい値(Th)以上、すなわち50%以上であれば、ステップS305に進む。
一方、算出した最新の空き尤度(空き可能性)がしきい値(Th)未満、すなわち50%未満であれば、ステップS306に進む。
ステップS305の処理は、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になったと判定した場合に実行する。
ステップS306の処理は、ステップS303で算出した「空き可能性あり領域識別用表示データ(黄色枠)表示領域」の最新の空き尤度(空き可能性)算出値が、しきい値(Th)以上になっていないと判定した場合に実行する。
すなわち、カメラ11による最新の撮影画像を解析して、駐車車両の検出や、空き尤度(空き可能性)の算出処理を、逐次、実行して、この処理結果に基づいて、表示部12に表示された駐車可否識別グラフィックデータ(カラー枠)の更新処理を実行する。
次に、車両が自動運転車両である場合の自動運転処理について説明する。
(1)駐車可能領域識別用表示データ(緑色枠)が表示された駐車可能領域
(2)駐車不可領域識別用表示データ(赤色枠)が表示された駐車不可領域
(3)空き可能性あり領域識別用表示データ(黄色枠)が表示された空き可能性あり領域
これらの領域データを利用して、自動運転による自動駐車処理を行うことが可能である。
図34、図35に示すフローチャートの各ステップの処理について、順次、説明する。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳して表示されている。
まず、車両10に搭載された情報処理装置のデータ処理部(自動運転制御部)は、ステップS401において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)、または空き可能性あり領域識別用表示データ(黄色枠)の表示領域を検索する。
実際の処理としては、表示部の表示データを参照することなく、各領域単位の駐車可否データ、すなわち、各領域が駐車可能領域であるか、駐車不可能領域であるか、あるいは空き可能性あり領域であるか、これらの領域判別データを自動運転制御部に入力して処理を行うことが可能である。
次に、情報処理装置のデータ処理部(自動運転制御部)は、ステップS402において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されたか否かを判定する。
一方、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されていない場合は、ステップS404に進む。
ステップS403の処理は、ステップS402において表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されたと判定した場合に実行する。
一方、ステップS404の処理は、ステップS402において表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)の表示領域が検出されなかった場合に実行する。
一方、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されていない場合は、ステップS401に戻り、ステップS401以下の処理を繰り返す。
ステップS405の処理は、ステップS404において、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、空き可能性あり領域識別用表示データ(黄色枠)の表示領域が検出されたと判定した場合に実行する。
次に、情報処理装置のデータ処理部(自動運転制御部)は、ステップS411おいて、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されたか否かを確認する。
ステップS412の処理は、ステップS411において、走行目的地として設定している表示部に表示された空き可能性あり領域識別用表示データ(黄色枠)の領域が、駐車可能領域識別用表示データ(緑色枠)の表示に変更されていないことが確認された場合に実行する。
すなわち、表示部に表示された駐車可否識別グラフィックデータ(カラー枠)の中から、駐車可能領域識別用表示データ(緑色枠)、または空き可能性あり領域識別用表示データ(黄色枠)の表示領域を検索する処理を再開し、ステップS401以下の処理を、再度実行する。
(1)駐車可能領域識別用表示データ(緑色枠)が表示された駐車可能領域
(2)駐車不可領域識別用表示データ(赤色枠)が表示された駐車不可領域
(3)空き可能性あり領域識別用表示データ(黄色枠)が表示された空き可能性あり領域
これらの領域データを利用して、自動運転による自動駐車処理を行うことが可能となる。
次に本開示の情報処理装置の構成例について説明する。
図36に示すように情報処理装置200は、カメラ201、駐車領域解析部202、通信部203、表示制御部204、表示部205、入力部(UI)206、自動運転制御部207を有する。
表示制御部204は、駐車可否識別グラフィックデータ生成部221、駐車領域表示データ生成部222、出力表示データ生成部223を有する。
なお、自動運転制御部207は必須構成ではなく、車両が自動運転可能な車両である場合に備えられる構成である。
なお、LiDAR(Light Detection and Ranging)やToFセンサは、例えばレーザ光等の光を出力してオブジェクトによる反射光を解析して、周囲のオブジェクトの距離を計測するセンサである。
例えば上述した実施例1、すなわち先に図1以下を参照して説明した並列型駐車場等、白線などによって駐車区分が明確にされた駐車場の場合は、各駐車区分領域の配列などを解析する。
また。実施例2で説明したような住設駐車可能区間等、各車両の駐車区分が明確でないような駐車可能領域では、駐車可能領域を注目領域(ROI)として設定し、その注目領域の中から、空きスペースを検出する処理などを行う。
領域単位の駐車車両検出情報は、空き尤度(空き可能性)算出部213と、パラメータ生成、出力部214に出力される。
前述したように、各領域の空き尤度(空き可能性)は、以下の(式1)に従って算出される。
空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(駐車区分領域全面積))×100(%)・・・・(式1)
オクルージョン領域は、カメラの撮影画像では確認できない領域である。
(a)駐車区分領域ID(または空き領域ID)、
(b)駐車可否識別結果(駐車可、駐車不可、空き可能性あり)、
(c)駐車区分領域(または空き領域)の中心位置座標(x,y)、
(d)駐車区分領域(または空き領域)の形状(d,w)、
(e)駐車区分領域(または空き領域)の傾き角度(θ)、
すなわち、
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
各領域単位でこれらのいずれかの駐車可否識別グラフィックデータ(カラー枠)を生成する。
例えば、図2に示す車両10の前方を撮影するカメラ11の撮影画像に基づく駐車場領域画像を生成する。
(a)車両10の前方を撮影する前方向カメラ11F、
(b)車両10の後方を撮影する後方向カメラ11B、
(c)車両10の左側を撮影する左方向カメラ11L、
(d)車両10の右側を撮影する右方向カメラ11R、
これらの4つのカメラの全て、あるいは複数カメラの撮影画像に基づく合成画像(鳥瞰図など)を生成する。
駐車可否識別グラフィックデータ生成部221が生成した領域単位の駐車可否識別グラフィックデータ(カラー枠)
駐車領域表示データ生成部222が生成した駐車場や、駐車可能領域などの表示データ
出力表示データ生成部223は、これらの2つのデータを入力し、これらのデータを重畳した表示データを生成して表示部205に出力する。。
(1)駐車可能領域識別用表示データ(緑色枠)
(2)駐車不可領域識別用表示データ(赤色枠)
(3)空き可能性あり領域識別用表示データ(黄色枠)
これらのいずれかが重畳された画像が表示される。
自動運転制御部207は、例えば入力部(UI)206から入力される駐車要求等に応じて自動運転処理や自動駐車処理を実行する。
次に、図37を参照して、本開示の情報処理装置のハードウェア構成例について説明する。
なお、情報処理装置は車両10内に装着される。図37に示すハードウェア構成は、車両10内の情報処理装置のハードウェア構成例である。
図37に示すハードウェア構成について説明する。
また、出力部307は、車両の駆動部322に対する駆動情報も出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
また、CPUの他、カメラから入力される画像情報などの専用処理部としてGPU(Graphics Processing Unit)を備えてもよい。
次に、本開示の情報処理装置を搭載した車両の構成例について説明する。
センシング領域595は、車両500の前方において、センシング領域594より遠い位置までカバーしている。一方、センシング領域595は、センシング領域594より左右方向の範囲が狭くなっている。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
前記駐車領域解析部は、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置。
前記区分領域単位の駐車可否識別グラフィックデータとして、
(a)駐車可能領域識別用表示データ、
(b)駐車不可領域識別用表示データ、
(c)空き可能性あり領域識別用表示データ、
上記(a)~(c)の駐車可否識別グラフィックデータを生成し、駐車領域画像の各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する(1)に記載の情報処理装置。
前記カメラの撮影画像から駐車車両が検出された区分領域を駐車不可領域と判定し、
前記カメラの撮影画像から駐車車両が検出されない区分領域については、
前記オクルージョン領域の区分領域全面積に対する比率に基づいて、区分領域の空き可能性を示す空き尤度を算出し、
算出した空き尤度が、規定しきい値以上であれば、駐車可能領域と判定し、
算出した空き尤度が、規定しきい値未満であれば、空き可能性あり領域と判定し、
前記表示制御部は、
前記駐車領域解析部による各区分領域単位の判定結果に従って、各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する(1)または(2)に記載の情報処理装置。
前記カメラの撮影画像から駐車車両が検出されない区分領域の空き可能性を示す空き尤度を、
空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(区分領域全面積))×100(%)・・・・(式1)
ただし、オクルージョン領域は、前記カメラの撮影画像から確認できない領域、
上記(式1)に従って算出する(3)に記載の情報処理装置。
前記区分領域単位の駐車可否識別グラフィックデータとして、
(a)駐車可能領域識別用表示データ、
(b)駐車不可領域識別用表示データ、
(c)空き可能性あり領域識別用表示データ、
上記(a)~(c)の駐車可否識別グラフィックデータを、各々異なる色のグラフィックデータとして生成する(1)~(4)いずれかに記載の情報処理装置。
前記区分領域単位の駐車可否識別グラフィックデータとして、
区分領域の外形を示す枠型のグラフィックデータを生成する(1)~(5)いずれかに記載の情報処理装置。
前記カメラの撮影画像から、駐車許容領域内に明示された駐車区分領域を検出し、
検出した駐車区分領域単位で、車両が駐車可能か否かを解析する(1)~(6)いずれかに記載の情報処理装置。
前記カメラの撮影画像から駐車許容領域を検出し、
検出した駐車許容領域から駐車車両を検出し、
検出した駐車車両の駐車領域と、空きスペースを区分して区分領域を設定し、
設定した区分領域単位で、車両が駐車可能か否かを解析する(1)~(7)いずれかに記載の情報処理装置。
道路サイドの縦列駐車領域を駐車許容領域として検出する(8)に記載の情報処理装置。
車両が駐車可能か否かを解析する単位となる区分領域を、AI予測データを利用して推定する(1)~(9)いずれかに記載の情報処理装置。
車両が駐車可能か否かを解析する単位となる区分領域を、外部装置からの受信情報を利用して決定する(1)~(11)いずれかに記載の情報処理装置。
前記カメラの撮影画像に基づいて、駐車領域を上部から観察した鳥瞰図からなる駐車領域画像を生成し、生成した鳥瞰図からなる駐車領域画像の各区分領域各々に駐車可否識別グラフィックデータを重畳して表示する(1)~(12)いずれかに記載の情報処理装置。
前記車両の走行に伴い変化する前記カメラの撮影画像を順次、入力し、最新の入力画像に基づいて、車両が駐車可能か否かを区分領域単位で解析する処理を繰り返し実行して、解析データを順次、更新し、
前記表示制御部は、
前記駐車領域解析部の最新の解析結果に基づいて、前記区分領域単位の駐車可否識別グラフィックデータを、順次、更新する処理を実行する(1)~(13)いずれかに記載の情報処理装置。
空き可能性あり領域と判定した区分領域について、
前記カメラの最新の撮影画像から駐車車両が検出された場合、
前記区分領域を駐車不可領域に変更する(14)に記載の情報処理装置。
空き可能性あり領域と判定した区分領域について、
前記カメラの最新の撮影画像に基づいて算出した空き尤度が、規定しきい値以上となった場合、
前記区分領域を駐車可能領域に変更する(14)または(15)に記載の情報処理装置。
自動運転制御部を有し、
前記自動運転制御部は、
前記駐車領域解析部が駐車可能領域と判定した領域に駐車を行うように自動運転を実行する(1)~(16)いずれかに記載の情報処理装置。
前記駐車領域解析部が駐車可能領域と判定した領域がない場合、
空き可能性あり領域に向けて走行し、空き可能性あり領域が、駐車可能領域に変更された場合、該駐車可能領域に駐車を行うように自動運転を実行する(17)に記載の情報処理装置。
駐車領域解析部が、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
表示制御部が、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法。
駐車領域解析部に、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
表示制御部に、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
前記駐車領域解析部の前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
前記表示制御部の前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラム。
前記撮影画像から駐車車両が検出されない区分領域を特定し、
前記区分領域の面積に対する、前記撮影画像から確認できないオクルージョン領域の面積の比率を算出し、
前記比率に応じて、前記区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する駐車領域解析部を備える、
情報処理装置。
前記撮影画像から駐車車両が検出されない区分領域を特定し、
前記区分領域の面積に対する、前記撮影画像から確認できないオクルージョン領域の面積の比率を算出し、
前記比率に応じて、前記区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する
情報処理方法。
具体的には、例えば、カメラ撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、解析結果に基づいて区分領域単位の駐車可否識別グラフィックデータを生成し、カメラ撮影画像上に重畳表示する表示制御部を有する。駐車領域解析部は、カメラ撮影画像から駐車車両が検出されない区分領域について、オクルージョン領域の区分領域全面積に対する比率を算出し、算出比率の値に応じて区分領域が駐車可能領域、または空き可能性あり領域のいずれであるかを判定し、表示制御部は、各領域で異なるグラフィックデータを重畳して表示する。
本構成により、駐車区分領域のオクルージョン領域の比率に応じて、駐車可能領域、または空き可能性あり領域のいずれであるかを判別して、判別結果に応じて異なる識別表示処理を行う構成が実現される。
11 カメラ
12 表示部
20 駐車場
21 柱
22 円錐コーン
23,24 駐車領域
101 駐車可能領域識別用表示データ
102 駐車不可領域識別用表示データ
103 空き可能性あり領域識別用表示データ
151 駐車領域解析部
152 駐車可否識別グラフィックデータ生成部
153 表示部
200 情報処理装置
201 カメラ
202 駐車領域解析部
203 通信部
204 表示制御部
205 表示部
206 入力部(UI)
207 自動運転制御部
211 領域解析部
212 駐車車両検出部
213 空き尤度(空き可能性)算出部
214 パラメータ生成、出力部
221 駐車可否識別グラフィックデータ生成部
222 駐車領域表示データ生成部
223 出力表示データ生成部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
321 センサ
322 駆動部
Claims (20)
- 車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析部と、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御部を有し、
前記駐車領域解析部は、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理装置。 - 前記表示制御部は、
前記区分領域単位の駐車可否識別グラフィックデータとして、
(a)駐車可能領域識別用表示データ、
(b)駐車不可領域識別用表示データ、
(c)空き可能性あり領域識別用表示データ、
上記(a)~(c)の駐車可否識別グラフィックデータを生成し、駐車領域画像の各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
前記カメラの撮影画像から駐車車両が検出された区分領域を駐車不可領域と判定し、
前記カメラの撮影画像から駐車車両が検出されない区分領域については、
前記オクルージョン領域の区分領域全面積に対する比率に基づいて、区分領域の空き可能性を示す空き尤度を算出し、
算出した空き尤度が、規定しきい値以上であれば、駐車可能領域と判定し、
算出した空き尤度が、規定しきい値未満であれば、空き可能性あり領域と判定し、
前記表示制御部は、
前記駐車領域解析部による各区分領域単位の判定結果に従って、各区分領域各々に上記(a)~(c)のいずれかの駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
前記カメラの撮影画像から駐車車両が検出されない区分領域の空き可能性を示す空き尤度を、
空き尤度(空き可能性)(%)=(1-(オクルージョン領域面積)/(区分領域全面積))×100(%)・・・・(式1)
ただし、オクルージョン領域は、前記カメラの撮影画像から確認できない領域、
上記(式1)に従って算出する請求項3に記載の情報処理装置。 - 前記表示制御部は、
前記区分領域単位の駐車可否識別グラフィックデータとして、
(a)駐車可能領域識別用表示データ、
(b)駐車不可領域識別用表示データ、
(c)空き可能性あり領域識別用表示データ、
上記(a)~(c)の駐車可否識別グラフィックデータを、各々異なる色のグラフィックデータとして生成する請求項1に記載の情報処理装置。 - 前記表示制御部は、
前記区分領域単位の駐車可否識別グラフィックデータとして、
区分領域の外形を示す枠型のグラフィックデータを生成する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
前記カメラの撮影画像から、駐車許容領域内に明示された駐車区分領域を検出し、
検出した駐車区分領域単位で、車両が駐車可能か否かを解析する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
前記カメラの撮影画像から駐車許容領域を検出し、
検出した駐車許容領域から駐車車両を検出し、
検出した駐車車両の駐車領域と、空きスペースを区分して区分領域を設定し、
設定した区分領域単位で、車両が駐車可能か否かを解析する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
道路サイドの縦列駐車領域を駐車許容領域として検出する請求項8に記載の情報処理装置。 - 前記駐車領域解析部は、
車両が駐車可能か否かを解析する単位となる区分領域を、AI予測データを利用して推定する請求項1に記載の情報処理装置。 - 前記AI予測データは、CNN(Convolutional Neural Network)を用いた学習アルゴリズムによって生成されるAI予測器を利用して生成されるデータである請求項10に記載の情報処理装置。
- 前記駐車領域解析部は、
車両が駐車可能か否かを解析する単位となる区分領域を、外部装置からの受信情報を利用して決定する請求項1に記載の情報処理装置。 - 前記表示制御部は、
前記カメラの撮影画像に基づいて、駐車領域を上部から観察した鳥瞰図からなる駐車領域画像を生成し、生成した鳥瞰図からなる駐車領域画像の各区分領域各々に駐車可否識別グラフィックデータを重畳して表示する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
前記車両の走行に伴い変化する前記カメラの撮影画像を順次、入力し、最新の入力画像に基づいて、車両が駐車可能か否かを区分領域単位で解析する処理を繰り返し実行して、解析データを順次、更新し、
前記表示制御部は、
前記駐車領域解析部の最新の解析結果に基づいて、前記区分領域単位の駐車可否識別グラフィックデータを、順次、更新する処理を実行する請求項1に記載の情報処理装置。 - 前記駐車領域解析部は、
空き可能性あり領域と判定した区分領域について、
前記カメラの最新の撮影画像から駐車車両が検出された場合、
前記区分領域を駐車不可領域に変更する請求項14に記載の情報処理装置。 - 前記駐車領域解析部は、
空き可能性あり領域と判定した区分領域について、
前記カメラの最新の撮影画像に基づいて算出した空き尤度が、規定しきい値以上となった場合、
前記区分領域を駐車可能領域に変更する請求項14に記載の情報処理装置。 - 前記情報処理装置は、
自動運転制御部を有し、
前記自動運転制御部は、
前記駐車領域解析部が駐車可能領域と判定した領域に駐車を行うように自動運転を実行する請求項1に記載の情報処理装置。 - 前記自動運転制御部は、
前記駐車領域解析部が駐車可能領域と判定した領域がない場合、
空き可能性あり領域に向けて走行し、空き可能性あり領域が、駐車可能領域に変更された場合、該駐車可能領域に駐車を行うように自動運転を実行する請求項17に記載の情報処理装置。 - 情報処理装置において実行する情報処理方法であり、
駐車領域解析部が、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップと、
表示制御部が、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行し、
前記駐車領域解析部は、前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出し、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行し、
前記表示制御部は、前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
駐車領域解析部に、
車両に装着したカメラの撮影画像を解析して、車両が駐車可能か否かを区分領域単位で解析する駐車領域解析ステップを実行させ、
表示制御部に、
前記駐車領域解析部の解析結果に基づいて、区分領域単位の駐車可否識別グラフィックデータを生成し、前記カメラの撮影画像、または該撮影画像に基づいて生成した合成画像上に重畳して表示する表示制御ステップを実行させ、
前記駐車領域解析部の前記駐車領域解析ステップにおいて、
前記カメラの撮影画像から駐車車両が検出されない区分領域について、前記カメラの撮影画像から確認できないオクルージョン領域の区分領域全面積に対する比率を算出する処理と、
算出比率の値に応じて区分領域が、駐車可能領域、または空き可能性あり領域のいずれの領域であるかを判定する判定処理を実行させ、
前記表示制御部の前記表示制御ステップにおいて、
前記判定処理の結果に応じて、駐車可能領域と空き可能性あり領域とで異なるグラフィックデータを重畳して表示する処理を実行させるプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112022003723.7T DE112022003723T5 (de) | 2021-07-27 | 2022-02-21 | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
| US18/570,872 US12505744B2 (en) | 2021-07-27 | 2022-02-21 | Information processing device, information processing method, and program |
| CN202280041999.7A CN117651981A (zh) | 2021-07-27 | 2022-02-21 | 信息处理装置、信息处理方法以及程序 |
| JP2023538223A JP7780528B2 (ja) | 2021-07-27 | 2022-02-21 | 情報処理装置、および情報処理方法、並びにプログラム |
| JP2025202264A JP2026026136A (ja) | 2021-07-27 | 2025-11-21 | 車両、および情報処理方法、並びにプログラム |
| US19/397,065 US20260100128A1 (en) | 2021-07-27 | 2025-11-21 | Information processing device, information processing method, and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021122734 | 2021-07-27 | ||
| JP2021-122734 | 2021-07-27 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US18/570,872 A-371-Of-International US12505744B2 (en) | 2021-07-27 | 2022-02-21 | Information processing device, information processing method, and program |
| US19/397,065 Continuation US20260100128A1 (en) | 2021-07-27 | 2025-11-21 | Information processing device, information processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023007785A1 true WO2023007785A1 (ja) | 2023-02-02 |
Family
ID=85086630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/006849 Ceased WO2023007785A1 (ja) | 2021-07-27 | 2022-02-21 | 情報処理装置、および情報処理方法、並びにプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US12505744B2 (ja) |
| JP (2) | JP7780528B2 (ja) |
| CN (1) | CN117651981A (ja) |
| DE (1) | DE112022003723T5 (ja) |
| WO (1) | WO2023007785A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2026053944A1 (ja) * | 2024-09-09 | 2026-03-12 | 株式会社小糸製作所 | 判定装置、プログラム、及び管理システム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12536908B2 (en) * | 2023-06-22 | 2026-01-27 | Connaught Electronics Ltd. | Systems and methods for detecting parking spot numbers for use by a machine learning model to predict available spots |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197314A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社日立製作所 | 運転支援システム、運転支援装置及び運転支援方法 |
| JP2017222309A (ja) * | 2016-06-17 | 2017-12-21 | 日産自動車株式会社 | 駐車支援方法および装置 |
| JP2020057081A (ja) * | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 空き駐車スペース検知装置および空き駐車スペース検知方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004114977A (ja) * | 2002-09-30 | 2004-04-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
| JP4815993B2 (ja) * | 2005-10-19 | 2011-11-16 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP5503728B2 (ja) * | 2010-03-01 | 2014-05-28 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| US9643601B2 (en) * | 2012-11-27 | 2017-05-09 | Nissan Motor Co., Ltd. | Driving assistance device |
| DE102012023706A1 (de) * | 2012-12-05 | 2014-06-05 | Daimler Ag | Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug |
| KR101692628B1 (ko) * | 2014-12-24 | 2017-01-04 | 한동대학교 산학협력단 | 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템 |
| CA3002641C (en) | 2015-10-22 | 2022-05-17 | Nissan Motor Co., Ltd. | Parking space detection method and device |
| US11093764B2 (en) * | 2018-06-29 | 2021-08-17 | Robert Bosch Gmbh | Available parking space detection localization using historical aggregation shifting |
| JP7298435B2 (ja) * | 2019-10-11 | 2023-06-27 | 株式会社デンソー | 車両用周辺監視装置及び車両用周辺監視方法 |
| CN112270311B (zh) * | 2020-11-25 | 2023-12-19 | 武汉理工大学 | 一种基于车载环视逆投影的近目标快速检测方法及系统 |
| CN116704806B (zh) * | 2022-12-07 | 2026-02-17 | 深圳市速腾聚创科技有限公司 | 停车位的识别方法及装置 |
-
2022
- 2022-02-21 CN CN202280041999.7A patent/CN117651981A/zh active Pending
- 2022-02-21 WO PCT/JP2022/006849 patent/WO2023007785A1/ja not_active Ceased
- 2022-02-21 DE DE112022003723.7T patent/DE112022003723T5/de active Pending
- 2022-02-21 JP JP2023538223A patent/JP7780528B2/ja active Active
- 2022-02-21 US US18/570,872 patent/US12505744B2/en active Active
-
2025
- 2025-11-21 JP JP2025202264A patent/JP2026026136A/ja active Pending
- 2025-11-21 US US19/397,065 patent/US20260100128A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016197314A (ja) * | 2015-04-03 | 2016-11-24 | 株式会社日立製作所 | 運転支援システム、運転支援装置及び運転支援方法 |
| JP2017222309A (ja) * | 2016-06-17 | 2017-12-21 | 日産自動車株式会社 | 駐車支援方法および装置 |
| JP2020057081A (ja) * | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 空き駐車スペース検知装置および空き駐車スペース検知方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2026053944A1 (ja) * | 2024-09-09 | 2026-03-12 | 株式会社小糸製作所 | 判定装置、プログラム、及び管理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7780528B2 (ja) | 2025-12-04 |
| US20260100128A1 (en) | 2026-04-09 |
| US20240290204A1 (en) | 2024-08-29 |
| DE112022003723T5 (de) | 2024-05-08 |
| JP2026026136A (ja) | 2026-02-16 |
| CN117651981A (zh) | 2024-03-05 |
| US12505744B2 (en) | 2025-12-23 |
| JPWO2023007785A1 (ja) | 2023-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114424265B (zh) | 信号处理设备、信号处理方法、程序和移动设备 | |
| CN113841100B (zh) | 自主行驶控制设备、自主行驶控制系统和自主行驶控制方法 | |
| JP7626632B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP7852098B2 (ja) | 情報処理装置、および情報処理システム、並びにプログラム | |
| US20260100128A1 (en) | Information processing device, information processing method, and program | |
| US20230206596A1 (en) | Information processing device, information processing method, and program | |
| WO2022158185A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび移動装置 | |
| WO2023090001A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| JP2025013519A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| JP7676407B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| US20240386724A1 (en) | Recognition processing device, recognition processing method, and recognition processing system | |
| WO2023162497A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN118525258A (zh) | 信息处理装置、信息处理方法、信息处理程序和移动装置 | |
| WO2022004423A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP7832222B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| US12620311B2 (en) | Information processing apparatus, information processing method, and program | |
| US12437639B2 (en) | Information processing device, information processing method, and information processing program | |
| US20250067875A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| US20260004594A1 (en) | Information processing device, information processing method, and information processing system | |
| WO2023149089A1 (ja) | 学習装置、学習方法及び学習プログラム | |
| JP2024178673A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| WO2023047666A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| WO2024062976A1 (ja) | 情報処理装置及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22848869 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2023538223 Country of ref document: JP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 202280041999.7 Country of ref document: CN |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 18570872 Country of ref document: US |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 22848869 Country of ref document: EP Kind code of ref document: A1 |