JP7589086B2 - 情報処理装置、車両、路側機、および情報処理方法 - Google Patents

情報処理装置、車両、路側機、および情報処理方法 Download PDF

Info

Publication number
JP7589086B2
JP7589086B2 JP2021055764A JP2021055764A JP7589086B2 JP 7589086 B2 JP7589086 B2 JP 7589086B2 JP 2021055764 A JP2021055764 A JP 2021055764A JP 2021055764 A JP2021055764 A JP 2021055764A JP 7589086 B2 JP7589086 B2 JP 7589086B2
Authority
JP
Japan
Prior art keywords
distance
subject
image
captured image
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021055764A
Other languages
English (en)
Other versions
JP2022152835A (ja
Inventor
浩治 新
成人 服部
隆一 澤田
弘展 谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2021055764A priority Critical patent/JP7589086B2/ja
Priority to PCT/JP2022/012917 priority patent/WO2022210062A1/ja
Priority to CN202280024950.0A priority patent/CN117063218A/zh
Priority to EP22780277.4A priority patent/EP4318435A4/en
Priority to US18/552,156 priority patent/US20240185615A1/en
Publication of JP2022152835A publication Critical patent/JP2022152835A/ja
Application granted granted Critical
Publication of JP7589086B2 publication Critical patent/JP7589086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/91—Radar or analogous systems specially adapted for specific applications for traffic control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、情報処理装置、車両、路側機、および情報処理方法に関するものである。
車両の運転支援及び屋外監視等の用途で、特定の種類の被写体の実空間における位置の検出が求められている。高精度で位置を検出するために、近距離の範囲内では画像を用いて位置検出を行い、遠距離の範囲内ではミリ波レーダを用いて位置検出を行うことが提案されている（特許文献１参照）。
特開２０１６－２０６７７３号公報
しかし、特許文献１において提案されている位置検出方法では、画像による位置検出で生じ得る誤検出、及びミリ波レーダのような投射波による位置検出方法で生じ得る誤検出の防止は難しかった。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、位置検出の検出精度を向上させる情報処理装置、車両、路側機、および情報処理方法を提供することにある。
上述した諸課題を解決すべく、第１の観点による情報処理装置は、
撮像部から撮像画像を取得する画像インターフェースと、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
また、第２の観点による移動体は、
撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
また、第３の観点による路側機は、
撮像画像を生成する撮像部と、
前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備える。
また、第４の観点による情報処理方法は、
撮像画像を生成し、
前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成し、
前記撮像画像から対象である被写体像を検出し、
該被写体像に対応する被写体の、水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を、前記撮像画像及び前記距離分布に基づいて算出する。
上記のように構成された本開示に係る情報処理装置、車両、路側機、および情報処理方法によれば、位置検出の検出精度が向上する。
本実施形態に係る情報処理装置を含む路側機の概略構成を示すブロック図である。 図１の情報処理装置の概略構成を示すブロック図である。 図２のコントローラにより検出された被写体像及び物体個別領域枠を示す撮像画像である。 図３の被写体像及び物体個別領域枠の拡大図である。 図２のコントローラが実行する位置算出処理を説明するためのフローチャートである。 図４の物体個別領域枠を形成する一部の枠線に実空間において対応する点の軌跡を示す図４の撮像画像に対応する実空間を上空から見た図である。
以下、本開示を適用した情報処理装置の実施形態について、図面を参照して説明する。
図１に示すように、本開示の一実施形態に係る情報処理装置１０を含む路側機１１は、検出装置１２、メモリ１３、通信部１４、及びコントローラ１５を含んで構成されてよい。
検出装置１２は、路側機１１周辺から伝播する波動を検出してよい。検出装置１２は、検出した波動に基づいて、路側機１１の周囲における測定対象である被写体の実空間における存在位置を検出してよい。存在位置は、例えば、ワールド座標系の位置である。本実施形態においては、測定対象は、例えば、人間、箱型車両、自動二輪車、及び自転車である。メモリ１３は、路側機１１の位置を記憶してよい。通信部１４は、有線または無線により外部機器と通信してよい。外部機器は、例えば、路側機１１に近接する車両において利用されるナビゲーション装置などの端末装置、または走行中の車両の現在位置を認識して当該車両に交通情報を送信するサーバ装置等である。外部機器は、検出装置１２の手動較正用の端末装置であってよい。コントローラ１５は、測定対象の種類および実空間における存在位置を、路側機１１の位置とともに、ユーザに報知する外部機器に送信するよう通信部１４を制御してよい。
以下に、検出装置１２の詳細について説明する。検出装置１２は、検出部１６及び情報処理装置１０を有してよい。
検出部１６は、撮像部１７及び測距センサ１８を有してよい。検出部１６には、検出部座標系が定められていてよい。検出部座標系は、検出部１６における任意の位置を原点とし、当該原点を通る互いに垂直な３軸を座標軸とする三次元座標系である。検出部座標系の原点は、例えば、撮像部１７の光軸と撮像素子の交点である。検出部座標系は、例えば、撮像部１７の光軸に平行な線を座標軸に含む。
検出部１６は、例えば、信号装置、電柱、および街灯などの、屋外において路面を含む光景を撮像可能な高さを有する構造物に固定されてよい。構造物に対する検出部１６の位置及び姿勢は、事前に定められてよい。検出部１６の位置は、ワールド座標系において基準となる位置に対する検出部座標系の原点を意味する。検出部１６の姿勢は、ワールド座標系の座標軸に対する検出部座標系の座標軸の傾きを意味する。本開示において「ワールド座標系」は、検出部１６の外部の三次元空間に基づいて設定された座標系を意味する。
撮像部１７は、複数の物点から伝播する電磁波を検出することにより、撮像画像を生成する。撮像部１７は、３０ｆｐｓ等の所定のフレームレートで撮像画像を生成してよい。撮像部１７は、可視光、近赤外光、及び遠赤外光の少なくとも一つを検出可能であってよい。言換えると、撮像部１７は、可視光画像を生成可能な可視光カメラ、近赤外画像又は遠赤外画像を生成可能な赤外線カメラであってよい。
撮像部１７は、検出部座標系において定められた位置に固定されてよい。撮像部１７は、検出部座標系において定められた方向を向く姿勢で固定されてよい。
測距センサ１８は、投射波を放射し、投射波の放射時点から当該投射波が照射された物体における反射波を受信時点までの時間に基づいて、当該物体における反射点までの距離値を計測する。測距センサ１８は、反射波が生じた方向毎の距離値を含む距離分布を生成する。測距センサ１８は、所定の周期で距離分布を生成してよい。距離分布の生成周期は、撮像部１７のフレームレートの逆数との差が小さいことが好ましい。
投射波は、例えば、電波、音波、及び光波の少なくとも一つを含んでよい。言換えると、距離分布は、レーダ、ソナー、ＬｉＤＡＲの少なくとも一つの検出結果を含んでよい。本実施形態において、測距センサ１８は、ミリ波レーダである。
測距センサ１８は、検出軸を有してよい。検出軸は、投射波の発生源を通り、投射波の投射範囲内の任意の進行方向に平行な直線であってよい。測距センサ１８は、検出軸に垂直な平面に平行な２直線を軸にして傾斜させた方向別に反射点からの距離値を検出してよい。
測距センサ１８は、検出部座標系において定められた位置に固定されてよい。測距センサ１８は、検出部座標系において定められた方向を向く姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７と検出範囲の少なくとも一部が重複する位置及び姿勢で固定されてよい。例えば、測距センサ１８は、撮像部１７の光軸と、測距センサ１８の検出軸が平行且つ互いに近接する位置及び姿勢で固定されてよい。
図２に示すように、情報処理装置１０は、画像インターフェース１９、センサインターフェース２０、及びコントローラ２１を含む。情報処理装置１０は、更にメモリ２２を含んでよい。
画像インターフェース１９は、撮像部１７から撮像画像を取得する。センサインターフェース２０は、測距センサ１８から距離分布を取得する。
メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ２２は、コントローラ２１を機能させる多様なプログラム、およびコントローラ２１が用いる多様な情報を記憶してよい。
メモリ２２は、撮像画像を構成する各画素の位置と、距離分布に含まれる距離値に対応する各方向との対応を記憶してよい。各画素の位置と各方向との対応は、検出部座標系における撮像部１７及び測距センサ１８それぞれの位置および姿勢に基づいて、算出されてよい。
メモリ２２は、測距センサ１８から路面又は床面までの距離値を測距センサ１８からの方向別に記憶してよい。測距センサ１８から路面までの距離値は、検出部１６を構造物に固定して路面又は床面上に何もない状態で測距センサ１８に距離を検出させることによりサンプルされてよい。路面上又は床面上とは、路面又は床面に接する状態を意味してよい。
メモリ２２は、測距センサ１８から取得する距離分布における距離値及び対応する方向からのワールド座標系における座標位置への変換式又は変換表を記憶してよい。変換式又は変換表は、構造物に対する検出部１６の位置及び姿勢、並びに検出部１６における測距センサ１８の位置及び姿勢に基づいてよい。ワールド座標系は、実空間の鉛直方向と、および水平面に平行且つ互いに垂直な２方向とを軸としてよい。
メモリ２２は、撮像部１７から取得する撮像画像を構成する画素が路面又は床面上の物体を示す場合の、当該画素の二次元座標系の座標からのワールド座標系への座標の変換式または変換表を記憶してよい。
コントローラ２１は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。コントローラ２１は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。
コントローラ２１は、測距センサ１８から取得する距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出してよい。
コントローラ２１は、撮像画像から測定対象である被写体に対応する被写体像を検出する。より具体的には、コントローラ２１は、撮像部１７の撮像範囲及び測距センサ１８の検出範囲が重複する範囲内で、被写体像を検出する。コントローラ２１は、パターンマッチング、深層学習等の公知の方法により被写体像を検出してよい。コントローラ２１は、被写体像の検出に、以下に説明するように距離分布を用いてよい。
コントローラ２１は、撮像画像において被写体像の存在する可能性の高い領域を、測距センサ１８から取得した距離分布、又は前述の抽出済みの距離分布に基づいて特定してよい。より具体的には、コントローラ２１は、距離分布を構成する複数の方向別の距離値の中から、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群を少なくとも一つ抽出してよい。距離値の差が所定値以下とは、例えば、距離値群の最大値及び最小値の差分が所定値以下であること、または互いに隣接する２方向に対応する２つの距離値の間の差分が所定値以下であることを意味してよい。更に、コントローラ２１は、抽出した距離値群に対応する方向群毎に、当該方向群に、撮像画像において対応する領域を少なくとも含む領域を、被写体像の存在する可能性の高い領域として特定してよい。
コントローラ２１は、方向群の抽出において、任意の方向に対して最も近接する方向との間の角度が外縁閾値未満である方向を、当該最も近接する方向の属する方向群に含めてよい。外縁閾値は、２つの反射点の間に、単一の被写体像の外縁があるか否かを判別するための当該反射点に対応する方向間の角度を比較する閾値である。外縁閾値は、測距センサ１８から路面又は床面までの距離が長くなるにつれて低下するように定められてよい。
コントローラ２１は、被写体像の存在する可能性の高い領域において、撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値の緩和の少なくとも一方を行ってよい。閾値は、例えば、パターンマッチングにおいて記憶済みのパターンとの相違度又は類似度と比較する閾値である。また、閾値は、例えば、深層学習に基づく被写体の推定の信頼度と比較する閾値である。コントローラ２１は、輝度ゲイン拡大及び閾値の緩和の少なくとも一方を行った状態で、撮像画像からの被写体像の検出を行ってよい。
コントローラ２１は、撮像画像において検出した被写体像別に、被写体像を囲繞する物体個別領域枠を作成してよい。図３に示すように、物体個別領域枠ｓｆは、撮像画像ｉｍにおける被写体像ｓｉの第１の方向の両端に接する第２の方向に平行な２直線と、当該被写体像ｓｉの第２の方向の両端に接する第１の方向に平行な２直線を囲う矩形の枠である。第１の方向は、実空間において水平方向に平行且つ光軸方向に垂直な方向である幅方向に、撮像画像において対応する方向である。第２の方向は、実空間において鉛直下方に、撮像画像において対応する方向であって第１の方向に垂直な方向である。
なお、被写体が車両等である場合に、例えば、夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等で被写体像ｓｉの鉛直下方側の端が不鮮明になり得るため、物体個別領域枠ｓｆの第２の方向側の直線には誤差が生じ得る。
コントローラ２１は、検出した被写体像ｓｉに対応する被写体までの距離を、撮像画像ｉｍ及び距離分布の少なくとも一方に基づいて算出してよい。
コントローラ２１は、撮像画像ｉｍのみに基づいて距離を算出可能であってよい。具体的には、コントローラ２１は、撮像画像ｉｍにおける物体個別領域枠ｓｆの第２の方向側の線を対応する被写体が実空間で路面上に存在する位置として、当該線の座標をワールド座標系の座標に変換することにより距離を算出可能であってよい。
または、コントローラ２１は、距離分布に基づいて、前述の抽出された方向群における距離値を抽出することにより、被写体の距離を算出可能であってよい。なお、コントローラ２１は、方向群に対応する距離値群を平均化することにより距離を算出可能であってよい。または、コントローラ２１は、当該距離値群の中で、最小値側から１０％等の所定の割合の距離値を平均化することにより、距離を算出可能であってよい。
コントローラ２１は、距離分布に基づく距離算出において、撮像画像ｉｍを用いてよい。具体的には、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向群に対応する距離値群を距離分布から抽出してよい。更に、コントローラ２１は、抽出した距離値群を用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、抽出した複数の距離値群を平均化することにより距離を算出してよい。または、コントローラ２１は、抽出した複数の距離値群の中で、最小値側から所定の割合の距離を平均化することにより、距離を算出してよい。
コントローラ２１は、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離とを用いて、被写体の距離を最終的に算出してよい。例えば、コントローラ２１は、最終的な算出に、物体個別領域枠ｓｆのみに基づいて算出された距離と、距離分布に基づいて算出された距離との重付け平均を適用してよい。
コントローラ２１は、距離分布を優先して用いて、被写体までの距離を算出してよい。例えば、コントローラ２１は、距離分布の優先使用として、距離分布に基づいて算出された距離に対する重付けを増加させてよい。コントローラ２１は、撮像画像ｉｍの輝度に応じて、被写体までの距離の算出に用いる距離分布の優先度、言換えると重付けを変更してよい。
コントローラ２１は、検出した被写体像ｓｉに対応する被写体の幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。具体的には、コントローラ２１は、物体個別領域枠ｓｆ及び被写体の距離に基づいて、被写体の幅方向の位置を算出してよい。更に具体的な幅方向の位置の算出方法を、以下に説明する。
コントローラ２１は、距離分布に基づいて算出した被写体の距離、及び当該距離に対応する方向に基づいて、当該方向に対応する被写体の路面上のワールド座標系における位置を算出してよい。コントローラ２１は、被写体の路面上のワールド座標系における位置に対応する、撮像画像ｉｍにおける第２の方向の位置を算出してよい。図４に示すように、コントローラ２１は、算出した第２の方向の位置で第１の方向に延びる仮想直線ｖｌと、物体個別領域枠ｓｆの第２の方向に延びる２直線それぞれの延長線との２つの交点ｉｐの位置座標を算出してよい。コントローラ２１は、２つの交点ｉｐの中心点ｍｐの位置座標を算出してよい。コントローラ２１は、中心点ｍｐの位置座標に対応するワールド座標系における位置座標を算出してよい。コントローラ２１は、ワールド座標系における位置座標を算出することにより、被写体の幅方向における位置を算出してよい。
次に、本実施形態においてコントローラ２１が実行する、位置算出処理について、図５のフローチャートを用いて説明する。位置算出処理は、それぞれ最新の撮像画像ｉｍ及び距離分布を取得するとき開始する。
ステップＳ１００において、コントローラ２１は、取得した距離分布から、路面又は床面までの距離値と異なる距離値を、対応する方向とともに抽出する。抽出後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、コントローラ２１は、取得した距離分布を構成する複数の方向別の距離値の中から、同一の被写体に属する方向群を抽出する。具体的には、コントローラ２１は、当該複数の方向別の距離値の中から距離値の差が所定値以下であり且つ互いに方向が近接する距離値群に対応する方向群を、同一の被写体に属する方向群として抽出する。抽出後、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、コントローラ２１は、ステップＳ１０１において抽出した方向群に、撮像画像ｉｍにおいて対応する領域を、被写体像ｓｉの存在する可能性の高い領域として特定する。特定後、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、コントローラ２１は、特定した領域において、撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値を緩和する。輝度ゲイン拡大及び閾値緩和後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、コントローラ２１は、取得した撮像画像ｉｍから、被写体像ｓｉを検出する。検出後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、コントローラ２１は、ステップＳ１０４において検出した被写体像ｓｉを別々に囲繞する物体個別領域枠ｓｆを作成する。作成後、プロセスはステップＳ１０６に進む。
ステップＳ１０６では、コントローラ２１は、物体個別領域枠ｓｆ内の領域に対応する方向の距離値を、取得した距離分布から抽出する。抽出後、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、コントローラ２１は、ステップＳ１０６において抽出した距離値に基づいて、被写体の距離を算出する。算出後、プロセスはステップＳ１０８に進む。
ステップＳ１０８では、ステップＳ１０５において作成した物体個別領域枠ｓｆ、及びステップＳ１０７において算出した被写体の距離に基づいて、被写体の幅方向の位置を算出する。算出後、位置算出処理は終了する。
以上のような構成の本実施形態の情報処理装置１０は、撮像画像ｉｍから対象である被写体像ｓｉを検出し、当該被写体像ｓｉに対応する被写体の水平方向に平行且つ撮像部１７の光軸方向に垂直な幅方向における位置を撮像画像ｉｍ及び距離分布に基づいて算出する。このような構成により、情報処理装置１０は、距離分布に基づく検出精度の高い距離を用いるので、撮像画像ｉｍに基づく被写体の幅方向の位置の検出精度を向上し得る。したがって、情報処理装置１０は、位置検出の検出精度を向上し得る。
また、本実施形態の情報処理装置１０は、距離分布を優先して用いて、被写体までの距離を算出する。このような構成により、情報処理装置１０は、検出精度が撮像画像ｉｍより高い距離分布が優先されて、被写体までの距離が算出されるので、撮像画像ｉｍのみを用いた距離検出よりも、距離の検出精度を向上し得る。
また、本実施形態の情報処理装置１０は、撮像画像ｉｍの輝度に応じて被写体までの距離の算出に用いる距離分布の優先度を変更する。撮像画像ｉｍのみを用いた距離検出では、撮像画像ｉｍの輝度が検出精度に影響を与える。このような事象に対して上述の構成を有する情報処理装置１０は、撮像画像ｉｍのみを用いて距離検出の検出精度が悪化する状況において距離分布の優先度を変更するので、距離の検出精度をより向上し得る。
また、本実施形態の情報処理装置１０は、撮像画像ｉｍにおける被写体像ｓｉの存在する可能性の高い領域を距離分布に基づいて特定し、当該領域において撮像画像ｉｍの輝度ゲイン拡大及び被写体像ｓｉの検出に用いる閾値緩和の少なくとも一方を実行した状態で撮像画像ｉｍからの被写体像ｓｉの検出を行う。撮像画像ｉｍにおける被写体像ｓｉの検出では、被写体像ｓｉと周囲の像との画素値の比較が行われることが一般的である。したがって、被写体像ｓｉと周囲の像との画素値の差分が低くなると、被写体像ｓｉの検出能が低下する。撮像画像ｉｍの輝度ゲインの拡大又は閾値の緩和により、被写体像ｓｉの検出能が向上するものの、誤検出が増加する。このような事象に対して上述の構成を有する情報処理装置１０は、距離分布に基づいて被写体が存在する可能性の高い領域のみにおいて輝度ゲインの拡大及び閾値の緩和の少なくとも一方を実行するので、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。したがって、情報処理装置１０は、被写体像ｓｉの検出能が低下する夜間等の周囲が暗い状況下及び雨天等の悪天候の状況下等においても、被写体像ｓｉの誤検出を抑制しながら、被写体像ｓｉの検出能を向上させ得る。
また、本実施形態の情報処理装置１０は、撮像画像ｉｍに対する被写体像検出により被写体像ｓｉを囲繞する物体個別領域枠ｓｆを作成し、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて、被写体の距離を算出する。測距センサ１８による距離検出では、距離値に対応付けられる角度の精度は、比較的低いことが一般的である。それゆえ、例えば、距離値の差が所定値以下であり且つ対応する方向が互いに近接する距離値群に対応する方向群に単一の被写体が存在すると仮定して被写体の距離を算出する構成においては、被写体に向く複数の方向の一部が誤差によりずれが生じると当該一部の方向を間に挟む他の方向に対応する距離値の、距離値群からの漏れが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、このような漏れの影響を低減するので、距離の算出精度を向上させ得る。
また、本実施形態の情報処理装置１０は、物体個別領域枠ｓｆと、当該物体個別領域枠ｓｆに距離分布において対応する方向に基づいて算出される被写体の距離とに基づいて、幅方向の位置を算出する。当該構成の効果を説明するために、物体個別領域枠ｓｆによる被写体の距離算出について以下に説明する。物体個別領域枠ｓｆの第２の方向に平行な２直線は、実空間において鉛直方向に相当し点として表される。撮像画像ｉｍにおける当該２直線は、実空間において直線状の点の軌跡として表され、図６に示すように、測距センサ１８から延び、測距センサ１８から見た被写体ｓｂの幅方向における両端それぞれに接する直線状の２接線ｔｌに相当する。それゆえ、実空間において奥行き方向において被写体ｓｂを通る幅方向に平行な直線と２接線ｔｌとの交点を結ぶ線分状の任意の点、例えば中心点の位置を、被写体ｓｂの幅方向における位置として算出可能である。奥行き方向とは、実空間において鉛直方向に垂直な平面において幅方向に垂直な方向である。このような幅方向における位置の算出方法においては、２接線ｔｌの少なくとも一方は奥行き方向に対して傾斜するため、実空間における被写体ｓｂの奥行方向における位置に誤差があると、幅方向の位置にも誤差が生じる。例えば、実空間における分割線ｐｌと幅方向に平行な直線との交点を被写体ｓｂの幅方向の位置として算出する構成において、幅方向に平行な直線の位置が被写体ｓｂから外れた場合に算出される誤差位置ｅｐと、幅方向に平行な直線の位置が被写体ｓｂに重なる場合に算出される真位置ｔｐとの間には誤差Δが生じる。分割線ｐｌは、図４に示すように撮像画像ｉｍにおける物体個別領域枠ｓｆの第１の方向の両端の直線それぞれと第１の方向に延びる直線との交点の中心点を通る中心線ｃｌに、実空間において相当する直線である。特に、撮像画像ｉｍにおける位置認識では、撮像画像ｉｍにおける第１の方向及び第２の方向に同じ長さでのずれは、実空間において幅方向よりも奥行き方向において大きなずれを発生させる。それゆえ、上述のように被写体像ｓｉの検出精度が低下する状況において、物体個別領域枠ｓｆの第２の方向側の直線の位置に誤差が生じると、被写体ｓｂの幅方向の位置にも大きな誤差Δが生じ得る。このような事象に対して上述の構成を有する情報処理装置１０は、検出精度の高い距離分布に基づく被写体ｓｂの距離を用いるので、物体個別領域枠ｓｆによる被写体ｓｂの幅方向の位置の算出精度を向上させる。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば、本実施形態において、情報処理装置１０は路側機１１に適用される構成であるが、このような構成に限定されない。例えば、情報処理装置１０は、車両等に搭載されてもよい。
本開示において「第１」、「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の方向は、第２の方向と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
１０ 情報処理装置
１１ 路側機
１２ 検出装置
１３ メモリ
１４ 通信部
１５ コントローラ
１６ 検出部
１７ 撮像部
１８ 測距センサ
１９ 画像インターフェース
２０ センサインターフェース
２１ コントローラ
２２ メモリ
ｃｌ 中心線
ｅｌ 延長線
ｉｍ 撮像画像
ｉｐ 交点
ｍｐ 中心点
ｐｌ 分割線
ｓｂ 被写体
ｓｆ 物体個別領域枠
ｓｉ 被写体像
ｔｌ 接線
ｖｌ 仮想直線

Claims (11)

  1. 撮像部から撮像画像を取得する画像インターフェースと、
    前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値を含む距離分布を計測する測距センサから、該距離分布を取得するセンサインターフェースと、
    前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備え、
    前記コントローラは、前記距離分布から抽出される同一の被写体に属する方向群に対応する前記撮像画像の領域の輝度ゲイン拡大及び前記被写体像の検出に用いる閾値緩和の少なくとも一方を実行して該被写体像を検出し、該被写体像を囲繞する物体個別領域枠に対応する方向の前記距離値を前記距離分布から抽出する
    情報処理装置。
  2. 請求項１に記載の情報処理装置において、
    前記コントローラは、前記撮像画像に対して前記距離分布を優先して用いて、前記被写体までの距離を算出し、該距離に基づいて前記位置を算出する
    情報処理装置。
  3. 請求項２に記載の情報処理装置において、
    前記コントローラは、前記撮像画像の輝度に応じて、前記被写体までの距離の算出に用いる前記距離分布の重付けを変更し、該距離に基づいて前記位置を算出する
    情報処理装置。
  4. 請求項１から３のいずれか１項に記載の情報処理装置において、
    前記撮像画像は、可視光画像、近赤外画像、及び遠赤外画像の少なくとも一つを含み、前記距離分布は、レーダ、ソナー、及びＬｉＤＡＲの少なくとも一つの検出結果を含む
    情報処理装置。
  5. 請求項１から４のいずれか１項に記載の情報処理装置において、
    前記コントローラは、
    前記撮像画像における前記被写体像の存在する可能性の高い領域を、前記距離分布に基づいて特定し、
    該領域において前記撮像画像の輝度ゲイン拡大及び被写体像の検出に用いる閾値緩和の少なくとも一方を実行した状態で、前記撮像画像からの前記被写体像の検出を行う
    情報処理装置。
  6. 請求項５に記載の情報処理装置において、
    前記コントローラは、前記距離分布を構成する複数の方向別の距離値の中において距離値の差が所定値以下であり且つ方向が互いに近接する距離値群に対応する方向群に、前記撮像画像において対応する領域を、前記被写体像の存在する可能性の高い領域として特定する
    情報処理装置。
  7. 請求項１から６のいずれか１項に記載の情報処理装置において、
    前記コントローラは、前記撮像画像に対する被写体像検出により前記被写体像を囲繞する物体個別領域枠を作成し、該物体個別領域枠に前記距離分布において対応する方向に基づいて、前記被写体の距離を算出する
    情報処理装置。
  8. 請求項７に記載の情報処理装置において、
    前記コントローラは、前記物体個別領域枠及び前記被写体の距離に基づいて、前記幅方向の位置を算出する
    情報処理装置。
  9. 撮像画像を生成する撮像部と、
    前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
    前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備え、
    前記コントローラは、前記距離分布から抽出される同一の被写体に属する方向群に対応する前記撮像画像の領域の輝度ゲイン拡大及び前記被写体像の検出に用いる閾値緩和の少なくとも一方を実行して該被写体像を検出し、該被写体像を囲繞する物体個別領域枠に対応する方向の前記距離値を前記距離分布から抽出する
    車両。
  10. 撮像画像を生成する撮像部と、
    前記撮像部の撮像範囲の少なくとも一部が検出範囲に重複し且つ投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を生成する測距センサと、
    前記撮像画像から対象である被写体像を検出し、該被写体像に対応する被写体の水平方向に平行且つ前記撮像部の光軸方向に垂直な幅方向における位置を前記撮像画像及び前記距離分布に基づいて算出するコントローラと、を備え、
    前記コントローラは、前記距離分布から抽出される同一の被写体に属する方向群に対応する前記撮像画像の領域の輝度ゲイン拡大及び前記被写体像の検出に用いる閾値緩和の少なくとも一方を実行して該被写体像を検出し、該被写体像を囲繞する物体個別領域枠に対応する方向の前記距離値を前記距離分布から抽出する
    路側機。
  11. 画像インターフェース、センサインターフェース、及びコントローラを含む情報処理装置によって、
    前記画像インターフェースにより、撮像画像を取得し、
    前記センサインターフェースにより、前記撮像画像の範囲の少なくとも一部と重複する検出範囲に対して、投射波の物体における反射波を受信することにより複数の方向毎の反射点までの距離値により構成される距離分布を取得し、
    前記コントローラにより、前記距離分布から抽出される同一の被写体に属する方向群に対応する前記撮像画像の領域の輝度ゲイン拡大及び被写体像の検出に用いる閾値緩和の少なくとも一方を実行して該被写体像を検出し、
    該被写体像を囲繞する物体個別領域枠に対応する方向の前記距離値を前記距離分布から抽出し、
    該被写体像に対応する被写体の、水平方向に平行且つ前記撮像画像を生成する撮像部の光軸方向に垂直な幅方向における位置を、前記抽出した距離値に基づいて算出する
    情報処理方法。
JP2021055764A 2021-03-29 2021-03-29 情報処理装置、車両、路側機、および情報処理方法 Active JP7589086B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021055764A JP7589086B2 (ja) 2021-03-29 2021-03-29 情報処理装置、車両、路側機、および情報処理方法
PCT/JP2022/012917 WO2022210062A1 (ja) 2021-03-29 2022-03-18 情報処理装置、車両、路側機、および情報処理方法
CN202280024950.0A CN117063218A (zh) 2021-03-29 2022-03-18 信息处理装置、车辆、路侧机以及信息处理方法
EP22780277.4A EP4318435A4 (en) 2021-03-29 2022-03-18 INFORMATION PROCESSING DEVICE, VEHICLE, ROADSIDE UNIT AND INFORMATION PROCESSING METHOD
US18/552,156 US20240185615A1 (en) 2021-03-29 2022-03-18 Information processing device, vehicle, roadside unit, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021055764A JP7589086B2 (ja) 2021-03-29 2021-03-29 情報処理装置、車両、路側機、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2022152835A JP2022152835A (ja) 2022-10-12
JP7589086B2 true JP7589086B2 (ja) 2024-11-25

Family

ID=83455238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021055764A Active JP7589086B2 (ja) 2021-03-29 2021-03-29 情報処理装置、車両、路側機、および情報処理方法

Country Status (5)

Country Link
US (1) US20240185615A1 (ja)
EP (1) EP4318435A4 (ja)
JP (1) JP7589086B2 (ja)
CN (1) CN117063218A (ja)
WO (1) WO2022210062A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12322137B2 (en) * 2020-01-14 2025-06-03 Kyocera Corporation Image processing device, imager, information processing device, detector, roadside unit, image processing method, and calibration method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2009098025A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230642B2 (ja) * 1995-05-29 2001-11-19 ダイハツ工業株式会社 先行車検出装置
JPH08329392A (ja) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd 走行レーン検出装置
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
CN102959599B (zh) * 2009-12-22 2015-07-15 莱达科技股份有限公司 用于交通检测的主动3d监控系统
JP2016040520A (ja) * 2013-01-10 2016-03-24 三洋電機株式会社 物体検出装置
JP6365385B2 (ja) 2015-04-17 2018-08-01 トヨタ自動車株式会社 立体物検出装置及び立体物検出方法
US20170242117A1 (en) * 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
JP6512164B2 (ja) * 2016-04-22 2019-05-15 株式会社デンソー 物体検出装置、物体検出方法
JP6722066B2 (ja) * 2016-08-29 2020-07-15 株式会社Ｓｏｋｅｎ 周辺監視装置及び周辺監視方法
EP3693924B1 (en) * 2017-10-03 2023-08-02 Fujitsu Limited Posture recognition system, image correction program, and image correction method
US11740468B2 (en) * 2018-09-18 2023-08-29 Maxell, Ltd. Distance measuring apparatus, imaging device, distance measuring system, distance measuring method, and imaging method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000329852A (ja) 1999-05-17 2000-11-30 Nissan Motor Co Ltd 障害物認識装置
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP2009098025A (ja) 2007-10-17 2009-05-07 Toyota Motor Corp 物体検出装置

Also Published As

Publication number Publication date
JP2022152835A (ja) 2022-10-12
EP4318435A1 (en) 2024-02-07
CN117063218A (zh) 2023-11-14
WO2022210062A1 (ja) 2022-10-06
US20240185615A1 (en) 2024-06-06
EP4318435A4 (en) 2025-03-19

Similar Documents

Publication Publication Date Title
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
EP3418943B1 (en) Object detecting apparatus, object detecting method, and computer-readable medium
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP6589926B2 (ja) 物体検出装置
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
US9117115B2 (en) Exterior environment recognition device and exterior environment recognition method
KR20200071960A (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
KR101551026B1 (ko) 차량 검출 방법
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
CN103065323A (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
US11861914B2 (en) Object recognition method and object recognition device
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
JP7589086B2 (ja) 情報処理装置、車両、路側機、および情報処理方法
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
CN116755081A (zh) 视觉与雷达融合的目标检测技术
JP2009192430A (ja) 物体種別判定装置、物体種別判定方法、及び物体種別判定用プログラム
US20250102650A1 (en) Vehicle sensor calibration method and system
CN117409393A (zh) 一种焦炉机车激光点云与视觉融合障碍物检测方法及系统
JP2020077297A (ja) 位置姿勢推定装置
JP7461160B2 (ja) ３次元情報推定システム、３次元情報推定方法、及びコンピュータが実行可能なプログラム
CN116681882B (zh) 一种单目视觉三维物体检测方法、装置、域控制器及介质
CN113792634B (zh) 一种基于车载相机的目标相似性评分计算方法及系统
KR20130061440A (ko) 비전 센싱과 거리측정 센싱을 이용한 오브젝트 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241113

R150 Certificate of patent or registration of utility model

Ref document number: 7589086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150