WO2022123786A1 - 信頼度推定装置、位置推定装置、及び信頼度推定方法 - Google Patents

信頼度推定装置、位置推定装置、及び信頼度推定方法 Download PDF

Info

Publication number
WO2022123786A1
WO2022123786A1 PCT/JP2020/046360 JP2020046360W WO2022123786A1 WO 2022123786 A1 WO2022123786 A1 WO 2022123786A1 JP 2020046360 W JP2020046360 W JP 2020046360W WO 2022123786 A1 WO2022123786 A1 WO 2022123786A1
Authority
WO
WIPO (PCT)
Prior art keywords
reliability
feature
calculation unit
feature amount
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/046360
Other languages
English (en)
French (fr)
Inventor
昇之 芳川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to DE112020007687.3T priority Critical patent/DE112020007687T5/de
Priority to JP2022568023A priority patent/JP7221469B2/ja
Priority to CN202080107744.7A priority patent/CN116547714B/zh
Priority to PCT/JP2020/046360 priority patent/WO2022123786A1/ja
Priority to TW110114658A priority patent/TW202232433A/zh
Publication of WO2022123786A1 publication Critical patent/WO2022123786A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This disclosure relates to a reliability estimation device.
  • a three-dimensional position estimation algorithm for estimating the three-dimensional position of an object based on an image has been developed (in the present specification, the three-dimensional position of an object is synonymous with a three-dimensional posture).
  • the three-dimensional position of an object is synonymous with a three-dimensional posture.
  • Non-Patent Document 1 by applying a neural network model to a camera image obtained by a monocular camera taking an object, the object in the camera image is recognized and the position of a feature point of the object is recognized.
  • a three-dimensional position estimation method for estimating the three-dimensional position of an object based on the estimated position of the feature point is described.
  • the position of the object estimated by such a three-dimensional position estimation method (for example, the position of the feature point of the object or the three-dimensional position of the object) is referred to as an estimated position.
  • the reliability of the estimated position is determined by using the same neural network model as the machine learning model used to estimate the estimated position. It may be calculated and the calculated reliability may be used to evaluate the estimated position.
  • the present disclosure has been made to solve the above-mentioned problems, and an object of the present disclosure is to provide a technique for improving the reliability of the estimated position itself.
  • the reliability estimation device is a reliability estimation device that estimates the reliability of the estimated position of the object estimated based on the camera image, and is used for feature point information regarding a plurality of feature points of the object in the camera image. Based on this, it includes a feature amount calculation unit that calculates the feature amount of the object, and a reliability calculation unit that calculates the reliability based on the feature amount calculated by the feature amount calculation unit.
  • the reliability of the estimated position itself can be improved.
  • FIG. 4A is a block diagram showing a hardware configuration that realizes the function of the position estimation device according to the first embodiment.
  • FIG. 4B is a block diagram showing a hardware configuration for executing software that realizes the function of the position estimation device according to the first embodiment.
  • FIG. 1 is a block diagram showing a configuration of a position estimation system 100 according to a first embodiment.
  • the position estimation system 100 includes a position estimation device 1, N cameras 2 (N is a positive integer), and a storage device 3.
  • the position estimation device 1 includes a camera selection unit 40, a feature point estimation unit 10, a reliability estimation device 20, and a position calculation unit 30.
  • the reliability estimation device 20 includes a feature amount calculation unit 21 and a reliability calculation unit 22.
  • the N cameras 2 are composed of each camera 2 from the first camera 2 to the Nth camera 2. Each of the N cameras 2 acquires a camera image (camera images D11 to D1N) by photographing an object. Each of the N cameras 2 outputs the acquired camera image to the camera selection unit 40 of the position estimation device 1.
  • the camera selection unit 40 selects at least one camera image D2 from a plurality of camera images. More specifically, in the first embodiment, the camera selection unit 40 selects at least one camera image D2 from the plurality of camera images D11 to D1N acquired by the N cameras 2. The detailed configuration of the camera selection unit 40 will be described later.
  • the camera selection unit 40 outputs the selected camera image D2 to the feature point estimation unit 10 and the feature amount calculation unit 21, respectively.
  • the feature point estimation unit 10 estimates feature point information regarding a plurality of feature points of an object based on a camera image. More specifically, in the first embodiment, the feature point estimation unit 10 estimates the feature point information based on the camera image D2 selected by the camera selection unit 40.
  • the storage device 3 stores PVNet, which is a convolutional neural network model for object position detection.
  • the feature point estimation unit 10 applies PVNet stored in the storage device 3 to the camera image D2 selected by the camera selection unit 40, so that each estimated position D3 of a plurality of feature points can be used as feature point information.
  • the dispersion D4 of the candidate point group of the feature points, and the object area D5 which is the area occupied by the object in the camera image are estimated.
  • the feature point estimation unit 10 outputs each estimated position D3 of the estimated plurality of feature points to the position calculation unit 30. Further, the feature point estimation unit 10 outputs each estimated position D3 of the estimated plurality of feature points, the variance D4 of the candidate point group of the feature points, and the object region D5 to the feature amount calculation unit 21.
  • the feature amount calculation unit 21 calculates the feature amount of the object based on the feature point information regarding a plurality of feature points of the object in the camera image. More specifically, in the first embodiment, the feature amount calculation unit 21 calculates the feature amount of the object based on the feature point information estimated by the feature point estimation unit 10.
  • the feature amount calculation unit 21 includes m feature amount calculation units from the first feature amount calculation unit 201 to the mth feature amount calculation unit 20 m.
  • the first feature amount calculation unit 201 calculates the feature amount D61 of the object based on the variance D4 of the candidate point cloud of the feature points estimated by the feature point estimation unit 10.
  • the feature amount D61 calculated by the first feature amount calculation unit 201 is a feature amount proportional to the reciprocal of the variance D4 of the candidate point group of the feature points.
  • the feature amount D61 calculated by the first feature amount calculation unit 201 is a feature amount that is inversely proportional to the variance D4 of the candidate point cloud of the feature points.
  • the first feature amount calculation unit 201 outputs the calculated feature amount D61 to the reliability calculation unit 22.
  • the second feature amount calculation unit 202 inputs a region composed of a plurality of feature points and an object region based on the estimated positions D3 and the object region D5 of the plurality of feature points estimated by the feature point estimation unit 10.
  • the feature amount D62 which is a function to be taken is calculated. More specifically, in the first embodiment, the second feature amount calculation unit 202 has a plurality of feature points based on the estimated positions D3 and the object area D5 of the plurality of feature points estimated by the feature point estimation unit 10.
  • the area ratio between the convex plane composed of and the object area is calculated, and the feature amount proportional to the inverse number of the calculated area ratio or the feature amount D62 proportional to the inverse number of the difference between the calculated area ratio and 1 is calculated. ..
  • the "convex plane composed of a plurality of feature points” is, for example, the largest convex plane in which a plurality of feature points are stretched, or the smallest convex plane containing all the plurality of feature points.
  • the second feature amount calculation unit 202 outputs the calculated feature amount D62 to the reliability calculation unit 22.
  • Each feature amount calculation unit from the third feature amount calculation unit to the mth feature amount calculation unit 20m includes a camera image D2 selected by the camera selection unit 40 and a plurality of feature points estimated by the feature point estimation unit 10. Based on the information of at least one of each estimated position D3, the dispersion D4 of the candidate point group of the feature points, and the object area D5, the feature amount (feature amount D63 to D6m) that can be calculated from the at least one information is calculated. do.
  • Each feature amount calculation unit from the third feature amount calculation unit (not shown) to the mth feature amount calculation unit 20 m outputs the calculated feature amount to the reliability calculation unit 22.
  • the reliability calculation unit 22 calculates the reliability of the estimated position of the object based on the feature amount calculated by the feature amount calculation unit 21. More specifically, in the first embodiment, the reliability calculation unit 22 correlates with the estimation error of the estimated position of the object based on the feature amounts (feature amounts D61 to D6m) calculated by the feature amount calculation unit 21.
  • the reliability D7 (for example, the reliability D7 having a positive correlation with the estimation error) is calculated.
  • the storage device 3 stores a neural network model that calculates the reliability from the feature amount.
  • the reliability calculation unit 22 applies the neural network model stored in the storage device 3 to the feature amounts (feature amounts D61 to D6m) calculated by the feature amount calculation unit 21, and thereby, the estimated position of the object.
  • the reliability D7 which is inversely proportional to the estimation error of, is calculated.
  • the reliability calculation unit 22 outputs the calculated reliability D7 to the outside of the camera selection unit 40 and the position estimation device 1, respectively.
  • the camera selection unit 40 described above selects at least one camera image D2 from the N camera images D11 to D1N based on the reliability D7 calculated by the reliability calculation unit 22.
  • the camera selection unit 40 outputs the camera image D2 selected based on the reliability D7 to the feature point estimation unit 10 and the feature amount calculation unit 21, respectively.
  • the position calculation unit 30 calculates the estimated position D8 of the object based on the feature point information estimated by the feature point estimation unit 10. More specifically, in the first embodiment, the storage device 3 stores the position of the feature point of the object. The position calculation unit 30 solves the PnP problem by solving the PnP problem based on each estimated position D3 of the plurality of feature points estimated by the feature point estimation unit 10 and the feature point position of the object stored in the storage device 3. The estimated position D8 of is calculated.
  • An example of the estimated position D8 calculated by the position calculation unit 30 is a three-dimensional position (three-dimensional posture) of an object.
  • the position calculation unit 30 outputs the calculated estimated position D8 to the outside of the position estimation device 1.
  • the reliability D7 output by the reliability calculation unit 22 to the outside of the position estimation device 1 is used, for example, for the evaluation of the estimated position D8 output to the outside of the position estimation device 1 by the position calculation unit 30.
  • FIG. 2 is a flowchart showing a reliability estimation method by the position estimation device 1 according to the first embodiment. Before each step described below, it is assumed that each of the N cameras 2 acquires a camera image by photographing an object and outputs the acquired camera image to the camera selection unit 40.
  • the camera selection unit 40 selects at least one camera image D2 from a plurality of camera images (step ST1).
  • the camera selection unit 40 outputs the selected camera image D2 to the feature point estimation unit 10 and the feature amount calculation unit 21, respectively.
  • the feature point estimation unit 10 uses the camera image D2 selected by the camera selection unit 40 as feature point information such as each estimated position D3 of a plurality of feature points, a dispersion D4 of a candidate point group of the feature points, and a feature point cloud.
  • the object region D5 is estimated (step ST2).
  • the feature point estimation unit 10 outputs each estimated position D3 of the estimated plurality of feature points, the variance D4 of the candidate point group of the feature points, and the object region D5 to the feature amount calculation unit 21.
  • the feature amount calculation unit 21 includes a camera image D2 selected by the camera selection unit 40, each estimated position D3 of a plurality of feature points estimated by the feature point estimation unit 10, a dispersion D4 of a group of candidate points of the feature points, and an object.
  • the feature amounts D61 to D6m of the object are calculated in the area D5 based on the information of at least one of the feature amount calculation units 21 (step ST3).
  • the feature amount calculation unit 21 outputs the calculated feature amounts D61 to D6m to the reliability calculation unit 22.
  • FIG. 3 is a flowchart showing details of the feature amount calculation method in step ST3.
  • the first feature amount calculation unit 201 is based on the variance D4 of the candidate point group of the feature points estimated by the feature point estimation unit 10, and the feature amount of the object proportional to the reciprocal of the variance D4.
  • Calculate D61 step ST31).
  • the first feature amount calculation unit 201 outputs the calculated feature amount D61 to the reliability calculation unit 22.
  • Each feature amount calculation unit from the third feature amount calculation unit to the mth feature amount calculation unit 20m is a camera image D2 selected by the camera selection unit 40 and each of a plurality of feature points estimated by the feature point estimation unit 10.
  • the other feature quantities D63 to D6m are calculated based on the information of at least one of the estimated position D3, the dispersion D4 of the candidate point group of the feature points, and the object region D5 (step ST33).
  • Each feature amount calculation unit from the third feature amount calculation unit to the mth feature amount calculation unit 20m outputs the calculated feature amount to the reliability calculation unit 22.
  • step ST1 a specific example of the camera selection method (step ST1) in the reliability estimation method by the position estimation device 1 according to the first embodiment will be described in detail. It is assumed that the step of step ST1 described below is performed again after performing a series of steps from step ST1 to step ST4 once or more.
  • the position estimation device 1 returns to the step of step ST1 described above, and the camera selection unit 40 is a camera calculated by the reliability calculation unit 22 when the reliability calculation unit 22 calculates the reliability for each camera image.
  • At least one camera image D2 is selected from the N camera images D11 to D1N based on the maximum reliability of the reliability of each image. More specifically, for example, when the reliability calculation unit 22 calculates the reliability for each camera image, the camera selection unit 40 has the maximum reliability of the reliability for each camera image calculated by the reliability calculation unit 22.
  • the camera image D2 taken by the camera 2 corresponding to the degree is selected.
  • the functions of the camera selection unit 40, the feature point estimation unit 10, the feature amount calculation unit 21 and the reliability calculation unit 22 of the reliability estimation device 20, and the position calculation unit 30 in the position estimation device 1 are realized by separate processing circuits. Alternatively, these functions may be integrated into one processing circuit.
  • the reliability estimation device 20 is a reliability estimation device 20 that estimates the reliability of the estimated position of the object estimated based on the camera image, and is the reliability estimation device 20 of the object in the camera image.
  • the reliability of the estimated position of the object is calculated based on the feature amount calculation unit 21 that calculates the feature amount of the object based on the feature point information about a plurality of feature points and the feature amount calculated by the feature amount calculation unit 21.
  • a reliability calculation unit 22 is provided.
  • the reliability estimation device 20 when gripping an object with a robot arm, it is necessary to detect the position of the object. Therefore, when an image taken by a monocular camera or the like attached to the arm is applied as the above-mentioned camera image to the reliability estimation device 20 according to the first embodiment, an image in which position estimation is difficult due to poor shooting conditions is input. However, the above-mentioned reliability with high reliability can be calculated, and the estimated position can be evaluated based on the reliability. Therefore, stable robot control can be realized.
  • the reliability estimation device can be used as a position estimation device because the reliability of the reliability of the estimated position itself can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

信頼度推定装置（２０）は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置（２０）であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出部（２１）と、特徴量算出部（２１）が算出した特徴量に基づいて、信頼度を算出する信頼度算出部（２２）と、を備えている。

Description

信頼度推定装置、位置推定装置、及び信頼度推定方法
　本開示は、信頼度推定装置に関する。
　画像に基づいて、物体の３次元位置を推定する３次元位置推定アルゴリズムが開発されている（なお、本明細書において、物体の３次元位置は、３次元姿勢と同義とする）。例えば、非特許文献１には、単眼カメラが物体を撮影することにより得られたカメラ画像に対してニューラルネットワークモデルを適用することにより、カメラ画像における物体を認識し、当該物体の特徴点の位置を推定し、推定した特徴点の位置に基づいて物体の３次元位置を推定する３次元位置推定方法が記載されている。なお、以下では、このような３次元位置推定方法によって推定した物体の位置（例えば、物体の特徴点の位置又は物体の３次元位置等）を推定位置と呼称する。
Ｓ．　Ｐｅｎｇ，　Ｙ．　Ｌｉｕ，　Ｑ．　Ｈｕａｎｇ，　Ｈ．Ｂａｏ，　Ｘ．　Ｚｈｏｕ，"ＰＶＮｅｔ：Ｐｉｘｅｌ－ｗｉｓｅ　Ｖｏｔｉｎｇ　Ｎｅｔｗｏｒｋ　ｆｏｒ　６ＤｏＦ　Ｐｏｓｅ　Ｅｓｔｉｍａｔｉｏｎ，"　Ｉｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），　２０１９．
　画像に対してニューラルネットワークモデルを適用する上記のような従来の３次元位置推定方法では、推定位置を推定する際に用いた機械学習モデルと同じニューラルネットワークモデルを用いて、推定位置の信頼度を算出し、算出した信頼度を推定位置の評価に用いることがある。
　その場合、推定位置の信頼性と、信頼度自体の信頼性とには相関があると考えられる。従って推定位置の信頼性が乏しい場合、信頼度自体の信頼性も乏しくなり、信頼度を用いた推定位置の評価の妥当性が不確かになってしまうという問題がある。
　本開示は、上記のような問題点を解決するためになされたものであり、推定位置の信頼度自体の信頼性を向上させる技術を提供することを目的とする。
　本開示に係る信頼度推定装置は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出部と、特徴量算出部が算出した特徴量に基づいて、信頼度を算出する信頼度算出部と、を備えている。
　本開示によれば、推定位置の信頼度自体の信頼性を向上させることができる。
実施の形態１に係る位置推定システムの構成を示すブロック図である。 実施の形態１に係る位置推定装置による信頼度推定方法を示すフローチャートである。 実施の形態１に係る位置推定装置による信頼度推定方法における特徴量算出方法の詳細を示すフローチャートである。 図４Ａは、実施の形態１に係る位置推定装置の機能を実現するハードウェア構成を示すブロック図である。図４Ｂは、実施の形態１に係る位置推定装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
　以下、本開示をより詳細に説明するため、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る位置推定システム１００の構成を示すブロック図である。図１が示すように、位置推定システム１００は、位置推定装置１、Ｎ個のカメラ２（Ｎは正の整数）、及び記憶装置３を含む。位置推定装置１は、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０、及び位置算出部３０を備えている。信頼度推定装置２０は、特徴量算出部２１、及び信頼度算出部２２を備えている。
　Ｎ個のカメラ２は、第１のカメラ２から第Ｎのカメラ２までの各カメラ２から構成されている。Ｎ個のカメラ２は、それぞれ、物体を撮影することによりカメラ画像（カメラ画像Ｄ１１～Ｄ１Ｎ）を取得する。Ｎ個のカメラ２は、それぞれ、取得したカメラ画像を位置推定装置１のカメラ選択部４０に出力する。
　カメラ選択部４０は、複数のカメラ画像のうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、実施の形態１では、カメラ選択部４０は、Ｎ個のカメラ２が取得した複数のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。カメラ選択部４０の詳細な構成については後述する。カメラ選択部４０は、選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。
　特徴点推定部１０は、カメラ画像に基づいて、物体の複数の特徴点に関する特徴点情報を推定する。より詳細には、実施の形態１では、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報を推定する。
　さらに詳細には、実施の形態１では、記憶装置３が物体位置検出用畳み込みニューラルネットワークモデルであるＰＶＮｅｔを記憶している。特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に対して、記憶装置３が記憶しているＰＶＮｅｔを適用することにより、特徴点情報として、複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４、及びカメラ画像において物体が占める領域である物体領域Ｄ５を推定する。
　特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３を位置算出部３０に出力する。また、特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１に出力する。
　特徴量算出部２１は、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する。より詳細には、実施の形態１では、特徴量算出部２１は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の特徴量を算出する。
　さらに詳細には、実施の形態１では、特徴量算出部２１は、第１の特徴量算出部２０１から第ｍの特徴量算出部２０ｍまでのｍ個の特徴量算出部を備えている。
　第１の特徴量算出部２０１は、特徴点推定部１０が推定した特徴点の候補点群の分散Ｄ４に基づいて、物体の特徴量Ｄ６１を算出する。なお、実施の形態１では、第１の特徴量算出部２０１が算出する特徴量Ｄ６１は、特徴点の候補点群の分散Ｄ４の逆数に比例する特徴量である。換言すれば、第１の特徴量算出部２０１が算出する特徴量Ｄ６１は、特徴点の候補点群の分散Ｄ４に逆比例する特徴量である。第１の特徴量算出部２０１は、算出した特徴量Ｄ６１を信頼度算出部２２に出力する。
　第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される領域と物体領域とを入力にとる関数となる特徴量Ｄ６２を算出する。より詳細には、実施の形態１では、第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される凸平面と物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量Ｄ６２を算出する。ここにおける「複数の特徴点から構成される凸平面」は、例えば、複数の特徴点が張る最大の凸平面、又は複数の特徴点を全て内包する最小の凸平面等である。第２の特徴量算出部２０２は、算出した特徴量Ｄ６２を信頼度算出部２２に出力する。
　図示しない第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５のうちの少なくとも1つの情報に基づいて、当該少なくとも1つの情報から算出可能な特徴量（特徴量Ｄ６３～Ｄ６ｍ）を算出する。図示しない第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、算出した特徴量を信頼度算出部２２に出力する。
　信頼度算出部２２は、特徴量算出部２１が算出した特徴量に基づいて、物体の推定位置の信頼度を算出する。より詳細には、実施の形態１では、信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量（特徴量Ｄ６１～Ｄ６ｍ）に基づいて、物体の推定位置の推定誤差に相関する信頼度Ｄ７（例えば、推定誤差に正の相関を有する信頼度Ｄ７）を算出する。
　さらに詳細には、実施の形態１では、記憶装置３が特徴量から信頼度を算出するニューラルネットワークモデルを記憶している。信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量（特徴量Ｄ６１～Ｄ６ｍ）に対して、記憶装置３が記憶しているニューラルネットワークモデルを適用することにより、物体の推定位置の推定誤差に逆比例する信頼度Ｄ７を算出する。信頼度算出部２２は、算出した信頼度Ｄ７を、カメラ選択部４０、及び位置推定装置１の外部にそれぞれ出力する。
　上述のカメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。カメラ選択部４０は、信頼度Ｄ７に基づいて選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。
　位置算出部３０は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の推定位置Ｄ８を算出する。より詳細には、実施の形態１では、記憶装置３が物体の特徴点位置を記憶している。位置算出部３０は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、及び記憶装置３が記憶している物体の特徴点位置に基づいて、ＰｎＰ問題を解くことにより、物体の推定位置Ｄ８を算出する。位置算出部３０が算出する推定位置Ｄ８の例として、物体の３次元位置（３次元姿勢）等が挙げられる。位置算出部３０は、算出した推定位置Ｄ８を位置推定装置１の外部に出力する。
　なお、信頼度算出部２２が位置推定装置１の外部に出力した信頼度Ｄ７は、例えば、位置算出部３０が位置推定装置１の外部に出力した推定位置Ｄ８の評価に用いられる。
　以下で、実施の形態１に係る位置推定装置１の動作について図面を参照して説明する。図２は、実施の形態１に係る位置推定装置１による信頼度推定方法を示すフローチャートである。なお、以下で説明する各ステップの前に、Ｎ個のカメラ２は、それぞれ、物体を撮影することによりカメラ画像を取得し、取得したカメラ画像をカメラ選択部４０に出力したものとする。
　図２が示すように、カメラ選択部４０は、複数のカメラ画像のうちから少なくとも１つのカメラ画像Ｄ２を選択する（ステップＳＴ１）。カメラ選択部４０は、選択したカメラ画像Ｄ２を特徴点推定部１０及び特徴量算出部２１にそれぞれ出力する。
　なお、ステップＳＴ１において、カメラ選択部４０は、後述するステップＳＴ４の工程によって信頼度Ｄ７がまだ算出されていない場合、複数のカメラ画像のうちから任意のカメラ画像Ｄ２を選択する。または、ステップＳＴ１において、カメラ選択部４０は、後述するステップＳＴ４の工程によって信頼度Ｄ７が既に算出されている場合、当該信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。
　次に、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報として、複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４、及び物体領域Ｄ５を推定する（ステップＳＴ２）。特徴点推定部１０は、推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１に出力する。
　次に、特徴量算出部２１は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５を特徴量算出部２１のうちの少なくとも１つの情報に基づいて、物体の特徴量Ｄ６１～Ｄ６ｍを算出する（ステップＳＴ３）。特徴量算出部２１は、算出した特徴量Ｄ６１～Ｄ６ｍを信頼度算出部２２に出力する。
　次に、信頼度算出部２２は、特徴量算出部２１が算出した特徴量Ｄ６１～Ｄ６ｍに基づいて、物体の推定位置の推定誤差に相関する信頼度Ｄ７を算出する（ステップＳＴ４）。なお、図示しないが、位置推定装置１は、上記のステップＳＴ１からステップＳＴ４までの一連の工程を繰り返し実行する。
　以下で、ステップＳＴ３の詳細について説明する。図３は、ステップＳＴ３の特徴量算出方法の詳細を示すフローチャートである。
　図３が示すように、第１の特徴量算出部２０１は、特徴点推定部１０が推定した特徴点の候補点群の分散Ｄ４に基づいて、当該分散Ｄ４の逆数に比例する物体の特徴量Ｄ６１を算出する（ステップＳＴ３１）。第１の特徴量算出部２０１は、算出した特徴量Ｄ６１を信頼度算出部２２に出力する。
　第２の特徴量算出部２０２は、特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３及び物体領域Ｄ５に基づいて、複数の特徴点から構成される凸平面と物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量Ｄ６２を算出する（ステップＳＴ３２）。第２の特徴量算出部２０２は、算出した特徴量Ｄ６２を信頼度算出部２２に出力する。
　第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、カメラ選択部４０が選択したカメラ画像Ｄ２並びに特徴点推定部１０が推定した複数の特徴点の各推定位置Ｄ３、特徴点の候補点群の分散Ｄ４及び物体領域Ｄ５のうちの少なくとも１つの情報に基づいて、その他の特徴量Ｄ６３～Ｄ６ｍを算出する（ステップＳＴ３３）。第３の特徴量算出部から第ｍの特徴量算出部２０ｍまでの各特徴量算出部は、算出した特徴量を信頼度算出部２２に出力する。
　以下で、実施の形態１に係る位置推定装置１による信頼度推定方法におけるカメラ選択方法（ステップＳＴ１）の具体例について詳細に説明する。なお、以下で説明するステップＳＴ１の工程は、ステップＳＴ１からステップＳＴ４までの一連の工程を１回以上行った後に、再度行われたものとする。
　当該具体例では、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が上述のステップＳＴ４において算出した信頼度Ｄ７に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、当該具体例では、カメラ選択部４０は、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎ、及び信頼度算出部２２が算出した信頼度Ｄ７に基づいて、１つのカメラ画像を用いて以降の位置推定を行うモード、又は全てのカメラ画像を順次用いて位置推定を行うモードの何れか１つのモードを選択する。
　さらに詳細には、当該具体例では、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７が閾値以上の場合、前回選択したカメラ画像に対応するカメラ２からのカメラ画像Ｄ２を選択する。換言すれば、カメラ選択部４０は、信頼度算出部２２が算出した信頼度Ｄ７が閾値以上の場合、前回選択したカメラ画像を撮影したカメラ２からのカメラ画像Ｄ２を選択する。その場合、上述のステップＳＴ２において、上述の通り、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像Ｄ２に基づいて、特徴点情報を推定する。
　一方で、ステップＳＴ１において、カメラ選択部４０は、信頼度算出部２２が算出した信頼度が閾値未満の場合、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎを全て選択する。次に、上述のステップＳＴ２において、特徴点推定部１０は、カメラ選択部４０がステップＳＴ１においてＮ個のカメラ画像Ｄ１１～Ｄ１Ｎを全て選択した場合、カメラ画像毎に、特徴点情報を推定する。
　次に、上述のステップＳＴ３において、特徴量算出部２１は、特徴点推定部１０がステップＳＴ２においてカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、物体の特徴量を算出する。
　次に、上述のステップＳＴ４において、信頼度算出部２２は、特徴量算出部２１がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、物体の推定位置の信頼度を算出する。
　次に、位置推定装置１は、上述のステップＳＴ１の工程に戻り、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、Ｎ個のカメラ画像Ｄ１１～Ｄ１Ｎのうちから少なくとも１つのカメラ画像Ｄ２を選択する。より詳細には、例えば、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に対応するカメラ２が撮影したカメラ画像Ｄ２を選択する。
　位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能は、処理回路により実現される。すなわち、位置推定装置１は、図２及び図３に示した各ステップの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であってもよい。
　図４Ａは、位置推定装置１の機能を実現するハードウェア構成を示すブロック図である。図４Ｂは、位置推定装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
　上記処理回路が図４Ａに示す専用のハードウェアの処理回路５０である場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はこれらを組み合わせたものが該当する。
　位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
　上記処理回路が図４Ｂに示すプロセッサ５１である場合、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
　なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ５２に記憶される。
　プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能を実現する。すなわち、位置推定装置１は、これらの各機能がプロセッサ５１によって実行されるときに、図２及び図３に示した各ステップの処理が結果的に実行されるプログラムを記憶するためのメモリ５２を備える。
　これらのプログラムは、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各手順又は方法をコンピュータに実行させる。メモリ５２は、コンピュータを、位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。
　プロセッサ５１には、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などが該当する。
　メモリ５２には、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、ハードディスク、フレキシブルディスク等の磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　位置推定装置１における、カメラ選択部４０、特徴点推定部１０、信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２、並びに位置算出部３０の各機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。
　例えば、カメラ選択部４０、特徴点推定部１０及び位置算出部３０の機能は、専用のハードウェアとしての処理回路で機能を実現する。信頼度推定装置２０の特徴量算出部２１及び信頼度算出部２２については、プロセッサ５１がメモリ５２に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。
　以上のように、実施の形態１に係る信頼度推定装置２０は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置２０であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出部２１と、特徴量算出部２１が算出した特徴量に基づいて、物体の推定位置の信頼度を算出する信頼度算出部２２と、を備えている。
　上記の構成によれば、特徴点情報から算出した物体の特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置から直接信頼度を算出する場合よりも、推定位置の信頼度自体の信頼性が推定位置の信頼性に依存しないため、推定位置の信頼度自体の信頼性を向上させることができる。よって、例えば、推定位置を推定することが困難な画像が入力された場合でも、推定位置の信頼度自体の信頼性を向上させることができる。
　実施の形態１に係る信頼度推定装置２０における特徴点情報は、特徴点の候補点群の分散を含み、特徴量算出部２１は、特徴点の候補点群の分散に基づいて、物体の特徴量を算出する。
　上記の構成によれば、特徴点の候補点群の分散から算出した物体の特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。
　実施の形態１に係る信頼度推定装置２０における特徴量算出部２１は、分散の逆数に比例する特徴量を算出する。
　上記の構成によれば、分散の逆数に比例する特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。
　実施の形態１に係る信頼度推定装置２０における特徴点情報は、複数の特徴点の各推定位置、及びカメラ画像において物体が占める領域である物体領域を含み、特徴量算出部２１は、複数の特徴点の各推定位置、及び物体領域に基づいて、複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出する。
　上記の構成によれば、複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。
　実施の形態１に係る信頼度推定装置２０における特徴点情報は、複数の特徴点の各推定位置、及びカメラ画像において物体が占める領域である物体領域を含み、特徴量算出部２１は、複数の特徴点の各推定位置、及び物体領域に基づいて、複数の特徴点から構成される凸平面と当該物体領域との面積比を算出し、算出した面積比の逆数に比例する特徴量、又は算出した面積比と１との差の逆数に比例する特徴量を算出する。
　上記の構成によれば、複数の特徴点の各推定位置、及び物体領域から算出した面積比の逆数に比例する特徴量又は当該面積比と１との差の逆数に比例する特徴量に基づいて物体の推定位置の信頼度を算出する。これにより、推定位置の信頼度自体の信頼性を好適に向上させることができる。
　実施の形態１に係る信頼度推定装置２０における特徴量算出部２１は、物体の特徴量を複数算出し、信頼度算出部２２は、特徴量算出部２１が複数算出した特徴量に基づいて、物体の推定位置の推定誤差に相関する信頼度を算出する。
　上記の構成によれば、物体の推定位置の推定誤差に相関する信頼度を用いて、物体の推定位置を評価することができる。
　実施の形態１に係る位置推定装置１は、実施の形態１に係る信頼度推定装置２０と、カメラ画像に基づいて、特徴点情報を推定する特徴点推定部１０と、特徴点推定部１０が推定した特徴点情報に基づいて、物体の推定位置を算出する位置算出部３０と、を備え、特徴量算出部２１は、特徴点推定部１０が推定した特徴点情報に基づいて、物体の特徴量を算出する。
　上記の構成によれば、実施の形態１に係る信頼度推定装置２０が奏する上述の各効果を位置推定装置１において実現することができる。例えば、実施の形態１に係る位置推定装置１は、カメラ画像による物体の位置推定に適用可能なものである。例えば、自動炎天車両又はロボットアーム等のＦＡ機器などに利用することが可能である。
　例えば、ロボットアームにより物体の把持を行う場合、当該物体の位置検出が必要となる。そこで、アームに取り付けた単眼カメラなどで撮影した画像を上述のカメラ画像として実施の形態１に係る信頼度推定装置２０に適用することにより、撮影条件の悪い位置推定困難な画像が入力された場合でも、信頼性が高い上述の信頼度を算出することができ、当該信頼度に基づいて、推定位置の評価を行うことができる。よって、安定したロボット制御を実現することが可能となる。
　実施の形態１に係る位置推定装置１は、信頼度算出部２２が算出した信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択するカメラ選択部４０をさらに備え、特徴点推定部１０は、カメラ選択部４０が選択したカメラ画像に基づいて、特徴点情報を推定する。
　上記の構成によれば、推定位置の信頼度に基づいて選択したカメラ画像から特徴点情報を推定する。これにより、推定した特徴点情報の信頼性を向上させることができる。よって、特徴点情報に基づく推定位置及び信頼度の各信頼性を向上させることができる。
　実施の形態１に係る位置推定装置１におけるカメラ選択部４０は、信頼度算出部２２が算出した信頼度が閾値以上の場合、前回選択したカメラ画像に対応するカメラ２からのカメラ画像を選択し、信頼度算出部２２が算出した信頼度が閾値未満の場合、複数のカメラ画像を全て選択する。
　上記の構成によれば、推定位置の推定に適したカメラ画像を好適に選択することができる。よって、当該カメラ画像に基づく特徴点情報、推定位置及び信頼度の各信頼性を向上させることができる。
　実施の形態１に係る位置推定装置１における特徴点推定部１０は、カメラ選択部４０が複数のカメラ画像を全て選択した場合、カメラ画像毎に、特徴点情報を推定し、特徴量算出部２１は、特徴点推定部１０がカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、物体の特徴量を算出し、信頼度算出部２２は、特徴量算出部２１がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、物体の推定位置の信頼度を算出し、カメラ選択部４０は、信頼度算出部２２がカメラ画像毎に信頼度を算出した場合、信頼度算出部２２が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択する。
　上記の構成によれば、前回選択したカメラ画像が推定位置の推定に適していない場合でも、次回では、推定位置の推定に適したカメラ画像を選ぶことができる。よって、当該カメラ画像に基づく特徴点情報、推定位置及び信頼度の各信頼性を向上させることができる。
　実施の形態１に係る信頼度推定方法は、カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定方法であって、カメラ画像における物体の複数の特徴点に関する特徴点情報に基づいて、物体の特徴量を算出する特徴量算出ステップと、特徴量算出ステップで算出した特徴量に基づいて、信頼度を算出する信頼度算出ステップと、を含む。
　上記の構成によれば、実施の形態１に係る信頼度推定装置２０が奏する上述の効果と同様の効果を奏する。
　なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る信頼度推定装置は、推定位置の信頼度自体の信頼性を向上させることができるため、位置推定装置に利用可能である。
　１　位置推定装置、２　カメラ、３　記憶装置、１０　特徴点推定部、２０　信頼度推定装置、２１　特徴量算出部、２２　信頼度算出部、３０　位置算出部、４０　カメラ選択部、５０　処理回路、５１　プロセッサ、５２　メモリ、１００　位置推定システム、２０１　第１の特徴量算出部、２０２　第２の特徴量算出部、２０ｍ　第ｍの特徴量算出部。

Claims (10)

  1. 　カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定装置であって、
    　前記カメラ画像における前記物体の複数の特徴点に関する特徴点情報に基づいて、前記物体の特徴量を算出する特徴量算出部と、
    　前記特徴量算出部が算出した特徴量に基づいて、前記信頼度を算出する信頼度算出部と、を備えていることを特徴とする、信頼度推定装置。
  2. 　前記特徴点情報は、前記特徴点の候補点群の分散を含み、
    　前記特徴量算出部は、前記特徴点の候補点群の分散に基づいて、前記特徴量を算出することを特徴とする、請求項１に記載の信頼度推定装置。
  3. 　前記特徴量算出部は、前記分散の逆数に比例する特徴量を算出することを特徴とする、請求項２に記載の信頼度推定装置。
  4. 　前記特徴点情報は、複数の特徴点の各推定位置、及び前記カメラ画像において前記物体が占める領域である物体領域を含み、
    　前記特徴量算出部は、前記複数の特徴点の各推定位置、及び前記物体領域に基づいて、前記複数の特徴点から構成される領域と当該物体領域とを入力にとる関数となる特徴量を算出することを特徴とする、請求項１に記載の信頼度推定装置。
  5. 　前記特徴量算出部は、前記特徴量を複数算出し、
    　前記信頼度算出部は、前記特徴量算出部が複数算出した特徴量に基づいて、前記物体の推定位置の推定誤差に相関する信頼度を算出することを特徴とする、請求項１に記載の信頼度推定装置。
  6. 　請求項１に記載の信頼度推定装置と、
    　前記カメラ画像に基づいて、前記特徴点情報を推定する特徴点推定部と、
    　前記特徴点推定部が推定した特徴点情報に基づいて、前記物体の推定位置を算出する位置算出部と、を備え、
    　前記特徴量算出部は、前記特徴点推定部が推定した特徴点情報に基づいて、前記特徴量を算出することを特徴とする、位置推定装置。
  7. 　前記信頼度算出部が算出した信頼度に基づいて、複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択するカメラ選択部をさらに備え、
    　前記特徴点推定部は、前記カメラ選択部が選択したカメラ画像に基づいて、前記特徴点情報を推定することを特徴とする、請求項６に記載の位置推定装置。
  8. 　前記カメラ選択部は、
    　　前記信頼度算出部が算出した信頼度が閾値以上の場合、前回選択したカメラ画像に対応するカメラからのカメラ画像を選択し、
    　　前記信頼度算出部が算出した信頼度が閾値未満の場合、前記複数のカメラ画像を全て選択することを特徴とする、請求項７に記載の位置推定装置。
  9. 　前記特徴点推定部は、前記カメラ選択部が前記複数のカメラ画像を全て選択した場合、カメラ画像毎に、前記特徴点情報を推定し、
    　前記特徴量算出部は、前記特徴点推定部がカメラ画像毎に推定した特徴点情報に基づいて、カメラ画像毎に、前記特徴量を算出し、
    　前記信頼度算出部は、前記特徴量算出部がカメラ画像毎に算出した特徴量に基づいて、カメラ画像毎に、前記信頼度を算出し、
    　前記カメラ選択部は、前記信頼度算出部がカメラ画像毎に前記信頼度を算出した場合、前記信頼度算出部が算出したカメラ画像毎の信頼度のうちの最大の信頼度に基づいて、前記複数のカメラ画像のうちから少なくとも１つのカメラ画像を選択することを特徴とする、請求項８に記載の位置推定装置。
  10. 　カメラ画像に基づいて推定された物体の推定位置の信頼度を推定する信頼度推定方法であって、
    　前記カメラ画像における前記物体の複数の特徴点に関する特徴点情報に基づいて、前記物体の特徴量を算出する特徴量算出ステップと、
    　前記特徴量算出ステップで算出した特徴量に基づいて、前記信頼度を算出する信頼度算出ステップと、を含むことを特徴とする、信頼度推定方法。
PCT/JP2020/046360 2020-12-11 2020-12-11 信頼度推定装置、位置推定装置、及び信頼度推定方法 Ceased WO2022123786A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112020007687.3T DE112020007687T5 (de) 2020-12-11 2020-12-11 Zuverlässigkeitsgrad-ermittlungseinrichtung, position-ermittlungseinrichtung und zuverlässigkeitsgrad-ermittlungsverfahren
JP2022568023A JP7221469B2 (ja) 2020-12-11 2020-12-11 信頼度推定装置、位置推定装置、及び信頼度推定方法
CN202080107744.7A CN116547714B (zh) 2020-12-11 2020-12-11 可靠度推定装置、位置推定装置以及可靠度推定方法
PCT/JP2020/046360 WO2022123786A1 (ja) 2020-12-11 2020-12-11 信頼度推定装置、位置推定装置、及び信頼度推定方法
TW110114658A TW202232433A (zh) 2020-12-11 2021-04-23 可靠度推定裝置、位置推定裝置及可靠度推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/046360 WO2022123786A1 (ja) 2020-12-11 2020-12-11 信頼度推定装置、位置推定装置、及び信頼度推定方法

Publications (1)

Publication Number Publication Date
WO2022123786A1 true WO2022123786A1 (ja) 2022-06-16

Family

ID=81974299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046360 Ceased WO2022123786A1 (ja) 2020-12-11 2020-12-11 信頼度推定装置、位置推定装置、及び信頼度推定方法

Country Status (5)

Country Link
JP (1) JP7221469B2 (ja)
CN (1) CN116547714B (ja)
DE (1) DE112020007687T5 (ja)
TW (1) TW202232433A (ja)
WO (1) WO2022123786A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127824A1 (ja) * 2022-12-12 2024-06-20 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186246A (ja) * 2007-01-30 2008-08-14 Aisin Seiki Co Ltd 移動物体認識装置
JP2008310775A (ja) * 2007-06-18 2008-12-25 Canon Inc 表情認識装置及び方法、並びに撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057183B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
US9374571B2 (en) * 2011-10-11 2016-06-21 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging device, and image processing method
JP6694234B2 (ja) * 2015-01-23 2020-05-13 シャープ株式会社 距離測定装置
JP6710190B2 (ja) * 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008186246A (ja) * 2007-01-30 2008-08-14 Aisin Seiki Co Ltd 移動物体認識装置
JP2008310775A (ja) * 2007-06-18 2008-12-25 Canon Inc 表情認識装置及び方法、並びに撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024127824A1 (ja) * 2022-12-12 2024-06-20 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
CN116547714B (zh) 2024-12-31
DE112020007687T5 (de) 2023-09-07
CN116547714A (zh) 2023-08-04
JP7221469B2 (ja) 2023-02-13
TW202232433A (zh) 2022-08-16
JPWO2022123786A1 (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
TWI800692B (zh) 用於差異估測的系統及用於系統的差異估測的方法
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
CN118196446A (zh) 匹配局部图像特征描述符
US11394870B2 (en) Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
CN112000226B (zh) 一种人眼视线估计方法、装置及视线估计系统
JP2014098898A (ja) 多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス
CN111507132A (zh) 一种定位方法、装置及设备
WO2020166401A1 (ja) 学習データ生成装置、方法及びプログラム
CN114387197B (zh) 一种双目图像处理方法、装置、设备和存储介质
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
WO2022123786A1 (ja) 信頼度推定装置、位置推定装置、及び信頼度推定方法
CN115546681B (zh) 一种基于事件和帧的异步特征跟踪方法和系统
JP2020004179A (ja) 画像処理プログラム、画像処理装置及び画像処理方法
CN113674319B (zh) 一种目标跟踪的方法、系统、设备及计算机存储介质
US20140098283A1 (en) Method and system of curve fitting for common focus measures
US20190205666A1 (en) Method for evaluating credibility of obstacle detection
CN113345026A (zh) 一种相机参数的标定方法、装置、存储介质及电子设备
CN114821407B (zh) 基于特征点匹配的设备巡检方法、处理器及装置
US12499576B2 (en) Tracking device, control method, and non-transitory computer readable storage medium
US9392158B2 (en) Method and system for intelligent dynamic autofocus search
CN113689422B (zh) 一种图像处理方法、装置及电子设备
WO2024009377A1 (ja) 情報処理装置、自己位置推定方法、及び非一時的なコンピュータ可読媒体
CN118570584A (zh) 用于全彩3d打印的色彩预测方法及系统
CN112927268B (zh) 角点跟踪方法、装置、计算机设备及可读存储介质
CN117474961A (zh) 减少深度估计模型误差的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965167

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022568023

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202080107744.7

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 20965167

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080107744.7

Country of ref document: CN