JP7200610B2 - 位置検出プログラム、位置検出方法及び位置検出装置 - Google Patents

位置検出プログラム、位置検出方法及び位置検出装置 Download PDF

Info

Publication number
JP7200610B2
JP7200610B2 JP2018210460A JP2018210460A JP7200610B2 JP 7200610 B2 JP7200610 B2 JP 7200610B2 JP 2018210460 A JP2018210460 A JP 2018210460A JP 2018210460 A JP2018210460 A JP 2018210460A JP 7200610 B2 JP7200610 B2 JP 7200610B2
Authority
JP
Japan
Prior art keywords
shape
learning model
detection
learning
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018210460A
Other languages
English (en)
Other versions
JP2020077231A (ja
Inventor
泰斗 横田
彼方 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018210460A priority Critical patent/JP7200610B2/ja
Priority to US16/668,708 priority patent/US11069086B2/en
Publication of JP2020077231A publication Critical patent/JP2020077231A/ja
Application granted granted Critical
Publication of JP7200610B2 publication Critical patent/JP7200610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Description

本発明は、位置検出プログラム、位置検出方法及び位置検出装置に関する。
近年、画像内の人や物体を検出する技術が広く使われている。例えば、工場や倉庫におけるピッキングロボットでは、把持する物体の位置を画像から検出する技術が利用されている。
画像内の物体を検出する技術として、テンプレートマッチングがある。図１４は、テンプレートマッチングを説明するための図である。テンプレートマッチングでは、検出装置は、検出する物体の画像をテンプレート画像９１として予め記憶し、テンプレート画像９１と類似度が高い範囲を入力画像９２から探索する。検出装置は、入力画像上で探索窓９３をスライドさせながら、探索窓内の画像とテンプレート画像９１の類似度を計算し、類似度が最も高い位置に物体が存在すると判断する。
また、深層学習（Deep Learning）を行うニューラルネットワーク（ＮＮ：Neural Network）を用いて画像内の物体を検出する技術としてＳＳＤ（Single Shot Multibox Detector）がある。ＳＳＤでは、利用者は、事前に正解ラベル付きの入力画像のデータセットを用意し、用意したデータセットを画像の学習に特化したＮＮである畳み込みＮＮに学習させる。学習後のＮＮは、入力画像中の物体を検出し、検出した物体の位置と検出対象の確からしさを示す信頼度を出力する。
なお、ロボットアームの先端に取り付けたカメラからの画像情報をコントローラに入力し、深層学習を用いてロボット自らリアルタイムに動作を学習・生成することで教示を不要とする技術がある。
「ロボットによる対象物の多様なつかみ方を実現するＡＩピッキング機能を開発」、［平成３０年１０月２２日検索］、インターネット＜URL:https://www.yaskawa.co.jp/newsrelease/technology/35697＞
テンプレートマッチングやＳＳＤには、事前に想定した形状と異なる形状の物体を検出できないという問題がある。
本発明は、１つの側面では、事前に想定した形状と異なる形状の物体の検出可能性を高めることを目的とする。
１つの態様では、位置検出プログラムは、コンピュータに、それぞれが相似形でない、単純形状の立体のデータを複数取得し、取得した複数の前記データを用いて学習を行う処理を実行させる。そして、前記位置検出プログラムは、前記コンピュータに、撮像手段により撮像された画像を取得し、前記学習に基づいて生成された第１学習モデルを用いて、取得した前記画像から物体の位置を検出する処理を実行させる。
１つの側面では、本発明は、事前に想定した形状と異なる形状の物体の検出可能性を高めることができる。
図１は、ピッキングロボットの概略を示す図である。 図２は、ピッキングの流れの一例を示す図である。 図３は、実施例に係るピッキングロボットシステムの構成を示す図である。 図４は、アンサンブル学習モデルの作成の流れを示す図である。 図５は、単純形状モデルによる検出例を示す図である。 図６は、アンサンブル学習モデルによる検出例を示す図である。 図７は、位置検出装置の機能構成を示す図である。 図８は、入力画像から対象物体の位置を推定する処理を説明するための図である。 図９は、検出位置グループを説明するための図である。 図１０は、位置検出装置による処理のフローを示すフローチャートである。 図１１は、アンサンブル学習モデルによる処理のフローを示すフローチャートである。 図１２は、検出位置グループの効果を説明するための図である。 図１３は、実施例に係る位置検出プログラムを実行するコンピュータのハードウェア構成を示す図である。 図１４は、テンプレートマッチングを説明するための図である。
以下に、本願の開示する位置検出プログラム、位置検出方法及び位置検出装置の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
まず、ピッキングロボットについて説明する。図１は、ピッキングロボットの概略を示す図である。図１に示すように、ピッキングロボット１は、アーム２の先端に取り付けたグリッパ３を用いて対象物体４をつかんで移動させるロボットである。ピッキングロボット１は、工場で部品や製品をつかんで移動させる場合、あるいは、倉庫で荷物をつかんで移動させる場合などに用いられる。
図２は、ピッキングの流れの一例を示す図である。図２に示すように、事前作業として、利用者は、ピッキングの対象物体４とアーム動作を決め（ｔ１）、ティーチングを実施する（ｔ２）。ここで、「ティーチング」とは、事前に対象物体４の形状などの情報やアーム動作をロボット制御プログラムに設定することである。
そして、ティーチングが行われたピッキングロボット１は、ピッキング動作を行う。すなわち、ピッキングロボット１は、カメラで画像を取得し（ｔ３）、画像から対象物体４を検出し、位置を推定する（ｔ４）。そして、ピッキングロボット１は、対象物体４をつかむ動作を実施し（ｔ５）、指定場所に移動して対象物体４を放す（ｔ６）。
このように、ピッキングロボット１を動作させるためには、事前にティーチングを行う必要がある。対象物体４の形状や周囲の環境が変わると、ティーチングをし直す必要があり、ティーチングの工数を如何に減らすかが重要となっている。
また、深層学習による画像認識では、大量の学習データを用いた学習を行うことで、認識精度の向上を図っており、大量の学習データが必要となる。利用可能なオープンデータが多数ある場合には、学習データの数を確保することに困難はないが、ピッキング作業の分野においては、オープンデータはほとんどなく、学習データとして利用できるデータは多くない。したがって、ピッキング作業の分野では、学習データをいかに用意するかが重要となっている。
また、ピッキングという観点では、対象物体４の全体を認識する必要はなく、把持可能な部分を認識できることが重要となる。把持可能な形状は、円柱、直方体、立方体、正多面体、円錐、角錐、球、トーラス（ドーナツ型）、螺旋などの単純な形状であり、ピッキングの対象物体４は、これらの単純な形状な部分を備える。このような単純な形状は、一般にプリミティブと呼ばれることがある。
次に、実施例に係るピッキングロボットシステムの構成について説明する。図３は、実施例に係るピッキングロボットシステムの構成を示す図である。図３に示すように、実施例に係るピッキングロボットシステム５は、ピッキングロボット１と、カメラ６と、ロボット制御装置７と、位置検出装置１０とを有する。
カメラ６は、対象物体４を撮像し、撮像した画像を位置検出装置１０に出力する。位置検出装置１０は、カメラ６により撮像された画像を入力して把持位置情報をロボット制御装置７に出力する。ロボット制御装置７は、把持位置情報に基づいてピッキングロボット１に動作指示を行う。ピッキングロボット１は、対象物体４に対してピッキングを実施する。
位置検出装置１０は、アンサンブル学習モデル１０ａと、変換部３２とを有する。アンサンブル学習モデル１０ａは、学習モデルＡ～学習モデルＥで表される５つの学習モデル１１を有する。学習モデル１１は、学習用データセットを深層学習したＮＮである。学習モデル１１は、ＳＳＤに基づくＮＮである。学習モデル１１は、カメラ６が撮影した画像を入力して対象物体４を検出し、位置情報と信頼度を出力する。アンサンブル学習モデル１０ａは、各学習モデル１１が出力した位置情報と信頼度に基づいて対象物体４の位置情報を出力する。変換部３２は、対象物体４の位置情報を入力して把持位置情報を出力する。
図４は、アンサンブル学習モデル１０ａの作成の流れを示す図である。利用者は、単純形状モデルＡ～単純形状モデルＥで表される５種類の単純形状モデル１２をＣＧ（Computer Graphics）を用いて用意する。ここで、単純形状モデル１２とは、単純な形状の３次元モデルである。各単純形状モデル１２は他の単純形状モデル１２と相似形でない。図４では、単純形状モデルＡは円柱の３次元モデルであり、単純形状モデルＢは直方体の３次元モデルであり、単純形状モデルＣは立方体の３次元モデルである。また、単純形状モデルＤは球の３次元モデルであり、単純形状モデルＥはバネの３次元モデルである。
そして、利用者は、ピッキングロボット１のシミュレータを使い、単純形状モデル１２ごとに学習用データセット１３を作成する。そして、位置検出装置１０が、１つの学習用データセット１３に対して１つの学習モデル１１を作成する。学習データセットＡから学習モデルＡが作成され、学習データセットＢから学習モデルＢが作成され、学習データセットＣから学習モデルＣが作成され、学習データセットＤから学習モデルＤが作成され、学習データセットＥから学習モデルＥが作成される。
そして、位置検出装置１０は、５つの学習モデル１１を用いて対象物体４の位置を検出するアンサンブル学習モデル１０ａを作成する。アンサンブル学習モデル１０ａは、例えば、各位置情報について５つの学習モデル１１の信頼度の合計をアンサンブル学習モデル１０ａの信頼度とし、信頼度が基準値以上であれば、対象物体４を検出したと判定する。基準値は、例えば、１．０である。
なお、学習に用いられる単純形状モデル１２の数は、５より多くても少なくてもよいが、単純形状モデル１２の数が多いほど位置検出装置１０の汎用性が増すが、処理に時間がかかるため、５～１０がよい。ビッキング対象の形状の種類が事前に決まっている場合は、位置検出装置１０は、ビッキング対象の形状を抽象化したモデルを用いてもよい。あるいは、ピッキング対象の形状に含まれる部分的な単純形状が単純形状モデルとして選択されることとしてもよい。
図５は、単純形状モデル１２による検出例を示す図である。ケース＃１は、検出対象の物体が「ボルト」である場合を示し、ケース＃２は、検出対象の物体が「ＩＣチップ」である場合を示す。また、検出判定の基準の信頼度を０．５以上であるとする。
ケース＃１では、学習用データセット１３の対象が実写のボルトである場合には、信頼度が０．９５であるのでボルトは検出されるが、学習用データセット１３の対象が実写のＩＣチップである場合には、信頼度が０．０９であるのでボルトは検出されない。また、学習用データセット１３の対象が単純形状モデル１２の１つである円柱の３次元モデルである場合には、信頼度が０．８３であるのでボルトが検出される。
ケース＃２では、学習用データセット１３の対象が実写のボルトである場合には、信頼度が０．１３であるのでＩＣチップは検出されず、学習用データセット１３の対象が実写のＩＣチップである場合には、信頼度が０．９２であるのでＩＣチップは検出される。また、学習用データセット１３の対象が単純形状モデル１２のうちの１つである円柱の３次元モデルである場合には、信頼度が０．６１であるのでＩＣチップが検出される。
このように、位置検出装置１０は、単純形状モデル１２を学習させることによって、対象物体４の形状を過学習することを避け、検出可能な形状の類似度の幅を広げることができる。
図６は、アンサンブル学習モデル１０ａによる検出例を示す図である。図６では、検出対象の物体形状は未知である。図６において、単体の学習モデル１１では、検出判定の基準の信頼度を０．５以上であるとし、アンサンブル学習モデル１０ａでは、検出判定の基準の信頼度を１．０以上であるとする。
図６に示すように、各単純形状モデル１２からそれぞれ作成された各学習モデル１１は、信頼度が０．５未満のため、対象物体４を検出することはできない。一方、アンサンブル学習モデル１０ａは、各学習モデル１１の結果を利用することで、対象物体４を検出することができる。図６では、５つの学習モデル１１の信頼度の合計が０．３９＋０．３７＋０．２５＋０．１１＋０．０９＝１．２１で１．０以上となるので、アンサンブル学習モデル１０ａは、対象物体４を検出することができる。
このように、位置検出装置１０は、アンサンブル学習モデル１０ａを用いることによって、検出可能な形状の範囲を飛躍的に広げることができる。
次に、位置検出装置１０の機能構成について説明する。図７は、位置検出装置１０の機能構成を示す図である。図７に示すように、位置検出装置１０は、モデル作成部２０と把持位置検出部３０とを有する。モデル作成部２０は、５つの単純形状モデル１２の学習用データセット１３を取得し、５つの単純形状モデル１２に基づくアンサンブル学習モデル１０ａを作成する。把持位置検出部３０は、対象物体４を撮像した画像を取得し、アンサンブル学習モデル１０ａを用いて画像内の対象物体４の位置を検出し、検出した位置に基づいて把持位置を特定して把持位置情報を出力する。
モデル作成部２０は、個別モデル作成部２１とアンサンブルモデル作成部２２を有する。把持位置検出部３０は、物体位置検出部３１と、変換部３２とを有する。
個別モデル作成部２１は、５つの単純形状モデル１２の学習用データセット１３を取得し、取得した５つの学習用データセット１３をそれぞれ学習した５つの学習モデル１１を作成する。各学習用データセット１３には、例えば、検出位置の正解ラベル付きデータが１００００個含まれる。また、個別モデル作成部２１は、学習用データセット１３ごとに学習モデル１１を１００エポック訓練させる。
アンサンブルモデル作成部２２は、個別モデル作成部２１により作成された５つの学習モデル１１を用いてアンサンブル学習モデル１０ａを作成する。アンサンブルモデル作成部２２は、各位置情報について５つの学習モデル１１の信頼度の合計を信頼度とし、信頼度が基準値以上であれば対象物体４を検出したと判定するアンサンブル学習モデル１０ａを作成する。
物体位置検出部３１は、対象物体４を撮像した画像を取得し、アンサンブル学習モデル１０ａを用いて画像内の対象物体４の位置を検出し、位置情報を出力する。図８は、入力画像から対象物体４の位置を推定する処理を説明するための図である。図８に示すように、物体位置検出部３１は、入力画像から対象物体４を検出し、位置情報としてバウンディングボックスの左上の点（ｘｕ，ｙｕ）、右下の点（ｘｖ，ｙｖ）を出力する。
ここで、バウンディングボックスは、対象物体４の位置を定義する長方形の枠である。バウンディングボックスは、例えば、左上と右下の２点のｘ座標及びｙ座標で定義される。座標軸の原点は、例えば、入力画像の左下である。
アンサンブル学習モデル１０ａは、各学習モデル１１が出力した位置情報の中から信頼度の高い順に５個の位置情報を検出位置候補として選択し、５個の学習モデル１１で合計２５個の検出位置候補に基づいて、対象物体４の位置情報を作成する。
具体的には、アンサンブル学習モデル１０ａは、検出位置候補のバウンディングボックスに重なりがある場合には、検出位置候補をグルーピングして検出位置グループとする。図９は、検出位置グループを説明するための図である。図９では、２５個の検出位置候補うち５個の検出位置候補だけを示す。
図９では、５個のバウンディングボックスのうち３個のバウンディングボックスに重なりがあるため、３個のバウンディングボックスがグループ化され、太線で示す枠が検出位置グループを示す。検出位置グループの信頼度は、重なりのある検出位置候補の信頼度の合計である。
そして、アンサンブル学習モデル１０ａは、信頼度がもっとも高い検出位置候補又は検出位置グループを対象物体４の位置情報として選択する。アンサンブル学習モデル１０ａは、対象物体４の位置情報として検出位置グループを選択した場合には、バウンディングボックスの左上の点の座標（Ｘ，Ｙ）を、
（Ｘ，Ｙ）＝（ｓ１（ｘ１，ｙ１）＋ｓ２（ｘ２，ｙ２）＋・・・＋ｓｎ（ｘｎ，ｙｎ））／（ｓ１＋ｓ２＋・・・＋ｓｎ）
により計算する。ここで、ｎは検出位置グループに含まれる検出位置候補の数であり、ｓｉ（ｉ＝１，２，・・・，ｎ）は検出位置候補ｉの信頼度であり、（ｘｉ，ｙｉ）は検出位置候補ｉのバウンディングボックスの左上の点の座標である。バウンディングボックスの右下の点の座標も同様に計算される。
そして、アンサンブル学習モデル１０ａは、対象物体４の位置情報としてバウンディングボックスの左上と右下の座標を出力する。物体位置検出部３１は、アンサンブル学習モデル１０ａが出力した位置情報を変換部３２に渡す。
変換部３２は、物体位置検出部３１から位置情報を取得し、取得した位置情報を把持位置情報に変換する。変換部３２は、位置情報と対象物体４の把持可能な形状の個所とに基づいて位置情報を把持位置情報に変換する。
次に、位置検出装置１０による処理のフローについて説明する。図１０は、位置検出装置１０による処理のフローを示すフローチャートである。図１０に示すように、位置検出装置１０は、単純形状モデル１２の学習用データセット１３を５個取得し（ステップＳ１）、５個の学習用データセット１３を用いて５個の学習モデル１１を作成する（ステップＳ２）。そして、位置検出装置１０は、５個の学習モデル１１からアンサンブル学習モデル１０ａを作成する（ステップＳ３）。
そして、位置検出装置１０は、対象物体４が撮像された画像を取得し（ステップＳ４）、アンサンブル学習モデル１０ａを用いて、取得した画像から対象物体４を検出し、位置情報を作成する（ステップＳ５）。そして、位置検出装置１０は、位置情報を把持位置情報に変換し（ステップＳ６）、把持位置情報を出力する（ステップＳ７）。
このように、位置検出装置１０は、５つの単純形状モデル１２の学習用データセット１３をそれぞれ学習した５つの学習モデル１１を用いてアンサンブル学習モデル１０ａを作成し、アンサンブル学習モデル１０ａを用いて対象物体４を検出する。したがって、位置検出装置１０は、事前に想定した形状と異なる形状の物体を検出することができる。
次に、アンサンブル学習モデル１０ａによる処理のフローについて説明する。図１１は、アンサンブル学習モデル１０ａによる処理のフローを示すフローチャートである。図１１に示すように、アンサンブル学習モデル１０ａは、各学習モデル１１から信頼度が高い順に５個のバウンディングボックス及び信頼度を取得する（ステップＳ１１）。
そして、アンサンブル学習モデル１０ａは、バウンディングボックスが重なっている領域があるか否かを判定する（ステップＳ１２）。そして、ある場合には、アンサンブル学習モデル１０ａは、領域が重なっていた複数の検出位置候補を、１つの検出位置グループと定義し、領域が重なっていた複数の検出位置候補の信頼度を合算して検出位置グループの信頼度を計算する（ステップＳ１３）。
そして、アンサンブル学習モデル１０ａは、信頼度がもっとも高い検出位置候補又は検出位置グループを対象物体４の位置情報として選択し（ステップＳ１４）、最も信頼度が高いのは検出位置グループか否かを判定する（ステップＳ１５）。そして、最も信頼度が高いのは検出位置グループである場合には、アンサンブル学習モデル１０ａは、元の検出位置候補の信頼度で重み付けした座標を検出位置グループの座標として計算する（ステップＳ１６）。
そして、アンサンブル学習モデル１０ａは、対象物体４の位置情報として、計算した座標を出力する（ステップＳ１７）。
このように、アンサンブル学習モデル１０ａは、領域が重なっていた検出位置候補を、１つの検出位置グループと定義し、重なっていた検出位置候補の信頼度を合算して検出位置グループの信頼度とする。したがって、アンサンブル学習モデル１０ａは、単体の学習モデル１１のみでは検出ができない対象物体４を検出することができる。
図１２は、検出位置グループの効果を説明するための図である。図１２では、単体の学習モデル１１の基準値は０．５であり、アンサンブル学習モデル１０ａの基準値は１．０であるとする。
図１２に示すように、検出対象の物体形状がバネのケースでは、検出位置グループは定義されない。また、単体の学習モデル１１では、バネを学習した学習モデル１１の信頼度が０．５以上となり、バネを学習した学習モデル１１のみで検出が可能である。
一方、検出対象の物体形状が未知のケースでは、円柱を学習した学習モデル１１が出力した検出位置候補と直方体を学習した学習モデル１１が出力した検出位置候補と立方体を学習した学習モデル１１が出力した検出位置候補がグループ化される。そして、検出位置グループの信頼度が０．３９＋０．３７＋０．２５＝１．０１となり、検出位置グループを用いるアンサンブル学習モデル１０ａにより物体形状が未知の物体が検出される。
上述してきたように、実施例では、個別モデル作成部２１が、複数の単純形状モデル１２からそれぞれ作成された複数の学習用データセット１３をそれぞれ用いて複数の学習モデル１１を作成する。そして、アンサンブルモデル作成部２２が、複数の学習モデル１１に基づいてアンサンブル学習モデル１０ａを作成する。そして、物体位置検出部３１が、アンサンブル学習モデル１０ａを用いて、対象物体４を撮像した画像から対象物体４を検出して位置情報を作成する。したがって、位置検出装置１０は、対象物体４の形状を過学習することを避け、事前に想定した形状と異なる形状の物体の検出可能性を高めることができる。
また、実施例では、位置検出装置１０は、位置情報を把持位置情報に変換してロボット制御装置７に出力するので、対象物体４の形状が変更になった場合でもピッキングロボット１のティーチングを不要とすることができ、ティーチングの工数を減らすことができる。
また、実施例では、アンサンブル学習モデル１０ａは、検出位置候補のバウンディングボックスに重なりがある場合には、検出位置候補をグルーピングして検出位置グループとし、検出位置グループの信頼度を、重なりのある検出位置候補の信頼度の合計とする。したがって、位置検出装置１０は、１つの学習モデル１１だけでは検出できない未知の物体を検出することができる。
また、実施例では、単純形状モデル１２の学習用データセット１３は、ロボットシミュレータにより作成されるので、学習に十分な量の学習用データセット１３を簡単に作成することができる。
また、実施例では、位置検出装置１０は、単純形状として円柱、直方体、立方体、球及びバネを用いるので、検出できる物体形状の汎用性を高めることができる。
なお、実施例では、位置検出装置１０について説明したが、位置検出装置１０が有する構成をソフトウェアによって実現することで、同様の機能を有する位置検出プログラムを得ることができる。そこで、位置検出プログラムを実行するコンピュータについて説明する。
図１３は、実施例に係る位置検出プログラムを実行するコンピュータのハードウェア構成を示す図である。図１３に示すように、コンピュータ５０は、メインメモリ５１と、ＣＰＵ（Central Processing Unit）５２と、ＬＡＮ（Local Area Network）インタフェース５３と、ＨＤＤ（Hard Disk Drive）５４とを有する。また、コンピュータ５０は、スーパーＩＯ（Input Output）５５と、ＤＶＩ（Digital Visual Interface）５６と、ＯＤＤ（Optical Disk Drive）５７とを有する。
メインメモリ５１は、プログラムやプログラムの実行途中結果等を記憶するメモリである。ＣＰＵ５２は、メインメモリ５１からプログラムを読み出して実行する中央処理装置である。ＣＰＵ５２は、メモリコントローラを有するチップセットを含む。
ＬＡＮインタフェース５３は、コンピュータ５０をＬＡＮ経由で他のコンピュータに接続するためのインタフェースである。ＨＤＤ５４は、プログラムやデータを格納するディスク装置であり、スーパーＩＯ５５は、マウスやキーボード等の入力装置を接続するためのインタフェースである。ＤＶＩ５６は、液晶表示装置を接続するインタフェースであり、ＯＤＤ５７は、ＤＶＤの読み書きを行う装置である。
ＬＡＮインタフェース５３は、ＰＣＩエクスプレス（ＰＣＩｅ）によりＣＰＵ５２に接続され、ＨＤＤ５４及びＯＤＤ５７は、ＳＡＴＡ（Serial Advanced Technology Attachment）によりＣＰＵ５２に接続される。スーパーＩＯ５５は、ＬＰＣ（Low Pin Count）によりＣＰＵ５２に接続される。
そして、コンピュータ５０において実行される位置検出プログラムは、コンピュータ５０により読み出し可能な記録媒体の一例であるＤＶＤに記憶され、ＯＤＤ５７によってＤＶＤから読み出されてコンピュータ５０にインストールされる。あるいは、位置検出プログラムは、ＬＡＮインタフェース５３を介して接続された他のコンピュータシステムのデータベース等に記憶され、これらのデータベースから読み出されてコンピュータ５０にインストールされる。そして、インストールされた位置検出プログラムは、ＨＤＤ５４に記憶され、メインメモリ５１に読み出されてＣＰＵ５２によって実行される。
また、実施例では、アンサンブル学習モデルが位置情報を作成し、変換部が位置情報を把持位置情報に変換する場合について説明したが、アンサンブル学習モデルは、把持位置情報を直接作成してもよい。この場合、アンサンブル学習モデルは、物体検出範囲を把持位置範囲に置き換えて、信頼度及び把持角度とともに出力する。
また、実施例では、ピッキングロボット１で使われる場合について説明したが、位置検出装置１０は、医療用ロボット、調理ロボット、土木及び建設用機械、自動走行車、ドローン、家庭用電化製品などの他の装置で使われてもよい。
１ ピッキングロボット
２ アーム
３ グリッパ
４ 対象物体
５ ピッキングロボットシステム
６ カメラ
７ ロボット制御装置
１０ 位置検出装置
１０ａ アンサンブル学習モデル
１１ 学習モデル
１２ 単純形状モデル
１３ 学習用データセット
３２ 変換部
５０ コンピュータ
５１ メインメモリ
５２ ＣＰＵ
５３ ＬＡＮインタフェース
５４ ＨＤＤ
５５ スーパーＩＯ
５６ ＤＶＩ
５７ ＯＤＤ
９１ テンプレート画像
９２ 入力画像
９３ 探索窓

Claims (8)

  1. コンピュータに、
    それぞれが相似形でない各形状を示す単純形状データを入力して前記形状の位置情報を検出する、各形状に対応した各学習モデルに、撮影手段により物体が撮影された画像データを入力し、
    前記各学習モデルから位置情報および検出の確からしさを示す信頼度を取得し、
    前記各学習モデルから得られた各信頼度の合計値が閾値以上である場合、前記各学習モデルから得られた位置情報を用いて、前記物体の位置を検出する、
    処理を実行させることを特徴とする位置検出プログラム。
  2. 前記コンピュータに、
    前記物体の位置から前記物体の把持位置を検出する
    処理をさらに実行させることを特徴とする請求項１に記載の位置検出プログラム。
  3. 前記各学習モデルそれぞれは、前記各形状の位置情報および前記各形状の位置情報の信頼度を出力するモデルであり、
    前記検出する処理は、アンサンブル学習モデルを用いて前記物体の位置を特定し、
    前記アンサンブル学習モデルは、前記各学習モデルそれぞれの検出結果のうち、前記信頼度から高い順に所定個の位置情報を特定し、前記各学習モデルそれぞれから所定個ずつ取得された複数の位置情報を用いて前記物体の位置を検出する、ことを特徴とする請求項１又は２に記載の位置検出プログラム。
  4. 前記学習モデルは、深層学習を用いる畳み込み型のニューラルネットワークであって、検出結果として、前記画像データから前記物体の検出位置を示すバウンディングボックスと前記信頼度を対応付けて複数出力し、
    前記アンサンブル学習モデルは、第１の数の前記学習モデルからそれぞれ第２の数の位置候補を取得し、前記第１の数に前記第２の数を乗じた数の位置候補のバウンディングボックスの中に重なる領域がある場合には、重なる領域を有する位置候補をグループ化し、グループ化した位置候補の信頼度の合計をグループの信頼度とし、信頼度が最大であるグループ又は位置候補のバウンディングボックスを前記物体の位置の情報として出力することを特徴とする請求項３に記載の位置検出プログラム。
  5. 前記単純形状データは、シミュレータにより前記単純形状の立体のモデルから作成されたデータであることを特徴とする請求項１～４のいずれか１つに記載の位置検出プログラム。
  6. 前記単純形状データにおける前記単純形状は、円柱、直方体、立方体、球及びバネを含むことを特徴とする請求項１～５のいずれか１つに記載の位置検出プログラム。
  7. コンピュータが、
    それぞれが相似形でない各形状を示す単純形状データを入力して前記形状の位置情報を検出する、各形状に対応した各学習モデルに、撮影手段により物体が撮影された画像データを入力し、
    前記各学習モデルから位置情報および検出の確からしさを示す信頼度を取得し、
    前記各学習モデルから得られた各信頼度の合計値が閾値以上である場合、前記各学習モデルから得られた位置情報を用いて、前記物体の位置を検出する、
    処理を実行することを特徴とする位置検出方法。
  8. それぞれが相似形でない各形状を示す単純形状データを入力して前記形状の位置情報を検出する、各形状に対応した各学習モデルに、撮影手段により物体が撮影された画像データを入力し、
    前記各学習モデルから位置情報および検出の確からしさを示す信頼度を取得し、
    前記各学習モデルから得られた各信頼度の合計値が閾値以上である場合、前記各学習モデルから得られた位置情報を用いて、前記物体の位置を検出する検出部と
    を有することを特徴とする位置検出装置。
JP2018210460A 2018-11-08 2018-11-08 位置検出プログラム、位置検出方法及び位置検出装置 Active JP7200610B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018210460A JP7200610B2 (ja) 2018-11-08 2018-11-08 位置検出プログラム、位置検出方法及び位置検出装置
US16/668,708 US11069086B2 (en) 2018-11-08 2019-10-30 Non-transitory computer-readable storage medium for storing position detection program, position detection method, and position detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018210460A JP7200610B2 (ja) 2018-11-08 2018-11-08 位置検出プログラム、位置検出方法及び位置検出装置

Publications (2)

Publication Number Publication Date
JP2020077231A JP2020077231A (ja) 2020-05-21
JP7200610B2 true JP7200610B2 (ja) 2023-01-10

Family

ID=70550293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018210460A Active JP7200610B2 (ja) 2018-11-08 2018-11-08 位置検出プログラム、位置検出方法及び位置検出装置

Country Status (2)

Country Link
US (1) US11069086B2 (ja)
JP (1) JP7200610B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557026B2 (en) * 2020-06-05 2023-01-17 Advanced Micro Devices, Inc. Automated artifact detection
JP7532159B2 (ja) * 2020-09-15 2024-08-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7823352B2 (ja) * 2020-09-23 2026-03-04 株式会社プロテリアル 線材の整列巻取り方法
TWI888681B (zh) 2020-12-25 2025-07-01 日商發那科股份有限公司 機械學習裝置、及機械學習方法
CN115690526A (zh) * 2021-07-29 2023-02-03 三星电子株式会社 具有对象检测的设备和方法
DE102021209646B4 (de) * 2021-09-02 2024-05-02 Robert Bosch Gesellschaft mit beschränkter Haftung Robotervorrichtung, Verfahren zum computerimplementierten Trainieren eines Roboter-Steuerungsmodells und Verfahren zum Steuern einer Robotervorrichtung
CN119072720A (zh) * 2022-04-15 2024-12-03 三菱电机株式会社 学习模型生成装置、信息处理装置、学习模型生成方法和信息处理方法
JP2024120216A (ja) 2023-02-24 2024-09-05 株式会社東芝 ハンドリング装置、ハンドリング方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116599A (ja) 2017-01-20 2018-07-26 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116599A (ja) 2017-01-20 2018-07-26 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20200151906A1 (en) 2020-05-14
US11069086B2 (en) 2021-07-20
JP2020077231A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
JP7200610B2 (ja) 位置検出プログラム、位置検出方法及び位置検出装置
Cong et al. A comprehensive study of 3-D vision-based robot manipulation
US11565407B2 (en) Learning device, learning method, learning model, detection device and grasping system
Dong et al. A review of robotic grasp detection technology
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
EP3401815A1 (en) Determining an architectural layout
CN116249607B (zh) 用于机器人抓取三维物体的方法和装置
CN117769724A (zh) 使用深度学习的对象检测和分类的合成数据集创建
CN113420590B (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
Wang et al. Perception of demonstration for automatic programing of robotic assembly: framework, algorithm, and validation
Tian et al. Realtime hand-object interaction using learned grasp space for virtual environments
RU2745380C1 (ru) Способ и система захвата объектов с помощью роботизированного устройства
Yin et al. Overview of robotic grasp detection from 2D to 3D
CN115270399B (zh) 一种工业机器人姿态识别方法、装置及存储介质
WO2018135326A1 (ja) 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
WO2019022829A1 (en) HUMAN FEEDBACK IN A 3D MODEL ADJUSTMENT
CN113504063B (zh) 一种基于多轴机械臂的立体空间触屏设备可视化测试方法
CN118081764A (zh) 一种基于深度学习的视觉检测及抓取方法
US11620479B2 (en) System for determining diverting availability of object recognition model
Lee et al. Robust multithreaded object tracker through occlusions for spatial augmented reality
CN118802992A (zh) 一种机器人远程控制方法及系统
KR20230094903A (ko) 머니퓰레이터 움직임에 따른 모바일 로봇 리프트 자세 위험감지장치
KR102800405B1 (ko) 컴퓨터 비전을 활용한 로봇팔 티칭 장치 및 방법
US10379620B2 (en) Finger model verification method and information processing apparatus
CN118212294B (zh) 基于三维视觉引导的自动化方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7200610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150