JP2017181228A - 計測装置、計測方法及び物品の製造方法 - Google Patents

Abstract

【課題】重なり合った対象物の計測に有利な計測装置を提供する。【解決手段】撮像により得られた画像に基づいて被検物４の位置および姿勢の計測を行う演算処理部３を有する計測装置であって、演算処理部３は、画像に基づいて被検物４が置かれている面の特定を行い、面の特定に基づいて被検物４の位置および姿勢の計測を行う。演算処理部３は、被検物４と他の物体との重なりがあるか判定を行い、重なりがあるかの判定に基づいて面の特定を行う。【選択図】図１

Description

本発明は、計測装置、計測方法及び物品の製造方法に関する。

近年、ロボットが工業製品の組立などの複雑なタスクを行うようになりつつあり、ロボットが当該タスクを行うには操作対象物の位置姿勢の計測（認識）が必要となる。対象物の位置姿勢を計測する技術として、カメラでの撮像により得られた濃淡画像と距離画像との両方を利用する方法がある。距離画像を取得するためには、例えばパターンを投影する手段が必要となる為、装置のコストが上昇してしまう。安価な装置構成で位置姿勢を認識したい場合、濃淡画像のみを利用する方法が望ましいが、距離画像を用いない為、誤計測が生じやすい。誤計測を低減する為、特許文献１は、平面上での対象物の安定姿勢を予め登録しておき、登録した安定姿勢のうち濃淡画像データに最も合致（整合）する安定姿勢を選択し、当該安定姿勢を初期姿勢としてより正確な位置姿勢を得る方法を開示している。

特許第４９４０７１５号公報

しかしながら、特許文献１の方法は、対象物同士の重なりがない状態で対象物が平面上に載置されていることを前提とし、対象物同士の重なりを想定していない。

本発明は、例えば、重なり合った対象物の計測に有利な計測装置を提供することを目的とする。

上記課題を解決するために、本発明の一側面である計測装置は、撮像により得られた画像に基づいて物体の位置および姿勢の計測を行う処理部を有する計測装置であって、前記処理部は、前記画像に基づいて前記物体が置かれている面の特定を行い、該特定に基づいて前記計測を行う。

本発明によれば、例えば、重なり合った対象物の計測に有利な計測装置を提供することができる。

計測装置の構成の一例を示した図である。 被検物の配置状態を示した図である。 位置姿勢の計測処理のフローを示した図である。 撮像画像の分割領域を示した図である。 撮像画像の画素と載置面の対応関係を示した図である。 被検物の三次元モデルと載置面に対して被検物がとり得る姿勢を示した図である。 載置領域の設定方法を示した図である。 輪郭上の二点の最大距離を示した図である。 重なり状態の被検物を示した図である。 高さ制約の例を示した図である。

（第１実施形態）
図１は、本発明の第１実施形態における位置姿勢計測装置の全体図である。本実施形態における位置姿勢計測装置は、濃淡画像を利用して被検物（被計測物）の位置および姿勢を計測する装置である。位置姿勢計測装置は、照明部１、撮像部２及び演算処理部３を有する。照明部１は、被検物４を均一に照明するための照明部であり、例えば、多数のＬＥＤ光源７を撮像部２の光軸中心にリング状に配置したリング照明が用いられる。なお、照明部１はリング照明に限定されるものではなく、バー照明や同軸落斜照明など被検物４を略均一に照明できるものであれば構わない。

撮像部２は、撮像光学系５とイメージセンサー６を含む。撮像光学系５は、照明部１により均一照明された被検物４をイメージセンサー６に結像するための光学系である。また、イメージセンサー６は、被検物４を撮像するための素子であり、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどを用いることができる。演算処理部３（処理部）は、被検物４の位置姿勢を算出するものである。まず、撮像部２によって取得された濃淡画像に対して、Ｃａｎｎｙ法などのエッジ検出アルゴリズムを用いて、被検物４の稜線および輪郭に相当するエッジ情報を抽出し、エッジ検出画像を算出する。続いて、上記のエッジ検出画像を入力画像として、各被検物の位置姿勢をそれぞれ算出する。

図２は、計測対象である被検物４（被計測物）の配置状態の一例を示した図である。本実施形態では、複数の被検物４が載置面２０に載置されている。被検物４は、孤立状態の被検物と、被検物同士が重なった重なり状態の被検物が混在した状態で載置面２０の上に載置されている。載置面２０の形状は、平面に限定されるものではなく、例えば、曲面形状や段差形状など任意の形状であっても構わない。

本実施形態では、被検物の載置面の三次元座標が既知の場合と未知の場合（載置面を特定できる場合とできない場合）の両方が混在する状況下で、位置姿勢の誤検出の発生を最大限抑制する。そのため、通常の位置姿勢推定では、被検物毎にモデルフィッティング時の推定姿勢候補の変更を行わないのに対して、本実施形態では、載置面の三次元座標が既知か否かに応じて被検物ごとに推定姿勢候補を切り替える。載置面の三次元座標が既知の場合には、既知の載置面２０に対して被検物４が安定してとり得る姿勢が重力により限定されるので、部品の形状と載置面の形状情報に基づき、推定姿勢候補の自由度を限定することで推定精度を高めることができる。載置面の三次元座標が未知の場合には、任意の姿勢を推定候補としたモデルフィッティングを行うことで姿勢限定条件に含まれない姿勢も正しく認識することができる。このように被検物の載置面の三次元形状が既知であるか否かに応じて、最適なモデルフィッティング方法を選択する事で、誤検出の発生を抑制することが可能となる。

次に、図３を用いて姿勢候補の設定を事前に行う場合の計測フローを説明する。図３は、被検物４の位置姿勢を計測する処理のフローを示す図である。本実施形態では、予め画像領域毎の安定姿勢を領域分割により設定しておく事でランタイムの部品位置姿勢推定を効率よく行う事ができる。図３において、ステップＳ１〜ステップＳ３は計測前に事前に行っておく工程であり、ステップＳ４〜ステップＳ９のステップは計測時に行うランタイムの処理である。

ステップＳ１は、撮像画像の領域分割を行う工程である。載置面が平面である場合には、撮像画像内のどの領域でも載置面に対してとり得る姿勢候補は変わらないが、載置面が曲面や段差形状の場合には、載置面内で領域毎にとり得る姿勢候補は異なる。載置面内で分割領域毎にとり得る姿勢候補が異なる場合、分割領域毎に被検物がとり得る姿勢候補を予め登録しておく事で計算を効率的に行う事ができる。本工程では、図４で示されるようにイメージセンサー６で撮像される撮像画像の領域分割を行う。図４は、撮像画像の分割領域を示した図である。分割領域４０の大きさは安定姿勢が同一と見なせる載置面領域の大きさで決定されるが、載置面が被検物の供給領域であることを考えると被検物サイズ以下の範囲で安定姿勢が変化するとは考えられない。従って本実施形態では、被検物４のサイズに応じて分割領域４０の大きさを決定し、例えば、イメージセンサー６上で被検物４が１０×１０画素のサイズで撮像される場合には、分割領域４０の大きさは１０×１０画素に設定する。なお、分割領域４０の大きさは、被検物のサイズに合わせることに限定されるものではなく、分割領域は任意のサイズであって構わない。

ステップＳ２は、ステップＳ１で算出した各分割領域に対して載置面の三次元モデルを対応づける工程である。本工程では、まず、既知である載置面の三次元形状モデルとカメラ座標空間上の載置面の位置姿勢情報に基づいて、カメラ座標空間上に配置された載置面の三次元形状モデルをイメージセンサー６の画像平面に射影する。画像平面への射影方法の一例は、ピンホールカメラモデルに基づいた射影である。事前に実施されたキャリブレーションにより得られているカメラの内部パラメータ（焦点距離、主点）と外部パラメータ（位置、姿勢）を用いて載置面の三次元モデルを画像平面に射影する。続いて、図５に示されるように、イメージセンサー６の各画素と上記で画像平面に射影された載置面の三次元モデル５２の対応関係を決定する。イメージセンサー６上の画素番地５０に対応する載置面の領域が、対応領域５１である。そして、上記対応関係に基づいて、ステップＳ１で決定されたイメージセンサー６の各分割領域に対して、カメラ座標空間上の載置面の三次元モデル上の対応領域をそれぞれ決定する。

ステップＳ３は、分割領域毎に載置面に対して被検物がとり得る姿勢を予め登録する工程である。本工程では、前述のステップで載置面の三次元モデルに対応づけられた撮像画像の分割領域ごとに、被検物４の三次元モデルが載置面の三次元モデルに対してとり得る姿勢を登録する。例えば、被検物４の三次元モデルが図６（Ａ）に示される形状の場合には、載置面の三次元モデルに対してとり得る姿勢は図６（Ｂ）に示される計４姿勢となる。ステップＳ４は、被検物４の画像を撮像する工程である。撮像画像は、照明部１により均一照明された被検物４を撮像部２で撮像することにより得られる。

ステップＳ５は、被検物の載置領域を検出する工程である。本工程では、ステップＳ４で取得された撮像画像に基づいて、被検物４が存在する領域を抽出し、載置領域を設定する工程である。被検物が存在しているか否かの判断は、例えば、撮像画像を二値化した二値画像により行われ、被検物のサイズに相当する面積以上の連結領域がある場合には被検物が存在する領域として判断する。そして、連結領域を囲むように載置領域を設定する。図７は、載置領域を示した図である。図７においては、被検物４の反射率が載置面２０に対して高い場合を想定しており、二値化画像において白で表示される被検物４を白、黒で表示される載置面２０をドットで表している。白色のシルエットで表示される被検物４の連結領域を囲むように載置領域８０〜８４が設定されている。

ステップＳ６は、被検物の載置面の三次元座標が既知であるか否か、すなわち、載置面を特定できるか否かの判定を行う工程である。本工程の被検物の載置面の三次元座標が既知であるか否かの判定は、被検物が孤立状態か重なり状態にあるかを判定することにより行われる。被検物が他の被検物に重なっておらず孤立状態にある場合には、被検物は載置面のみに接地されるため、被検物の載置面の三次元座標は既知となる（載置面を特定できる）。一方、被検物同士が重なり状態にある場合には被検物は他の被検物の上に載置されるため、被検物の載置面の三次元座標は未知となる（載置面を特定できない）。

本工程では、被検物が孤立状態か重なり状態にあるかを判定する為に、例えば、ステップＳ５で算出された二値画像のシルエットの面積を算出する。そして、算出されたシルエットの面積が、閾値より大きいか否かを判断する。算出されたシルエットの面積が、閾値より大きい場合には複数の被検物が重なり合った状態にあると判定され、閾値以下である場合には、被検物が孤立状態の単一部品であると判定される。閾値は、例えば、予め設定された被検物４の三次元モデルから想定される被検物４の最大面積であってもよいし、任意に設定された値であってもよい。例えば、図７において、撮像画像から算出された白色のシルエットの面積が想定最大面積に対して大きい場合には、複数の被検物が重なり合った状態にあると判定され、小さい場合には孤立状態の単一部品であると判定される。上記の重なり有無の判定は、ステップＳ５で決定された全ての載置領域に対して行われる。

なお、本実施形態における重なりの有無の判定基準はシルエットの面積に限定されるものではなく、例えば、輪郭上の二点の最大距離（距離の最大値）など、重なりの有無の判定が出来るものであればよい。輪郭上の二点の最大距離（距離の最大値）とは、図８に示されるように、シルエットの輪郭を抽出し、抽出した輪郭上の二点間の距離を算出し、その中での距離が最大となる二点の距離である。算出した輪郭線上の二点間の最大距離が、閾値より長い場合には、複数の被検物が重なり合った状態にあると判定され、閾値以下である場合は、被検物が孤立状態の単一部品であると判定される。この閾値は、例えば、予め設定された被検物４の三次元モデルから想定される被検物４の輪郭上の二点間の最大距離でもよいし、予め設定された任意の長さであっても良い。

ステップＳ６で被検物の載置面の三次元座標が既知と判定された場合はステップＳ７−１に進み、被検物の載置面の三次元座標が未知と判定された場合はステップＳ７−２に進む。
ステップＳ７−１は、載置面に対して被検物がとり得る姿勢を姿勢推定候補に設定する工程である。被検物４が被検物の載置面の三次元座標が既知であると判定された場合には、被検物４は載置面のみに接していることが確定している為、被検物４のとり得る姿勢はステップＳ３で登録した姿勢のいずれかである。そのため、ステップＳ３で登録した載置面に対して被検物がとり得る姿勢を推定姿勢候補として設定する。そして、ステップＳ１で設定された分割領域と被検物の載置領域の対応関係に基づいて、被検物毎に推定姿勢候補を設定する。被検物の載置領域がステップＳ１で設定された複数の分割領域をまたぐ場合には、例えば、複数の分割領域で、登録された全ての姿勢を推定姿勢候補とすればよい。なお、本実施形態において、被検物の載置領域が複数の分割領域をまたぐ場合の推定姿勢候補の設定は上記に限定されるものではなく、例えば、複数の分割領域のうち、一部の分割領域に登録された姿勢を推定姿勢候補としても構わない。

また、本実施形態では、領域毎に予め推定姿勢候補を設定したが、予め設定していない場合には本工程において載置面の三次元座標と被検物形状に基づき推定姿勢候補となる安定姿勢を計算すればよい。事前に姿勢候補が設定できないケースとしては、例えば、被検物同士が重なりあっているが、図９のように下に載置された被検物４Ａの位置姿勢が計測時に特定でき、計測時に被検物４Ｂの載置面の三次元座標が既知となった場合等が想定される。また、被検物がベルトコンベア上に載置され載置面の三次元座標が動的に変化する場合なども想定される。

ステップＳ７−２は、任意の姿勢を姿勢推定候補に設定する工程である。被検物の載置面の三次元座標が未知であると判定された場合には、被検物は他の被検物の上に重なって載置されている為、ステップＳ３で登録した姿勢とは異なる姿勢にあり、被検物の載置領域における載置面の三次元座標を予測する事ができない。そのため、被検物の載置面の三次元座標が未知であると判定された場合には、任意の姿勢を推定姿勢候補として設定する。なお、姿勢の設定分解能は、目標とする姿勢精度に応じて設定される。

最後に、ステップＳ８とステップＳ９により、被検物４の位置姿勢を算出する。位置姿勢の算出は、例えば、概略の位置姿勢を推定する工程と、その概略位置姿勢を初期値としてより高精度に位置算出を推定する工程の二つに分けて行われる。ステップＳ８は、被検物の概略位置姿勢を検出する工程である。本工程では、例えば、アンサンブル分類木のアルゴリズムを用いた手法で被検物の概略位置姿勢を検出する。アンサンブル分類木のアルゴリズムを用いた手法では、まず、事前にいろいろな方向から撮像された被検物の画像を用いて多量の学習パターンを生成し、その学習パターンからアンサンブル分類木を生成する。そして、そのアンサンブル分類木を用いて、多数の姿勢投票面に投票を行い、投票スコアに基づいて各被検物の概略位置姿勢を特定する。なお、被検物の概略位置姿勢を検出する方法は、アンサンブル分類木のアルゴリズムを用いた手法に限られるものではない。また、ステップＳ８は三次元座標が基地であるか否かの判定の前に行ってもよく、ステップＳ４とステップＳ９の間で行えばよい。

ステップＳ９は、被検物の位置姿勢を検出する工程である。本工程では、算出された被検物の概略位置姿勢を初期値として、既知の被検物の三次元モデルを撮像結果にモデルフィッティングすることで高精度に位置算出を推定する。具体的には、ステップＳ８で算出した概略位置姿勢を初期値として、ステップＳ７−１およびステップＳ７−２で設定された姿勢候補のいずれかを推定姿勢候補としてモデルフィッティングを行う。モデルフィッティングは、例えば、被検物の三次元モデルに対して設定された輪郭や稜線に対応する幾何特徴（エッジ）と撮像画像から抽出された幾何特徴（エッジ）の差を用いて、その差が最小となるよう被検物の位置姿勢を推定することで行われる。なお、上述のモデルフィッティングは、ステップＳ５で設定された載置領域ごとに推定姿勢候補を切り替えて行う。

なお、被検物の載置面の三次元座標が既知である場合には、前述の姿勢制約に加えて、図１０に示されるような、重力方向の高さ１００の制限も加えた位置姿勢推定を行うことが可能である。被検物４が孤立状態である場合には、重力により被検物４は載置面に接地しているはずであるので、例えば、高さ１００を被検物４の最大高さに制限する。本実施形態におけるモデルフィッティングは、被検物の姿勢制約のみに限定したものではなく、姿勢制約に加え上記の高さの制約も加えるものであっても構わない。

また、載置面が球面であるなど、載置面の位置ごとに被検物のとり得る姿勢が変わる場合は、載置面が平面であることを前提としている位置姿勢の計測方法では、被検物同士の重なりがなくても、被検物の位置姿勢を誤計測してしまう恐れがある。これに対し、ステップＳ１からステップＳ５、ステップＳ７−１、ステップＳ８、ステップＳ９を行うことで、画像上の領域と載置面の三次元座標を対応付け、分割領域ごとに被検物の姿勢推定候補を限定することで、誤計測を抑制できる。この場合には、ステップＳ６の判定は行われない。

以上のように、本実施形態によれば、位置姿勢の計測に濃淡画像のみを利用した場合に被検物同士が重なりあった状態であっても、被検物の位置姿勢の誤計測を抑制する計測装置を提供することができる。なお、本実施形態は濃淡画像を利用した位置姿勢計測装置に対して特に有効な技術であるが、これに限定されるものではなく、距離画像を利用した位置姿勢計測装置や濃淡画像と距離画像の両方を利用した位置姿勢計測装置に適用しても構わない。

（物品の製造方法に係る実施形態）
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、当該工程で計測を行われた物体または当該工程で計測を行われるべき物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも１つにおいて有利である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１ 演算処理部
４ 被検物
２０ 載置面

Claims (11)

1. 撮像により得られた画像に基づいて物体の位置および姿勢の計測を行う処理部を有する計測装置であって、
   前記処理部は、前記画像に基づいて前記物体が置かれている面の特定を行い、該特定に基づいて前記計測を行うことを特徴とする計測装置。
2. 前記処理部は、前記物体と他の物体との重なりがあるか判定を行い、該判定に基づいて前記特定を行うことを特徴とする請求項１に記載の計測装置。
3. 前記処理部は、前記重なりがあると前記判定が行われなかった場合、前記特定を行うことを特徴とする請求項２に記載の計測装置。
4. 前記処理部は、前記画像から前記物体に対応する領域の抽出を行い、該領域の面積に基づいて前記判定を行うことを特徴とする請求項２または請求項３に記載の計測装置。
5. 前記処理部は、前記画像から前記物体に対応する領域の抽出を行い、該領域の輪郭における二点間の距離の最大値に基づいて前記判定を行うことを特徴とする請求項２または請求項３に記載の計測装置。
6. 前記処理部は、前記画像に対する二値化により前記抽出を行うことを特徴とする請求項４または請求項５に記載の計測装置。
7. 前記処理部は、前記重なりがあると前記判定が行われた場合でも、前記他の物体の位置および姿勢が既知である場合には、前記特定を行うことを特徴とする請求項２に記載の計測装置。
8. 前記処理部は、前記特定を行った場合、前記特定により得られた面に対して前記物体のとり得る位置および姿勢のみを候補として前記計測を行うことを特徴とする請求項１ないし７のうちいずれか１項に記載の計測装置。
9. 前記処理部は、前記画像を分割して得られる複数の領域それぞれに予め対応付けられた前記とり得る位置及び姿勢を取得することを特徴とする請求項８に記載の計測装置。
10. 撮像により得られた画像に基づいて物体の位置および姿勢の計測を行う計測方法であって、
    前記画像に基づいて前記物体が置かれている面の特定を行い、
    前記特定に基づいて前記計測を行う、
    ことを特徴とする計測方法。
11. 請求項１ないし請求項９のうちいずれか１項に記載の計測装置を用いて物体の位置および姿勢の計測を行う工程と、
    前記工程で前記計測が行われた前記物体を処理する工程と、を含む
    ことを特徴とする物品の製造方法。
    

Images