JP2010256209A - 袋状ワーク認識装置および方法 - Google Patents

Abstract

【課題】不定形な袋状ワークを対象とし、ピッキングする袋状ワークの位置と姿勢を高い精度で検出することができる袋状ワーク認識装置および方法を提供する。
【解決手段】表面が滑らかな複数の袋状ワーク１の３次元形状を計測する距離センサ１２と、３次元形状からピッキングする袋状ワークの位置と姿勢を認識してロボット制御装置にその結果を出力する物体認識処理装置とを備えた袋状ワーク認識装置。物体認識処理装置は、３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する。
【選択図】図５

Description

本発明は、袋状ワーク認識装置および方法に関する。

本出願において、「袋状ワーク」とは、米袋、セメント袋、肥料袋、等、凹凸の少ない滑らかな袋に粒状物を梱包したものをいう。このような、袋状ワークをピッキング対象（ワーク）とし、ワークの把持および搬送を行う場合、従来、ワークの認識を行わず、ピッキングするワークの位置をティーチングし、ロボットでピッキングを行っていた。しかし、この場合、ティーチング位置にワークを並べる必要があり、ずれが生じた場合に対応することができない問題点があった。
そこで、バラ積み状態のワークの位置姿勢を認識し、ワークの把持および搬送を行う手段として、特許文献１〜４が既に提案されている。

特許文献１は、レーザレーダやステレオカメラなどのセンサを用いて計測した３次元データの中から、登録された形状と似た形状を探索するものである。
特許文献２は、センサを用いて計測した２次元データあるいは３次元データの中から、特徴的な直線、円などの幾何学的な特徴や輪郭などの特徴を、登録しておいたワークのデータと比較し、探索するものである。

特許文献３は、デパレタイズを対象とした認識手法であり、照明装置を取り付け、影を発生させて、エッジを抽出し輪郭を認識する。直方体を仮定しているため、エッジは角にて直交することを利用し、直線にフィッティングを行っている。ステレオカメラなどによる高さ情報を物品選択に利用することや、スリット光を投影して撮像しエッジを得る方法も併用されている。
特許文献４では、スリット光を照射して撮像し、形状を得、次に袋と袋の間付近で形状を直線フィッティングし、袋の間の断面をＶ字で表現した特徴空間を利用し、袋と袋の境界を認識している。

特開２００８−３０９６７１号明細書、「物体認識方法および装置」 特開平９−２１２６４３号明細書、「３次元物体認識方法及びその装置」 特許第３８４９５１４号明細書、「物品位置認識装置」 特許第３９１９９３２号明細書、「袋状ワーク姿勢検出装置」

上述した特許文献１では、認識するワークを事前に登録する必要がある。また、対象物（ワーク）が袋のように不定形の場合には対応できない。
特許文献２では、幾何学的な特徴がない場合に認識することができない。袋状ワークは上から見ると長方形に見え、幾何学的な特徴として利用できるが、完全な長方形でなく不定形状である。従って、認識できない場合やフィッティングによる計算時間がかかる場合がある。

特許文献３では、対象とする形を直方体のようなものに仮定しているため、袋状のものには利用できない。特に、エッジを直線にフィッティングしているが、袋は丸みを帯びているためフィッティングが難しく、誤検出が発生する可能性がある。
特許文献４では、袋と袋の間を認識しているため、平面上での位置、回転のみしか知ることができない。従って、３次元上の姿勢を知ることができず、積まれた袋が崩れた場合などには認識できない。

本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、不定形な袋状ワークを対象とし、ピッキングする袋状ワークの位置と姿勢を高い精度で検出することができる袋状ワーク認識装置および方法を提供することにある。

本発明によれば、複数の袋状ワークの３次元形状を計測する距離センサと、
前記３次元形状からピッキングする袋状ワークの位置と姿勢を認識してロボット制御装置にその結果を出力する物体認識処理装置とを備えた袋状ワーク認識装置であって、
前記物体認識処理装置は、前記３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する、ことを特徴とする袋状ワーク認識装置が提供される。

本発明の実施形態によれば、前記物体認識処理装置は、３次元形状の隣接する計測点との距離を利用してメッシュを生成するメッシュ生成装置と、
前記メッシュ上の各計測点に対し、隣接する計測点までの距離が所定の第１閾値以上の計測点に異なるラベル値を割り当てる第１ラベル割当装置と、
前記メッシュ上の各計測点に対し、隣接する計測点での法線ベクトルの角度差が所定の第２閾値以上の計測点に異なるラベル値を割り当てる第２ラベル割当装置と、
前記複数のラベル値からピッキングする袋状ワークのラベル値を選択し、その袋状ワークのピッキングに必要な情報をロボット制御装置に出力する情報出力装置とを備える。

前記ピッキングする袋状ワークのラベル値の選択は、ラベルが割り当てられた複数の袋状ワークの中で、位置が最も高いもの、面積が最も広いもの、姿勢が最も水平であるもの、又は姿勢が最も傾いているものである。
また、ピッキングに必要な前記情報は、選択した袋状ワーク毎のピッキング位置、重心座標などの、又は幅寸法などの形状である。

また本発明によれば、表面が滑らかな複数の袋状ワークの３次元形状を計測し、
前記３次元形状からピッキングする袋状ワークの位置と姿勢を認識してロボット制御装置にその結果を出力する袋状ワーク認識方法であって、
前記３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する、ことを特徴とする袋状ワーク認識方法が提供される。

本発明の実施形態によれば、３次元形状の隣接する計測点との距離を利用してメッシュをはり、
前記メッシュ上の各計測点に対し、
隣接する計測点までの距離が所定の第１閾値以上の計測点に異なるラベル値を割り当て、
かつ隣接する計測点での法線ベクトルの角度差が所定の第２閾値以上の計測点に異なるラベル値を割り当て、
前記複数のラベル値からピッキングする袋状ワークのラベル値を選択し、その袋状ワークのピッキングに必要な情報をロボット制御装置に出力する。

本発明の装置及び方法によれば、物体認識処理装置を備え、複数の袋状ワークの３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識するので、不定形な袋状ワークであっても、ピッキングする袋状ワークの位置と姿勢を高い精度で検出することができる。

従って、本発明の装置及び方法により以下の効果が得られる。
（１） ティーチングを必要としないため、距離センサの計測範囲内に袋状ワークが存在すれば、袋状ワーク毎に位置がずれていてもピッキングができる。
（２） 距離センサで取得した３次元形状のデータ処理のみでピッキングする袋状ワークの位置と姿勢の認識を行うため、認識する袋状ワークの形状を事前に登録する必要がない。
（３） 袋状ワークごとに異なるラベル値を割り当てて、各袋状ワーク認識するため、形状変化があっても安定して認識可能である。また、幾何学的な特徴のフィッティングを利用しないため一定の計算時間で認識可能である。
（４） 袋状ワークに対し形状（例えば直方体）を仮定してないので直線などへのフィテッィング処理はなく、不定形状に対応できる。
（５） 出力されたラベル値の点群の座標から３次元的な姿勢を知ることができる。従って、最も水平なものを選択することや、積まれた袋が崩れて傾いているものを選択するなども可能になる。

本発明の袋状ワーク認識装置を備えたピッキングシステムの全体構成図である。 センサから見たワークの模式図である。 水平方向から見た図１の装置の模式図である。 図１のピッキングシステムの作動フロー図である。 図４における認識アルゴリズムのフロー図である。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明の袋状ワーク認識装置を備えたピッキングシステムの全体構成図である。
この図において、１はワーク、２はロボット、３はロボットハンド、４はハンド制御部、５はロボット制御部、６は総括処理部であり、ロボット制御装置７はロボット制御部５と総括処理部６からなる。

ワーク１は、例えば米袋、セメント袋、肥料袋、等、凹凸のない滑らかな袋に粒状物を梱包した袋状ワークであり、計測用の台８の上に複数が積載されている。ワーク１の積載状態は、ランダムであってもよい。また、計測用台８は、固定されている必要はなく、例えば計測時間が短いなど、後述する３次元形状の計測に支障が生じない限りで、コンベア装置等であってもよい。

ロボット２は、例えば多関節３次元ロボットであり、ロボットハンド３を所定のワーキングエリア内で６自由度の位置及び姿勢を制御できるようになっている。なお、ロボット２は、多関節３次元ロボットに限定されず、その他のロボットであってもよい。
ロボットハンド３は、例えば真空による吸着パッド、開閉機構を有する把持装置、或いはこれらの複合装置であり、ピッキングする袋状ワーク１の上面を吸着又は把持して、１つずつ持ち上げ、別の位置まで保持するようになっている。

ハンド制御部４は、総括処理部６から受信する把持指令９ａに応じてロボットハンド３に制御信号を出力し、ロボットハンド３から位置信号を受信してこれを総括処理部６へ送信する。
なおハンド制御部４は必須ではなくこれを省略し、その機能を総括処理部６に含ませてもよい。

ロボット制御部５は、総括処理部６から受信したピッキングする袋状ワークの位置と姿勢に基づき、ロボット２を制御し、ロボットハンド３によりピッキングする袋状ワーク１の上面を吸着又は把持して、１つづ持ち上げ、別の位置まで保持して搬送する。

総括処理部６は、本発明の袋状ワーク認識装置１０から受信したピッキングする袋状ワークの位置と姿勢をロボット制御部５に送信する。

図１において、本発明の袋状ワーク認識装置１０は、距離センサ１２、センサ制御部１４、及び物体認識処理装置１６からなる。

距離センサ１２は、表面が滑らかな複数の袋状ワーク１の３次元形状を計測する。
この例において、距離センサ１２は、レーザレーダであり、計測用台８の上方に位置し、複数の袋状ワーク１の３次元形状を上方から計測する。また、距離センサ１２の高さ及び姿勢を制御する移動・回転機構１３（例えば直動テーブルや回転テーブル）を備え、距離センサ１２の姿勢を自由に変え、視野を調節できるようになっている。
例えば、対象が小さいときに近づいて計測し、対象が大きいときに遠ざかって計測して、視野を適正化するようになっている。

なお、距離センサ１２は、レーザレーダに限定されず、ワークまでの距離を検出できるように、一定の間隔を隔てたステレオカメラであってもよい。
また、単眼のカメラで３次元形状を計測するフォトメトリックステレオであってもよい。この場合、単色の球体のバラ積みを認識するような場合に、球体周辺部は陰影により暗く、球体内部は明るくなる。従って、このとき撮影した画像のプロファイルを３次元形状のＺ座標に相当するものと考えれば、単眼のカメラで単色の球体を計測することができる。

センサ制御部１４は、物体認識処理装置１６から姿勢制御信号９ｂを受信しこの信号を距離センサ１２に出力して距離センサ１２の高さ及び姿勢を制御し、かつ距離センサ１２で計測した複数の袋状ワーク１の３次元形状（センサデータ９ｃ）を受信し、物体認識処理装置１６に送信する。
なおセンサ制御部１４は必須ではなくこれを省略し、その機能を物体認識処理装置１６に含ませてもよい。

物体認識処理装置１６は、距離センサ１２で計測した３次元形状からピッキングする袋状ワーク１の位置と姿勢を認識してロボット制御装置７にその結果を出力する機能を有する。
物体認識処理装置１６は、この例ではＰＣ（コンピュータ）である。なお、上述したロボット制御装置７（ロボット制御部５と総括処理部６）、及びセンサ制御部１４を同一のＰＣで構成しても、それぞれ独立のＰＣで構成してもよい。

図２は、距離センサ１２の位置から見たワークの模式図である。
この図において、表面が滑らかな複数の袋状ワーク１を距離センサ１２の位置から見た場合、ワーク１の積載状態がランダムであっても、ワーク同士が接する境界部分１ａを正確に検出し、個々のワークの位置及び姿勢を正確に認識する必要がある。なお、この図において、Ｘ軸とＹ軸は、水平面における直交軸である。

図３は、水平方向から見た図１の装置の模式図である。図３（Ａ）は、図２のＹ軸方向から見た場合を示している。また、図３（Ｂ）はワーク同士が接する境界部分１ａの拡大図である。
図３（Ｂ）からわかるように、対象物が袋状ワーク１の場合、隣のワークとの境界部分１ａの法線ベクトルの角度には必ず不連続な部分が存在する。本発明は、この不連続部分をラベル値の境界とし、ラベリングを行うことにより袋ごとに１つのラベル値が得られるので、このラベル値を持つ点群の座標によって袋（ワーク）の位置や姿勢を認識する。

図４は、図１のピッキングシステムの作動フロー図である。
この図において、このピッキングシステムは、Ｓ１〜Ｓ５の各ステップ（工程）からなる。

ステップＳ１では、計測する対象（袋状ワーク１）が距離センサ１２の視野（計測範囲）に適切に入るように距離センサ１２の高さと姿勢を調整する。適切とはワーク１の全体が視野内に入り、かつ、十分な大きさで写っており、以後の認識処理に対応できる解像度をもつことである。姿勢の調整方法はフィードバックなどによる自動調整によるのが好ましいが、手動によってもよい。
ステップＳ２では、距離センサ１２により３次元形状を取得する。ここでの３次元形状は３次元座標を持つ各点が集合した点群を想定している。

ステップＳ３では、３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する。
ステップＳ４では、統括処理部に認識の結果から必要な情報を送る。必要な情報とは認識した物体の数や、各認識した物体の位置、姿勢情報などである。
ステップＳ５では、統括処理部はピッキングするワークを、ロボット制御部とハンド制御部を通じてロボットとハンドを制御し、指定した座標の点でピッキングする。

図５は、図４における認識アルゴリズムのフロー図である。
この図において、認識アルゴリズムは、Ｓ３１〜Ｓ３４の各ステップ（工程）からなる。
ステップＳ３１では、距離センサ１２で取得した計測データ（３次元形状）のノイズ除去を、例えばメディアンフィルタなどで行う。このステップは省略してもよい。
ステップＳ３２では、計測データ（３次元形状）の隣接する計測点との距離を利用してメッシュ（例えば３角メッシュ）をはる（生成する）。このメッシュ生成により、３次元形状を３Ｄで把握することができる。

ステップＳ３２では、メッシュ上の各計測点に対し、下記の条件１，２を満たすようにラベル値を設定する。
条件１：隣接する計測点までの距離が所定の第１閾値以上の計測点に異なるラベル値を割り当てる。
条件２：隣接する計測点での法線ベクトルの角度差が所定の第２閾値以上の計測点に異なるラベル値を割り当てる。
ここで、ラベル値は、任意の数字または記号である。

ステップＳ３３では、前記複数のラベル値からピッキングする袋状ワーク１のラベル値を選択し、その袋状ワーク１のピッキングに必要な情報をロボット制御装置に出力する。

上述した本発明の装置及び方法によれば、物体認識処理装置１６を備え、複数の袋状ワーク１の３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワーク１の境界とみなして袋状ワーク１ごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワーク１の位置と姿勢を認識するので、不定形な袋状ワークであっても、ピッキングする袋状ワークの位置と姿勢を高い精度で検出することができる。

従って、本発明の装置及び方法により以下の効果が得られる。
（１） ティーチングを必要としないため、距離センサ１２の計測範囲内に袋状ワーク１が存在すれば、袋状ワーク毎に位置がずれていてもピッキングができる。
（２） 距離センサ１２で取得した３次元形状のデータ処理のみでピッキングする袋状ワークの位置と姿勢の認識を行うため、認識する袋状ワークの形状を事前に登録する必要がない。
（３） 袋状ワーク１ごとに異なるラベル値を割り当てて、各袋状ワーク認識するため、形状変化があっても安定して認識可能である。また、幾何学的な特徴のフィッティングを利用しないため一定の計算時間で認識可能である。
（４） 袋状ワーク１に対し形状（例えば直方体）を仮定してないので直線などへのフィテッィング処理はなく、不定形状に対応できる。
（５） 出力されたラベル値の点群の座標から３次元的な姿勢を知ることができる。従って、最も水平なものを選択することや、積まれた袋が崩れて傾いているものを選択するなども可能になる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

１ ワーク（袋状ワーク）、１ａ 境界部分、
２ ロボット、３ ロボットハンド、
４ ハンド制御部、５ ロボット制御部、
６ 総括処理部、７ ロボット制御装置、
８ 計測用台、
１０ 袋状ワーク認識装置、
１２ 距離センサ、１３ 移動・回転機構、
１４センサ制御部、１６ 物体認識処理装置

Claims (5)

1. 複数の袋状ワークの３次元形状を計測する距離センサと、
   前記３次元形状からピッキングする袋状ワークの位置と姿勢を認識してロボット制御装置にその結果を出力する物体認識処理装置とを備えた袋状ワーク認識装置であって、
   前記物体認識処理装置は、前記３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する、ことを特徴とする袋状ワーク認識装置。
2. 前記物体認識処理装置は、３次元形状の隣接する計測点との距離を利用してメッシュを生成するメッシュ生成装置と、
   前記メッシュ上の各計測点に対し、隣接する計測点までの距離が所定の第１閾値以上の計測点に異なるラベル値を割り当てる第１ラベル割当装置と、
   前記メッシュ上の各計測点に対し、隣接する計測点での法線ベクトルの角度差が所定の第２閾値以上の計測点に異なるラベル値を割り当てる第２ラベル割当装置と、
   前記複数のラベル値からピッキングする袋状ワークのラベル値を選択し、その袋状ワークのピッキングに必要な情報をロボット制御装置に出力する情報出力装置とを備える、ことを特徴とする請求項１に記載の袋状ワーク認識装置。
3. 前記ピッキングする袋状ワークのラベル値の選択は、ラベルが割り当てられた複数の袋状ワークの中で、位置が最も高いもの、面積が最も広いもの、姿勢が最も水平であるもの、又は姿勢が最も傾いているものの少なくともいずれか1つであり、
   ピッキングに必要な前記情報は、選択した袋状ワーク毎のピッキング位置、重心座標、又は寸法である、ことを特徴とする請求項２に記載の袋状ワーク認識装置。
4. 表面が滑らかな複数の袋状ワークの３次元形状を計測し、
   前記３次元形状からピッキングする袋状ワークの位置と姿勢を認識してロボット制御装置にその結果を出力する袋状ワーク認識方法であって、
   前記３次元形状の法線ベクトルの角度から、その不連続部分を袋状ワークの境界とみなして袋状ワークごとに異なるラベル値を割り当て、各ラベル値ごとに袋状ワークの位置と姿勢を認識する、ことを特徴とする袋状ワーク認識方法。
5. ３次元形状の隣接する計測点との距離を利用してメッシュをはり、
   前記メッシュ上の各計測点に対し、
   隣接する計測点までの距離が所定の第１閾値以上の計測点に異なるラベル値を割り当て、
   かつ隣接する計測点での法線ベクトルの角度差が所定の第２閾値以上の計測点に異なるラベル値を割り当て、
   前記複数のラベル値からピッキングする袋状ワークのラベル値を選択し、その袋状ワークのピッキングに必要な情報をロボット制御装置に出力する、ことを特徴とする請求項４に記載の袋状ワーク認識方法。

Images