JP6167760B2 - 物品位置認識装置 - Google Patents

Description

本発明は、内側面が平坦に形成されて上面が開放された容器を上方から撮像する撮像部と、前記撮像部が撮像した撮像画像に基づいて、前記容器に収容された物品の位置を認識する物品位置認識処理を実行する物品位置認識部と、を備えた物品位置認識装置に関する。

かかる物品位置認識装置は、例えば、容器に収容された物品をピッキングロボットでピッキングするピッキング設備において、容器内におけるピッキング対象の物品の位置を認識する等の目的で用いられるものである（例えば、特許文献１参照）。

特開２０１０−１２５６７号公報

上記特許文献１には記載されていないが、例えば、容器が、内側面が平坦に形成されたプラスチックケース等である場合、撮像部が撮像した撮像画像において、物品が壁面に映り込んで反射虚像が生じることがある。従来の物品位置認識装置は、このような反射虚像が生じると、反射虚像を現実の物品の像（実像）と誤認してしまい、現実の物品の位置からずれた位置を物品の位置として認識してしまう事態が生じる虞があった。このような事態が生じると、例えば上記特許文献１のようなピッキング設備では、ピッキングロボットの物品支持部分が容器の内側面と干渉したりして、物品を適正にピッキングできなくなる虞がある。

そこで、撮像画像において容器の内側面に映り込んだ物品の反射虚像に影響されることなく、容器内での物品の位置を適切に認識することができる物品位置認識装置の実現が望まれる。

上記課題を解決するための本発明にかかる物品位置認識装置は、内側面が平坦に形成されて上面が開放された容器を上方から撮像する撮像部と、前記撮像部が撮像した撮像画像に基づいて、前記容器に収容された物品の位置を認識する物品位置認識処理を実行する物品位置認識部と、を備えたものであって、
前記撮像部は、２つの撮像レンズを有し、水平方向に異なる位置からの２つの画像を撮影可能なステレオカメラであり、
前記物品位置認識部は、前記撮像画像から現実の物品が存在し得る物品存在領域を抽出して、抽出した領域に対して前記物品位置認識処理を実行し、
前記容器内の物品の上面のうち最も高い位置に位置する物品の上面の高さを検出する上面高さ検出部が設けられ、
前記物品位置認識部は、前記上面高さ検出部が検出した物品の上面を含む平面と、前記容器の内側面との交線である仮想枠線を前記撮像画像に設定し、前記撮像画像における前記仮想枠線よりも内方の領域を前記物品存在領域として抽出する。
点を特徴とする。

この構成によれば、撮像部が撮像した撮像画像から現実の物品が存在し得る物品存在領域を抽出して、その領域に対して物品位置認識処理を実行するものであるから、撮像画像において容器の内側面に反射虚像が生じていたとしても、撮像画像から反射虚像を排除した状態で物品位置認識処理を実行することができる。
このため、撮像画像において容器の内側面に映り込んだ物品の反射虚像に影響されることなく、容器内での物品の位置を適切に認識することができる。

上述したように、本発明に係る物品位置認識装置は、前記容器内の物品の上面のうち最も高い位置に位置する物品の上面の高さを検出する上面高さ検出部が設けられ、前記物品位置認識部は、前記上面高さ検出部が検出した物品の上面を含む平面と、前記容器の内側面との交線である仮想枠線を前記撮像画像に設定し、前記撮像画像における前記仮想枠線よりも内方の領域を前記物品存在領域として抽出する。

例えば、上述したピッキング設備においては、ピッキングロボットの取出し作用部と物品との干渉を避けるために、容器内の物品のうち最も高い位置に位置する物品から順次ピッキングすることが好ましい。
本構成によれば、撮像画像において、容器内の物品の上面のうち最も高い位置に位置する物品の上面を含む平面と、容器の内側面との交線である仮想枠線よりも内方の領域を物品存在領域として抽出するため、物品存在領域には、容器内の物品のうち最も高い位置に位置する物品を含めて容器内に存在する全ての物品が包含されることになる。
このように、本構成によれば、容器内の物品のうち最も高い位置に位置する物品が存在する領域を、適切に認識対象とすることができる。

物品位置認識装置が備えられたピッキング設備の全体斜視図 ピッキング設備の制御ブロック図 物品が収容された容器の撮像画像を示す図 上面高さ検出部が高さを検出するために用いるヒストグラムを示す図 物品位置認識部が実行する制御のフローチャート 物品を複数段収容する場合の各段における上面高さに対応する仮想枠線を示す図 物品存在領域の抽出結果を示す図 物品が収容されていない容器の撮像画像を示す図 容器の底部上面と内側面との境界を仮想枠線とした場合を比較例として示す図

本発明の物品位置認識装置をピッキング設備に適用した場合の実施形態を、図面に基づいて説明する。
図１は、ピッキングロボットＰを備えるピッキング設備の斜視図である。ピッキングロボットＰは、搬送コンベヤ２２Ｃの搬送経路の側脇に設置されている。搬送コンベヤ２２Ｃは、上位管理装置Ｈｕ（図２参照）からの指令にしたがって自動倉庫（図示省略）から出庫されたコンテナＣを搬送する。コンテナＣは、上面が開放されており、コンテナＣの内部に収容された物品Ｂを上方から取り出し自在に構成されている。ピッキングロボットＰは、搬送コンベヤ２２Ｃの搬送経路における所定の停止位置（ピッキング用停止位置）に位置するコンテナＣから、物品Ｂを、後述する吸着支持部４０を用いて取り出すように構成されている。本実施形態では、コンテナＣが容器に相当する。コンテナＣの内部には、同一種別の物品が複数収容されるようになっている。

ピッキングロボットＰは、ピッキングエリアの床面に固設される台座部３０と、上昇下降移動及び鉛直軸心回りでの回動が自在な支持シリンダ３１と、支持シリンダ３１の上端でかつ水平面に沿う水平軸３６に軸支されて、水平軸３６を揺動軸として揺動自在な第１アーム３２と、第１アーム３２の水平軸３６とは逆側の端部に設けられる水平軸３７を揺動軸として揺動自在な第２アーム３３と、第２アーム３３の水平軸３７とは逆側の端部に設けられる水平軸３８を揺動軸として揺動自在な回動軸部材３４とを備えた移動機構と、物品Ｂの上面部に吸着作用する吸着部が複数配設された吸着支持部４０と、を備えて構成されている。

搬送コンベヤ２２Ｃにおけるピッキング用停止位置の上方には、撮像部５０が備えられている。撮像部５０は、搬送コンベヤ２２Ｃの搬送面に載置されてピッキング用停止位置に位置している状態のコンテナＣの内部を上方から撮像自在な位置に固定設置されている。また、撮像部５０は２つの撮像レンズを備えるステレオカメラで構成され、水平方向に異なる位置からの２つの画像を同時期に撮像することができるように構成されている。

図２に示すように、制御部Ｈは、例えば演算装置と記憶装置とを備えたコンピュータにて構成されており、記憶装置に記憶したプログラムを実行することによって、各種の制御を実行するようになっている。
制御部Ｈには、撮像部５０、ピッキングコントローラＨｐ、及び、上位管理装置Ｈｕが制御部Ｈと相互に通信自在に接続されている。
撮像部５０は、制御部Ｈからの指令によって画像を撮像するとともに、撮像した画像を制御部Ｈに送信可能に構成されている。
ピッキングコントローラＨｐは、ピッキングロボットＰの移動機構及び吸着支持部４０の作動を制御自在に構成されている。

上位管理装置Ｈｕは、ピッキング作業全体のスケジュールを管理している。そして、上位管理装置Ｈｕによってピッキングをすべき物品Ｂが指定されると、図示しない自動倉庫用のコントローラ及び搬送コンベヤ２２Ｃ用のコントローラ等が、該当する物品Ｂを収容したコンテナＣを自動倉庫から出庫して搬送コンベヤ２２Ｃにおけるピッキング用停止位置まで搬送すべく自動倉庫の各種搬送装置及び搬送コンベヤ２２Ｃの作動を制御する。

制御部Ｈは、上位管理装置Ｈｕから物品の取り出し指令に基づいてコンテナＣが搬送コンベヤ２２Ｃのピッキング用停止位置に搬送されると、取出し作動指令をピッキングコントローラＨｐに指令する。そして、ピッキングコントローラＨｐが上記取出し作動指令に従ってピッキングロボットＰを作動させることで、ピッキングロボットＰによって物品ＢをコンテナＣから取り出すことができる。制御部Ｈは、取出し作動指令を指令するに当たり、ピッキング対象の物品ＢがコンテナＣ内のどの位置に存在するかをピッキングコントローラＨｐに教示する。このため、制御部Ｈは、ピッキング対象の物品ＢがコンテナＣ内のどの位置に存在するかを認識する必要がある。
物品位置認識装置は、ピッキング対象の物品ＢがコンテナＣ内のどの位置に存在するかを認識するために用いられるものであり、本実施形態においては、制御部Ｈと撮像部５０とから物品位置認識装置が構成されている。

図２に示すように、制御部Ｈには、プログラムモジュールとして、物品位置認識部Ｈ１と、上面高さ検出部Ｈ２とを備えている。
物品位置認識部Ｈ１は、撮像部５０にて撮像した撮像画像（コンテナＣを上方から撮像した画像。図３参照。）に基づいて、コンテナＣに収容された物品Ｂの位置を認識する物品位置認識処理を実行する。物品位置認識処理は、上位管理装置Ｈｕから取り出し対象の物品Ｂの種別が指令されたときに、その物品Ｂに対応するテンプレート画像を記憶装置からロードし、撮像画像に対するテンプレート画像のパターンマッチングを実行することによって、その撮像画像における物品Ｂの位置（例えば、物品Ｂが上面視で矩形の物品である場合、コンテナＣの特定の角部を原点とする座標系における物品Ｂの中心座標、物品Ｂの上面矩形の大きさ、及び物品Ｂの姿勢）を認識する処理である。

上面高さ検出部Ｈ２は、撮像部５０にて撮像した撮像画像に基づいて、その撮像画像における物品Ｂの上面のうち最も高い位置に位置する物品の上面の高さを検出する上面高さ検出処理を実行する。
具体的には、撮像部５０が撮像した２枚の撮像画像に基づいて、画素（ピクセル）ごとの撮像部５０からの距離を算出し、撮像部５０が設置されている高さから算出された上記距離を減算することで、各ピクセル毎の高さを算出し、高さとピクセル数との相関をグラフ化する（図４参照）。このグラフにおいて、ノイズ除去のための演算（例えば、平滑化微分等）を行った後、ピクセル数のピークとなる部分（図４においては高さＴ１、高さＴ２、高さＴ３）を検出する。図４において、高さＴ１に位置するピクセル群は、撮像画像においてコンテナＣの上縁部に対応するピクセルの集合であり、高さＴ３に位置するピクセル群は、撮像画像においてコンテナＣに収容される物品Ｂのうち最も上面が高い物品Ｂよりも低い位置に位置する物品Ｂの上面に対応するピクセルの集合である。そして、高さＴ２に位置するピクセル群は、撮像画像においてコンテナＣに収容される物品Ｂのうち最も上面が高い物品Ｂの上面に対応するピクセルの集合である。上面高さ検出部Ｈ２は、高い方から２つ目のピークの高さＴ２を、コンテナＣ内の物品Ｂの上面のうち最も高い位置に位置する物品Ｂの上面の高さとして検出する。
すなわち、上面高さ検出部Ｈ２は、コンテナＣ内の物品Ｂの上面のうち最も高い位置に位置する物品Ｂの上面の高さＴ２を検出する。

本実施形態において、コンテナＣはプラスチックで形成され、その内側面Ｃｎは平坦に形成されている。一般に、プラスチック製のコンテナＣの内側面は平滑度が高いため、図３に示すように、物品に反射した光等が映り込み、物品の反射虚像Ｂｋを生じ易いものとなっている。
反射虚像Ｂｋが生じた状態のまま、物品位置認識部Ｈ１にて物品の位置を認識すると、反射虚像Ｂｋを現実の物品Ｂの像（実像）と認識してしまい、実像からずれた位置を物品Ｂの位置として認識してしまう虞がある。

そこで、本実施形態では、物品位置認識部Ｈ１が、撮像画像から現実の物品Ｂが存在し得る物品存在領域を抽出して、抽出した領域に対して物品位置認識処理を実行するように構成している。
以下、物品位置認識装置の制御部Ｈが実行する処理を、図５のフローチャートに基づいて説明する。

制御部Ｈは、ピッキング用停止箇所にコンテナＣが到達したことを、搬送コンベヤ２２Ｃに備えるリミットスイッチ等にて検出すると、撮像部５０に対してコンテナＣの画像の撮像を指令し、撮像画像を取得する（ステップ＃１）。
続いて、制御部Ｈにおける上面高さ検出部Ｈ２が、コンテナＣ内の物品Ｂの上面のうち最も高い位置に位置する物品Ｂの上面の高さを検出し（ステップ＃２）、検出した物品Ｂの上面の高さに対応する仮想枠線を撮像画像に設定する（ステップ＃３）。
ステップ＃３で設定される仮想枠線は、図６に示すように、上面高さ検出部Ｈ２が検出した物品Ｂの上面を含む平面と、コンテナＣの内側面Ｃｎとの交線（コンテナＣの上面視の形状において、物品Ｂの上面の高さに対応する等高線）である。図６は、物品ＢがコンテナＣ内に複数段積層状態で収容される場合に、コンテナＣの物品Ｂのうち最も高い位置に位置する物品Ｂが存在する段の夫々に対応する物品Ｂの上面の高さに対して設定される仮想枠線を、破線Ｗｋ１〜Ｗｋ５にて示している。

引き続き、制御部Ｈは、上記仮想枠線よりも内方の領域を、現実の物品が存在し得る物品存在領域として抽出する（ステップ＃４）。この処理によって抽出された物品存在領域を図７に示す（破線Ｗｋで囲まれた領域の内方が物品存在領域として抽出されている）。
制御部Ｈは、ステップ＃４で抽出した物品存在領域に対して、物品位置認識部Ｈ１が物品位置認識処理を実行する（ステップ＃５）。
これにより、図７に示すように、撮像画像において反射虚像Ｂｋが生じている虞がある部分を適切に排除することができる。

ところで、撮像画像から、最も確実に現実の物品Ｂが存在し得る物品存在領域のみを抽出することができるのは、図８に示すコンテナＣの底部上面Ｃｔと容器の内側面Ｃｎとの境界Ｗｔを仮想枠線として、その仮想枠線よりも内方を物品存在領域として抽出する場合である。しかしながら、そのように仮想枠線を設定した場合、図９に示すように、上面視でコンテナＣの中央部寄りに位置する物品Ｂｉについては、撮像画像において仮想枠線よりも内方の物品存在領域に位置するものの、コンテナＣの内側面Ｃｎに隣接する位置にある物品Ｂｏについては、撮像画像において仮想枠線よりも外方となる部分が生じる虞がある。

上記のように物品存在領域に含まれない部分のある物品Ｂｏについては、物品位置認識処理を実行した場合にパターンマッチングの結果として物品Ｂとして認識されず、結果として、コンテナＣの内側面Ｃｎ近傍に位置する物品Ｂｏは取り出し対象とならずにコンテナＣ内に残存する虞がある。

本実施形態では、コンテナＣ内の物品Ｂの上面のうち最も高い位置に位置する物品の上面を含む平面と、コンテナＣの内側面との交線である仮想枠線を撮像画像に設定し、撮像画像における仮想枠線よりも内方の領域を物品存在領域として抽出するから、撮像画像において反射虚像Ｂｋが生じている虞がある部分を適切に排除することができながらも、内側面Ｃｎに隣接する位置にある物品Ｂについても物品Ｂとして認識できない事態を回避し、コンテナＣ内においてピッキングされずに物品Ｂが残存するという不都合を適切に回避することができるものとなる。

〔別実施形態〕
（１）上記実施形態では、上面高さ検出部Ｈ２によって検出された、コンテナＣ内の物品Ｂのうち最も高い位置に上面が位置する物品Ｂの上面の高さを含む平面と、コンテナＣの内側面Ｃｎとの交線を仮想枠線とし、当該仮想枠線よりも内方の領域を物品存在領域として抽出する構成としたが、例えば、撮像画像の各ピクセル毎の輝度を検出し、隣接するピクセルの輝度が所定の値以上変化する点を連結して仮想枠線を設定する等、他の方法にて仮想枠線を設定してもよい。また、物品Ｂの上面の高さに関係なく、常にコンテナＣの底部上面Ｃｔと内側面Ｃｎとの境界Ｗｔを仮想枠線とする構成でもよい。

（２）上記実施形態では、物品位置認識部Ｈ１が、仮想枠線を、上面高さ検出部Ｈ２が検出した物品Ｂの上面を含む平面と、コンテナＣの内側面Ｃｎとの交線として検出する構成を説明したが、このような構成に限定されるものではなく、例えば、上位管理装置Ｈｕが、過去のピッキング履歴に基づいて、コンテナＣ内の物品Ｂのうち最も上の段に位置する物品ＢがコンテナＣ内で下から何段目に存在するか（段数情報と称する）を管理し、物品位置認識部Ｈ１が、上記上位管理装置Ｈｕから得た段数情報に基づいて、コンテナＣ内の物品Ｂのうち最も上の段に位置する物品Ｂの上面の高さを算出し、搬送コンベヤ２２Ｃの搬送面と平行でかつ上記物品Ｂの上面の高さを通る平面とコンテナＣの内側面Ｃｎとの交線を仮想枠線とするように構成してもよい。

５０ 撮像部
Ｂ 物品
Ｃ 容器
Ｃｎ 内側面
Ｈ１ 物品位置認識部
Ｈ２ 上面高さ検出部

Claims (1)

1. 内側面が平坦に形成されて上面が開放された容器を上方から撮像する撮像部と、
   前記撮像部が撮像した撮像画像に基づいて、前記容器内に複数段積層状態で収容された複数の物品の位置を認識する物品位置認識処理を実行する物品位置認識部と、を備えた物品位置認識装置であって、
   前記撮像部は、２つの撮像レンズを有し、水平方向に異なる位置からの２つの画像を撮影可能なステレオカメラであり、
   前記物品位置認識部は、前記撮像画像から現実の物品が存在し得る物品存在領域を抽出して、抽出した領域に対して前記物品位置認識処理を実行し、
   前記容器内の物品の上面のうち最も高い位置に位置する物品の上面の高さを検出する上面高さ検出部が設けられ、
   前記物品位置認識部は、前記上面高さ検出部が検出した物品の上面を含む平面と、前記容器の内側面との交線である仮想枠線を前記撮像画像に設定し、前記撮像画像における前記仮想枠線よりも内方の領域を前記物品存在領域として抽出する物品位置認識装置。

Images