JPH11291187A - 積荷位置姿勢認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 積荷上面の立体形状を計測精度の低下を招来
することなく、短時間で計測する。 【解決手段】 想定される最高段の積荷高さから最低段
のパレット高さまでの範囲の何れの高さに積荷上面高さ
がある場合においても、スリット光５が必ず積荷上面に
照射される一つ或いは複数の初期用スリット光投光角度
で積荷上面高さの計測を行い、積荷上面高さの計測結果
に基づいて、近距離用撮像装置９ａおよび遠距離用撮像
装置９ｂからの画像データ信号の何れかを選択する。そ
して、スリット光５を実測用スリット光投光角度で積荷
上面に投光しながら撮影し、選択された画像データ信号
を用いて積荷上面形状の計測を行った後、積荷上面形状
から積み上げ或いは荷降ろし対象となる荷物２を認識す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パレット等の荷台
上に載置された袋詰物や箱物等の貨物の３次元位置・姿
勢計測に用いる積荷位置姿勢認識装置に関するものであ
る。

【０００２】

【従来の技術】通常、工場からの出荷時においては、多
量の製品を効率良く搬出するため、製品を収容した袋詰
物等の貨物をパレット上に複数段に積み上げた後、パレ
ット単位で運搬を行うようになっている。また、工場へ
の原材料の入荷時においても、袋詰物等の貨物をパレッ
ト上に複数段に積み上げた後、パレット単位で運搬を行
うようになっている。そして、近年においては、パレッ
トへの貨物の積み上げ・荷降し作業がハンドリングロボ
ットにより自動化されることによって、オペレータの作
業負担の低減化および省人化が図られている。

【０００３】ところで、積み上げ・荷降し作業をハンド
リングロボットに実施させようとすると、次の積み上げ
位置となるプレース位置、或いは次の荷降し位置となる
ピック位置を水平座標および鉛直（高さ）座標により指
定してハンドリングロボットに指示する必要がある。従
って、従来においては、貨物の立体的な配置状況を認識
してプレース位置或いはピック位置を指示できるよう
に、下記に示すような方法が提案されている。

【０００４】即ち、特開平３−２３４４９１号公報に
は、図１０に示すように、パレット５２上に積み上げら
れた貨物５１に対して上方からレーザ光５３を線状に照
射し、このレーザ光５３を１台の固定焦点レンズ付きカ
メラ５５で斜め上方から撮影することにより貨物５１の
高さ位置を求める。この後、貨物５１の全体を上方から
撮影し、撮影画像中における貨物５１の固有マーク５４
の濃淡画像を基本マーク形状との突き合わせ処理により
検出して平面的な配置状況を求めることによって、貨物
５１の立体的な配置状況を認識する方法が開示されてい
る。

【０００５】

【発明が解決しようとする課題】ところが、積み上げ作
業時や荷降ろし作業時においては、貨物５１の高さが順
次高くなったり、低くなったりするため、積荷の高さ位
置を求める画像処理は、最高段の貨物５１の上面から最
低段のパレット５２の上面までの広い高さ範囲にわたっ
て撮影して取り込んだ撮影画像を基にして行う必要があ
る。従って、上記従来のように、１台の固定焦点レンズ
付きカメラ５５で貨物５１の立体的な配置状況を認識す
る方法では、例えば最高段の貨物５１の全体を撮影する
ようにカメラ５５の焦点を設定した場合、カメラ５５か
ら遠くなるほど撮影画像に含まれる各貨物５１を示すデ
ータ量が少なくなるため、特に、カメラ５５から最も遠
くの位置となる最低段の貨物５１を撮影したときに、貨
物５１の立体的な配置状況を精度良く計測して認識する
ことが困難になるという問題がある。

【０００６】そこで、固定焦点レンズ付きカメラ５５に
代えて電動ズームレンズ付きカメラを用いることも考え
られるが、この場合には、ズーム変更に要する時間が長
くなり、計測（認識）時間が延びるという問題がある。

【０００７】また、近年においては、複数のスリット光
を積荷上面に順次投光しながら撮像装置で撮影し、これ
ら撮影画像を画像処理することにより積荷上面を計測す
る光切断法による積荷位置姿勢認識装置が提案および採
用されつつある。ところが、この装置の場合において
も、撮像装置から最も遠い最下段の積荷上面を高精度に
計測しようとすると、投光間隔のデータ量を所定以上に
維持する必要があるため、センサと積荷上面との距離に
応じてスリット光の投光角度を変更することが必要であ
る。

【０００８】従って、本発明は、積荷上面の立体形状
（貨物５１の配置状況）を計測（認識）精度の低下を招
来することなく、短時間で計測（認識）することができ
る積荷位置姿勢認識装置を提供しようとするものであ
る。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明は、積み上げられた積荷上面形状を
計測し、積み上げ或いは荷降ろし対象貨物を認識する積
荷位置姿勢認識装置において、スリット光投光角度を変
えて積荷上面に複数本のスリット光を投光する照明手段
と、前記積荷上面で反射したスリット光を撮影したとき
の撮影画像の画像データ信号をそれぞれ出力する近距離
用撮像手段および遠距離用撮像手段と、想定される最高
段の積荷高さから最低段のパレット高さまでの範囲の何
れの高さに積荷上面高さがある場合においても、前記ス
リット光が必ず積荷上面に照射される一つ或いは複数の
初期用スリット光投光角度で積荷上面高さの計測を行
い、該積荷上面高さの計測結果に基づいて、前記近距離
用撮像手段および前記遠距離用撮像手段からの画像デー
タ信号の何れかを選択する第１画像データ選択手段と、
前記スリット光を実測用スリット光投光角度で積荷上面
に投光しながら撮影し、選択された画像データ信号を用
いて前記積荷上面形状の計測を行う距離データ算出手段
と、前記積荷上面形状から前記積み上げ或いは荷降ろし
対象貨物を認識する荷姿認識手段とを有したことを特徴
としている。

【００１０】上記の構成によれば、積荷上面高さの計測
結果に基づいて、積荷上面から各撮像手段までの距離が
近ければ、近距離用撮像手段の画像データ信号を選択す
ることができる一方、積荷上面から各撮像手段までの距
離が遠ければ、遠距離用撮像手段の画像データ信号を選
択することができる。従って、最高段の積荷高さから最
低段のパレット高さまでの範囲で積荷上面高さが変化し
た場合であっても、積荷上面の画像領域が大部分となる
撮影画像の画像データ信号を得て積み上げ或いは荷降ろ
し対象貨物を認識することができる。これにより、認識
に必要な部分の画像データ信号が常に十分なデータ量で
得られるため、全ての積荷上面高さにおいて積荷上面を
少ないメモリ容量で高精度に計測して認識することがで
きる。また、近距離用撮像手段および遠距離用撮像手段
の切り換えにより画像データ信号を選択することができ
るため、例えば電動ズームレンズ付きカメラを用いてズ
ーム変更しながら撮影して画像データ信号を得る場合よ
りも、画像データ信号を短時間で得て認識時間を短縮す
ることができる。

【００１１】請求項２の発明は、請求項１記載の積荷位
置姿勢認識装置であって、前記第１画像データ選択手段
における積荷上面高さの計測結果に基づいてスリット光
投光間隔を求め、該スリット光投光間隔に対応した複数
の実測用スリット光投光角度を算出する第１投光角度算
出手段を有していることを特徴としている。上記の構成
によれば、積荷高さがパレットごとに大きく変化した場
合でも、積荷上面でのスリット光投光間隔に対応した複
数のスリット光投光角度を算出するので、積荷高さの変
化の影響を受けることなく、所定の密度で３次元座標値
を計測することができ、結果として計測精度を常に高い
状態にすることができる。

【００１２】請求項３の発明は、請求項１または２記載
の積荷位置姿勢認識装置であって、前記第１画像データ
選択手段における積荷上面高さの計測結果に基づいて撮
影画像内の画像処理領域を求め、前記距離データ算出処
理手段で用いられる画像データ信号を該画像処理領域に
対応する画像データ信号に限定する第１画像処理領域限
定手段を有していることを特徴としている。上記の構成
によれば、画像処理領域に限定された少ないデータ量の
画像データ信号を用いて計測を行うことができるため、
処理時間を短縮することができる。

【００１３】請求項４の発明は、請求項１ないし３の何
れか１項に記載の積荷位置姿勢認識装置であって、前回
検出した積み上げ或いは荷降ろし対象貨物の貨物高さを
積荷上面高さとし、該積荷上面高さに基づいて、前記近
距離用撮像手段および前記遠距離用撮像手段からの画像
データ信号の何れかを選択する第２画像データ選択手段
を有していることを特徴としている。上記の構成によれ
ば、積荷上面に投光されたスリット光を撮影して実際に
積荷上面高さを求める場合よりも、早期に次の積荷上面
形状の計測を行うことが可能になる。

【００１４】請求項５の発明は、請求項４記載の積荷位
置姿勢認識装置であって、前記第２画像データ選択手段
で求めた積荷上面高さに基づいてスリット光投光間隔を
求め、該スリット光投光間隔に対応した複数の実測用ス
リット光投光角度を算出する第２投光角度算出手段を有
していることを特徴としている。上記の構成によれば、
積み上げや荷降ろしにより積荷高さが順次変化したとき
に、積荷上面高さに最適なスリット光投光間隔に対応し
た複数のスリット光投光角度を算出することができる。
従って、積荷高さの変化の影響を受けることなく、所定
の密度で３次元座標値を求めることができ、結果として
計測精度を常に高い状態にすることができる。

【００１５】請求項６の発明は、請求項４または５記載
の積荷位置姿勢認識装置であって、前記第２画像データ
選択手段で求めた積荷上面高さに基づいて撮影画像内の
画像処理領域を求め、前記距離データ算出処理手段で用
いられる画像データ信号を該画像処理領域に対応する画
像データ信号に限定する第２画像処理領域限定手段を有
していることを特徴としている。上記の構成によれば、
積み上げや荷降ろしにより積荷高さが順次変化したとき
に、積荷上面高さに最適な画像処理領域を求め、この画
像処理領域に限定された少ないデータ量の画像データ信
号を用いて計測を行うことができるため、処理時間を短
縮することができる。

【００１６】

【発明の実施の形態】本発明の実施の形態を図１ないし
図９に基づいて以下に説明する。本実施の形態に係る積
荷位置姿勢認識装置は、図１に示すように、パレット１
上に積み上げられた袋状の貨物２の上方に設置されたセ
ンサヘッド機構３と、センサヘッド機構３に接続された
認識処理制御盤４とを有している。センサヘッド機構３
は、図２に示すように、帯状のレーザ光からなるスリッ
ト光５を拡散させながら出射するスリット光投光器６
と、スリット光投光器６からのスリット光５を貨物２方
向に反射する反射ミラー７と、反射ミラー７の傾斜角度
を任意に変更可能なステッピングモータ８と、貨物２に
投影されたスリット光５を撮影する近距離用撮像装置９
ａおよび遠距離用撮像装置９ｂとを有している。

【００１７】上記の近距離用撮像装置９ａは、図１に示
すように、広角レンズ１０ａと撮像部材１１とを有して
おり、撮像装置９ａに接近した高い位置（段）の撮影時
に用いられるようになっている。一方、遠距離用撮像装
置９ｂは、望遠レンズ１０ｂと撮像部材１１とを有して
おり、撮像装置９ｂから離隔した低い位置（段）の撮影
時に用いられるようになっている。これらの撮像装置９
ａ・９ｂの広角レンズ１０ａおよび望遠レンズ１０ｂ
は、図３に示すように、撮影方向が鉛直方向（Ｚ方向）
となるように設定されている。また、各撮像装置９ａ・
９ｂの撮像部材１１は、レンズ１０を介して貨物２上に
投影されたスリット光５が結像される撮像面１１ａを有
しており、撮像面１１ａは、鉛直方向（Ｚ方向）に対し
て垂直となるように設定されている。そして、撮像部材
１１の撮像面１１ａには、レンズ中心Ｏを中心として点
対称に画像が投影されるようになっており、例えばスリ
ット光５を貨物２に照射して形成された照射線５のＱ₁
点、Ｑ₂ 点、Ｑ₃ 点は、それぞれＰ₁ 点、Ｐ₂ 点、Ｐ₃
点として撮像面１１ａに結像されるようになっている。
尚、図３には記載していないが、レンズ１０ａ・１０ｂ
前方に干渉フィルタなどの光学的なバンドパスフィルタ
を設置することによって、撮像面１１ａ上にスリット光
５の像のみを結像させることが可能である。

【００１８】上記の撮像部材１１は、光量に応じた電荷
を発生させる受光素子部（画素）をＸ方向およびＹ方向
のマトリックス状に複数有しており、これらの受光素子
部の電荷を出力電圧として読み出して画像データとして
順に出力するようになっている。そして、各撮像装置９
ａ・９ｂの撮像部材１１・１１からの出力信号は、図１
に示すように、認識処理制御盤４に接続されている。

【００１９】認識処理制御盤４は、両撮像部材１１・１
１からの画像データ信号を切り替える画像データ切り替
え器１９と、画像データ切り替え器１９やスリット光投
光器６等に接続されたＩ／Ｏ部１２ａとを有している。
画像データ切り替え器１９は、各撮像装置９ａ・９ｂの
撮像部材１１・１１からの画像データ信号を入力する入
力端子１９ａ・１９ｂと、これらの入力端子１９ａ・１
９ｂの何れか一方に切替え可能に接続された出力端子１
９ｃと、入力端子１９ａ・１９ｂおよび出力端子１９ｃ
間の接続状態を切り替える切替え端子１９ｄとを有して
いる。そして、出力端子１９ｃおよび切替え端子１９ｄ
は、Ｉ／Ｏ部１２ａに接続されており、画像データ切り
替え器１９は、Ｉ／Ｏ部１２ａからの切替え信号が切替
え端子１９ｄに入力されたときに、切替え信号に応じた
接続状態となることによって、撮像装置９ａ・９ｂから
入力される何れか一方の画像データ信号をＩ／Ｏ部１２
ａに出力するようになっている。

【００２０】さらに、認識処理制御盤４は、上述の画像
データ切り替え器１９およびＩ／Ｏ部１２ａの他、Ｉ／
Ｏ部１２ａに信号バス１４を介して接続されたＩ／Ｏ部
１２ｂ、モータ駆動部１３、演算部１６、ＲＡＭ１７、
およびＲＯＭ１８を有している。上記のＲＡＭ１７に
は、撮像部材１１の受光素子部の配列と一致したＸ方向
およびＹ方向のマトリックス状のデータテーブルを有す
るように、画像データ記憶領域１７ａが形成されてい
る。そして、画像データ記憶領域１７ａには、Ｉ／Ｏ部
１２ａを介して入力された上述の撮像装置９ａ・９ｂか
らの画像データが格納されるようになっている。さら
に、ＲＡＭ１７には、距離データ記憶領域１７ｂが形成
されており、距離データ記憶領域１７ｂには、貨物２上
面の３次元座標（距離データ）が格納されるようになっ
ている。

【００２１】一方、ＲＯＭ１８には、積荷高さに最適な
撮像装置９ａ・９ｂを選択して積荷位置および姿勢を検
出する画像処理ルーチンが格納されている。画像処理ル
ーチンは、画像装置選択処理とミラー角度算出処理と画
像処理領域限定処理と距離データ算出処理と荷姿認識処
理とを行うようになっている。

【００２２】即ち、画像装置選択処理は、図４のＳ３〜
Ｓ７部分に相当し、初期計測により得られた積荷高さに
基づいて積荷上面の３次元計測に対して近距離用撮像装
置９ａから出力される画像データ信号を用いるか、或い
は遠距離用撮像装置９ｂから出力される画像データ信号
を用いるかを判定し、判定結果に基づいて画像データ切
り替え器１９を制御するようになっている。ミラー角度
算出処理は、図４のＳ８部分に相当し、初期計測により
得られた積荷高さに基づいて積荷上面に一定間隔のスリ
ット光５を投光するための複数のミラー角度を算出する
ようになっている。画像処理領域限定処理は、図４のＳ
９部分に相当し、画像データ記憶領域１７ａに格納され
た画像データを画像処理し、画像内のスリット光中心位
置を求める際に初期計測により得られた積荷高さに基づ
いて画像処理領域を限定するようになっている。距離デ
ータ算出処理は、図５のＳ１０〜Ｓ１３部分に相当し、
画像処理によりスリット光中心位置を求め、三角測量に
より距離データを算出するようになっている。また、荷
姿認識処理は、図５のＳ１４部分に相当し、距離データ
記憶領域１７ｂに格納された積荷上面の３次元座標値を
基にして貨物２の配置状況およびピッキング位置、姿勢
を算出するようになっている。

【００２３】上記の構成を有した認識処理制御盤４は、
Ｉ／Ｏ部１２ｂを介してロボット制御盤２０に接続され
ている。ロボット制御盤２０は、図２に示すように、パ
レット１の近傍に設置されたハンドリングロボット２１
に接続されている。また、ハンドリングロボット２１の
近傍には、貨物２を移送するローラコンベア２２等が配
設されている。そして、ロボット制御盤２０は、認識処
理制御盤４から認識データを受信したときに、次の貨物
２のピッキング位置を決定し、このピッキング位置に存
在する貨物２をローラコンベア２２等に移載するよう
に、ハンドリングロボット２１に対して指令するように
なっている。

【００２４】上記の構成において、積荷位置姿勢認識装
置の動作について図４および図５のフローチャートに基
づいて説明する。

【００２５】先ず、図１および図２に示すように、パレ
ット１がセンサヘッド機構３の下方の所定位置に搬入さ
れると（Ｓ１）、ロボット制御盤２０から認識処理制御
盤４に対して初期計測を開始するように指示信号が送信
される（Ｓ２）。

【００２６】指示信号を受信した認識処理制御盤４は、 積荷高さに基づき、近距離用撮像装置９ａから出力
される画像データ信号と遠距離用撮像装置９ｂから出力
される画像データ信号との何れを積荷上面の距離データ
の計測に用いるべきかを広角レンズ１０ａおよび望遠レ
ンズ１０ｂの視野サイズと奥行き方向の計測分解能とか
ら判断する第１の目的と、 積荷高さに基づき、積荷上面に一定間隔の複数のス
リット光５を投光できるミラー角度を算出する第２の目
的と、 積荷高さに基づき、スリット光中心線を検出するた
めの画像処理領域を限定することにより処理時間を短縮
する第３の目的と を達成するため、先ず、積荷高さの初期計測を行う。

【００２７】即ち、スリット光投光器６からスリット光
５が出射されるように、スリット光投光器６に対して出
力信号が出力されると共に、近距離用撮像装置９ａから
の画像データ信号を取り込むように画像データ切り替え
器１９に対して切替え信号が出力される。また、予め設
定してある初期計測ミラー角度となるようにステッピン
グモータ８が回転駆動される。これにより、スリット光
投光器６から出射されたスリット光５は、帯状に拡散し
ながら反射ミラー７に到達してパレット１方向に反射
し、パレット１やパレット１上の貨物２の両端にかけて
線状に投射されることになる（Ｓ３）。

【００２８】次に、スリット光５を投射されたパレット
１や貨物２の全体が近距離用撮像装置９ａにより撮影さ
れる。ここで、スリット光５の反射角度を決定する初期
計測ミラー角度は、最高段の積荷高さから最低段のパレ
ット高さまでの範囲の何れの高さに積荷上面高さがある
場合においても、スリット光５が必ず積荷上面に当たる
一つ、或いは複数の角度にされている。

【００２９】初期計測ミラー角度で投光したスリット光
５の投光ライン５ａを近距離用撮像装置９ａにより撮影
した画像データ信号は、画像データ切り替え器１９およ
びＩ／Ｏ部１２ａを介して認識処理制御盤４に取り込ま
れ、ＲＡＭ１７の画像データ記憶領域１７ａに格納され
る。この後、画像データ記憶領域１７ａの画像データ中
からスリット光５の投光ライン５ａが特定され、この投
光ライン５ａの各点（例えばＰ₁ ・Ｐ₂ ・Ｐ₃ ）と広角
レンズ１０ａの中心点Ｏとを結ぶ視線直線（例えばＬ₁
・Ｌ₂ ・Ｌ₃ ）が求められる。そして、上述の初期ミラ
ー計測角度と反射ミラー７の回転軸位置とを基にしてス
リット光５のスリット光平面Ｓが求められた後、このス
リット光平面Ｓと視線直線との交点（例えばＱ₁ ・Ｑ₂
・Ｑ₃ ）の３次元位置が距離データ（Ｘ，Ｙ，Ｚ）とし
て求められ、積荷高さの初期計測結果が積荷平均高さＺ
initとして算出される（Ｓ４）。

【００３０】積荷平均高さＺinitは、予め視野サイズと
奥行き方向の計測分解能とから設定した撮像装置切換用
高さ閾値Ｚthと比較される（Ｓ５）。積荷平均高さＺin
itが撮像装置切換用高さ閾値Ｚth未満である場合には
（Ｓ５，ＹＥＳ）、演算部１６がＩ／Ｏ部１２ａを介し
て画像データ切り替え器１９を制御し、近距離用撮像装
置９ａにより撮影した画像データ信号を認識処理制御盤
４に取り込むように設定する（Ｓ６）。一方、積荷平均
高さＺinitが撮像装置切換用高さ閾値Ｚth以上である場
合には（Ｓ５，ＮＯ）、演算部１６がＩ／Ｏ部１２ａを
介して画像データ切り替え器１９を制御し、遠距離用撮
像装置９ｂにより撮影した画像データ信号を認識処理制
御盤４に取り込むように設定する（Ｓ７）。この結果、
想定される最高段の積荷高さから最低段のパレット高さ
までの広い高さ範囲において、高い計測分解能を確保す
ることができる。

【００３１】次に、積荷平均高さＺinitに基づき、図７
に示すように、複数のスリット光５が積荷上面に一定間
隔で投光されるように、ミラー角度θ₁ 〜θｎが算出さ
れる（Ｓ８）。また、複数のスリット光５を投光する各
ミラー角度θ₁ 〜θｎの撮影画像ごとに、スリット光中
心線を画像処理により求めるための画像処理領域が求め
られる。尚、各ミラー角度θ₁ 〜θｎの撮影画像ごとに
画像処理領域を求めることができる理由は、図６に示す
ように、撮像部材１１上におけるスリット光像の存在範
囲が積荷平均高さＺinitと貨物２の高さＨとミラー回転
角とに基づいて限定できるからである（Ｓ９）。

【００３２】以上の計測処理が終了すると、図７に示す
ように、等間隔で形成された複数の投光ライン５ａに沿
った点列の３次元座標（位置）を求める距離データ計測
処理が実行される。

【００３３】即ち、例えば初期計測の結果、近距離用撮
像装置９ａが選択された場合、先ず、初期計測で算出さ
れたミラー角度θ₁ に対応する反射ミラー７の傾斜角度
となるように、ステッピングモータ８に対してモータ駆
動部１３から駆動出力が出力されることによって、ステ
ッピングモータ８が回転駆動される（Ｓ１０）。

【００３４】ステッピングモータ８の回転駆動により反
射ミラー７が所定の傾斜角度に設定されると、スリット
光投光器６から帯状に拡散しながら出射されたスリット
光５は、反射ミラー７からパレット１方向に反射し、パ
レット１やパレット１上の貨物２の両端にかけて線状に
投射される。そして、このようにしてスリット光５が投
射されたパレット１や貨物２の全体が近距離用撮像装置
９ａにより撮影される（Ｓ１１）。

【００３５】近距離用撮像装置９ａにより撮影された画
像データ信号は、画像データ切り替え器１９およびＩ／
Ｏ部１２ａを介して認識処理制御盤４に取り込まれ、Ｒ
ＡＭ１７の画像データ記憶領域１７ａに格納される。こ
の後、図８に示すように、初期計測で求めたミラー角度
θ₁ の場合の画像処理領域に対応する画像データが画像
データ記憶領域１７ａの全画像データの中から抽出さ
れ、この画像データを基にしてスリット光５の投光ライ
ン５ａが特定される。次いで、図３に示すように、投光
ライン５ａの各点（例えばＰ₁ ・Ｐ₂ ・Ｐ₃ ）と広角レ
ンズ１０ａの中心点Ｏとを結ぶ視線直線（例えばＬ₁ ・
Ｌ₂ ・Ｌ₃ ）が求められた後、上述の初期計測ミラー角
度と反射ミラー７の回転軸位置とを基にしてスリット光
５のスリット光平面Ｓが求められる。そして、このスリ
ット光平面Ｓと視線直線との交点（例えばＱ₁ ・Ｑ₂ ・
Ｑ₃ ）の３次元位置が距離データ（Ｘ，Ｙ，Ｚ）として
求められ、図１の距離データ記憶領域１７ｂに格納され
る（Ｓ１２）。

【００３６】次に、このような投光ライン５ａ（スリッ
ト光反射位置）の３次元座標を算出することによる計測
が全てのミラー角度θ₁ 〜θｎで行われたか否かが判定
される（Ｓ１３）。計測されていないミラー角度θ₁ 〜
θｎが存在する場合には（Ｓ１３，ＮＯ）、Ｓ１０から
再実行して未計測のミラー角度θ₁ 〜θｎについて３次
元位置が求められる。一方、全てのミラー角度θ₁ 〜θ
ｎについての計測を終了した場合には（Ｓ１３，ＹＥ
Ｓ）、等間隔で形成された複数の投光ライン５ａに沿っ
た点列の３次元位置が得られたと判断され、図９に示す
ように、これらの３次元位置を用いてパターンマッチン
グ等の物体配置認識処理が施される。そして、この処理
により得られた計測データから荷降ろし対象の貨物２が
選定されると共に、選定された貨物２の３次元位置・姿
勢が検出される。また、この検出時に荷降ろし対象の貨
物２がパレット１上の最終貨物であるか否かも判断され
る（Ｓ１４）。

【００３７】次に、認識処理制御盤４からロボット制御
盤２０に対して荷降ろし対象の貨物２の３次元位置・姿
勢がピッキング位置として送信されると共に、貨物２が
最終貨物であれば、その旨を示す最終貨物信号も送信さ
れる（Ｓ１５）。そして、貨物２の３次元位置・姿勢を
受信したロボット制御盤２０がハンドリングロボット２
１を制御することによって、ハンドリングロボット２１
による貨物２の荷降ろし作業が行われる（Ｓ１６）。

【００３８】荷降ろし作業が完了すると、ロボット制御
盤２０は、最終貨物信号の入力の有無を確認し、最終貨
物信号の入力により最終の貨物２を荷降ろしを完了した
と判断すれば、荷降ろし作業を終了する。一方、最終貨
物信号の入力がなければ、パレット１上に貨物２が存在
すると判断し、認識処理制御盤４に対して次の計測を開
始するように指示信号を送信する（Ｓ１７）。

【００３９】２回目以降の指示信号を受信した認識処理
制御盤４は、１回目の計測で実施したような初期計測
（Ｓ３〜４）を行わず、初期計測結果の積荷平均高さＺ
initを前回の計測で得られた荷降ろし対象の貨物２の高
さＺに置き換える（Ｓ１８）。そして、Ｓ５から再実行
し、貨物２の高さＺ（積荷平均高さＺinit）を撮像装置
切換用高さ閾値Ｚthとの比較に使用し、近距離用撮像装
置９ａおよび遠距離用撮像装置９ｂから出力される画像
データ信号の選定を行った後（Ｓ５〜Ｓ７）、ミラー角
度の算出（Ｓ８）、ミラー角度ごとの画像処理領域の限
定（Ｓ９）等の一連の処理を行うことによって、次の荷
降ろし対象の貨物２の３次元位置・姿勢を求める（Ｓ９
〜Ｓ１４）。

【００４０】この後、貨物２の３次元位置・姿勢を基に
した荷降ろしがＳ１４において最終の貨物２であると判
断されるまで繰り返して行われることによって、パレッ
ト１上の全ての貨物２が荷降ろしされることになる。

【００４１】以上、本発明を好適な実施の形態に基づい
て説明したが、本発明はその趣旨を逸脱しない範囲にお
いて変更が可能である。

【００４２】即ち、積荷位置姿勢認識装置は、積み上げ
られた積荷上面形状を計測し、積み上げ或いは荷降ろし
対象貨物（貨物２）を認識するものであり、スリット光
投光角度（ミラー角度）を変えて積荷上面に複数本のス
リット光５を投光する照明手段（スリット光投光器６）
と、積荷上面で反射したスリット光５を撮影したときの
撮影画像の画像データ信号をそれぞれ出力する近距離用
撮像手段（近距離用撮像装置９ａ）および遠距離用撮像
手段（遠距離用撮像装置９ｂ）と、想定される最高段の
積荷高さから最低段のパレット高さまでの範囲の何れの
高さに積荷上面高さがある場合においても、スリット光
５が必ず積荷上面に照射される一つ或いは複数の初期用
スリット光投光角度（初期計測ミラー角度）で積荷上面
高さの計測を行い、積荷上面高さの計測結果に基づい
て、近距離用撮像手段および遠距離用撮像手段からの画
像データ信号の何れかを選択する第１画像データ選択手
段（図４のＳ４〜Ｓ７）と、スリット光５を実測用スリ
ット光投光角度（ミラー角度θ₁ 〜θｎ）で積荷上面に
投光しながら撮影し、選択された画像データ信号を用い
て積荷上面形状の計測を行う距離データ算出手段（図５
のＳ１０〜Ｓ１３）と、積荷上面形状から積み上げ或い
は荷降ろし対象貨物を認識する荷姿認識手段（図５のＳ
１４）とを有した構成であれば良い。

【００４３】上記の構成によれば、積荷上面高さの計測
結果に基づいて、積荷上面から各撮像手段までの距離が
近ければ、近距離用撮像手段の画像データ信号を選択す
ることができる一方、積荷上面から各撮像手段までの距
離が遠ければ、遠距離用撮像手段の画像データ信号を選
択することができる。従って、最高段の積荷高さから最
低段のパレット高さまでの範囲で積荷上面高さが変化し
た場合であっても、積荷上面の画像領域が大部分となる
撮影画像の画像データ信号を得て積み上げ或いは荷降ろ
し対象貨物を認識することができる。これにより、認識
に必要な部分の画像データ信号が常に十分なデータ量で
得られるため、全ての積荷上面高さにおいて積荷上面を
少ないメモリ容量で高精度に計測して認識することがで
きる。また、近距離用撮像手段および遠距離用撮像手段
の切り換えにより画像データ信号を選択することができ
るため、例えば電動ズームレンズ付きカメラを用いてズ
ーム変更しながら撮影して画像データ信号を得る場合よ
りも、画像データ信号を短時間で得て認識時間を短縮す
ることができる。

【００４４】また、積荷位置姿勢認識装置は、第１画像
処理選択手段における積荷上面高さの計測結果に基づい
てスリット光投光間隔を求め、該スリット光投光間隔に
対応した複数の実測用スリット光投光角度を算出する第
１投光角度算出手段（図４のＳ８）を有していることが
好ましい。そして、この構成であれば、積荷高さがパレ
ット１ごとに大きく変化した場合でも、積荷上面でのス
リット光投光間隔に対応した複数のスリット光投光角度
を算出するので、積荷高さの変化の影響を受けることな
く、所定の密度で３次元座標値を計測することができ、
結果として計測精度を常に高い状態にすることができ
る。

【００４５】また、積荷位置姿勢認識装置は、第１画像
処理選択手段における積荷上面高さの計測結果に基づい
て撮影画像内の画像処理領域を求め、距離データ算出処
理手段で用いられる画像データ信号を画像処理領域に対
応する画像データ信号に限定する第１画像処理領域限定
手段（図４のＳ９）を有していることが好ましい。そし
て、この構成であれば、画像処理領域に限定された少な
いデータ量の画像データ信号を用いて計測を行うことが
できるため、処理時間を一層短縮することができる。

【００４６】また、積荷位置姿勢認識装置は、前回検出
した積み上げ或いは荷降ろし対象貨物の貨物高さを積荷
上面高さとし、積荷上面高さに基づいて、近距離用撮像
手段および遠距離用撮像手段からの画像データ信号の何
れかを選択する第２画像処理選択手段（図５のＳ１８，
図４のＳ５〜Ｓ７）を有していることが好ましい。そし
て、この構成であれば、積荷上面に投光されたスリット
光５を撮影して実際に積荷上面高さを求める場合より
も、早期に次の積荷上面形状の計測を行うことが可能に
なる。

【００４７】また、積荷位置姿勢認識装置は、第２画像
処理選択手段で求めた積荷上面高さに基づいてスリット
光投光間隔を求め、このスリット光投光間隔に対応した
複数の実測用スリット光投光角度を算出する第２投光角
度算出手段（図５のＳ１８，図４のＳ８）を有している
ことが好ましい。そして、構成であれば、積み上げや荷
降ろしにより積荷高さが順次変化したときに、積荷上面
高さに最適なスリット光投光間隔に対応した複数のスリ
ット光投光角度を算出することができる。従って、積荷
高さの変化の影響を受けることなく、所定の密度で３次
元座標値を求めることができ、結果として計測精度を常
に高い状態にすることができる。

【００４８】また、積荷位置姿勢認識装置は、第２画像
処理選択手段で求めた積荷上面高さに基づいて撮影画像
内の画像処理領域を求め、距離データ算出処理手段で用
いられる画像データ信号を画像処理領域に対応する画像
データ信号に限定する第２画像処理領域限定手段（図５
のＳ１８，図４のＳ９）を有していることが好ましい。
そして、この構成であれば、積み上げや荷降ろしにより
積荷高さが順次変化したときに、積荷上面高さに最適な
画像処理領域を求め、この画像処理領域に限定された少
ないデータ量の画像データ信号を用いて計測を行うこと
ができるため、処理時間を短縮することができる。

【００４９】

【発明の効果】請求項１の発明は、積み上げられた積荷
上面形状を計測し、積み上げ或いは荷降ろし対象貨物を
認識する積荷位置姿勢認識装置において、スリット光投
光角度を変えて積荷上面に複数本のスリット光を投光す
る照明手段と、前記積荷上面で反射したスリット光を撮
影したときの撮影画像の画像データ信号をそれぞれ出力
する近距離用撮像手段および遠距離用撮像手段と、想定
される最高段の積荷高さから最低段のパレット高さまで
の範囲の何れの高さに積荷上面高さがある場合において
も、前記スリット光が必ず積荷上面に照射される一つ或
いは複数の初期用スリット光投光角度で積荷上面高さの
計測を行い、該積荷上面高さの計測結果に基づいて、前
記近距離用撮像手段および前記遠距離用撮像手段からの
画像データ信号の何れかを選択する第１画像処理選択手
段と、前記スリット光を実測用スリット光投光角度で積
荷上面に投光しながら撮影し、選択された画像データ信
号を用いて前記積荷上面形状の計測を行う距離データ算
出手段と、前記積荷上面形状から前記積み上げ或いは荷
降ろし対象貨物を認識する荷姿認識手段とを有した構成
である。

【００５０】上記の構成によれば、最高段の積荷高さか
ら最低段のパレット高さまでの範囲で積荷上面高さが変
化した場合であっても、認識に必要な画像データ信号が
常に十分なデータ量で得られるため、全ての積荷上面高
さにおいて積荷上面を少ないメモリ容量で高精度に計測
して認識することができる。また、近距離用撮像手段お
よび遠距離用撮像手段の切り換えにより画像データ信号
を選択することができるため、画像データ信号を短時間
で得て認識時間を短縮することができるという効果を奏
する。

【００５１】請求項２の発明は、請求項１記載の積荷位
置姿勢認識装置であって、前記第１画像処理選択手段に
おける積荷上面高さの計測結果に基づいてスリット光投
光間隔を求め、該スリット光投光間隔に対応した複数の
実測用スリット光投光角度を算出する第１投光角度算出
手段を有している構成である。上記の構成によれば、積
荷高さがパレットごとに大きく変化した場合でも、積荷
上面でのスリット光投光間隔に対応した複数のスリット
光投光角度を算出するので、積荷高さの変化の影響を受
けることなく、所定の密度で３次元座標値を計測するこ
とができ、結果として計測精度を常に高い状態にするこ
とができるという効果を奏する。

【００５２】請求項３の発明は、請求項１または２記載
の積荷位置姿勢認識装置であって、前記第１画像処理選
択手段における積荷上面高さの計測結果に基づいて撮影
画像内の画像処理領域を求め、前記距離データ算出処理
手段で用いられる画像データ信号を該画像処理領域に対
応する画像データ信号に限定する第１画像処理領域限定
手段を有している構成である。上記の構成によれば、画
像処理領域に限定された少ないデータ量の画像データ信
号を用いて計測を行うことができるため、処理時間を短
縮することができるという効果を奏する。

【００５３】請求項４の発明は、請求項１ないし３の何
れか１項に記載の積荷位置姿勢認識装置であって、前回
検出した積み上げ或いは荷降ろし対象貨物の貨物高さを
積荷上面高さとし、該積荷上面高さに基づいて、前記近
距離用撮像手段および前記遠距離用撮像手段からの画像
データ信号の何れかを選択する第２画像処理選択手段を
有している構成である。上記の構成によれば、積荷上面
に投光されたスリット光を撮影して実際に積荷上面高さ
を求める場合よりも、早期に次の積荷上面形状の計測を
行うことが可能になるという効果を奏する。

【００５４】請求項５の発明は、請求項４記載の積荷位
置姿勢認識装置であって、前記第２画像処理選択手段で
求めた積荷上面高さに基づいてスリット光投光間隔を求
め、該スリット光投光間隔に対応した複数の実測用スリ
ット光投光角度を算出する第２投光角度算出手段を有し
ている構成である。上記の構成によれば、積み上げや荷
降ろしにより積荷高さが順次変化したときに、積荷上面
高さに最適なスリット光投光間隔に対応した複数のスリ
ット光投光角度を算出することができる。従って、積荷
高さの変化の影響を受けることなく、所定の密度で３次
元座標値を求めることができ、結果として計測精度を常
に高い状態にすることができるという効果を奏する。

【００５５】請求項６の発明は、請求項４または５記載
の積荷位置姿勢認識装置であって、前記第２画像処理選
択手段で求めた積荷上面高さに基づいて撮影画像内の画
像処理領域を求め、前記距離データ算出処理手段で用い
られる画像データ信号を該画像処理領域に対応する画像
データ信号に限定する第２画像処理領域限定手段を有し
ている構成である。上記の構成によれば、積み上げや荷
降ろしにより積荷高さが順次変化したときに、積荷上面
高さに最適な画像処理領域を求め、この画像処理領域に
限定された少ないデータ量の画像データ信号を用いて計
測を行うことができるため、処理時間を短縮することが
できるという効果を奏する。

【図面の簡単な説明】

【図１】認識処理制御盤のブロック図である。

【図２】荷降ろしする状態を示す説明図である。

【図３】距離データの算出原理を示す説明図である。

【図４】荷降ろし動作手順の一部を示すフローチャート
である。

【図５】荷降ろし動作手順の一部を示すフローチャート
である。

【図６】積荷平均高さを求める状態を示す説明図であ
る。

【図７】積荷上面高さに対応した間隔でスリット光を投
光する状態を示す説明図である。

【図８】画像処理領域を示す説明図である。

【図９】距離データの状態を示す説明図である。

【図１０】従来の認識処理により貨物を移載する状態を
示す説明図である。

【符号の説明】

１ パレット ２ 貨物 ３ センサヘッド機構 ４ 認識処理制御盤 ５ スリット光 ６ スリット光投光器 ７ 反射ミラー ８ ステッピングモータ ９ａ 近距離用撮像装置 ９ｂ 遠距離用撮像装置 １１ 撮像部材 １３ モータ駆動部 １４ 信号バス １６ 演算部 １７ ＲＡＭ １８ ＲＯＭ １９ 画像データ切り替え器 ２０ ロボット制御盤 ２１ ハンドリングロボット ２２ ローラコンベア

Claims (6)

【特許請求の範囲】
1. 【請求項１】 積み上げられた積荷上面形状を計測し、
   積み上げ或いは荷降ろし対象貨物を認識する積荷位置姿
   勢認識装置において、 スリット光投光角度を変えて積荷上面に複数本のスリッ
   ト光を投光する照明手段と、 前記積荷上面で反射したスリット光を撮影したときの撮
   影画像の画像データ信号をそれぞれ出力する近距離用撮
   像手段および遠距離用撮像手段と、 想定される最高段の積荷高さから最低段のパレット高さ
   までの範囲の何れの高さに積荷上面高さがある場合にお
   いても、前記スリット光が必ず積荷上面に照射される一
   つ或いは複数の初期用スリット光投光角度で積荷上面高
   さの計測を行い、該積荷上面高さの計測結果に基づい
   て、前記近距離用撮像手段および前記遠距離用撮像手段
   からの画像データ信号の何れかを選択する第１画像デー
   タ選択手段と、 前記スリット光を実測用スリット光投光角度で積荷上面
   に投光しながら撮影し、選択された画像データ信号を用
   いて前記積荷上面形状の計測を行う距離データ算出手段
   と、 前記積荷上面形状から前記積み上げ或いは荷降ろし対象
   貨物を認識する荷姿認識手段とを有したことを特徴とす
   る積荷位置姿勢認識装置。
2. 【請求項２】 前記第１画像データ選択手段における積
   荷上面高さの計測結果に基づいてスリット光投光間隔を
   求め、該スリット光投光間隔に対応した複数の実測用ス
   リット光投光角度を算出する第１投光角度算出手段を有
   していることを特徴とする請求項１記載の積荷位置姿勢
   認識装置。
3. 【請求項３】 前記第１画像データ選択手段における積
   荷上面高さの計測結果に基づいて撮影画像内の画像処理
   領域を求め、前記距離データ算出処理手段で用いられる
   画像データ信号を該画像処理領域に対応する画像データ
   信号に限定する第１画像処理領域限定手段を有している
   ことを特徴とする請求項１または２記載の積荷位置姿勢
   認識装置。
4. 【請求項４】 前回検出した積み上げ或いは荷降ろし対
   象貨物の貨物高さを積荷上面高さとし、該積荷上面高さ
   に基づいて、前記近距離用撮像手段および前記遠距離用
   撮像手段からの画像データ信号の何れかを選択する第２
   画像データ選択手段を有していることを特徴とする請求
   項１ないし３の何れか１項に記載の積荷位置姿勢認識装
   置。
5. 【請求項５】 前記第２画像データ選択手段で求めた積
   荷上面高さに基づいてスリット光投光間隔を求め、該ス
   リット光投光間隔に対応した複数の実測用スリット光投
   光角度を算出する第２投光角度算出手段を有しているこ
   とを特徴とする請求項４記載の積荷位置姿勢認識装置。
6. 【請求項６】 前記第２画像データ選択手段で求めた積
   荷上面高さに基づいて撮影画像内の画像処理領域を求
   め、前記距離データ算出処理手段で用いられる画像デー
   タ信号を該画像処理領域に対応する画像データ信号に限
   定する第２画像処理領域限定手段を有していることを特
   徴とする請求項４または５記載の積荷位置姿勢認識装
   置。