JPH08201041A

JPH08201041A - ３次元形状の認識方法

Info

Publication number: JPH08201041A
Application number: JP7011083A
Authority: JP
Inventors: Tomoharu Nakahara; 智治中原; Hidekazu Araki; 秀和荒木; Katsuhiro Sasada; 勝弘笹田
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1995-01-26
Filing date: 1995-01-26
Publication date: 1996-08-09

Abstract

(57)【要約】【目的】視差を求める処理を簡略化して距離情報を求め
る処理を高速化した３次元形状の認識方法を提供する．【構成】対象物を異なる２位置からＴＶカメラ１１ａ，
１１ｂによって撮像し、各ＴＶカメラ１１ａ，１１ｂに
より第１画像および第２画像を得る。代表点抽出部１３
ａ，１３ｂは、第１画像および第２画像の中での対象物
の同一の代表点の位置をそれぞれ検出し、代表点対応付
け部１４で第１画像と第２画像とにおける代表点を対応
付けることにより第１画像と第２画像との視差を求め
る。視差が求まれば、３次元位置算出部１５で三角測量
法を適用することによりＴＶカメラ１１ａ，１１ｂと代
表点との距離を求めることができる。第１画像あるいは
第２画像より求められる対象物１の２次元形状に上記距
離を組み合わせることにより対象物１の３次元形状を認
識することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＴＶカメラのような撮
像手段によって１つの対象物を異なる位置から撮像し、
各位置で得た画像間の視差に基づいて対象物の３次元形
状を認識するようにした３次元形状の認識方法に関する
ものである。

【０００２】

【従来の技術】従来より、対象物の位置の認識には、Ｔ
Ｖカメラのような撮像手段によって対象物の表面を撮像
し、その画像を濃度について２値化して求めた２値画像
内で対象物の重心を求め、この重心の位置を対象物の位
置とする方法が知られている。しかしながら、この方法
では撮像装置と対象物の表面との間の距離を認識するこ
とができないから、撮像手段によって得た画像内での対
象物の寸法が等しいときには、距離（つまり対象物の高
さ）が異なっていても認識できない。つまり、生産工程
における物品の認識にこの種の方法を用いる場合には、
高さ寸法のみが異なる２種類の物品を混在させることが
できないという制約が生じる。

【０００３】これに対して、物品の高さまで認識できる
ようにした３次元形状の認識方法としては、特開昭６０
−１７３４０３号公報に示された「ステレオ画像の対応
付け処理方法」が知られている。すなわち、規定の位置
関係に配置した２台の撮像手段を用いて２枚の画像を得
た後、２枚の画像間の視差を求め、２台の撮像手段に関
する既知の位置関係と求めた視差とに基づいて三角測量
法を適用し、対象物と撮像装置との間の距離情報を求め
るのである。視差は、２枚の画像の線成分から抽出した
線セグメントを用いて、線セグメント同士の対応付けを
行なうことで求めるようにしてある。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た方法では２枚の画像を対応付けるために、すべての線
セグメントの対応付けを行なう必要があり、視差を求め
る処理に要する時間が長くなるという問題がある。本発
明は上記事由に鑑みて為されたものであり、その目的
は、視差を求める処理を簡略化して距離情報を求める処
理を高速化した３次元形状の認識方法を提供することに
ある。

【０００５】

【課題を解決するための手段】請求項１の発明は、対象
物に対して異なる２位置で対象物の表面に略直交する方
向から撮像手段によって第１画像および第２画像を撮像
し、第１画像および第２画像をそれぞれ濃度について２
値化した２つの２値画像を求め、２つの２値画像に基づ
いて第１画像および第２画像の中での対象物の表面の同
一の代表点の位置をそれぞれ検出し、第１画像と第２画
像とにおける上記代表点を対応付けることによって第１
画像と第２画像との視差を求め、三角測量法を適用する
ことにより対象物の表面に直交する方向における撮像手
段との間の距離情報を求め、第１画像あるいは第２画像
より求められる対象物の２次元形状に上記距離情報を組
み合わせることによって対象物の３次元形状を認識する
ことを特徴とする。

【０００６】請求項２の発明では、代表点は２値画像の
中での対象物の重心であることを特徴とする。請求項３
の発明は、第１画像から求めた２値画像における重心
と、第２画像から求めた２値画像における重心とを一致
させる際に各重心の周囲の濃度の類似度に基づいて第１
画像と第２画像との対応付けを行なうことを特徴とす
る。

【０００７】請求項４の発明は、第１画像および第２画
像の中での対象物の慣性主軸を求め、第１画像から求め
た２値画像における重心と、第２画像から求めた２値画
像における重心とを一致させる際に、慣性主軸の方向の
類似度に基づいて第１画像と第２画像との対応付けを行
なうことを特徴とする。請求項５の発明は、第１画像と
第２画像とを撮像する際の撮像手段の光軸を平行とし、
かつ第１画像と第２画像との中心間を結ぶ方向を第１画
像および第２画像の水平軸に平行とし、さらに第１画像
と第２画像とを撮像する撮像手段の拡大率を等しく設定
したときの代表点の位置に一致するように、第１画像と
第２画像とにおける代表点の位置を補正し、補正後の代
表点の位置に基づいて第１画像と第２画像とを対応付け
ることを特徴とする。

【０００８】請求項６の発明は、対象物に対して異なる
２位置で対象物の表面に略直交する方向から撮像手段に
よって濃淡画像である第１画像および第２画像を撮像
し、第１画像および第２画像と基準画像とのそれぞれの
パターンマッチングによって第１画像および第２画像の
中での対象物の表面の１つの代表点の位置をそれぞれ検
出し、第１画像と第２画像とにおける上記代表点を対応
付けることによって第１画像と第２画像との視差を求
め、三角測量法を適用することにより対象物の表面に直
交する方向における撮像手段との間の距離情報を求め、
第１画像あるいは第２画像より求められる対象物の２次
元形状に上記距離情報を組み合わせることによって対象
物の３次元形状を認識することを特徴とする。

【０００９】請求項７の発明は、第１画像より求めた代
表点の位置に基づいて第２画像における代表点の存在領
域を制限して第２画像から代表点を抽出することを特徴
とする。請求項８の発明は、撮像手段を用いて第１画像
を撮像した後に、同じ撮像手段を所定距離だけ移動させ
て第２画像を撮像することを特徴とする。

【００１０】請求項９の発明は、第１画像と第２画像と
を各別の撮像手段によって撮像することを特徴とする。
請求項１０の発明は、１つの対象物について複数個の代
表点を求め、複数の代表点の距離情報に基づいて対象物
の形状を認識することを特徴とする。請求項１１の発明
は、第１画像および第２画像はカラー画像から特定色成
分を抽出した画像であることを特徴とする

【００１１】

【作用】本発明は、生産工程で対象物の形状が既知であ
る場合には、対象物を認識するためにすべての線セグメ
ントについての距離情報は必要ではなく、対象物の特定
部分の距離情報があれば十分なことが多いという点に着
目し、視差を求める演算を線セグメントを用いることな
く簡単に求めるようにしたものである。

【００１２】請求項１の発明は、ステレオ画像法におい
て、第１画像および第２画像の中での対象物の表面の同
一の代表点の位置をそれぞれ検出し、第１画像と第２画
像とにおける上記代表点を対応付けることによって第１
画像と第２画像との視差を求めているから、従来のよう
に、画像内でのすべての線セグメントを対応付ける処理
に比較すれば、第１画像と第２画像との中での対象物の
代表点を対応付けるだけの簡単な処理になって、距離情
報を求める処理を高速化することができる。

【００１３】請求項２の発明では、２値画像の中での対
象物の重心を代表点に用いるから、再現性のよい代表点
を簡単な方法で求めることができる。請求項３の発明
は、第１画像と第２画像とから求めた対象物の重心を位
置情報によって対応付けるだけでなく、各重心の周囲の
濃度の類似度に基づいて第１画像と第２画像との対応付
けを行なうから、重心の位置に他の情報も付加して用い
ることで、第１画像と第２画像との対応付けを一層正確
に行なうことができるのである。

【００１４】請求項４の発明は、第１画像と第２画像と
から求めた対象物の重心を位置情報によって対応付ける
だけでなく、第１画像および第２画像の中での対象物の
慣性主軸の方向の類似度に基づいて第１画像と第２画像
との対応付けを行なうから、重心の座標のみを用いる場
合に比較して情報量が多くなることで対応付けが一層正
確に行なえることになる。

【００１５】請求項５の発明は、第１画像と第２画像と
における代表点の位置を第１画像と第２画像とを撮像す
る際の撮像手段の光軸を平行とし、かつ第１画像と第２
画像との中心間を結ぶ方向を第１画像および第２画像の
水平軸に平行とし、さらに第１画像と第２画像とを撮像
する撮像手段の拡大率を等しく設定したときの代表点の
位置に一致するように補正し、補正後の代表点の位置に
基づいて第１画像と第２画像とを対応付けるから、代表
点の対応付けをより正確に行なうことができ、求めた距
離情報の信頼性が高くなるのである。

【００１６】請求項６の発明は、第１画像および第２画
像を基準画像にパターンマッチングさせることによって
第１画像および第２画像の中での対象物の表面の１つの
代表点の位置をそれぞれ検出するから、代表点の位置を
求める処理が簡単になる。請求項７の発明は、第１画像
より求めた代表点の位置に基づいて第２画像における代
表点の存在領域を制限して第２画像から代表点を抽出す
るのであり、第１画像から得られた情報に基づいて制限
された範囲で第２画像の代表点を抽出するから、第２画
像において代表点を抽出する処理が簡単になり、より一
層高速かつ精度よく３次元形状を認識することができ
る。

【００１７】請求項８の発明は、撮像手段を用いて第１
画像を撮像した後に、同じ撮像手段を所定距離だけ移動
させて第２画像を撮像するから、１台の撮像手段を用い
て低コストで３次元形状を認識することができる。請求
項９の発明は、２台の撮像手段を用いるから第１画像と
第２画像とを短時間で得ることができ、しかも、両撮像
手段の位置関係を固定しておくことができるから、精度
よく視差を求めることができる。

【００１８】請求項１０の発明は、１つの対象物につい
て複数個の代表点を求め、複数の代表点の距離情報に基
づいて対象物の形状を認識するから、より正確に対象物
を認識することができる。請求項１１の発明は、第１画
像および第２画像はカラー画像から特定色成分を抽出し
た画像であって、色情報を用いることで代表点の対応付
けが容易かつ正確になり、求めた距離情報の信頼性が高
くなる。

【００１９】

【実施例】

（実施例１）本発明で用いる装置は、図１に示すよう
に、２台のＴＶカメラ１１ａ，１１ｂを備える。両ＴＶ
カメラ１１ａ，１１ｂは、図２に示すように、光軸Ａ
ａ，Ａｂを平行とし、かつ両ＴＶカメラ１１ａ，１１ｂ
のレンズ中心を結ぶ線分を画像の水平方向に平行とする
ように配置され、さらに両ＴＶカメラ１１ａ，１１ｂの
拡大率が等しく設定されている。以後、このように設定
されたＴＶカメラ１１ａ，１１ｂの配置を平行ステレオ
配置と呼ぶことにする。両ＴＶカメラ１１ａ，１１ｂの
視野は、少なくとも対象物１の代表点２を含むように設
定される。

【００２０】ＴＶカメラ１１ａ，１１ｂでそれぞれ撮像
された画像は、フレームメモリのような画像蓄積部１２
ａ，１２ｂにそれぞれ格納され、画像蓄積部１２ａ，１
２ｂに蓄積された画像に基づいて代表点抽出部１３ａ，
１３ｂで対象物１の代表点の位置を抽出する。本実施例
では、ＴＶカメラ１１ａ，１１ｂで撮像した画像は濃淡
画像であって、代表点抽出部１３ａ，１３ｂでは画素の
濃淡を２値化した後に代表点の抽出を行なう。ここにお
いて、代表点としては、たとえば２値化した画像内での
対象物１の重心などを用いる。

【００２１】各ＴＶカメラ１１ａ，１１ｂで撮像された
２つの画像から代表点が抽出されると、代表点対応付け
部１４において代表点２の対応付けを行ない、各画像内
での対象物１の同一点を対応付ける。ここで、画像内で
は対象物１の代表点２に対応する点は、２台のＴＶカメ
ラ１１ａ，１１ｂの配置によって決まるエピポーラ線上
に存在することが知られており、上述のようにＴＶカメ
ラ１１ａ，１１ｂを平行ステレオ配置とした場合には、
エピポーラ線は画像の水平軸と平行になる。いま、画像
の水平方向をＸ方向、垂直方向をＹ方向とするときに、
両ＴＶカメラ１１ａ，１１ｂで得た画像内で代表点２に
対応する点のＹ座標は等しくなる。つまり、各画像が図
３のように得られているとすると、図４に示すように両
画像での代表点２のＹ座標は等しくなる。

【００２２】上述のようにして代表点対応付け部１４で
代表点２の対応付けを行なえば、３次元位置算出部１５
では、両画像内での代表点のＸ座標の差によって両ＴＶ
カメラ１１ａ，１１ｂから見た代表点２の視差を求める
ことができる。つまり、各画像内での代表点２の座標を
（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）とすると、上述したよ
うにｙ₁＝ｙ₂であって、ｘ₁とｘ₂との差が視差に対
応するのである。両ＴＶカメラ１１ａ，１１ｂのレンズ
の中心間の距離およびレンズの焦点距離は既知であるか
ら、視差が求まれば、三角測量法を適用することによっ
て、以下の式より、ＴＶカメラ１１ａ，１１ｂと対象物
１の代表点２との距離を求めることができる。Ｚ＝Ｂ×Ｆ／Ｄ（ただし、Ｚ：ＴＶカメラ１１ａ，１１ｂと対象物１の
代表点２との距離、Ｂ：ＴＶカメラ１１ａ，１１ｂのレ
ンズの中心間の距離、Ｆ：ＴＶカメラ１１ａ，１１ｂの
レンズの焦点距離、Ｄ：視差）一般に生産工程では、対象物１が配置されている面とＴ
Ｖカメラ１１ａ，１１ｂとの距離は既知であるから、上
述のようにＴＶカメラ１１ａ，１１ｂと対象物１の代表
点２との距離を求めれば、対象物１を配置している基準
面からの対象物１の代表点２の高さを求めることができ
る。

【００２３】また、生産工程では、両ＴＶカメラ１１
ａ，１１ｂの光軸は対象物１において代表点２が設定さ
れている面に直交しているから、３次元位置算出部１５
で求めた代表点の３次元位置を物体認識部１６に送るこ
とによって、対象物１の形状や位置を認識することがで
きるのである。上述のようにステレオ画像法によって求
めた対象物１について代表点２を対応付けるだけで、対
象物１の形状や位置を認識することができるから、処理
が簡単であり、処理時間も短くなる。

【００２４】（実施例２）本実施例では、図５に示すよ
うに、実施例１のようにして対象物１の形状や位置を認
識し（実施例１における画像蓄積部１２ａ，１２ｂから
物体認識部１６までをまとめて３次元認識装置１０とし
て示してある）、その結果を用いてロボット３を制御す
ることにより、複数種類の対象物１₁，１₂を各別のト
レイ４₁，４₂に分類して整列するようにした例を示
す。各対象物１₁，１₂は、高さ（つまり、ＴＶカメラ
１１ａ，１１ｂとの距離）のみが異なり、他の寸法は等
しいものとする。

【００２５】図６に示すように、ＴＶカメラ１１ａ，１
１ｂによって対象物１₁，１₂の画像を取り込み（Ｓ
１）、両画像を２値化する（Ｓ２）。次に、２値化した
両画像から対象物１₁，１₂の重心を代表点として求め
（Ｓ３）、両画像で得た重心を対応付けることによって
視差を求める（Ｓ４）。このようにして視差が求まれ
ば、代表点２の３次元位置を求めることができる（Ｓ
５）。ここで、対象物１₁，１₂の高さは既知であるか
ら、一方の対象物１₁の高さをＺ₁とすれば、代表点の
高さＺがＺ₁に一致するか否かで、どちらの対象物
１₁，１₂かを認識することができる。そこで、Ｚ＝Ｚ
₁か否かの判定を行ない（Ｓ６）、Ｚ＝Ｚ₁が成立すれ
ばロボット３を移動させて（Ｓ７）、対象物１₁を掴み
（Ｓ８）、トレイ４ ₁に整列する（Ｓ９）。また、Ｚ＝
Ｚ₁が成立しなければロボット３を移動させて（Ｓ１
０）、対象物１₂を掴み（Ｓ１１）、トレイ４₂に整列
する（Ｓ１２）。

【００２６】以上のようにして、高さのみが異なる複数
種類の対象物１₁，１₂を仕分けしてトレイ４₁，４₂
に整列することができるのである。本実施例では、２種
類の対象物１₁，１₂について説明しているが、さらに
多種類の対象物が存在する場合でも同様に処理すること
ができる。他の処理は実施例１と同様である。（実施例３）本実施例も実施例２と同様に複数種類の対
象物１₁，１₂を仕分けし、ロボット３によって各別の
トレイ４₁，４₂に整列させる例を示す。ただし、対象
物１ ₁，１₂は、高さだけではなく、代表点２を含む面
の明るさが異なっている。対象物１₁，１₂の表面の明
るさを異ならせるには、一般に対象物１₁，１₂の表面
の反射率を異ならせて置けばよい。

【００２７】いま、図８のように、一方のＴＶカメラ１
１ａの視野内には１個の対象物があり、他方のＴＶカメ
ラ１１ｂの視野内には２個の対象物が撮像されているも
のとする。ここで、各画像内での代表点のＹ座標がすべ
て等しい場合には、一方のＴＶカメラ１１ｂの視野内の
２個の対象物のうちのどちらが目的の対象物かをＹ座標
のみでは識別することができない。そこで、各対象物の
明るさの相違を利用する。

【００２８】すなわち、各対象物の代表点として２値化
した画像内での重心Ｇ₁，Ｇ₂，Ｇ ₃を用い、各重心Ｇ
₁，Ｇ₂，Ｇ₃の近傍の画素（８近傍でよい）の明るさ
の平均値Ｖ₁，Ｖ₂，Ｖ₃を求める。同一の対象物につ
いての明るさの平均値Ｖ₁，Ｖ₂，Ｖ₃はほぼ等しいは
ずであるから、上記他方のＴＶカメラ１１ｂの視野内に
存在する２個の対象物についての明るさの平均値Ｖ₂，
Ｖ₃と、上記一方のＴＶカメラ１１ａの視野内の対象物
についての明るさの平均値Ｖ₁との差を求めると、差の
小さいほうが重心Ｇ₁，Ｇ₂，Ｇ₃の周囲の濃度の類似
度が高いと考えられるから類似度の高いほうが目的の対
象物のＧ₁，Ｇ₂，Ｇ₃であると判断できるのである。
つまり、｜Ｖ₁−Ｖ₂｜，｜Ｖ₁−Ｖ₃｜の値が小さい
ほうの重心Ｇ₁，Ｇ₂，Ｇ₃の組を対応付けることによ
って、対象物の代表点の３次元位置を求めることができ
る。

【００２９】その後、高さにより対象物１₁，１₂を仕
分けしてトレイ４₁，４₂に整列させるのである。以上
の処理手順をまとめると図７のようになる。すなわち、
ＴＶカメラ１１ａ，１１ｂによって対象物１₁，１₂の
画像を取り込み（Ｓ１）、両画像を２値化する（Ｓ
２）。次に、２値化した両画像から対象物１₁，１₂の
重心Ｇ₁，Ｇ₂，Ｇ₃を代表点として求めるとともに
（Ｓ３）、重心Ｇ₁，Ｇ₂，Ｇ₃の８近傍の明るさの平
均値Ｖ₁，Ｖ₂，Ｖ₃を求める（Ｓ４）。次に、｜Ｖ ₁
−Ｖ₂｜と｜Ｖ₁−Ｖ₃｜との大小関係を求め（Ｓ
５）、｜Ｖ₁−Ｖ₂｜が｜Ｖ₁−Ｖ₃｜より小さいとき
には、重心Ｇ₁と重心Ｇ₂とが同じ対象物の代表点であ
るとみなして対応付け（Ｓ６）、｜Ｖ₁−Ｖ₂｜が｜Ｖ
₁−Ｖ₃｜より大きいときには、重心Ｇ₁と重心Ｇ₃と
が同じ対象物の代表点であるとみなして対応付ける（Ｓ
７）。以後の処理は実施例２と同様であって、視差を求
めて代表点の３次元位置を求め（Ｓ８）、Ｚ＝Ｚ₁か否
かの判定を行ない（Ｓ９）、Ｚ＝Ｚ₁が成立すればロボ
ット３を移動させて（Ｓ１０）、対象物１₁を掴み（Ｓ
１１）、トレイ４₁に整列する（Ｓ１２）。また、Ｚ＝
Ｚ₁が成立しなければロボット３を移動させて（Ｓ１
３）、対象物１₂を掴み（Ｓ１４）、トレイ４₂に整列
する（Ｓ１５）。

【００３０】以上のようにして、明るさに関する情報を
併用して代表点の対応付けを行なうから、ＴＶカメラ１
１ａ，１１ｂの視野内に複数個の対象物１₁，１₂が存
在する場合でも対応付けが可能になる確率が高く、求め
た３次元位置の信頼性が高くなるのである。本実施例で
は、２種類の対象物１₁，１₂について説明している
が、さらに多種類の対象物が存在する場合でも同様に処
理することができる。

【００３１】（実施例４）本実施例も実施例３と同様に
１台のＴＶカメラ１１ａ，１１ｂの視野内に複数個の対
象物が存在する場合の例であって、実施例３では代表点
の８近傍の明るさの平均値を用いていたが、本実施例で
は対象物の慣性主軸の方向を比較することで代表点の対
応付けを行なうようにしてある。

【００３２】すなわち、図１０に示すように、各ＴＶカ
メラ１１ａ，１１ｂにより撮像した画像を濃度について
２値化した画像内で、対象物の慣性主軸Ｂ₁，Ｂ₂，Ｂ
₃の方向（水平方向に対する角度）θ₁，θ₂，θ₃を
求める。同じ対象物については、慣性主軸Ｂ₁，Ｂ₂，
Ｂ₃の方向θ₁，θ₂，θ₃は一致するはずである。し
たがって、いま、ＴＶカメラ１１ａの視野には１個の対
象物が存在し、ＴＶカメラ１１ｂの視野内には２個の対
象物が存在するとすれば、ＴＶカメラ１１ｂによって得
た画像内の各対象物の慣性主軸Ｂ₂，Ｂ₃の方向θ₂，
θ₃と、ＴＶカメラ１１ａによって得た画像内の対象物
の慣性主軸Ｂ₁の方向θ₁との差を求め、差の小さいほ
うが対応していると考えることができる。すなわち、｜
θ₁−θ ₂｜と｜θ₁−θ₃｜との大小関係を求め、小
さいほうの組について代表点である重心Ｇ₁，Ｇ₂，Ｇ
₃の対応付けを行なえばよい。

【００３３】以上の処理手順をまとめると図９のように
なる。すなわち、ＴＶカメラ１１ａ，１１ｂによって対
象物１₁，１₂の画像を取り込み（Ｓ１）、両画像を２
値化する（Ｓ２）。次に、２値化した両画像から対象物
１₁，１₂の重心Ｇ₁，Ｇ₂，Ｇ₃を代表点として求め
るとともに慣性主軸Ｂ₁，Ｂ₂，Ｂ₃の方向θ₁，
θ ₂，θ₃を求める（Ｓ３）。次に、｜θ₁−θ₂｜と
｜θ₁−θ₃｜との大小関係を求め（Ｓ４）、｜θ₁−
θ₂｜が｜θ₁−θ₃｜より小さいときには、重心Ｇ₁
と重心Ｇ₂とが同じ対象物の代表点であるとみなして対
応付け（Ｓ５）、｜θ₁−θ₂｜が｜θ₁−θ₃｜より
大きいときには、重心Ｇ₁と重心Ｇ₃とが同じ対象物の
代表点であるとみなして対応付ける（Ｓ６）。つまり、
慣性主軸Ｂ₁，Ｂ₂，Ｂ₃の方向θ₁，θ₂，θ₃の類
似度が高いということは、方向θ₁，θ₂，θ₃の差が
小さいということであるから、｜θ₁−θ₂｜と｜θ₁
−θ₃｜との大小を比較することで、慣性主軸Ｂ₁，Ｂ
₂，Ｂ₃の方向θ₁，θ₂，θ ₃の類似度を判断できる
のである。以後の処理は実施例２と同様であって、視差
を求めて代表点の３次元位置を求め（Ｓ７）、Ｚ＝Ｚ₁
か否かの判定を行ない（Ｓ８）、Ｚ＝Ｚ₁が成立すれば
ロボット３を移動させて（Ｓ９）、対象物１₁を掴み
（Ｓ１０）、トレイ４₁に整列する（Ｓ１１）。また、
Ｚ＝Ｚ₁が成立しなければロボット３を移動させて（Ｓ
１２）、対象物１₂を掴み（Ｓ１３）、トレイ４₂に整
列する（Ｓ１４）。

【００３４】以上のようにして、対象物の慣性主軸の方
向を併用して代表点の対応付けを行なうから、ＴＶカメ
ラ１１ａ，１１ｂの視野内に複数個の対象物１₁，１₂
が存在する場合でも対応付けが可能になる確率が高く、
求めた３次元位置の信頼性が高くなる。本実施例では、
２種類の対象物１₁，１₂について説明しているが、さ
らに多種類の対象物が存在する場合でも同様に処理する
ことができる。

【００３５】（実施例５）本実施例も複数種類の対象物
を仕分けし、ロボット３を用いて各対象物ごとにトレイ
に整列させようとするものであって、上述した各実施例
ではエピポーラ線の上に代表点が存在している場合の例
であったが、本実施例では図１２に示すように、代表点
（重心Ｇ₁，Ｇ₂）がエピポーラ線からずれている場合
について説明する（ｙ₁≠ｙ₂）。要するに、両ＴＶカ
メラ１１ａ，１１ｂが平行ステレオ配置から少しずれて
いるのである。現実的には２台のＴＶカメラ１１ａ，１
１ｂの位置関係を完全な平行ステレオ配置とするように
調節するのは困難であるから、平行ステレオ配置から少
しずれた位置関係を想定するのは実使用上で有用であ
る。

【００３６】しかして、本実施例では、図１１に示すよ
うに、各ＴＶカメラ１１ａ，１１ｂでの撮像によって得
られた各画像から得た対象物の代表点としての重心
Ｇ₁，Ｇ ₂の座標（ｘ₁，ｙ₁），（ｘ₂，ｙ₂）に基
づいて、両ＴＶカメラ１１ａ，１１ｂを平行ステレオ配
置とした場合の重心Ｇ₁，Ｇ₂の座標位置を求める（Ｓ
１〜Ｓ４）。このような座標変換は周知であって平行ス
テレオ変換と呼ばれている。平行ステレオ変換を施した
後の重心をＧ₁′，Ｇ₂′として、各座標を（ｘ₁′，
ｙ₁′），（ｘ₂′，ｙ₂′）とすれば、平行ステレオ
変換の後のエピポーラ線は画像の水平方向と平行になる
から、ｙ₁′＝ｙ₂′になる。つまり、ｘ₁′とｘ₂′
との差に基づいて視差を求めることができ、重心
Ｇ₁′，Ｇ₂′の対応付けが可能になる（Ｓ５）。以後
の処理は、実施例２のステップＳ５以降の処理手順と同
様である。

【００３７】このように、ＴＶカメラ１１ａ，１１ｂの
配置が平行ステレオ配置でない場合には、平行ステレオ
変換を施す手順を加えて補正を施すことによって、以後
の処理を平行ステレオ配置の場合と同様に行なうことが
できる。他の処理手順は実施例２と同様である。（実施例６）上述した各実施例では、対象物の代表点と
して２値化した画像内での対象物の重心を用いていた
が、このような代表点は照明の方向などによって位置が
ずれる場合もある。そこで、本実施例では、あらかじめ
基準となる対象物について設定した基準画像を用い、Ｔ
Ｖカメラ１１ａ，１１ｂで撮像した各画像と基準画像と
のパターンマッチングによって代表点の位置を求めてい
る。ここに、基準画像内で代表点の位置を規定しておけ
ば、代表点としては対象物に関するどのような点であっ
てもよい。

【００３８】パターンマッチングの処理に際しては、図
１３に示すように、ＴＶカメラ１１ａ，１１ｂで撮像し
た画像に対して基準画像をパターンマッチングさせ、類
似度が最大になる位置を求める（Ｓ１，Ｓ２，Ｓ３）。
基準画像には代表点が設定してあるから、パターンマッ
チングにより求めた位置から代表点の位置を求め、両画
像から得た代表点同士を対応付けるようにして視差を求
める（Ｓ４）。以後の処理は、実施例２におけるステッ
プＳ５以降の処理手順と同様であって、代表点の３次元
位置を求めた後に、対象物の種類を仕分けしてトレイに
整列するのである。

【００３９】（実施例７）本実施例は、実施例６と同様
に基準画像とのパターンマッチングによって各画像内で
の対象物の代表点の位置を求める方法である。ただし、
一方の画像について代表点の位置を求めれば、平行ステ
レオ配置の場合には、他方の画像での代表点と上記一方
の画像から求めた代表点とのＹ座標がほぼ一致するとい
う知見に基づいて、上記他方の画像から代表点を求める
際に代表点を探索する範囲を制限することで、処理の高
速化を図っている。

【００４０】すなわち、図１５に示すように、一方の画
像（左側の画像）から代表点の座標を求めた後、他方の
画像（右側の画像）から代表点を求めるに際して、図示
する範囲ＴにＹ座標を制限してパターンマッチングを行
なうことにより、画像内の全領域でパターンマッチング
を行なう場合に比較して、基準画像との類似度が最大に
なる位置を短時間で抽出できるようにしているのであ
る。

【００４１】上述した処理手順をまとめると、図１４の
ようになり、両ＴＶカメラ１１ａ，１１ｂで撮像した画
像のうちの一方について基準画像とのパターンマッチン
グによって代表点の位置を求め（Ｓ１，Ｓ２）、その
後、他方の画像内において基準画像とのパターンマッチ
ングを行なうＹ座標の領域を制限し（Ｓ３）、制限され
た範囲内で基準画像とのパターンマッチングを行ない代
表点を抽出するのである（Ｓ４）。以上のようにして、
両画像から代表点を抽出した後の処理は実施例２のステ
ップＳ５以降と同様であって、代表点のＸ座標の差から
視差を求めて代表点の３次元位置を求め、対象物を仕分
けしてトレイに整列させるのである。

【００４２】（実施例８）上記各実施例は、２台のＴＶ
カメラ１１ａ，１１ｂを用いていたが、本実施例は図１
７に示すように１台のＴＶカメラ１１を用い、対象物１
とＴＶカメラ１１とを相対的に移動させることによっ
て、２台のＴＶカメラ１１ａ，１１ｂを用いた場合と同
様の処理を可能にしている。実際には、ＴＶカメラ１１
を固定しておき、対象物１を移動させているのであっ
て、生産工程などでワークを対象物とする場合に、ワー
クは搬送されているから、このような処理方法を採用す
ることは実用性がある。

【００４３】すなわち、図１６に示すように、ＴＶカメ
ラ１１によって対象物１を撮像し（Ｓ１）、対象物１を
既知の移動量だけ既知方向に移動させた後に（Ｓ２）、
ＴＶカメラ１１によって再び対象物１を撮像する（Ｓ
３）。このようにして画像蓄積部１２ａ，１２ｂには対
象物１の各位置での画像を格納することができるから、
以後の処理は実施例２のステップＳ２以降と同様にな
る。

【００４４】（実施例９）上述した各実施例では、１つ
の対象物１ごとに１個の代表点を用いていたが、本実施
例では、１つの対象物について複数個の代表点を用いる
例を示す。たとえば、対象物１として、図１９に示すよ
うに、複数本（ここでは３本）のピンＣ₁，Ｃ₂，Ｃ₃
が突出している２種類の物品であって、各物品では各ピ
ンＣ₁，Ｃ ₂，Ｃ₃の高さが異なると想定している。両
物品についてピンＣ₁，Ｃ₂，Ｃ₃の高さを除く寸法は
等しいものとする。そこで、各ピンＣ₁，Ｃ₂，Ｃ₃の
頂上面にそれぞれ代表点を設定するとすれば、各物品
（対象物）について３個ずつの代表点が存在することに
なる。いま、ＴＶカメラ１１ａ，１１ｂで撮像した画像
について（図１８のＳ１）、濃度を適当な閾値で２値化
することにより（図１８のＳ２）、図２０に示すよう
に、ピンＣ₁，Ｃ₂，Ｃ₃の頂上面のみを抽出すること
ができる。そこで、各ピンＣ₁，Ｃ₂，Ｃ₃の頂上面の
重心Ｇ₁〜Ｇ₆を抽出し代表点として用いる（図１８の
Ｓ３）。重心Ｇ₁〜Ｇ₆を対応付けは実施例２と同様で
あって、平面ステレオ配置を仮定することによって、各
重心Ｇ₁〜Ｇ ₆の対応付けをエピポーラ線上で行なうこ
とができる。つまり、対応する重心Ｇ ₁〜Ｇ₆は同じＹ
座標を有しているから、容易に対応付けることができる
（図１８のＳ４）。

【００４５】こうして重心Ｇ₁〜Ｇ₆を対応付けた後
に、対応する各重心（Ｇ₁，Ｇ₄），（Ｇ₂，Ｇ₅），
（Ｇ₃，Ｇ₆）によって求めた視差から３個の代表点の
３次元位置を求める（図１８のＳ５）。さらに、ステッ
プＳ６のように、３個の代表点の高さデータの並びパタ
ーンＰａを記憶し、さらにステップＳ７でその並びパタ
ーンＰａとあらかじめ登録されている対象物１₁の高さ
データの並びパターンＰ ₁とを比較することにより、対
象物の種類を識別することができる。つまり、以後の処
理は実施例２におけるステップＳ７以降の処理と同様で
あって、対象物の種類に応じてトレイに仕分けて整列さ
せることができる。

【００４６】（実施例１０）本実施例では、ＴＶカメラ
１１ａ，１１ｂとしてカラー画像を取り込むことができ
るものを用いており、対象物１には他の部位とは異なる
色に着色した代表点を設けている。いま、代表点の色を
赤色とすれば、図２１に示すように、各ＴＶカメラ１１
ａ，１１ｂで撮像し（Ｓ１）、対象物１の画像から赤色
成分のみを抽出する（Ｓ２）。代表点は赤色成分の箇所
の重心であるから、赤色成分の箇所の重心を抽出し（Ｓ
３）、抽出した重心の対応付けを行なう（Ｓ４）。以後
の処理は実施例２におけるステップＳ５以降の処理と同
様になる。

【００４７】

【発明の効果】請求項１の発明は、ステレオ画像法にお
いて、第１画像および第２画像の中での対象物の表面の
同一の代表点の位置をそれぞれ検出し、第１画像と第２
画像とにおける上記代表点を対応付けることによって第
１画像と第２画像との視差を求めているから、従来のよ
うに、画像内でのすべての線セグメントを対応付ける処
理に比較すれば、第１画像と第２画像との中での対象物
の代表点を対応付けるだけの簡単な処理になって、距離
情報を求める処理を高速化することができるという利点
がある。

【００４８】請求項２の発明では、２値画像の中での対
象物の重心を代表点に用いるから、再現性のよい代表点
を簡単な方法で求めることができるという効果がある。
請求項３の発明は、第１画像と第２画像とから求めた対
象物の重心を位置情報によって対応付けるだけでなく、
各重心の周囲の濃度の類似度に基づいて第１画像と第２
画像との対応付けを行なうから、重心の位置に他の情報
も付加して用いることで、第１画像と第２画像との対応
付けを一層正確に行なうことができるという利点を有す
る。請求項４の発明は、第１画像と第２画像とから求め
た対象物の重心を位置情報によって対応付けるだけでな
く、第１画像および第２画像の中での対象物の慣性主軸
の方向の類似度に基づいて第１画像と第２画像との対応
付けを行なうから、重心の座標のみを用いる場合に比較
して情報量が多くなることで対応付けが一層正確に行な
えるという利点がある。

【００４９】請求項５の発明は、第１画像と第２画像と
における代表点の位置を第１画像と第２画像とを撮像す
る際の撮像手段の光軸を平行とし、かつ第１画像と第２
画像との中心間を結ぶ方向を第１画像および第２画像の
水平軸に平行とし、さらに第１画像と第２画像とを撮像
する撮像手段の拡大率を等しく設定したときの代表点の
位置に一致するように補正し、補正後の代表点の位置に
基づいて第１画像と第２画像とを対応付けるから、代表
点の対応付けをより正確に行なうことができ、求めた距
離情報の信頼性が高くなるという効果を奏する。

【００５０】請求項６の発明は、第１画像および第２画
像を基準画像にパターンマッチングさせることによって
第１画像および第２画像の中での対象物の表面の１つの
代表点の位置をそれぞれ検出するから、代表点の位置を
求める処理が簡単になるという利点がある。請求項７の
発明は、第１画像より求めた代表点の位置に基づいて第
２画像における代表点の存在領域を制限して第２画像か
ら代表点を抽出するのであり、第１画像から得られた情
報に基づいて制限された範囲で第２画像の代表点を抽出
するから、第２画像において代表点を抽出する処理が簡
単になり、より一層高速かつ精度よく３次元形状を認識
することができるという利点を有する。

【００５１】請求項８の発明は、撮像手段を用いて第１
画像を撮像した後に、同じ撮像手段を所定距離だけ移動
させて第２画像を撮像するから、１台の撮像手段を用い
て低コストで３次元形状を認識することができるという
利点がある。請求項９の発明は、２台の撮像手段を用い
るから第１画像と第２画像とを短時間で得ることがで
き、しかも、両撮像手段の位置関係を固定しておくこと
ができるから、精度よく視差を求めることができるとい
う利点がある。

【００５２】請求項１０の発明は、１つの対象物につい
て複数個の代表点を求め、複数の代表点の距離情報に基
づいて対象物の形状を認識するから、より正確に物体を
認識することができるという利点がある。請求項１１の
発明は、第１画像および第２画像はカラー画像から特定
色成分を抽出した画像であって、色情報を用いることで
代表点の対応付けが容易かつ正確になり、求めた距離情
報の信頼性が高くなるという利点がある。

【図面の簡単な説明】

【図１】実施例１を示すブロック図である。

【図２】実施例１の動作説明図である。

【図３】実施例１におけるＴＶカメラで撮像した画像を
示す図である。

【図４】実施例１における２値化後の画像を示す図であ
る。

【図５】実施例２における装置の例を示す概略構成図で
ある。

【図６】実施例２の処理手順を示す動作説明図である。

【図７】実施例３の処理手順を示す動作説明図である。

【図８】実施例３における２値化後の画像を示す図であ
る。

【図９】実施例４の処理手順を示す動作説明図である。

【図１０】実施例４における２値化後の画像を示す図で
ある。

【図１１】実施例５の処理手順を示す動作説明図であ
る。

【図１２】実施例５における２値化後の画像を示す図で
ある。

【図１３】実施例６の処理手順を示す動作説明図であ
る。

【図１４】実施例７の処理手順を示す動作説明図であ
る。

【図１５】実施例７における２値化後の画像を示す図で
ある。

【図１６】実施例８の処理手順を示す動作説明図であ
る。

【図１７】実施例８の概念説明図である。

【図１８】実施例９の処理手順を示す動作説明図であ
る。

【図１９】実施例９で認識する対象物の形状を示す斜視
図である。

【図２０】実施例９における２値化後の画像を示す図で
ある。

【図２１】実施例１０の処理手順を示す動作説明図であ
る。

【符号の説明】

１対象物１₁対象物１₂対象物２代表点３ロボット４₁トレイ４₂トレイ１１ａＴＶカメラ１１ｂＴＶカメラ１２ａ画像蓄積部１２ｂ画像蓄積部１３ａ代表点抽出部１３ａ代表点抽出部１４代表点対応付け部１５３次元位置算出部１６物体認識部Ｇ₁重心Ｇ₂重心Ｇ₃重心Ｇ₄重心Ｇ₅重心Ｇ₆重心

Claims

【特許請求の範囲】

【請求項１】対象物に対して異なる２位置で対象物の
表面に略直交する方向から撮像手段によって第１画像お
よび第２画像を撮像し、第１画像および第２画像をそれ
ぞれ濃度について２値化した２つの２値画像を求め、２
つの２値画像に基づいて第１画像および第２画像の中で
の対象物の表面の同一の代表点の位置をそれぞれ検出
し、第１画像と第２画像とにおける上記代表点を対応付
けることによって第１画像と第２画像との視差を求め、
三角測量法を適用することにより対象物の表面に直交す
る方向における撮像手段との間の距離情報を求め、第１
画像あるいは第２画像より求められる対象物の２次元形
状に上記距離情報を組み合わせることによって対象物の
３次元形状を認識することを特徴とする３次元形状の認
識方法。
【請求項２】代表点は２値画像の中での対象物の重心
であることを特徴とする請求項１記載の３次元形状の認
識方法。
【請求項３】第１画像から求めた２値画像における重
心と、第２画像から求めた２値画像における重心とを一
致させる際に各重心の周囲の濃度の類似度に基づいて第
１画像と第２画像との対応付けを行なうことを特徴とす
る請求項２記載の３次元形状の認識方法。
【請求項４】第１画像および第２画像の中での対象物
の慣性主軸を求め、第１画像から求めた２値画像におけ
る重心と、第２画像から求めた２値画像における重心と
を一致させる際に、慣性主軸の方向の類似度に基づいて
第１画像と第２画像との対応付けを行なうことを特徴と
する請求項２記載の３次元形状の認識方法。
【請求項５】第１画像と第２画像とを撮像する際の撮
像手段の光軸を平行とし、かつ第１画像と第２画像との
中心間を結ぶ方向を第１画像および第２画像の水平軸に
平行とし、さらに第１画像と第２画像とを撮像する撮像
手段の拡大率を等しく設定したときの代表点の位置に一
致するように、第１画像と第２画像とにおける代表点の
位置を補正し、補正後の代表点の位置に基づいて第１画
像と第２画像とを対応付けることを特徴とする請求項１
ないし請求項４のいずれかに記載の３次元形状の認識方
法。
【請求項６】対象物に対して異なる２位置で対象物の
表面に略直交する方向から撮像手段によって濃淡画像で
ある第１画像および第２画像を撮像し、第１画像および
第２画像と基準画像とのそれぞれのパターンマッチング
によって第１画像および第２画像の中での対象物の表面
の１つの代表点の位置をそれぞれ検出し、第１画像と第
２画像とにおける上記代表点を対応付けることによって
第１画像と第２画像との視差を求め、三角測量法を適用
することにより対象物の表面に直交する方向における撮
像手段との間の距離情報を求め、第１画像あるいは第２
画像より求められる対象物の２次元形状に上記距離情報
を組み合わせることによって対象物の３次元形状を認識
することを特徴とする３次元形状の認識方法。
【請求項７】第１画像より求めた代表点の位置に基づ
いて第２画像における代表点の存在領域を制限して第２
画像から代表点を抽出することを特徴とする請求項１な
いし請求項６のいずれかに記載の３次元形状の認識方
法。
【請求項８】撮像手段を用いて第１画像を撮像した後
に、同じ撮像手段を所定距離だけ移動させて第２画像を
撮像することを特徴とする請求項１ないし請求項７のい
ずれかに記載の３次元形状の認識方法。
【請求項９】第１画像と第２画像とを各別の撮像手段
によって撮像することを特徴とする請求項１ないし請求
項７のいずれかに記載の３次元形状の認識方法。
【請求項１０】１つの対象物について複数個の代表点
を求め、複数の代表点の距離情報に基づいて対象物の形
状を認識することを特徴とする請求項１ないし請求項７
のいずれかに記載の３次元形状の認識方法。
【請求項１１】第１画像および第２画像はカラー画像
から特定色成分を抽出した画像であることを特徴とする
請求項１ないし請求項７のいずれかに記載の３次元形状
の認識方法。