JPH02226376A - 画像解析方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 隠蔽のない物体の位置を抽出する画像解析方式画像が表
す対象に依存せず、画像の構造化を使った方式で隠蔽の
ない物体の位置を抽出することを目的とし、 画像の対象領域を同一性質を有する複数の領域に分割す
る領域分割手段と、前記複数の領域に対応した複数の面
の前後関係を探索して画像を複数の面の前後関係を含ん
だ情報に変換する構造化手段と、該構造化手段の出力に
基づいて所望の面を抽出する面抽出手段とを有するよう
に構成する。

〔産業上の利用分野〕

本発明は、画像認識に係り２．更に詳しくは、隠蔽のな
い物体の位置を抽出する画像解析方式に関する。

テレビ、カメラの画像を解析して３次元のモデルを認識
する、いわゆる物体認識（コンピュータビジョン）を行
うことはきわめて重要である。３次元世界では、見る方
向によって物体の形状が異なったり、物体が他の物体に
隠蔽されたり、観測する方向によって大きさが異なる等
の問題があり、そのため特に、物体の形状や配置に着目
し、画像の理解を行うことが重要となる。そして他の物
体より前面にあって隠蔽のない物体の位置を画像から計
測する技術は物体が混在する環境から他の物体よりも前
面にある物体を識別する分野に重要となる。例えば、自
動走行ロボットにおいて、ロボットに備えつけられたカ
メラから入力したｍ像を用いて、前方の隠蔽のない物体
の位置を測定しロボットが障害物を回避するための技術
やロボットアームで山積みになった部品群を上から順に
拾いあげるビンピッキング技術等の分野に利用できる。

〔従来の技術〕

第２６図ｆａｌ、　（ｂ）は従来の隠蔽のない物体の位
置を抽出する画像解析方式の説明図である。同図（ａｌ
において１は３次元世界であるシーンである。２及び３
はそれぞれ両眼立体視、すなわちステレオによる右画像
と左画像を入力する入力部であり、４及び５はそれぞれ
右画像と左画像の特徴抽出を行う特徴抽出部である。６
はエレメントの照合部であり、７は距離計算部である。

同図［ｂｌの８及び９はそれぞれ左画像及び右画像の例
である。左画像においてＡは隠蔽のないすなわち他の物
体より前面にある物体であり、またＦも隠蔽のない物体
である。右画像においてもａ、ｆはそれぞれ隠蔽のない
物体であり、左画像に比べて位置が少しズした形になっ
ている。左画像のＣ，Ｂ、Ｄ、Ｅ＋；ｉ隠蔽のある画像
であり、同様に右画像においてもす、ｃ、ｄ、ｅは左画
像のそれぞれＣ，Ｂ、ＤＥに対応した隠蔽のある物体で
ある。

従来のこの方式は、両眼立体視（すなわちステレオ）に
よる方法であり、左右画像に存在するあるまとまった特
徴群、すなわち線または面のエレメントをエピポーラ条
件等の拘束条件に基づいて対応づけを行い、対応づけら
れたエレメントに対して三角測量の原理によりそのエレ
メントの位置及び奥行きを抽出するものである。

第２７図はモデルとの照合による従来の認識方式を示す
説明図である。これは従来技術の他の方式であり、対象
モデルすなわちテンプレートモデルとの照合により隠蔽
のない物体を認識する方式である。同図において、１０
はシーンの画像であり、隠蔽のない物体と隠蔽のある物
体とが存在する。１１は対象モデルである。この方式で
は抽出する対象物のモデルを予め用意し、入力した画像
からそのモデルによく連合する特徴を抽出することによ
り物体の位置を求め、その位置にある物体に超音波等を
あて、奥行きを計測するものである。

〔発明が解決しようとする課題〕

両眼立体視による方法では、拘束条件を満たすすべての
エレメントを対応づけるので、扱う環境すなわちシーン
において、物体の数が多い等によって、複雑になればな
るほど、対応づけるエレメントの数が増加し、画像解析
の計算時間が多大になるという問題が生じていた。一方
、モデルとの照合による方式では、画像の特徴とモデル
とが容易に且つ正確に照合できるようなモデルを選択す
るのが難しく、また一般にモデルは固定さているので、
方法の利用範囲がモデルが利用できる範囲に限定される
という問題点が生じていた。

本発明は画像が表す対象に依存せず、画像の構造化を使
った方式で隠蔽のない物体の位置を抽出することを目的
とする。

〔課題を解決するための手段〕

第１図は本発明の構成図である。

領域分割手段１２は、画像内の対象の領域、すなわち面
に分割し、各面にラベルを付は同一ラベル面のラベルの
面から境界を抽出し、構造化手段１３は、境界の交点の
うち３境界が交差するＴ型接続部を抽出し、個々のＴ型
接続点における３面の重なり関係を求めた後、Ｔ型接続
点における関係を２面間の重なり関係に変換し、さらに
２面間の重なり関係を画像中に存在する全ての面に伝播
し、重なり関係における画像全体の面関係を探索し、無
隠蔽面抽出手段１４は、面関係探索手段１３によって求
められた面関係の構造化情報からどの面にも重ならない
隠蔽のない面を抽出する。

〔作　　　用〕

本発明では、画像から面積や周囲長等の２次元特徴だけ
でなく、画像から容易に予想できる同一特徴の領域、す
なわち、面の間における画像の上下関係の３次元特徴、
特に、Ｔ型接続点における３面の重なり関係を抽出し、
面の重なり具合を画像の構造化として特徴づけ、前後あ
るいは上面を持たない面として隠蔽のない物体を抽出す
ることにより、画像のシーンの複雑性に関係なく、隠蔽
のない物体の位置を抽出することを可能としている。　
　　　　　　　　　　　　　ｌ 〔実　　施　　例〕 以下、本発明の実施例を図面を参照して説明する。

第２Ａ図は本発明の画像解析方式に従うビンピッキング
システムの構成図である。１９は３次元的なシーンで内
部に色々な対象物が含まれている。

簡単のため、ビンピッキングする対象シーンは工業部品
のような単純な形状、或いは棒状等の剛体が数種類あり
、どの物体も絡みあっておらず、山積みにされている状
態であると仮定する。２０−ａはロボットのアームであ
り、２０−ｂはアーム制御部である。２１は奥行き測定
部、２２はセンサ、２３はカメラ、２４はセンサ位置合
わせ部である。センサ２２とカメラ２３の交軸は一致し
ているものとする。この装置は、対象物位置測定装置で
あり、テレビカメラ２３から入力した画像を処理するこ
とにより、対象シーン１９の中で他の物体に隠されてい
ない無隠蔽物体を探し、その物体の位置を計算するもの
であり、無隠蔽物体をセンサ位置合わせ部２４で位置合
わせし、それをセンサ２２でセンスした後、奥行き測定
部２１で測定し、その測定の結果からアームを制御する
ものである。アーム制御部２０−ｂでアーム２０−ａを
動かし、最も上にある物体を持ち上げることになる。こ
のようなことをするために、本発明では、テレビカメラ
２３から取り出した画像を対象物位置計測装置に人力す
る。そして領域分割部２５で画像を同一濃度もしくはテ
キスチャの領域に分割し、各領域にラベルをつけ、同一
ラベルの面から境界を抽出する。そして構造化部２６で
境界の交点に注目し、交点のうち３境界が交差するＴ型
接続点を抽出し、そのＴ型接続点における３面の重なり
関係を求めた後、Ｔ型接続点における関係を２面間の重
なり関係に変換し、構造化する。そしてその２面間の重
なり関係を画像中に存在するすべての面に伝播し、重な
り関係における画像全体の面に関する面関係を構造化す
る。そして無隠蔽面抽出部２７で上面を持たない面を抽
出し、どの物体にも重ならない物体、すなわち面を抽出
し、それをセンサ位置合わせ部２４に与える。そしてセ
ンサ２２でそれを検出し、奥行き測定部２１を介してア
ーム制御部２０−ｂでアームを動かすことになる。

第２Ｂ図は、本発明の画像の構造化処理の説明図である
。同図（ａ）の画像は濃淡画像で、画像を同一模様（テ
キスチャ）の領域（面）に分割し、各領域にラベルをつ
ける。そして同一ラベルの面から境界を抽出する。次に
、同図（ｂ）の■、■に示されるように、個々の面にお
ける隣接面との局所的な重なり関係を求める。すなわち
、まず境界の交点に着目し、交点のうちで境界が交差す
るＴ型接続点を抽出する。同図の上側に示されるＴ型接
続点は３面（Ａ、Ｂ、Ｃ）　の交点であり、面Ａは面Ｂ
及びＣよりも奥行き方向に前面にあることがわかる。こ
のように、Ｔ型接続は３次元的な面の重なり関係（隠蔽
の有無）を視覚情報として提供するのでこの情報を利用
してＴ型接続を構成する３面の重なり関係を求める。そ
して、個々のＴ型接続点における３面の重なり関係を求
めた後、接続点における関係を２面間の重なり関係に変
換する。

そして同図（Ｃ）の■に示されるように、２面間の重な
り関係を画像中に存在する全ての面に伝播し、重なり関
係における画像全体の連袂を大局的に合わせる。すなわ
ち、同図（ｄ）に示されるように、ｎｏｄｅを面に対応
させ、その前後関係を１　ｉｎｋすなわち有向枝で表現
すると、例えば「家」と「草」、「えんとつ」が下位に
あり、その上に「屋根」、「草」、車の「ボディ」があ
り、その上に「葉」、「車輪」があり、上位に「みき」
があるという画像の構造をグラフで表現、することがで
きる。

以上により上面を持たない面が容易に抽出でき、どの面
にも重ならない面、すなわち隠蔽のない物体を抽出でき
る。

第３図は本発明の領域分割部の構成図である。

同図においてノイズ除去部２８の出力を受けてテクスチ
ャ解析部２９で同一テクスチャの部分を抽出し、境界線
抽出部３０で境界線を検出し、領域ラベル付は部で同一
領域に同一ラベルを付す。

第４図は本発明の領域分割部の処理フローである。３３
２でフローが開始すると３３３でセンサ位置合わせ部２
４から画像取り込みの指示があるかどうかを判定し、も
しあれば３３４でテレビカメラ２３から画像を取り込む
。テレビカメラ２３から入力した画像からノイズ除去部
２８でノイズを除去し、テクスチャ解析部２９で濃淡及
び模様、すなわちテクスチャの同じ領域の画像を分割す
る。

これがＳ３５のテクスチャ解析処理となる。ここでテク
スチャが同じとなる領域を面と呼び、テクスチャ解析の
後、３３６で面に属するすべての画素値にその面に特有
のラベルを割り振る。そして全面にラベルが施された画
像をラベル画像と呼ぶ。

ラベル画像の生成と同時に各面の境界線のみを４連結で
抽出した画像を生成する。すなわちＳ３７で各面の位置
を抽出し、これは無隠蔽面抽出部２７に転送される。そ
して３３８でテクスチャ解析した画像から境界線を抽出
し、線画を生成する。

ここで境界線を示す画素値は１とする。ラベル画像と線
画は同じ大きさの画像で同一ラベルの境界のラベルは線
画の境界に相当する。境界線を抽出した後はＳ３３に戻
ってセンサ位置合わせ部２４からの指示を待つ。すなわ
ち領域分割部２５の処理はセンサ位置合わせ部２４から
の動作指令があるときのみ動作を開始する。そして指示
がなければ指示があるまで待つことになるが、テクスチ
ャ解析で面が抽出されなければ、このシステムの動作は
すべて終了する。

第５図は本発明の構造化部の構成図である。同図におい
て３９は３面接続点抽出部、４０は３面接続点の交点の
うち３境界が交差するＴ型接続点を抽出するＴ型接続判
定部、４１は個々のＴ型接続点における３面の重なり関
係を求めた後、接続点における関係を２面間の重なり関
係に変換し、さらに２面間の重なり関係を画像中に存在
するすべての面に伝播し、重なり関係における画像全体
の構造化を行う面関係探索部である。

第６図は本発明の構造化部の処理フローチャートである
。フローが開始すると３４２で領域分割部２５からラベ
ル画像と線画が入力されたかどうかを判定し、もし入力
されていたならばＳ４３で線画の処理、すなわちテンプ
レートマツチングを行う。例えば第８図に示す４種類の
テンプレートを使って線画を操作し、マツチングするこ
とにより、３面が会合する接続点、すなわち３面接続点
の画像上の位置を求める。そして３４４で隣接接続点の
関係を抽出する。すなわち境界線を追跡し、追跡した画
素が接続点であるかどうかを検知する。

Ｓ４５で接続点を構成する３面のラベルを求める。

３４６で３面接続情報を出力する。そして接続点のＴ型
判室を行い、２面間の関係を探索し、さらに画像全体で
面間の関係を探索する。処理が終わればＳ４２に戻り、
画像が入力されていなければ待ち状態となる。

第７図は３面接続点抽出部の構成図である。４３は■テ
ンプレートマツチング部であり、４連結で表現されてい
る線画上で３面接続点を見つける処理を行う。

第８図は、３境界線による接続の画像領域を示す実施例
図である。４連結の境界線では３境界線による接続点は
第８図の形で表される。従って、座標（Ｘ、Ｙ）を中心
とする周囲の画素が第８図の４種類のパターンになって
いるかのマツチングをとる。このことにより３面接続点
の検出が可能となる。

第９図はテンプレートマツチングの処理フローチャート
である。画像は４６に示されるようにＸ方向とＹ方向の
２次元画像であり、画像の大きさはＸとＹがＭＡＸ時に
処理が終了となる。３４４で開始すると３４５で初期化
を行う。Ｘは２、Ｙは２、インデックスｉは１とする。

３４６でＹがＭＡＸに達していなければ、Ｓ４７のステ
ップに入ってＸ、Ｙを中心とする周囲の画素が４種類の
いずれかに相当するかを照合する。すなわち、この４種
類がテンプレートであり、与えられた４連結の線画がこ
のパターンのいずれかにあたるかどうかを照合する。な
お、図で斜線が示された画素の値が１あるものとする。

Ｓ４７でもしこの４種類のうちいずれか１つにマツチす
ればその座標Ｘ。

Ｙを３４９でメモリに記憶し、その位置をＪ、とラベル
付は行う。すなわち、３面が会合する３面接続点の位置
をラベルＪ８と付ける。Ｓ５０と８５１でそれぞれｉと
ＸをインクリメントするがＳ５２でＸがＭＡＸになった
ならば（Ｔ）、すなわち、１行が終わったならば、Ｓ５
３に入るが、１行が終わっていなければ（Ｆ）、同じＹ
ｌすなわち同じ行に関して画素を１つずつ進めていくこ
とになる。即ち、Ｓ４６に戻り、Ｓ４７でテンプレート
マツチングを行う。この３４７のテンプレートマツチン
グの照合において、照合されないならば、Ｓ５１にその
まま移って、座標をＸ方向に１だけ増す。この様にして
、Ｓ５２において、１行が終わるまでＹを固定したまま
進み、Ｓ、５２でＸがＭＡＸに達したならば、Ｓ５３で
Ｘを２に初期化してＹを１だけ進めてＳ４６に戻って次
の行に入って同様にテンプレートマツチングを行う。

テンプレートマツチングが終わると、次に境界線の追跡
を行う。第１０図は境界線の追跡処理のフローである。

第１１図（ａｌは■テンプレートマツチング部４３（第
７図）と、■境界線追跡部４４（第７図）の実施例図で
ある。同図において、Ｊ３を中心として５２〜３３間、
３６〜５３間、Ｊ、〜Ｊ３の３境界線が存在し、Ｊ３以
外には接続点がＪ２．Ｊ６゜Ｊ７の３点がある。この境
界を追跡するのが、第７図の■境界線の追跡４４の処理
となる。その情報は境界情報として出される。第１０図
のフローチャートにおいて、フローが開始すると３５７
でｉを１に初期化する。３５８でｉがＭＡＸ＋１でなけ
ればＳ５９に入ってＪｌ、例えば、第１１図（ａｌのＪ
３から出ている３境冑穐をすべて追跡したかどうかのチ
エツクを行う。追跡し８″われば、Ｓ６１でｉをインク
リメントして３５８に戻るが、もし追跡していなければ
、Ｓ６０で残りの境界線を追跡し、Ｓ６２に入って追跡
した画素は他の接続点、例えば、Ｊ２　、Ｊｉ、　、Ｊ
ｑのいずれか１つの接続点かどうかを判定する。もし接
続点であれば、３６４でその接続点のラベルを記憶し、
Ｓ５９にもどる。３６２で追跡した画素が接続点でなけ
れば、Ｓ６３に入って追跡を続け、追跡した履歴を残す
。すなわち、境界線情報を保存し、Ｓ６２に戻る。Ｓ５
９に戻った段階で、境界線をすべて追跡したならば、Ｓ
６１を介してＳ５８に戻る。

ｉがＭＡＸ＋１になればメインルーチンに戻ることにな
る。そして第７図の処理４５に入り、■接続点を構成す
る３面のラベルを求める処理に入る。

第１１図（ｂ）は画素近傍のラベル画像であり、同図に
おいて、３面接続点の○の周囲を任意の画素、すなわち
・を基点とし、時計回りにラベルを調べる。

第１２図は接続点を構成する３面のラベル付は処理のフ
ローチャートである。処理が開始すると３６４でｉを１
で初期化し、ｉがＭＡＸ＋１になったかどうかを３６５
で判定する。もし最後になっていなければ、Ｓ６６に入
ってカウンタ値の値をＯにし、■を１に初期化しスタッ
クを空の状態にする。そして３６７に入ってＪｌ例えば
Ｊ３の周囲の画素Ｉの値がスタックに格納された値と同
じであるかどうかを調べる。すなわち、すでにスタック
にラベルの値があれば、スタックに改めてラベル番号を
入れる必要がないから、Ｓ７０に飛ぶが、もしスタック
に格納された値でなければ、そのラベルを８６８でスタ
ックにその画素値を格納し、Ｓ６９でカウントをインク
リメントする。

そしてＳ７０で■をインクリメントし、Ｓ７１でカウン
タ値が３になったかどうかを検出する。カウンタ値が３
になっていなければ右図に示されるように接続点の周囲
の画素に対し、時計回りに番号を付けることになる（第
１１図（ｂ）参照）。ここで１は回りの画素数の何番目
にあるかを示す番号であり、カウンタ（ＣＯＵＮＴ）値
は接続点を構成する３個の面に対応するものである。３
７１でカウンタ値が３になれば３７２に入ってスタック
に格納された３値を接続点Ｊ１すなわち接続点を構成す
る３面のラベルとして記憶する。そして、３７３でｉを
インクリメントとして終わりになるまで繰り返す。

以上の３面のラベル付は処理を第１１図（Ｃ）を用いて
更に詳細に説明する。

全ての３面接続点に対して、その点を端点とする３境界
線をそれぞれ他の接続点に到達するまで４近傍の画素を
辿る。辿った境界線は画素列として保持し、端点である
接続点のラベルとともに境界線情報として保持する。ま
た、境界線を介して隣接した接続点間の繋がりも次への
情報の１つとして記録する。

３面接続点の画像上における座標位置に基づき、ラベル
画像より３面接続点を構成する３面のラベルを求める。

具体的には、接続点の画素の周囲にある任意の画素を始
点に時計回りに周囲の画素値を調べる。そのとき最初に
出てくる３種類のラベルが３面接続点を構成するラベル
である。これにより、接続点を構成する面のラベルがわ
かる。次に、どの面がどの境界線を構成しているかを調
べ、各接続点における３面のラベルを３項のリストの形
で表現する。隣接する接続点を構成する面を比較する。

例えば、接続点Ｊ３とその隣接の接続点Ｊ２とのリスト
を比較すると共通面はＡ、　とＡ３となる。このことか
ら、面Ａｌ、Ａ３いづれががか境界線Ｊ２Ｊ３　Ｊ、も
しくは境界線Ｊ２　Ｊ３　Ｊ７を構成する面であること
もわかる。同様に、その隣接の接続点Ｊ６とのリストを
比較すると、面ＡＡ、いづれかが境界線Ｊ２　Ｊｚ　Ｊ
ｂ　もしくは境界線Ｊｂ　Ｊａ　Ｊ７を構成する面であ
ることがわかる。

これら２つの結果より、面Ａ＋　、Ａ３　、Ａｓがそれ
ぞれ境界線Ｊ２　Ｊｌｌ　、Ｊｌｌ　、Ｊ２　Ｊ３　Ｊ
ｔ　、ＪｂＪ３Ｊ７を構成することがわかる。

一般に、接続点ａにおいて面Ｂが構成する境界線ｃａｄ
　（ｃ、ｄは接続点のラベル）を（Ｂ　　ｃｄ）と表す
と、例えば、接続点Ｊ３は第１１図（ｃ＋のようになる
。これを全ての接続点に関して表し、３面接続点情報と
して次のプロセスに引き渡す。

第１１図（ｄｌは３面接続点情報の実施例図である。

接続点Ｊ、の情報は接続虚名がＪ３で面構成は、Ａ１が
境界ＪｚＪｚ、Ａ３がＪ２Ｊ？、ＡｓがＪｂ　Ｊ７を有
するという３面接続点情報が構成される。

第１３図は、本発明の構造化部の実施例図である。同図
において７４は■直線近似部、７５は■接続点のＴ型判
走部、７６は■ｌ接続点における３面の重なりを求める
部分である。第１４図は本発明の構造化部の機能ブロッ
ク図である。Ｓ７７でフローが開始すると、まず３７８
で３面接続点情報が人力されたかどうかを判定し、入力
されていなければ待ち状態となる。入力されていれば、
３７９で直線近位し、Ｓ８０の接続点のＴ型判室を行い
、Ｓ８１で１接続点における３面の重なり関係を求める
。そして、Ｓ８２で２面関係を探索し、Ｓ８３で多面量
関係を探索する。この処理ではまず直線近似の処理を必
要とする。

前プロセスから受けた境界情報より接続点から伸びる境
界線を直線近似し、接続点から直接伸びる直線を求める
。直線近似法は例えばＤｕｄａ　とＨａｒｔのＳｐｌｉ
ｔｔｉｎｇ法を用いる。

第１５図は、本発明の■直線近似の更新処理の機能ブロ
ック図である。Ｓ８４でフローが開始すると、Ｓ８５で
ｉを１に初期化し、Ｓ８６でｉが接続点のラベルの個数
（ＭＡＸ）＋１に到達したかどうかをチエツクし、到達
していなければ、Ｓ８７で、Ｊｉと隣接する接続点との
間の境界線を全て処理したかどうかをチエツクし、処理
していれば、ｉをインクリメントして、Ｓ８６に戻る。

もし、処理していなければＳ８８に入って、Ｊｌと隣接
する接続点との間の境界線の１つを直線近似する。

第１６図は■直線近似法の実施例図である。線分Ｊ、Ｊ
、の垂線上の点Ｊ２と線分Ｊ３Ｊ６の垂線上の点Ｊｌを
結ぶ線分上に接続点Ｊ３があるようにして、さらに１．
Ｊ２Ｊ２の垂線上にＪ３があるようにして、直線Ｊ３　
Ｊ”　、Ｊ３　Ｊ’　、Ｊ３　Ｊ７を得る。

第１７図は本発明に利用される直線近似法の機能ブロッ
ク図である。この直線近似法では、Ｊｌと隣接する接続
点３３間の境界線の直線近似を求めるものである。Ｓ８
９でフローが開始すると、３９０でＪ、とＪ、間の直線
の方程式を求め、Ｓ９１でＪ、と３８間の境界線情報か
らＪｌと３３間の直線から最も離れている点を求め、そ
の距離をＬとする。そして、Ｓ９２でＬが閾値以下であ
ればＳ９３でＪ、をＪＩｌ′　とするが、閾値以上であ
れば、３９４でｊをＪ８に置き換えて、Ｓ９０に戻る。

■直線近似が終了すると、■接続点のＴ型判室と■その
点の３面の重なり関係を求めるフローとなる。

第１８図は、本発明の接続点のＴ型判室と三面の重なり
関係導出用の機能ブロック図である。Ｓめるものである
。Ｓ８９でフローが開始すると、３９０でＪ、と３８間
の直線の方程式を求め、Ｓ９１でＪ、と３８間の境界線
情報からＪ、と３３間の直線から最も離れている点を求
め、その距離をＬとする。そして、Ｓ９２でＬが闇値以
下であればＳ９３でＪ、をＪ　％　とするが、閾値以上
であれば、３９４でｊをＪ８に置き換えて、Ｓ９０に戻
る。

■直線近似が終了すると、■接続点のＴ型判窓と■その
点の３面の重なり関係を求めるフローとなる。

第１８図は、本発明の接続点のＴ型判窓と三面の重なり
関係導出用の機能ブロック図である。Ｓ９５でフローチ
ャートが開始すると３９６でｉを１に初期化し、３９７
でｉが接続点のラベルの個数＋１でなければ、８９８に
入る。ここで、直線近似で求めたＪ、から出る３直綿Ｊ
、Ｊ、’　。

Ｊ、Ｊ、’、Ｊ＝　Ｊｃ’がそれぞれＪ８でなす角（α
、β、ｙ）を求め、Ｓ９９で、その中で最も大きい角度
を求める。そして、５１００で最も大きい角度をなす接
続点列を求める。さらに、５１０１で３面接続点情報と
合わせ、上面と下面を求める。そして、５１０２で１を
インクリメントして、Ｓ９７に戻る。

直線近似の結果を用いて、接続点における隣合った境界
線のなす角度を求める。それらの角度の内でπｒａｄ（
＝１８０°）に最も近いものを選び、その角度を成す２
直線が属する境界線を求める。この境界線が上面に属す
るものである。

第１９図は、本発明の接続点のＴ型判窓の実施例図であ
る。接続点Ｊ３において２直線、Ｊ３Ｊ２とＪｆｆＪ’
、２直線Ｊ３　Ｊ２．Ｊ３　Ｊ？及び２直線Ｊ３　Ｊ’
　、Ｊ３Ｊ７の成す角度をそれぞれａａ２＋２３　とす
ると、ａｌがπｒａｄに最も近いので、境界綿＝Ｉｚ　
−Ｊｓ　ｊｂが上面に属する境界線である。

第２０図（ａ）、　（ｂｌは、本発明の１接続点におけ
る３面の重なりを示す実施例図である。

同図（ａ）に示すように、前プロセスから受けた３面接
続点情報と上面に属する境界線より上面のラベルを求め
る。例えば、面Ａ＋　が面Ａｎ　、Ａｓの上面であるこ
とがわかる。面Ａ３と面Ａ、の関係はこの時点では不明
である。この情報は、第２０図（ｂｌのようにリストの
形で表し、Ｔ型接続点情報１０５として次のプロセスに
転送する。

次に、各接続点の関係に基づき２面間の重なり関係を求
める。

第２１図は、本発明の面関係探索処理部の構成図である
。同図において、１０３は■２２面間関係探索、１０４
は■全面間関係探索部である。

第２２図は、本発明の２面間関係探索の実施例図である
。同図（ａ）において、Ｔ型接続点情報１０５内の、（
）の最も左にある（Ａ３　、　ＡＩ　、　Ａ６　。

Ａｓ、　　・・・）が他の２面より上にあることを示す
。また、同図（ｂｌはこのＴ型接続点情報を表現した木
構造グラフで、同じラベルは細い実線で接続されている
。このラベルの重なりを除去して整理すると同図（Ｃ）
になる。ここで、太い矢印は重なり関係を示し、点線は
関係不明を示す。

このように、Ｔ型接続情報より面別に全ての情報を取り
出し、各面の上面を求めるとともに隣接関係にあるにも
かかわらず関係が不明である面を求める。具体的には、
出力として、各面とその面の上面及び隣接関係にあり関
係が不明な面を対応付けた第２２図（ｄ）に示した２面
間関係情報を用意する。このとき、初期値は全てＮＵＬ
Ｌである。例えばＡ２の上面はＡ３で関係不明はＮＵＬ
Ｌとなる。Ｔ型接続情報の３項リストの１項目（すなわ
ち上面）を２面間関係情報の２項目及び３項目の面に登
録する。上面に関する登録が終了した後、各面に対し、
登録した上面内に登録されていない隣接面の内隣接面に
もその面が上面として登録されていない場合、その隣接
面を関係不明の欄に登録する。

例えば、面Ａ、は関係不明の面Ａ４を有する。

第２３図は、本発明の２面間関係探索の機能ブロック図
である。５１０６でフローが開始すると、５１０７で２
面間関係情報の枠を設定する。すなわち、各面に対して
、上面を記述する欄（上面欄）と関係が不明である隣接
面を記述する欄（関係不明欄）を設け、各欄に初期値と
してＮＵＬＬを設定する。８１０８でＴ型接続点情報を
全て使ったかどうかの判定を行い、使っていなければ、
５１０９で、Ｔ型接続点情報の第２項の面において２面
間関係情報の上面欄に第１項の面を記入する。そして、
５１１０に移り、関係不明欄に第１項の面が記入されて
るかどうかをチエツクし、記入されていれば、５１１１
で関係不明欄から第１項の面を削除し、５１１１に入り
、記入されていなければ、５１１１をスキップして、５
ｉｌｌ’　に入る。８１１１′では第２項の面の２面間
関係情報において第３項の面が上面欄もしくは関係不明
欄に記入されているか否かを確認する。記入されておれ
ば５ｉｌｌ″をスキップし、記入されていなければ５Ｉ
ＬＬ“に入り１．関係不明欄第３項の面を記入する。５
１１２に入る。５１１２では、Ｔ型接続点情報の第３項
の面において１．２面間関係情報で第１項の面を上面欄
に記入する。そして、５ｌ１３に移り、関係不明欄に第
１項の面が記入されているかどうかのチエツクを行い、
されていなければ、３１０８に直接戻り、されていれば
、５ｌ１４で関係不明欄から第１項の面を削除してから
８１１４′へ移る。５１１４’　では第３項の面の２面
間関係情報において第２項の面が上面欄もしくは関係不
明欄に記入されているか否かを確認する。

記入されておれば５１１４”をスキップし記入されてい
なければ５１１４”に入り、関係不明欄に第２項の面を
記入し８１０８に移る。次に、全面間関係探索の処理に
入る。

第２４図は４９本発明の全面間関係探索処理の実施例図
である。例えば第２２図の実施例図において面Ａ４と面
Ａ、とが関係不明であるとする。第２４図において、（
ａ）は２面間関係探索の結果の木構造グラフであり、各
関係を全ての面に伝播して、関係不明な面は統合すると
、（ｂ）に示すグラフとなる。そして第２４図（Ｃ１の
ように、１つの面に対してその上面を一括して登録する
。但し、重複する２面（Ａｅ　）は１面として登録する
。このように、２面間関係情報を修正した情報を全面間
関係情報と呼ぶ。

第２５図は本発明の多面量関係探索処理の機能ブロック
図である。５１１４でフローが開始すると、５１１５で
まず、２面間関係情報を全て使ったかどうかをチエツク
し、使っていなければ、８１１６に移り、関係不明欄は
ＮＵＬＬかどうかのチエツクを行う。ＮＵＬＬであれば
戻り、ＮＵＬしてなければ、５１１７に入って、関係不
明欄にある面を１つの面としてまとめあげ、その上面欄
には各面の上面のＯＲを記入する。そして、８１１８で
まとめあげた面の関係不明欄はＮＵＬＬにする。さらに
、５１１９で上面欄にあった面は２面間関係情報より削
除し、そして５１１５に戻る。

最後に、第２Ａ図に示される無隠蔽面抽出部２７で構造
化部２６からの全面間関係情報を探索し、上面の欄がＮ
ＵＬＬである面（無隠蔽面）を探す。

かかる無隠蔽面が見つかったならば、その面の位置をセ
ンサ位置合わせ部２４に転送する。複数個の無隠蔽面が
存在する場合、順次転送する。そして、センサ位置合わ
せ部２４は、アーム制御部２ｏ−ｂが終了状態ならば、
バッファ内に蓄えられた無隠蔽面の位置にセンサを合わ
せ、動作させる。

バッファ内のデータがなくなったならば、領域分割部２
５にテレビカメラ２３から画像を取り込むように指令す
る。

奥行き測定部２１は、センサから得た奥行き（センサか
ら物体までの距離）をアームから物体までの距離に変換
し、アーム制御部２０−ｂに転送する。

アーム制御部２０−ｂは無隠蔽面の位置（Ｘ。

Ｙ方向）と奥行き（Ｚ方向）に合わせアームを動かし、
無隠蔽面の物体を掴み、所定の場所に動かす。その後、
センサ位置合わせ部２４に動作の終了を知らせる。

〔発明の効果〕

本発明では、従来の方法に比べ、面の重なり関係を抽出
するという簡単なアルゴリズムで画像を特徴付けられる
。すなわち、本発明は無隠蔽面の位置を容易に且つ対象
に依存せずに抽出することができ、３面の境界線が交わ
るＴ型の接続点から、面の重なり関係を手法により抽出
し画像を３次元的に特徴付けることができる。そして、
上記の手法を対象物位置測定装置内に実現すれば、その
装置から出力されたデータに基づきセンサの位置を合わ
せるセンサ位置合わせ部、センサから受は取った情報を
アームに転送する奥行き測定部、各部から得た３次元位
置情報よりロボットアームを動かすアーム制御部等から
構成されるピンピッキング・システムを構築できる。

【図面の簡単な説明】

第１図は本発明の構成図、 第２Ａ図は本発明の画像解析方式に従うビンピッキング
システムの構成図、 第２Ｂ図は本発明の画像の構造化処理の説明図、第３図
は本発明の領域分割部の構成図、第４図は本発明の領域
分割部の処理フローチャート、 第５図は本発明の構造化部の構成図、 第６図は本発明の構造化部の処理フローチャート、 第７図は３面接続点抽出部の構成図、 第８図は３境界線による接続の画像領域を示す実施例同
第８図は 第９図はテンプレートマツチングの処理フローチャート
、 第１０図は境界線の追跡処理のフローチャート、第１１
図ｆａ）は境界線の実施例図、 第１１図（ｂｌは画素近傍のラベル画像、第１１図（Ｃ
）は３面のラベル付は処理を示す図、第１１図（ｄｌは
３面接続点情報の実施例図、第１２図は接続点を構成す
る３面のラベル付は処理のフローチャート、 第１３図は本発明の構成部の構成の実施例図、第１４図
は本発明の構造化部の機能ブロック図、第１５図は本発
明の直線近似の更新処理の機能ブロック図 第１６図は直線近似法の実施例図、 第１７図は本発明に利用される直線近似法の機能ブロッ
ク図、 第１８図は本発明の接続点のＴ型判定と三面の重なり関
係導出用の機能ブロック図、 第１９図は本発明の接続点のＴ型判定の実施例図、 第２０図（ａｌ及び（ｂｌは本発明の１接続点における
三面の重なりを示す実施例図、 第２１図は本発明の面関係探索処理部の構成図、第２２
図は本発明の二面量関係探索の実施例図、第２３図　、
　、　　　　　は本発明の２面間関係探索の機能ブロッ
ク図、 第２４図（ａｔ、　ｆｂ）、　（ｃ）は本発明の全面間
関係探索処理の実施例図、 第２５図は本発明の多面量関係探索処理の機能ブロック
図、 第２６図（ａ）、　（ｂｌは従来の隠藪のない物体の位
置を抽出する画像解析方式の説明図、 第２７図はモデルとの照合による従来の認識方式を示す
説明図。 １２・・・領域分割手段、 １３・・・構造化手段、 １４・・・無隠蔽面抽出手段、 １５・・・領域ラベルづけ手段、 １６・・・境界抽出手段、 １７・・・Ｔ型接続判定手段、 １８・・・変換手段。

Claims (1)

1. 【特許請求の範囲】 １）画像の対象領域を同一性質を有する複数の領域に分
   割する領域分割手段（１２）と、 前記複数の領域に対応した複数の面の前後関係を探索し
   て画像を複数の面の前後関係を含んだ情報に変換する構
   造化手段（１３）と、 該構造化手段（１３）の出力に基づいて所望の面を抽出
   する面抽出手段（１４）とを有することを特徴とする画
   像解析方式。 ２）画像内の対象の領域を複数の面に分割し、各面の境
   界を抽出する領域分割手段（１２）と、境界の交点のう
   ち３境界が交差するＴ型接続点を抽出し、個々のＴ型接
   続点における３面の重なり関係を求めた後、該Ｔ型接続
   点における関係を２面間の重なり関係に変換し、さらに
   ２面間の重なり関係を画像内に存在する全ての面に伝播
   し、２面間の重なり関係に基づいて画像全体の面関係を
   探索する構造化手段（１３）と、 前記構造化手段（１３）によって、求められた面関係の
   構造化情報からどの面にも重ならない面を抽出する無隠
   蔽面抽出手段（１４）とを有することを特徴とする画像
   解析方式。 ３）前記領域分割手段（１２）は、 画像のノイズを除去する手段（２８）と、 ノイズを除去された画像の同一テクスチャ領域を求める
   テクスチャ解析手段（２９）と、 同一テクスチャ領域の境界線を抽出する手段（３０）と
   、 同一テクスチャ領域に同一ラベルを付す手段（３１）と
   からなり画像を同一のテクスチャの領域に分割してその
   領域の境界線を求めるとともに各テクスチャの領域にラ
   ベルを付すことを特徴とする請求項１記載の画像解析方
   式。 ４）前記構造化手段（１３）は、 領域分割手段（１２）から得られる各領域の境界線を直
   線近似して、３面が重なる３面接続点を抽出する手段（
   ３９）と、 前記３面接続点におけるＴ型接続関係を示すＴ型接続点
   情報を抽出する手段（３９）と、 前記３面接続点におけるＴ型接続の関係を示すＴ型接続
   点情報を抽出するＴ型接続判定手段（４０）と、 前記Ｔ型接続点情報に基づいて、２面間の前後関係を探
   索する２面間関係探索手段（１０３）と、前記２面間の
   前後関係を各面間に求めることにより全面間の上下関係
   を求める全面間関係探索手段（１０４）とからなること
   を特徴とする請求項１記載の画像解析方式。 ５）物体の画像を同一のテクスチャの領域である面に分
   割し、各領域にラベルを付ける領域ラベルづけ手段（１
   ５）と、 同一ラベルの面から境界を抽出する境界抽出手段（１６
   ）と、 境界の交点のうち、３境界が交差するＴ型接続点を抽出
   するＴ型接続判定手段（１７）と、個々のＴ型接続点に
   おける３面の重なり関係を求めた後、該Ｔ型接続点にお
   ける関係を２面間の重なり関係に変換する変換手段（１
   ８）と、２面間の重なり関係を画像中に存在するすべて
   の面に伝播し、画像全体の面の上下関係を探索する面関
   係探索手段と、 該面関係探索手段の出力に基づいて隠蔽のない物体を抽
   出する無隠蔽物体抽出手段と、 該無隠蔽物体抽出手段の出力により無隠蔽物体の位置と
   物体迄の距離を検出する手段とよりなることを特徴とす
   る物体検出装置。