JPH05157518A

JPH05157518A - 物体認識装置

Info

Publication number: JPH05157518A
Application number: JP3349963A
Authority: JP
Inventors: Tomoaki Nakano; 倫明中野; Arata Yamamoto; 新山本
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 1991-12-09
Filing date: 1991-12-09
Publication date: 1993-06-22

Abstract

(57)【要約】【目的】物体の位置・姿勢の認識精度を向上させるこ
と【構成】エッジ画像において物体の特徴部を抽出する
特徴部抽出手段２０と、特徴部の画像面上における存在
位置に基づいて物体の実空間における一次的な位置・姿
勢を求める一次的位置・姿勢演算手段３０と、一次的な
位置・姿勢に基づいて物体の輪郭を画像面上に仮想しそ
の輪郭の存在位置を中心にして微小幅でその輪郭に沿っ
て所定長さを有する探索領域を画像面上に輪郭に沿って
可動的に設定する探索領域設定手段５０，６０と、輪郭
に沿って可動的に設定される探索領域毎に濃淡画像を再
処理して物体画像の正確なエッジを抽出することによ
り、物体全体の輪郭に該当する精密エッジを抽出する精
密エッジ抽出手段７０と、精密エッジの画像面上の存在
位置から物体の実空間における位置・姿勢を演算する位
置・姿勢演算手段８０を設けている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体を撮像して得られ
る画像から物体の実空間における位置・姿勢を精密に求
める物体認識装置に関する。

【０００２】

【従来の技術】物体の実空間における位置・姿勢を認識
する方法として、投光法（特開昭62-71806号公報) と、
立体視法（両眼視：特開昭62-284479 号公報、運動視:
特開昭63-142469 号公報) とが存在する。又、撮像装置
を１台のテレビカメラとした単眼視法（特開昭62-22638
9 号公報) が存在する。

【０００３】

【発明が解決しようとする課題】しかし、投光法では、
遠距離の物体認識は困難であり、高速処理が実行できな
い。又、立体視法では複数の画像間の対応付を行う必要
がある。しかし、複雑な背景中の物体の対応付けが難し
いため、その対応付けに時間がかかる。更に、投光法、
立体視法共に撮像装置や処理装置が複雑になるという問
題がある。

【０００４】又、単眼視法では、認識対象物体の位置・
姿勢の変化を２次元平面内に限定したり、照明条件を制
限した場合には適用できるが、物体の位置・姿勢が３次
元的に変化し、撮像した画像における物体の寸法や形状
が異なったり、照明条件が変わって、物体と背景とのコ
ントラストが変化する場合には、物体を精度良く認識す
ることができないという問題がある。

【０００５】本発明は上記課題を解決するために成され
たものであり、その目的は、単眼視法において、認識物
体の輪郭の位置によって照明条件が変化したり、背景に
対するコントラストが変化したような場合であっても、
認識物体全体の輪郭を精度良く抽出することで、物体の
実空間における位置・姿勢を精度良く認識できるように
することである。

【０００６】

【課題を解決するための手段】上記課題を解決するため
の本発明の構成は、図２０に示すように、濃淡画像撮像
手段、エッジ画像生成手段、エッジ画像において物体の
全体の輪郭に対する相対的関係が既知な物体の特徴部を
抽出する特徴部抽出手段と、特徴部の画像面上における
存在位置に基づいて物体の実空間における一次的な位置
・姿勢を求める一次的位置・姿勢演算手段と、物体の一
次的な位置・姿勢に基づいて、物体の輪郭を画像面上に
仮想し、その輪郭の存在位置を中心にして微小幅でその
輪郭に沿って所定長さを有する探索領域を画像面上に輪
郭に沿って可動的に設定する探索領域設定手段と、輪郭
に沿って可動的に設定される探索領域毎に、濃淡画像又
は濃淡画像の微分画像を再処理して物体画像の正確なエ
ッジを抽出することにより、物体全体の輪郭に該当する
精密エッジを抽出する精密エッジ抽出手段と、精密エッ
ジの画像面上の存在位置から物体の実空間における位置
・姿勢を演算する位置・姿勢演算手段とを設けたことで
ある。

【０００７】

【作用】物体の撮像により濃淡画像が得られ、その濃淡
画像の微分画像を２値化することでエッジ画像が得られ
る。エッジ画像において、物体の特徴部が抽出される。
その特徴部と物体の全体の輪郭に対する相対的関係が既
知であるので、その特徴部の画像面上の存在位置に基づ
いて物体の実空間における一次的な位置・姿勢を演算す
ることができる。

【０００８】又、物体の実空間における一次的な位置・
姿勢から、物体の輪郭の画像面上における存在位置を特
定することができる。この輪郭の画像面上の存在位置
は、変換誤差、特徴部抽出誤差等により、誤差が存在す
る。従って、これらの誤差を考慮することで、物体の輪
郭の存在位置は誤差幅の領域として特定される。その誤
差幅の領域内の１つの存在位置に対して、輪郭を中心と
して微小幅で所定長さの探索領域が画面上に可動的に設
定される。

【０００９】その可動的に設定される１つの探索領域内
で、濃淡画像又はその微分画像が再処理される。この
時、狭い探索領域内に限定して画像処理ができるので、
物体全体では、明暗差、背景とのコントラストの場所依
存性が存在しても、その探索領域内ではそれらの量を一
定とすることができる。よって、例えば、エッジ抽出処
理に当たって、微分のためのエッジ強調フィルタや２値
化のしきい値をその探索領域毎に決定することが可能と
なる。この結果、正確なエッジ検出が可能となる。これ
らの精密エッジの画像上の存在位置から物体の実空間に
おける位置・姿勢を精密に認識することが可能となる。

【００１０】

【発明の効果】本発明は、画像面上における物体の特徴
部の存在位置を求め、その情報から物体の実空間におけ
る一次的な位置・姿勢を求め、その一次的な位置・姿勢
に基づいて、物体の輪郭を画像面上に写像して、その輪
郭の存在位置を中心として可動的に設定された小面積の
探索領域を設定し、その輪郭に沿って動く探索領域毎に
濃淡画像又はその微分画像を再処理してエッジを検出
し、そのエッジの画像面上の存在位置に基づいて、物体
の実空間における位置・姿勢を認識するようにした装置
である。従って、本発明では、探索領域毎に濃淡画像又
はその微分画像を再処理するための条件を変更すること
が可能となるので、明暗分布、背景と物体画像とのコン
トラストに位置による分布があっても、エッジ検出が精
密に行われることになる。この結果、画像面上における
精密なエッジの存在位置に基づいて物体の実空間の位置
・姿勢が求められるため、認識された位置・姿勢がより
正確となる。

【００１１】

【実施例】以下、本発明を具体的な一実施例に基づいて
説明する。図１は本実施例に係る装置の全体の構成を示
しており、図２〜図５は図１に示された各装置の詳細な
構成を示している。１）実施例装置の構成１．濃淡画像撮像装置濃淡画像撮像装置１０は物体Ａを撮像して濃淡画像を生
成する装置である。その装置１０は物体Ａを撮像するテ
レビカメラ１１、テレビカメラ１１の出力する映像信号
を各画素毎にサンプリングしてディジタル値に変換する
Ａ／Ｄ変換回路１２、ディジタル値を画素毎に記憶する
画像メモリ１３とで構成されている。

【００１２】２．特徴部抽出装置特徴部抽出装置２０は画像メモリ１３に記憶された濃淡
画像の微分画像を求め、所定のしきい値に対して２値化
して得られるエッジ画像を生成し、そのエッジ画像から
物体Ａの画像における所定の特徴部を抽出する装置であ
る。

【００１３】その装置２０は濃淡画像を走査してゾーベ
ルオペレータにより微分画像を得るエッジ強調回路２
１、微分画像を記憶する画像メモリ２２、微分画像を所
定のしきい値に対して２値化する２値化回路２３、その
２値化により得られたエッジ画像を記憶する画像メモリ
２４、エッジ画像において連続線や連続していると考え
られる部分毎に区分けするラベリング回路２５、ラベリ
ングにより群別化された部分毎にその部分が特徴部であ
るか否かを判定する特徴部判定回路２６とで構成されて
いる。

【００１４】３．特徴部位置・姿勢演算装置特徴部位置・姿勢演算装置３０は画像面上における物体
の特徴部の位置・姿勢を演算し、この特徴部の位置・姿
勢から物体の実空間における一次的位置・姿勢を演算す
る装置である。特徴部位置・姿勢演算装置３０は、検出
された特徴部の画像面上における存在位置を求める特徴
部位置演算回路３１、特徴部の寸法を演算する特徴部サ
イズ演算回路３２、特徴部の寸法の予測誤差を演算する
サイズ予測誤差演算回路３３、特徴部の慣性主軸方向を
演算する特徴部慣性主軸方向演算回路３４、主軸方向の
予測誤差を演算する主軸方向予測誤差演算回路３５とで
構成されている。

【００１５】４．モデル記憶装置モデル記憶装置４０は物体の各頂点の特徴部の中心位置
に対する相対位置を記憶した相対位置メモリ４１、認識
対象物体の３次元モデル、即ち、物体の頂点間を結ぶ線
分が直線か円弧か等の輪郭線形状を特定できるデータを
記憶した物体形状メモリ４２とで構成されている。

【００１６】５．モデル写像装置モデル写像装置５０は、物体の一次的位置・姿勢を用い
てモデルを画像面上に写像して、物体の像の画像面上に
おける存在位置を予測する装置である。モデル写像装置
５０は、特徴部の重心位置と３次元モデルの各頂点との
相対的位置及びカメラパラメータから３次元モデルを画
像面上に写像して各頂点の画像面上における位置を演算
する頂点座標演算回路５１、特徴部の検出された寸法を
考慮して３次元モデルの画像面上における各頂点の位置
を変更するサイズ較正頂点座標変更回路５２、物体の回
転角を考慮して３次元モデルの画像面上における各頂点
の位置を変更する回転較正頂点座標変更回路５３、３次
元モデルの画像面上における各頂点の座標を記憶する頂
点座標メモリ５５、その各頂点座標の誤差を演算する頂
点座標誤差演算回路５４、各頂点座標の存在可能範囲を
記憶する座標誤差メモリ５６とで構成されている。

【００１７】６．探索領域設定装置探索領域設定装置６０は物体の３次元モデルの画像面上
への写像から物体の輪郭のエッジの存在領域を予測し、
その存在領域において小さい面積の多数の探索領域を設
定する装置である。探索領域設定装置６０は３次元モデ
ルの画像面上における頂点座標と座標誤差とから頂点座
標の候補を演算する頂点候補演算回路６１、頂点候補間
において探索領域を設定する位置を決定する探索領域位
置決定回路６２、その位置座標を記憶する探索領域位置
メモリ６３、頂点候補間の近似線分を求める近似線分演
算回路６４、その近似線分を頂点座標の存在領域に対応
させて平行移動させて複数の線分を発生させる線分平行
移動回路６５、探索領域の幅、長さ、形状等を決定する
探索領域形状メモリ６６から構成されている。

【００１８】７．精密エッジ抽出装置精密エッジ抽出装置７０は探索領域毎に濃淡画像を再処
理して物体の輪郭の正確なエッジの存在位置を検出する
装置である。精密エッジ抽出装置７０はその探索領域に
おいて濃淡画像を再処理するためのエッジ強調フィルタ
を選択するエッジ強調フィルタ選択回路７１、選択され
たエッジ強調フィルタにより濃淡画像から微分画像を演
算するエッジ強調回路７２、微分画像を記憶する画像メ
モリ７３、微分画像を２値化するためのしきい値を決定
するしきい値決定回路７４、しきい値に基づいて微分画
像を２値化する２値化回路７５、２値化された画像、即
ち、精密エッジ画像を記憶する画像メモリ７６とで構成
されている。

【００１９】８．位置・姿勢演算装置位置・姿勢演算装置８０は精密エッジ画像から物体の画
像面上における各頂点の精密な位置を演算し、その各頂
点の精密な位置情報から物体の実空間における物体の位
置・姿勢を演算する回路である。位置・姿勢演算装置８
０は精密エッジ画像において、連続線と見なせる部分毎
に群別するためにエッジ線を連結処理するエッジ線連結
回路８１、連結されたエッジ線から物体の輪郭である１
つの近似直線等を求めるエッジ線近似回路８２、近似直
線の交点の座標から物体の頂点の画像面上での精密な位
置を演算する頂点座標演算回路８３、画像面上の座標か
ら実空間における座標を演算するための変換行列を記憶
した座標変換テーブルメモリ８４、物体の各頂点の実空
間における位置座標を演算する頂点３次元位置演算回路
８５、頂点の位置座標から物体の実空間における姿勢を
演算する姿勢演算回路８６とで構成されている。

【００２０】２）実施例装置の作動次に本実施例装置の作動を説明する。図６、図７は本装
置の処理手順を示している。１．濃淡画像の生成ステップ１００において、物体Ａの画像面上における大
きさを最適とするように物体Ａとテレビカメラ１１との
距離に応じてテレビカメラ１１のズーム倍率（レンズパ
ラメータ）が制御される。ステップ１０２では、物体Ａ
を撮像するに最適なように物体Ａとテレビカメラ１１と
の相対位置関係に応じて、テレビカメラ１１の位置・姿
勢が制御される。

【００２１】ステップ１０４では、テレビカメラ１１が
駆動されて物体Ａが撮影される。そして、Ａ／Ｄ変換回
路１２によりテレビカメラ１１から出力される映像信号
のレベルが画像面上の各画素毎にサンプリングされてデ
ィジタル化される。このディジタル値は画素アドレスに
対応して画像メモリ１３に記憶される。このようにし
て、画像メモリ１３にディジタル化された濃淡画像が記
憶される。

【００２２】２．特徴部の抽出ステップ１０６では、エッジ強調回路２７により画像メ
モリ１３に記憶されている濃淡画像が微分されて微分画
像（「エッジ強調画像」ともいう）が生成される。この
微分画像は画像面を走査して濃淡画像にゾーベルオペレ
ータを作用させることによって求めることができる。こ
の微分画像は画像メモリ２２に記憶される。ステップ１
０８では、２値化回路２３により画像メモリ２２に記憶
されている微分画像が所定のしきい値を基準として２値
化される。この２値化された画像はエッジ画像として画
像メモリ２４に記憶される。

【００２３】ステップ１１０では、ラベリング回路２５
によって、エッジ画像において、連続していると思われ
る各図形毎にエッジが集合されて、各集合毎にラベリン
グされる。このようなクラスタリングは、通常行われて
いるエッジの連続性の探索により実行することができ
る。ステップ１１２では、特徴部判定回路２６によりラ
ベリングされたエッジ画像において特徴部の抽出が行わ
れる。

【００２４】本物体認識装置は、例えば、物体Ａとして
図８に示すような多層積みされたパレット（図８では２
層積み）を無人フォークリフト車で取り出して搬送させ
る場合に、パレットの存在位置及びフォークの挿入位置
を認識する場合に用いられる。尚、物体Ａの高さ方向の
設置位置は既知であるとする。特徴部はフォークが挿入
される部分Ｗ１、Ｗ２で定義されている。この特徴部Ｗ
１、Ｗ２は濃淡画像においてコントラストが強く出るた
めに、エッジ画像において物体Ａの他の部分に比べてエ
ッジが比較的に明確に現れる。よって、この特徴部Ｗ
１、Ｗ２は認識が容易となる。

【００２５】特徴部Ｗ１、Ｗ２は、図９に示すように、
画像面上において、物体Ａの像の各面は、物体Ａとテレ
ビカメラ１１との成す角により、長方形又は平行四辺形
に現れる。特徴部が長方形に現れる場合の縦幅と横幅の
比、代表的な斜め方向から物体Ａを撮像した場合に画像
面上に現れる特徴部の平行四辺形の縦幅と横幅の比を基
準値として予め演算しておく。そして、図１０に示すよ
うに、ラベリングされた図形から平行四辺形を抽出し、
その平行四辺形の横幅Ｈi と縦幅Ｖi とを検出して比Ｈ
i/Ｖi を演算し、その比が基準値に対して所定の誤差範
囲に存在しているものを特徴部Ｗ１、Ｗ２と決定する。
尚、撮影の距離、角度に応じて変形される特徴部の画像
をモデルとして種々記憶しておき、ラベリングされた図
形とモデルとを照合することで特徴部を判定しても良
い。

【００２６】３．一次的位置・方位の演算ステップ１１４では、図１１に示すように、検出された
特徴部Ｗ１、Ｗ２におけるそれぞれの重心Ｇ１，Ｇ２の
画像面上における座標（U1,V1),(U2,V2)が特徴部位置演
算回路３１により演算される。重心位置は平行四辺形の
対角線の交点として求められる。この特徴部の重心の実
空間における高さ（Ｙ成分）は既知としている。

【００２７】ステップ１１６では、図１１に示すよう
に、特徴部慣性主軸方向演算回路３４により特徴部の慣
性主軸Ｍに平行な主軸単位ベクトルＤ_M=(Ｄ_M,U,Ｄ_M,V)
が演算される。この慣性主軸は力学で定義されている軸
と同一であり、画像面上において、特徴部図形のＵ軸、
Ｖ軸の回りの慣性モーメント、Ｕ軸、Ｖ軸についての慣
性乗積を演算して慣性楕円を演算し、その楕円の主軸と
して求められる。

【００２８】ステップ１１８では、特徴部サイズ演算回
路３２により特徴部のサイズが演算される。図１１に示
すように、画像面上において慣性主軸Ｍに沿って特徴部
Ｗ１，Ｗ２に外接する平行四辺形Ｈ１，Ｈ２を求め、そ
の幅と高さを特徴部のサイズとする。

【００２９】ステップ１２０では、主軸方向予測誤差演
算回路３５とサイズ予測誤差演算回路３３により、方向
予測誤差とサイズ予測誤差とが演算される。主軸方向予
測誤差演算回路３５では、重心Ｇ１，Ｇ２を結ぶ線分に
平行な単位ベクトルＤ_G

【数１】Ｄ_G=(U2-U1,V2-V1)/｛(U2-U1)²+(V2-V1)²｝^1/2 の主軸単位ベクトルＤ_Mに対する変位ベクトルΔＤ_GM=
Ｄ_G-Ｄ_Mにより方向予測誤差が演算される。サイズ予測
誤差演算回路３３では、方向予測誤差ΔＤ_GMによって平
行四辺形の姿勢のばらつきが求められ、その姿勢のばら
つきからサイズ予測誤差ΔＨi,ΔＶi が演算される。
尚、方向予測誤差は慣性楕円体の長軸と短軸との比率か
ら求めても良い。

【００３０】ステップ１２２では、頂点座標演算回路５
１により、重心Ｇ１，Ｇ２の画像面上における座標（U
1,V1),(U2,V2)から、カメラパラメータ（変換行列）を
用いて、重心Ｇ１，Ｇ２の実空間における座標(X1,Y1,Z
1),(X2,Y2,Z2) が求められる。この時、テレビカメラ１
１と物体Ａまでの距離および高さ、画像の倍率、撮像角
等もカメラパラメータとして考慮されている。実空間に
おける座標(X,Y,Z) と画像面上における座標(U,V) と
は、実空間におけるY 座標に応じたカメラパラメータを
用いて、相互変換できることが知られている。この時
に、特徴部Ｗ１，Ｗ２の重心Ｇ１，Ｇ２のＹ成分Y1,Y2
は既知であり( 本実施例では、Y1=Y2)、このＹ成分に応
じたカメラパラメータが用いられる。回転較正頂点座標
変更回路５３により、主軸単位ベクトルＤ_Mを座標変換
して実空間における姿勢ベクトルＤ_R=(Ｄ_RX,Ｄ_RY,Ｄ
_RZ) が演算される。本実施例における物体Ａの姿勢は、
物体Ａが水平面（Ｘ−Ｚ面に平行な面）上に置かれてい
るものとして、Ｙ軸の回りの回転角だけが未知であると
している。従って、Ｄ_RY=0である。

【００３１】相対位置メモリ４１には、図１２に示すよ
うに、物体Ａが正規姿勢をとるとき( 姿勢ベクトルＤ_R
=(0,0,1)) の特徴部の各重心Ｇ１，Ｇ２の中点Ｇ０=(X
0,Y0,Z0)=((X1+X2)/2,Y1,(Z1+Z2)/2)を原点とする物体
Ａの各頂点までの位置ベクトルＤ_1,Ｄ_2,Ｄ_3,Ｄ_4,Ｄ_5,Ｄ
_6,Ｄ_7,Ｄ₈が記憶されている。これらの位置ベクトルと
中点Ｇ０の座標と姿勢ベクトルＤ_Rを用いて、各頂点の
実空間での座標が決定される。これらの座標変換は、良
く知られたように、中点Ｇ０を通るＹ軸に平行な軸の回
りの回転変換と実空間座標の原点Ｏと中点Ｇ0間の平行
移動変換により実行される。又、物体形状メモリ４２に
は、物体Ａの各頂点を結ぶ線分の形状が記憶されてい
る。

【００３２】又、サイズ較正頂点座標変更回路５２によ
り、特徴部の画像面上におけるサイズから、距離および
高さ、画像の倍率、撮像角を考慮して、実空間における
サイズが求められる。この特徴部の実空間におけるサイ
ズは既知であるので、このサイズの比率から倍率誤差や
撮像角誤差が予測される。この誤差に応じて、頂点座標
が補正される。次に、頂点座標演算回路５１により、図
１３に示すように、実空間での物体Ａの各頂点座標は、
カメラパラメータを用いて、画像面上の座標に変換され
る。これらの画像面上における各頂点座標は、頂点座標
メモリ５５に記憶される。ステップ１２４では、頂点座
標誤差演算回路５４によって、方向予測誤差ΔＤ_GMとサ
イズ予測誤差ΔＨi,ΔＶi とに基づいて、画像面上にお
ける各頂点座標の誤差が演算される。即ち、姿勢の予測
誤差と倍率の予測誤差によって、各頂点座標の存在位置
がばらつく。この時の各頂点座標の存在可能範囲Ｅ１，
Ｅ２等が、図１４に示すように決定され、座標誤差メモ
リ５６に記憶される。

【００３３】４．探索領域の設定ステップ１２６では、頂点候補演算回路６１により、頂
点座標及び座標誤差を用いて頂点候補が決定される。例
えば、図１４に示すように、第１頂点Ｔ₁と第２頂点Ｔ
₂に関する存在可能範囲Ｅ１と存在可能範囲Ｅ２におい
て、例えば、上段、中段、下段の３箇所において、第１
頂点Ｔ₁に対して頂点候補Ｔ_11,Ｔ_12,Ｔ₁₃の座標が決
定され、第２頂点Ｔ₂に対して頂点候補Ｔ_21,Ｔ_22,Ｔ
₂₃の座標が決定される。

【００３４】ステップ１２８では、探索領域位置決定回
路６２により、図１５に示すように、第１頂点の頂点候
補Ｔ_11,Ｔ_12,Ｔ₁₃と第２頂点の頂点候補Ｔ_21,Ｔ_22,
Ｔ₂₃とを、それぞれ、物体形状メモリ４２に記憶されて
いる第１頂点と第２頂点とを結ぶ線分形状によって連結
した線分が想定され、その線分上で探索領域の設定され
る位置Ｆ_1,Ｆ₂…Ｆ₆等の座標が決定される。その座標
は探索領域位置メモリ６３に記憶される。

【００３５】ステップ１３０では、近似線分演算回路６
４により、各頂点間を物体形状メモリ４２に記憶されて
いる頂点間線分形状で結んだ線分を近似する近似線分が
演算される。そして、ステップ１３２で、図１６に示す
ように、近似線分Ｌ₀が決定され、その近似線分Ｌ₀を
両側に頂点座標の予測誤差に応じて決定される幅ΔＨだ
け平行移動させて、探索領域Ｓの形状が決定される。こ
の探索領域Ｓの形状に関するデータは探索領域形状メモ
リ６６に記憶される。

【００３６】次に、エッジ強調フィルタ選択回路７１に
より、物体形状メモリ４２に記憶されている頂点間線分
形状から線分の種類を判定し、その線分の存在方向と形
状を考慮して、最もエッジの検出が容易なように、エッ
ジ強調フィルタが選択される。即ち、線分が何方の方向
を向いているかによってオペレータの種類が異なる。こ
のオペレータの種類が選択される。

【００３７】次に、ステップ１３４で、エッジ強調回路
７２により、探索領域位置メモリ６３に記憶されている
探索領域の中心位置を順次読出し、その各位置に対して
探索領域形状メモリ６６に記憶されている探索領域形状
に基づいて、図１８に示すように、画像面上に探索領域
が移動的に設定される。そして、エッジ強調回路７２が
作動して、各探索領域毎に画像メモリ１３に記憶されて
いる濃淡画像の微分画像が演算され、その微分画像は画
像メモリ７３に記憶される。

【００３８】次に、ステップ１３６で、しきい値決定回
路７４により、各探索領域毎に、その探索領域に含まれ
ている微分画像の明度の度数分布が演算され、エッジ検
出に最適なしきい値が決定される。例えば、明度の度数
分布は図１７に示すようであったとすると、明るい方の
画素数が多い部分がエッジと考えられる。よって、その
ピークの現れる前のレベルをしきい値にすることで、精
度良くエッジを分離することができる。次に、２値化回
路７５により、各探索領域毎に決定されたしきい値を用
いて各探索領域の微分画像が２値化される。この画像は
図１８に示すような精密エッジ画像として画像メモリ７
６に記憶される。

【００３９】次に、ステップ１３８で、エッジ線連結回
路８１により、途切れ途切れのエッジ線が連結される。
これは、方向が所定の範囲で一致している線分、端点間
の距離が所定の範囲に存在する線分等が連続エッジと見
做されて連結される。次に、ステップ１４０で、エッジ
線近似回路８２により、連結エッジ線分や、近接した連
結エッジ線分ｌ_1,ｌ₁等を考慮して、図１９に示すよう
に、エッジ線分を近似する近似線分Ｌ₁等が求められ
る。この近似線分は各エッジ線分に対して最小二乗近似
によって求められる。このようにして、図１９に示すよ
うに、画像面上において物体Ａの全ての輪郭線Ｌ_1,Ｌ_2,
Ｌ₃等が決定される。

【００４０】ステップ１４２で、頂点座標演算回路８３
により、図１９に示すように、各輪郭線の交点Ｔ₁=(Ｕ
_T1,Ｖ_T1) _,Ｔ₂=(Ｕ_T2,Ｖ_T2) 等の座標が演算され
る。次に、ステップ１４４で、頂点３次元位置演算回路
８５により、位置変換テーブルメモリ８４に記憶されて
いる画像面上の座標と実空間における座標とを関連づけ
たテーブルに基づいて、各頂点の実空間における座標Ｒ
₁=(Ｘ_T1,Ｙ_T1,Ｚ_T1) _,Ｒ₂=(Ｘ_T2,Ｙ_T2,Ｚ_T2) が
演算される。次に、ステップ１４６で、姿勢演算回路８
６により、各頂点から物体の位置、例えば、第１頂点Ｔ
₁の実空間における座標によって物体の位置が決定さ
れ、第１頂点Ｔ₁から第２頂点Ｔ₂へ向いたベクトルか
ら、そのベクトルとＺ軸との成す角求められる。この角
により、物体Ａの姿勢が決定される。物体Ａの実空間に
おける位置・姿勢が決定されれば、特徴部であるフォー
クの挿入部Ｗ１、Ｗ２の位置が決定されるので、フォー
クリフト等により物体Ａを把持することが可能となる。

【００４１】上記実施例では、特徴部Ｗ１，Ｗ２に物体
Ａの画像においてコントラストが強く現れる部分を用い
ているが、物体に認識容易なマークを貼付して、このマ
ークを特徴部としても良い。又、精密エッジ抽出装置７
０では、探索領域において、画像メモリ１３に格納され
ている濃淡画像の代わりに、画像メモリ２２に格納され
ているエッジ強調画像をそのまま用いて、しきい値決定
回路７４以降の処理を行うことにより、精密なエッジ画
像を演算しても良い。この場合には、上記実施例に比べ
て処理時間を短縮できるという利点がある。又、３次元
モデルは物体Ａをテレビカメラ１１で撮像する代表的角
度に対して、物体Ａの複数の画像としても良い。この場
合には、３次元モデルが画像面上のデータで与えられる
ので、画像面上の物体の存在位置を高速に決定すること
ができる。又、この場合には、画像面上の基準写像モデ
ルを撮像倍率、方位、撮像角等により補正して表示する
ことになる。上記実施例では、物体の輪郭は直線で表さ
れているので、探索領域も長方形である。しかし、円柱
状物体の場合には、輪郭が楕円曲線で現れる。この場合
には、探索領域の形状もその楕円曲線に沿った変形短冊
形状となる。

【図面の簡単な説明】

【図１】本発明の具体的な一実施例に係る物体認識装置
の全体の構成を示したブロック図。

【図２】図１に示す実施例装置の各装置の詳細な構成を
示したブロック図。

【図３】図１に示す実施例装置の各装置の詳細な構成を
示したブロック図。

【図４】図１に示す実施例装置の各装置の詳細な構成を
示したブロック図。

【図５】図１に示す実施例装置の各装置の詳細な構成を
示したブロック図。

【図６】図１に示す実施例装置の作動を説明するフロー
チャート。

【図７】図１に示す実施例装置の作動を説明するフロー
チャート。

【図８】本実施例装置で認識される物体の形状及び実空
間における配置を示した説明図。

【図９】物体のエッジ画像を示した説明図。

【図１０】エッジ画像において特徴部の抽出方法を示し
た説明図。

【図１１】エッジ画像において特徴部の抽出方法を示し
た説明図。

【図１２】実空間における物体の３次元モデルの特定方
法を示した説明図。

【図１３】画像面上の特徴部の認定により求められた物
体の一次的位置・姿勢から求められた物体の画像面上に
おける頂点の存在位置を示した説明図。

【図１４】方向予測誤差、サイズ予測誤差を考慮した画
像面上における物体の頂点の存在可能範囲を示した説明
図。

【図１５】探索領域位置の決定方法を示した説明図。

【図１６】探索領域の形状の決定方法を示した説明図。

【図１７】探索領域における微分画像を２値化する時の
しきい値の決定方法を示した説明図。

【図１８】各探索領域において検出された精密エッジ画
像を示した説明図。

【図１９】精密エッジ画像において、輪郭線、頂点を演
算する方法を示した説明図。

【図２０】本発明の全体の構成を示したブロック図。

【符号の説明】

Ａ…物体Ｗ１，Ｗ２…特徴部Ｇ１，Ｇ２…重心Ｇ０…重心の中点Ｄ₁〜Ｄ₈…３次元モデルにおける頂点の相対位置ベク
トルＥ１…第１頂点の存在可能範囲Ｅ２…第２頂点の存在可能範囲Ｆ₁〜Ｆ₆…探索領域の設定位置Ｓ…探索領域Ｔ₁…第１頂点Ｔ₂…第２頂点Ｔ₁₁…第１頂点の第１候補Ｔ₁₂…第１頂点の第２候補Ｔ₁₃…第１頂点の第３候補Ｔ₂₁…第２頂点の第１候補Ｔ₂₂…第２頂点の第２候補Ｔ₂₃…第２頂点の第３候補ｌ₁〜ｌ₅…連結エッジＬ₀…近似線分Ｌ₁〜Ｌ₃…輪郭線

Claims

【特許請求の範囲】

【請求項１】物体をカメラで撮像することにより画像
面上に形成された物体画像から物体の位置及び姿勢を認
識する物体認識装置において、前記カメラによる前記物体の撮像により、前記物体の濃
淡画像を前記画像面上に得る濃淡画像撮像手段と、前記濃淡画像の微分画像を２値化したエッジ画像を前記
画像面上に生成するエッジ画像生成手段と、前記エッジ画像において、物体の全体の輪郭に対する相
対的関係が既知な物体の特徴部を抽出する特徴部抽出手
段と、前記特徴部の前記画像面上における存在位置に基づいて
前記物体の実空間における一次的な位置・姿勢を求める
一次的位置・姿勢演算手段と、前記物体の一次的な位置・姿勢に基づいて、前記物体の
輪郭を前記画像面上に仮想し、その輪郭の存在位置を中
心にして微小幅でその輪郭に沿って所定長さを有する探
索領域を前記画像面上に輪郭に沿って可動的に設定する
探索領域設定手段と、輪郭に沿って可動的に設定される前記探索領域毎に、前
記濃淡画像又は微分画像を再処理して物体画像の正確な
エッジを抽出することにより、物体全体の輪郭に該当す
る精密エッジを抽出する精密エッジ抽出手段と、前記精密エッジの前記画像面上の存在位置から前記物体
の実空間における位置・姿勢を演算する位置・姿勢演算
手段と、を有することを特徴とする物体認識装置。