JPH0875426A

JPH0875426A - 画像処理方法

Info

Publication number: JPH0875426A
Application number: JP6212738A
Authority: JP
Inventors: Niro Eto; 仁郎衛藤; Kazutoshi Sukigara; 和俊鋤柄; Hiroshi Moribe; 弘森部
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 1994-09-06
Filing date: 1994-09-06
Publication date: 1996-03-22

Abstract

(57)【要約】【目的】画像処理によって効率的なワーク検出を行
う。【構成】明度情報の一次微分のピーク点からエッジ点
を検出し、このエッジ点における勾配が右向きか（一次
微分の符号が正）を判定する（Ｓ２１，Ｓ２３）。右向
きであった場合には、所定距離はなれた点に勾配が左向
き（位置耳鼻分の符号が負）のエッジ点があるかを判定
する（Ｓ２４，Ｓ２５，Ｓ２６）。そして、これがあっ
た場合に、この点にシャフト候補があると判定する。こ
のように一次微分の符号を判定することによって、ノイ
ズの線分を除去できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ボルト等のワークを撮
像データから認識するワーク認識方法に関する。

【０００２】

【従来の技術】近年、工場における作業の自動化が進
み、かなり複雑な作業についてもロボットなどが行える
ようになってきている。そして、ロボットにさらに複雑
な作業を行わせるためには、ロボットの目としてテレビ
カメラなどが必要であり、得られた画像から作業対象で
あるワークを認識する必要がある。

【０００３】そこで、従来より、テレビカメラによって
得られた２次元画像を処理して、ワークを認識する画像
処理方法が知られている。例えば、特開昭６４−７８１
０５号公報では、ワークを含む画像データを一次微分し
てワークの輪郭（エッジ）についての線分を抽出し、そ
の配置の組み合わせによってワークを認識する方法が示
されている。この方法によれば、円、穴等特徴点がな
く、また個々のワークの明るさが均一でないようなワー
クの認識も確実に行える。

【０００４】

【発明が解決しようとする課題】しかし、上記従来例で
は、ボルトのバラ積みのように、ワークが多数存在する
と、画像処理によって抽出される線分が膨大な数にな
り、線分の配置の探索の効率が悪化してしまうという問
題点があった。また、ノイズによる誤認識の確率も高く
なってしまうという問題点があった。

【０００５】本発明は、上記問題点を解決することを課
題としてなされたものであり、ボルトのバラ積み等のワ
ークの認識も効率的に行うことができる画像処理方法を
提供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、撮像した２次
元画像によってワークの位置を検出するワーク位置検出
工程と、前記ワークの軸線を検出するワーク軸線検出工
程と、前記ワークの端点を検出するワーク端点検出工程
とを含みワーク認識を行う画像処理方法において、前記
ワーク位置検出工程は、前記２次元画像中の明度の方向
と、前記明度一次微分した値の絶対値とを明度情報とし
て用いてワークの位置検出を行うことを特徴とする。

【０００７】また、本発明は、前記ワーク軸線検出工程
は、前記ワーク位置検出工程によって求まったワーク位
置における１次元の明度情報を自己形状モデルとして記
憶する記憶工程と、記憶された自己形状モデルと２次元
の明度情報との相関演算に基づき合致位置を検出する合
致位置検出工程とを有し、検出された合致位置に基づい
てワークの軸線を検出することを特徴とする。

【０００８】また、本発明は、２次元画像を撮像する際
の撮像手段の位置と、照明の位置から求めたワークの存
在する位置に応じたワークの中心と明度のピークの中心
のずれ量の関係を記憶しており、上記ワーク軸線検出工
程において、軸線位置をこのずれ量によって補正するこ
とを特徴とする。

【０００９】また、本発明は、前記ワーク端点検出工程
は、前記ワーク軸線検出工程で得られた軸線に沿って前
記自己形状モデルと明度情報とを比較する比較工程を含
み、前記自己形状モデルと前記明度情報とが合致しなく
なった位置をワークの端点とすることを特徴とする。

【００１０】

【作用】このように、本発明によれば、２次元画像中の
明度の方向と、この明度を一次微分した値の絶対値を用
いてワークの位置検出を行う。すなわち、一次微分値の
絶対値のピークからワークのエッジ候補を得て、このエ
ッジ点における明度の方向が大きくなるものと小さくな
るものの一対からなれば、ワークであると判定すること
によって、単に微分値の大きさのみを利用する方法に比
べ、ノイズ除去が確実に行え、簡単な演算によって精度
の高い検出が行える。

【００１１】また、ワークの軸を検出する際に、実際に
検出された明度情報を自己形状モデルとして記憶し、こ
れを用いた相関演算を行う。これによって、ワークの見
え方の個体差に対応でき、検出の信頼度が上昇する。

【００１２】また、ワークの軸の位置は、カメラ位置、
照明位置、ワーク位置によってずれる。そして、カメラ
位置、照明位置は予め決定されているため、ずれ量はワ
ークの位置によって一義的に決定される。そこで、この
ワーク位置とずれ量の関係を予め求めて記憶しておけ
ば、ワーク軸位置を正確なものにできる。例えば、ワー
ク軸位置を検出する際に、相関演算を行なう基となるモ
デルを照明の位置、カメラの位置、ワークの位置に基づ
いて補正しておけば、ワークの軸位置の見え方のずれを
補正することができ、確度の高い軸位置検出が行える。

【００１３】また、自己形状モデルを軸心に沿って移動
させ、その相関値に基づいてワークの端点を検出する。
そこで、ワークの方向が水平からずれていた場合にも、
確度の高い端点の高い検出が行える。

【００１４】

【実施例】以下、本発明の実施例について、図面に基づ
いて説明する。図１は、本発明に係る装置の概略構成を
示すブロック図であり、本装置は、テレビカメラ１０
と、Ａ／Ｄ変換器１２と、画像メモリ１４と、演算装置
１６からなっている。テレビカメラ１０は、ＣＣＤ等か
ら構成され、マトリクス状に配置された光電変換素子に
よって入射光に応じた電荷を生じ、これを画素毎のアナ
ログの明度信号として出力する。Ａ／Ｄ変換器１２は、
テレビカメラ１０から供給されるアナログの信号をデジ
タルデータに変換し、一画面（１フレーム）毎に画像メ
モリ１４に記憶する。すなわち、テレビカメラ１０によ
って得られた１フレームの画像は、画像メモリ１４に画
素毎の明度データ（デジタル）として記憶される。演算
装置１６は、画像メモリ１４に記憶されている画像デー
タを処理し、最終的には、ワークを認識する。従って、
得られたデータに基づいて、ロボットの把持動作等を制
御することによって、自動的にワーク（ボルト）を把持
し、ボルトの締め付け等の作業を行うことができる。

【００１５】図２に、演算装置１６における画像処理の
手順を示す。Ａ／Ｄ変換器１２から供給される画素毎の
明度値からなる原画像情報を画像情報Ａとする。演算装
置１６は、この画像情報Ａに対して、ソーベル（Ｓｏｂ
ｅｌ）演算子を用いて、１階微分を行う。これによっ
て、画素毎の勾配の情報（微分値の方向あるいは符号）
と、画素毎の微分強度（微分値の絶対値）とを得て、こ
れをそれぞれ画像情報Ｂ、Ｃとして画像メモリ１４に記
憶する。

【００１６】ここで、上述の微分演算について、簡単に
説明する。画像情報Ａは、画像上の座標（ｘ，ｙ）毎に
それぞれ決定された明度値についての情報であり、明度
値のマトリクスで表される。そこで、この原画像は、明
度値のスカラー場Ｆ（ｘ，ｙ）として考えられる。これ
に、二次元微分演算子である▽を乗算してベクトル場Ｇ
を求める。

【００１７】すなわち、▽＝（ｄ／ｄｘ，ｄ／ｄｙ）を
スカラー場Ｆ（ｘ，ｙ）に乗算することにより、 ▽・Ｆ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）というベクトル場が求まる。なお、上述のｄ／ｄｘ，ｄ
／ｄｙは、偏微分を示す。また、実際の処理上はソーベ
ルオペレータを用いて行っている。

【００１８】このようにして得られたベクトル場Ｇは、
画像情報各座標毎に、ｘ方向及びｙ方向の微分値を有す
るものであり、（１）ベクトルの向き（２）ベクトルの大きさという情報を各座標毎に含んでいる。そして、本実施例
では、ベクトルの向き（勾配を示す）についての情報を
画像情報Ｂとして記憶し、ベクトルの大きさ（ベクトル
強度）についての情報を画像情報Ｃとして記憶する。

【００１９】そして、ベクトル強度についての情報であ
る画像情報Ｃに対し、細線化処理を施し、微分強度のピ
ーク点をエッジと推定し、これをエッジ情報として記憶
する。このエッジ情報を画像情報Ｄとする。

【００２０】このようにして画像情報Ａ〜Ｄを得た後、
これら情報を処理して、ワークを認識する。そこで、こ
の処理の全体の流れを図３に示す。ここで、この例は、
ボルト等円筒状のワークを認識するものである。まず、
画像情報Ｂ，Ｃ，Ｄからシャフト部の候補を探す（Ｓ１
１）。そして、探し出された候補を処理する際に利用す
るモデルについて、そのモデルにおけるシャフトの中心
と見られる位置を補正する（Ｓ１２）。次に、得られた
データの中から１ライン分のデータを抽出し自己形状モ
デルを作成する（Ｓ１３）。そして、この自己形状モデ
ルとの相関処理によって軸心を推定する（Ｓ１４）。軸
心が推定できた場合には、自己形状モデルを軸心方向に
移動させて相関をとることによって端点を検出する（Ｓ
１５）。このようにして軸心及び端点を検出し、ワーク
を認識する。

【００２１】（シャフト部候補発見）まず、シャフト部
候補発見（Ｓ１１）について説明する。本実施例で認識
の対象としているボルトのような円筒形状の物体は、画
像情報Ａにおいては、図４（Ａ）のように見えるはずで
ある。すなわち、中心部で反射が大きいため明るく、縁
部が暗くなると期待される。そこで、明度を画素毎に取
れば図４（Ｂ）のようにシャフトの中心部で明度が最も
明るく縁部で暗いカーブとなる。

【００２２】このため、これを微分して得た微分強度で
ある画像情報Ｃでは、図５に示すようにシャフト縁部付
近で一対のピークを持った特性となる。従って、この微
分強度のピーク点の連なりがエッジ点として認識され、
これが画像情報Ｄとして記憶される。ここで、このエッ
ジ点は、シャフトの輪郭ではなく、明度変化が最も大き
な縁より若干内側の点となる。

【００２３】一方、微分値の方向を示す画像情報Ｂで
は、図６に示したような方向が得られる。すなわち、シ
ャフトの中心の方向に向いて明るくなるため、各ベクト
ルはシャフトの中心方向を向く。従って、水平方向のみ
を見た場合には、シャフトの中心で符号が正から負に変
わるため、シャフトの左側で一次微分の符号は正であ
り、シャフトの右側で一次微分の符号は負となる。な
お、この図においては、方向のみを表しているため、矢
印の長さは全て同じ大きさである。

【００２４】本実施例では、これらの情報を考慮して、
シャフト部候補を発見するが、その具体的処理は図７に
示すようにして行う。まず、画像情報Ｄの１水平ライン
（ｘ方向の１ライン）のデータの中から画素毎にデータ
を取り出し、エッジ点か否かを判定する（Ｓ２１）。そ
して、エッジ点でなかった場合には、座標を一つずらし
（Ｓ２２）、Ｓ２１に戻る。このようにして、エッジ点
が見付かるまでこの処理を繰り返す。そして、エッジ点
であった場合には、その点の画像情報Ｂの値から、勾配
が右向きか否かを判定する。これは、シャフト部分につ
いて、順次左側から判定を行っていけば（ｘが順次増え
る方向）シャフトが見付かった所では、必ずその勾配は
右向きになっているからである。エッジ点の勾配が右向
きでなければ、ここはシャフトの輪郭ではないため、Ｓ
２２に戻り次のエッジ点を探す。一方、勾配が右向きで
あれば、右方向へある距離離れた地点へ移動する（Ｓ２
４）。これは、シャフトの大きさは予めわかっており、
画像情報Ｂにおいて勾配の向きが右向きであれば、更に
右方向にシャフトの太さだけ離れた位置に対応するエッ
ジ点があるからである。そこで、この所定距離離れた地
点の近辺においてエッジ点があるか否かを判定する（Ｓ
２５）。そして、ここにエッジ点がなかった場合には、
シャフトではなかったと見なし、Ｓ２２に戻り次のエッ
ジ点の探索に移る。なお、シャフトの向きによって、一
対のエッジ点間の距離は異なるため、Ｓ２５は必ずしも
１点の判定ではなく、所定の範囲の判定とする。

【００２５】一方、所定の範囲にエッジ点があった場合
には、そのエッジ点における勾配が左向きか否かを判定
する（Ｓ２６）。この判定で、勾配が左向きでなかった
場合には、シャフトではなかったとみなせるため、上述
の場合と同様にＳ２２に戻る。一方、勾配が左向きであ
れば、ここをシャフト部の候補として登録する。

【００２６】このように、本実施例においては、原画像
を１階微分することによって得られたエッジ点と、ここ
における勾配情報を組み合わせることにより、比較的簡
単な判定で、シャフト部候補を発見することができる。
そして、この判定により、シャフトでない線分の多くを
除去できるため、ノイズを大幅に減少させることができ
誤認識を低減することができる。

【００２７】なお、上述の処理は、画像情報Ａにおける
ｘｙ座標をそのままにして、ｘ座標の１ライン毎に行
う。ここで、本実施例では、図６に示すようにベクトル
の向きは二次元の方向を持っている。そこで、上述のＳ
２４において移動する方向は、その点におけるベクトル
の向きの方向としてもよい。

【００２８】（モデルの補正）次に、ワークの位置が広
い範囲に点在する場合、カメラと、ワークと、照明の位
置関係が、ワーク毎に変化する。図８に示すように、ワ
ーク→照明→カメラの角度がθであった場合に、ワーク
表面での鏡面反射を起こす位置は、θ／２のワーク表面
である。

【００２９】従来は、円筒形状のモデルとして、図４に
示すように左右対象の山形のものが用いられてきた。し
かし、図８の例のように、ワーク実際の中心位置と、明
るさのピーク点は、ずれる。そこで、従来のモデルをそ
のまま用いたのでは、ワーク中心位置がワーク半径をｒ
とすると、ｄ＝ｒ・ｓｉｎ（θ／２）だけずれてしまう。ここで、ずれ量がｄとなる。

【００３０】そこで、本実施例においては、このずれ量
ｄをモデルの補正によって解消する。図８の例では、ワ
ークのｘ座標によって、θが一義的に決定される。そこ
で、θはｘ座標の関数と考えられ、θ＝θ（ｘ）と表す
ことができる。この関数は、カメラ位置、照明位置とか
ら、予め求めておくことができる。そこで、これを求め
テーブルとして記憶しておく。例えば演算装置１６内に
テーブルを設け、ここに記憶しておく。

【００３１】更に、シャフト部候補の位置（ｘ座標）
は、上述のようにして既知であるため、候補発見時にず
れ量ｄが予測できる。そこで、この予測されたずれ量ｄ
を用い、図９に示すように、ｄだけずらしたモデルを作
成する。なお、この図９は、明度値でワークの位置を示
してある。

【００３２】そして、このようにして得られたモデルを
用い、上述のようにして発見されたシャフト候補近辺で
両者の相関をとる。すなわち、上述のようにして得られ
たシャフト候補の明度値（画像情報Ａ）と補正されたモ
デルとの相関をシャフト候補の中心の近辺で所定画素
（±ｎ画素）左右にずらした範囲で、１画素ずつずらし
て２ｎ回の相関演算を行う。そして、得られた相関値の
最大値が所定のしきい値を越えていればこれをシャフト
と断定し、このシャフトの位置を記憶すると共に、次の
ステップへ進む。なお、シャフトの位置は、その中心座
標を記憶する。

【００３３】このようにモデルを補正することによっ
て、カメラ位置、照明位置に対するワークの位置変化に
よる認識誤差を解消することができる。

【００３４】（軸心の推定）軸心を推定するためには、
まず自己形状モデルを記憶する。この自己形状モデル
は、上述のようにしてシャフトが検出された位置におけ
る明度情報をｘ方向１行分（１ラスタ分）記憶する。そ
して、この自己形状モデルを用いて、軸心の推定を行
う。すなわち、上述のようにして求まった１ラスタにお
けるシャフトの位置より、１ラスタ上方（または下方）
にずらし、左右に一定範囲だけ自己形状モデルを用いた
自己相関演算を行う。そして、この相関演算によって得
られた相関のピーク点からそのラスタにおけるシャフト
位置を検出記憶し、更に１ラスタずらし、この作業をｎ
回行ってピーク点をｎ個得る。そして、これらの点を最
小二乗法によって結び、軸心を決定する。

【００３５】このように、本実施例では、実際に測定し
て得られたデータから自己形状モデルを作成する。そし
て、この自己形状モデルを用いて相関演算を行う。従っ
て、ワークの見え方の個体差に対応できる。このため、
予め記憶されているモデルを利用した場合における相関
の信頼度が８０％程度であったものが、９５％程度まで
向上し、認識の確度が上昇できた。これは、本実施例の
ような自己形状モデルを用いない場合には、一つ一つの
ワークの見え方（明度のグラフ）は、それぞれ異なって
おり、一つのモデルとの相関演算においてはその相関値
がばらついてしまう。そこで、相関のしきい値を十分下
げなければならず、相関の信頼度が低下してしまうから
である。

【００３６】（端点の検出）上述のようにして、シャフ
トの軸心の位置が求まり、シャフトの方向も求まる。そ
こで、次にシャフトの端点の検出を行う。この場合、前
工程で得られた軸心に垂直方向にシャフトを輪切りにす
るようにデータをとり、このデータと自己形状モデルと
の相関をとる。すなわち、図１０に示すように、自己相
関モデルとワークとの相関演算を軸心方向にずらしなが
ら行う。そして、この相関演算の結果があるしきい値を
下回った時点でその点がシャフトの端点とみなす。

【００３７】これによって軸心に対し垂直の方向に相関
を取るため、検出の誤差が±１画素程度となる。従来は
水平方向に相関を取っていたため、図１０のようにワー
クが傾くほどその誤差が大きくなってしまった。本実施
例によりこのような誤差が解消できる。

【００３８】（その他）上述の実施例では、ワークの形
状として、円筒形状のものについて述べた。しかし、同
一の形状が一次元的に連続するシャフト状物体や、シャ
フト状部位を有する物体への認識に広く適用することが
できる。

【００３９】

【発明の効果】以上説明したように、本発明によれば、
２次元画像中の明度の方向と明度を一次微分した絶対値
を用いてワークの位置検出を行う。そこで単に微分値の
大きさのみを利用する方法に比べ、ノイズ除去が確実に
行え、簡単な演算によって精度の高い検出が行える。

【００４０】また、ワークの軸を検出する際に、実際に
検出された明度情報を自己形状モデルとして記憶し、こ
れを用いた相関演算を行う。これによって、ワークの見
え方の個体差に対応でき、検出の信頼度が上昇する。

【００４１】また、ワークの軸を検出する際に、相関演
算を行なう基となるモデルを照明の位置、カメラの位
置、ワークの位置に基づいて補正する。従って、ワーク
の中心の位置と見え方のずれを補正することができ、確
度の高い位置検出が行える。

【００４２】また、自己形状モデルを軸心に沿って移動
させ、その相関値に基づいてワークの端点を検出する。
そこで、ワークの方向が水平からずれていた場合にも、
確度の高い検出が行える。

【図面の簡単な説明】

【図１】実施例の全体構成を示すブロック図である。

【図２】複数の画像情報の系統を示す説明図である。

【図３】画像処理の動作の全体フローを示すフローチャ
ートである。

【図４】明度情報（画像情報Ａ）の特性を示す説明図で
ある。

【図５】微分強度（画像情報Ｃ）の特性を示す説明図で
ある。

【図６】微分勾配（画像情報Ｂ）の状態を示す説明図で
ある。

【図７】ワーク（シャフト）候補検出の動作を示すフロ
ーチャートである。

【図８】ワークの位置とずれの関係を示す説明図であ
る。

【図９】ずれ量の大きさを示す説明図である。

【図１０】端点検出の状態を示す説明図である。

【符号の説明】

１０カメラ１２Ａ／Ｄ変換器１４画像メモリ１６演算装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 1/00 (72)発明者鋤柄和俊愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内 (72)発明者森部弘愛知県愛知郡長久手町大字長湫字横道41番地の１株式会社豊田中央研究所内

Claims

【特許請求の範囲】

【請求項１】撮像した２次元画像によってワークの位
置を検出するワーク位置検出工程と、前記ワークの軸線
を検出するワーク軸線検出工程と、前記ワークの端点を
検出するワーク端点検出工程とを含みワーク認識を行う
画像処理方法において、前記ワーク位置検出工程は、前記２次元画像中の明度の
方向と、前記明度を一次微分した値の絶対値とを明度情
報として用いてワークの位置検出を行うことを特徴とす
る画像処理方法。
【請求項２】請求項１に記載の画像処理方法におい
て、前記ワーク軸線検出工程は、前記ワーク位置検出工程によって求まったワーク位置に
おける１次元の明度情報を自己形状モデルとして記憶す
る記憶工程と、記憶された自己形状モデルと２次元の明
度情報との相関演算に基づき合致位置を検出する合致位
置検出工程と、を有し、検出された合致位置に基づいてワークの軸線を検出する
ことを特徴とする画像処理方法。
【請求項３】請求項１に記載の画像処理方法におい
て、さらに、２次元画像を撮像する際の撮像手段の位置と、
照明の位置から求めたワークの存在する位置に応じたワ
ークの中心と明度のピークの中心のずれ量の関係を記憶
しており、上記ワーク軸線検出工程において、軸線位置をこのずれ
量によって補正することを特徴とする画像処理方法。
【請求項４】請求項２に記載の画像処理方法におい
て、前記ワーク端点検出工程は、前記ワーク軸線検出工程で
得られた軸線に沿って前記自己形状モデルと明度情報と
を比較する比較工程を含み、前記自己形状モデルと前記
明度情報とが合致しなくなった位置をワークの端点とす
ることを特徴とする画像処理方法。