JPH07121713A - パターン認識方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像中の対象物の大きさの変化にも対応して
認識を可能にするパターン認識方法を提供する。 【構成】 識別対象物を撮像した画像から抽出した検出
画像の輪郭線から輪郭線要素の方向成分を抽出し，方向
成分毎の出現頻度の分布から正規化ヒストグラムが作成
される。この正規化ヒストグラムは上記検出画像の輪郭
線形状に対応しているので，検出画像の輪郭線の大きさ
が変化しても形状特徴の認識が可能となる。この識別目
的物の認識は，ニューラルネットワークを用いて行うこ
とができる。更に，作成された正規化ヒストグラムを所
定角度ピッチで回転させた回転変換ヒストグラムを作成
することにより，検出画像中の輪郭線が回転変化してい
る場合にも対応させることができる。この回転変換ヒス
トグラムは，ニューラルネットワークを学習させる教師
データとすることができるので，検出画像の輪郭線の大
きさの変化及び回転がある場合にも形状特徴の認識が可
能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，形状識別による目的物
の検出等を対象物を撮像した画像から行うパターン認識
方法に関し，例えば産業用ロボットによる作業対象物の
位置決め点の認識等に用いられるパターン認識方法に関
する。

【０００２】

【従来の技術】従来，上記パターン認識方法として採用
される手法は，２つに大別できる。１つはブロッブ解析
と呼ばれる手法で，画像から対象部分を切り出し，その
部分（ブロッブ）の幾何学的特徴量（面積，重心の位
置，周長，モーメント，穴の数等）を求め，ブロッブの
特徴量を予め求められたモデルの特徴量と比較すること
により，対象ブロッブが何であるかを判断するものであ
る。いま１つの手法は，パターンマッチング又はテンプ
レートマッチングと呼ばれる手法で，穴等の特徴部分の
画像をモデル（テンプレート）として記憶させておき，
入力された画像の中から上記モデルと一致する部分を探
すことにより，対象の認識，あるいは対象の位置の検出
を行うものである。

【０００３】

【発明が解決しようとする課題】しかしながら，上記従
来の手法では，画像内での対象物の大きさが変化するよ
うな場合，即ち，撮像装置と対象物との距離が変わるよ
うな場合には，画像中での対象物の大きさが変わるた
め，対象物の認識ができない場合が生じる問題点があっ
た。例えば産業用ロボットに搭載した視覚センサで対象
物を撮像してその位置決めを行うような場合に，視覚セ
ンサと対象物の相対距離が変化したため画像の大きさが
変わるような場合である。本発明は，画像中の対象物の
大きさの変化に対応して認識を可能にすると共に，画像
中の対象物の回転あるいは部分欠損にも対応できるパタ
ーン認識方法を提供することを目的とする。

【０００４】

【課題を解決するための手段】上記目的を達成するため
に本発明が採用する第１の方法は，識別対象画像を含む
画像から抽出した検出画像の特徴量を予め抽出された識
別目的物の画像の特徴量に照合して，上記識別目的物を
認識するパターン認識方法において，上記検出画像の輪
郭線を所定ピッチで分解し，分解された各輪郭線要素の
方向成分を抽出し，上記方向成分毎の出現頻度を演算し
て，該出現頻度を全輪郭要素数で除算して輪郭線要素の
正規化ヒストグラムを作成すると共に，該検出画像の輪
郭線要素の正規化ヒストグラムと予め得られた輪郭線要
素の正規化ヒストグラムとを比較して，識別目的物を認
識することを特徴とするパターン認識方法である。又，
上記識別目的物の認識は，該識別目的物画像の正規化ヒ
ストグラムを教師データとして学習させたニューラルネ
ットワークを用いて行うことができる。

【０００５】更に，本発明が採用する第２の方法は，識
別対象画像を含む画像から抽出した検出画像の特徴量を
予め抽出された識別目的物の画像の特徴量に照合して，
上記識別目的物を認識するパターン認識方法において，
上記検出画像の輪郭線を所定ピッチで分解し，分解され
た各輪郭線要素の方向成分を抽出し，上記方向成分毎の
出現頻度を演算して，該出現頻度を全輪郭要素数で除算
して輪郭線要素の正規化ヒストグラムを作成すると共
に，上記正規化ヒストグラムを所定角度で回転変換させ
た回転変換ヒストグラムを作成し，該検出画像の輪郭線
要素の上記回転変換ヒストグラムと予め得られた輪郭線
要素の正規化ヒストグラム及び回転変換ヒストグラムと
を比較して，識別目的物を認識することを特徴とするパ
ターン認識方法である。又，上記識別目的物の認識は，
該識別目的物画像の回転ヒストグラムを教師データとし
て学習させたニューラルネットワークを用いて行うこと
ができる。

【０００６】

【作用】本発明の第１の方法によるパターン認識のため
の画像処理では，まず，識別対象物を撮像した画像から
抽出した検出画像の輪郭線を所定ピッチで分解した輪郭
線要素の方向成分が抽出される。上記輪郭線要素は，例
えば画像の輪郭線画素列として検出できるので，各画素
が輪郭線を形成する方向成分を抽出したチェーンコード
として輪郭線を表現することができる。このチェーンコ
ードを予め抽出された識別目的物のチェーンコードと比
較することにより，検出画像が識別目的物であるか否か
が認識できる。本発明では識別対象物の画像中の大きさ
が変化する場合に対処するために，上記チェーンコード
の方向成分毎の出現頻度の分布から正規化ヒストグラム
が作成される。この正規化ヒストグラムは上記検出画像
の輪郭線形状に対応しているので，検出画像の輪郭線の
大きさが変化しても形状特徴の認識が可能となる。更に
上記識別目的物の認識は，ニューラルネットワークを用
いて行うことができ，輪郭線の部分欠損等にも対応させ
ることができる。請求項１及び２がこれに該当する。
又，本発明の第２の方法では，上記第１の方法による処
理に加え，作成された正規化ヒストグラムを所定角度ピ
ッチで回転させた回転変換ヒストグラムが作成される。
この処理により輪郭線の上記チェーンコード表現の図形
回転に対する優れた対応性を利用して，検出画像中の輪
郭線が回転変化している場合にも対応させることができ
る。この回転変換ヒストグラムは，ニューラルネットワ
ークを学習させる教師データとすることができる。請求
項３及び４がこれに該当する。

【０００７】

【実施例】続いて添付図面を参照して本発明を具体化し
た実施例につき説明し，本発明の理解に供する。尚，以
下の実施例は本発明を具体化した一例であって，本発明
の技術的範囲を限定するものではない。ここに，図１は
本発明に係るパターン認識方法の手順を示すフローチャ
ート，図２は実施例に係るパターン認識方法を実行する
ための構成を示すブロック図，図３は実施例構成におけ
る画像処理部により対象物の輪郭線を抽出する手順を示
すブロック図，図４は輪郭線をチェーンコード変換する
チェーンコード表現の説明図，図５はチェーンコードを
正規化ヒストグラムとして作成した例を示すグラフ表示
である。本実施例では，産業用ロボットの視覚センサと
なるＴＶカメラによって撮像されたワーク画像から，該
ワークに存在する位置決め点を識別するパターン認識の
例を示す。以下，本実施例に係るパターン認識の処理手
順を図１に示すフローチャートに従って説明する。又，
各処理ステップ（Ｓ１，Ｓ２…）における処理動作は，
各構成図，説明図を参照して説明する。

【０００８】本実施例に係るパターン認識方法を実行す
るためのパターン認識装置１は，図２に示すように，選
択スイッチ１２ｂ，１２ｃを切り換えることによって，
予め位置決め点とする部位（識別目的物）の特徴データ
をニューラルネットワークにより構成されたパターン認
識部６に学習させる準備状態と，上記視覚センサを構成
する画像入力装置２から入力されるワークの撮像画像か
ら抽出した検出画像の特徴量を上記ニューラルネットワ
ークにより識別させる認識状態とを選択できるように構
成されている。まず，パターン認識のための準備のため
の学習処理から説明する。選択スイッチ１２ａ〜１２ｃ
はＢ側に切り換えられた状態とする。この準備のための
処理は，図１（ａ）に示すフローを参照して説明する。
画像入力装置２から基準となるワークのワーク画像が入
力されると（Ｓ１），画像処理部３によってワークの輪
郭線が抽出される（Ｓ２）。該画像処理部３は，図３に
示すように平滑化処理，微分処理，二値化処理を行うこ
とによって基準ワークの外形，穴等を輪郭線で示す線図
形として表示する。この抽出された線図形は，コーナー
部分，穴等の位置決め候補部位毎にチェーンコード変換
部４でチェーンコードに変換される（Ｓ３）。上記チェ
ーンコードは，輪郭線を所定ピッチで分割して，分割さ
れた各輪郭線要素の方向成分を抽出するもので，輪郭線
画像を形成する画素を輪郭線要素として，各画素の隣接
間の方向指数に従って鎖状につないだ方向指数系列で示
すことができる。例えば，図４（ｂ）に示すような線図
形は，図４（ａ）に示す４５度分割された方向指数０〜
７で表現すると，１１１１７７７１１１３３１１のチェ
ーンコードに変換できる。このチェーンコードに，その
線図形の開始点座標値を組み合わせて記憶させておく
と，線図形を形成する全ての画素の座標値を記憶させる
よりも少ない記憶容量で線図形を記憶することができ
る。

【０００９】次いで，上記チェーンコードから正規化ヒ
ストグラム作成部５で正規化ヒストグラムが作成される
（Ｓ４）。正規化ヒストグラムは，図５に示すように，
横軸にチェーンコードの方向指数，縦軸に線図形を表現
するチェーンコード方向指数の出現頻度をとり正規化を
施したものである。この処理により，入力画像の大きさ
が変化した場合にチェーンコードのヒストグラムが変化
することが防止できる。具体的には，輪郭線を形成する
画素数で各チェーンコード方向指数の出現頻度を除算す
る処理がなされる。上記Ｓ１〜Ｓ４の処理により，入力
された基準ワーク画像から抽出された輪郭線のチェーン
コードとその正規化ヒストグラムが作成されるので，そ
れぞれがチェーンコード記憶部７及び正規化ヒストグラ
ム記憶部８に記憶される。次に，ディスプレイターミナ
ル９に基準ワークの位置決め点とする候補部位の線図形
を順次表示させ，オペレータによって位置決め点（識別
目的）とする部位が指定される（Ｓ５）。ここで指定さ
れた部位の正規化ヒストグラムはパターン特徴学習処理
部１０に入力され，入力画像が回転している場合に対応
させる回転変換ヒストグラムが作成される（Ｓ６）。即
ち，線図形のチェーンコード表現の回転に対する優れた
特徴を利用して，所定角度ピッチで線図形を回転させた
正規化ヒストグラムのデータを作成しておくと，識別対
象物を撮像したときの対象物位置に回転がある場合にも
対応させることができる。上記正規化ヒストグラムの回
転変換ヒストグラムは，先に図４（ａ）に示した４５度
分割の方向指数の場合，正規化ヒストグラムの各方向指
数出現頻度を半時計回りの回転角度に対応する方向指数
に並び変えることによって作成できる。

【００１０】そこで，ディスプレイターミナル９に位置
決め点の候補部位として抽出された各部位の線図形が順
次表示される中から，オペレータが位置決め点とする部
位を指定すると，それぞれの部位毎に作成されている正
規化ヒストグラムについて回転ヒストグラムがパターン
特徴学習処理部１０で作成される。上記パターン特徴学
習処理部１０は，上記正規化ヒストグラム及び該正規化
ヒストグラムを回転させた回転変換ヒストグラムを教師
データとして，ニューラルネットワークにより構成され
るパターン認識部６をバックプロパゲーションの手法で
学習させる（Ｓ７）。この学習により得られる各ニュー
ロンの重み係数はパターン特徴記憶部１１に記憶される
（Ｓ８）。以上の処理により，基準ワーク上に位置決め
点とする部位が設定され，この部位の特徴量が記憶され
る。位置決め点を他の部位に変更する，例えば，ロボッ
トによる作業位置を変更するような場合，上記オペレー
タによる指定を所望の部位に変更すると，その指定部位
について上記の処理によって特徴量が記憶される。

【００１１】次に，測定対象ワークについての認識処理
について説明する。選択スイッチ１２ａ，１２ｂ，１２
ｃをＡ側に切り換えると，入力された測定ワーク画像か
ら上記処理により記憶された指定部位を認識させる処理
がなされる。この認識のための処理手順は図１（ｂ）の
フローを参照して説明する。図１（ｂ）において，画像
入力（Ｓ９）から正規化ヒストグラム作成（Ｓ１２）ま
での処理は，先のＳ１〜Ｓ４の処理と同様になされる。
作成された正規化ヒストグラムはパターン認識部６に入
力される（Ｓ１３）。パターン認識部６を構成するニュ
ーラルネットワークには，パターン特徴記憶部１１に記
憶された位置決め点の特徴量として作成されたニューラ
ルネットワークの重み係数がロードされるので（Ｓ１
４），パターン認識部６は入力画像のから先に指定され
ている位置決め点を選びだすことができる（Ｓ１５）。
上記認識処理において，カメラと測定ワークとの距離が
変化して入力画像中のワークの大きさが変化した場合に
も，輪郭線のチェーンコードが正規化ヒストグラムに変
換されているので，大きさの変化に対応して正確な認識
動作が実施される。又，入力画像中の測定ワーク位置に
回転が生じている場合でも，回転角度毎の回転変換ヒス
トグラムで重み係数が記憶されているので，ワーク位置
の回転にも対応する。更に，形状認識にニューラルネッ
トワークを使用しているので，画像中の検出部位に欠け
が生じている場合にも認識が可能となる。以上に示した
実施例では，ワーク上に設定された位置決め点を認識す
る方法を示したが，同様の処理により複数の物体から所
望の目的物体を認識する場合にも適用することができ
る。

【００１２】

【発明の効果】本発明は以上の説明の通り，識別対象物
を撮像した画像から抽出した検出画像の輪郭線から輪郭
線要素の方向成分を抽出し，方向成分毎の出現頻度の分
布から正規化ヒストグラムが作成される。この正規化ヒ
ストグラムは上記検出画像の輪郭線形状に対応している
ので，検出画像の輪郭線の大きさが変化しても形状特徴
の認識が可能となる。この識別目的物の認識は，ニュー
ラルネットワークを用いて行うことができる。この認識
方法により，画像中の識別対称物の大きさが変化した場
合にも認識が可能となり，輪郭線の部分欠損等にも対応
させることができる。請求項１及び２がこれに該当す
る。更に，上記方法による処理に加え，作成された正規
化ヒストグラムを所定角度ピッチで回転させた回転変換
ヒストグラムを作成することにより，検出画像中の輪郭
線が回転変化している場合にも対応させることができ
る。この回転変換ヒストグラムは，ニューラルネットワ
ークを学習させる教師データとすることができるので，
検出画像の輪郭線の大きさの変化及び回転がある場合に
も形状特徴の認識が可能となる。請求項３及び４がこれ
に該当する。

【図面の簡単な説明】

【図１】 本発明に係るパターン認識方法の処理手順を
認識準備（ａ）と認識（ｂ）とで示すフローチャート。

【図２】 実施例パターン認識方法を実行する認識装置
の実施例ブロック図。

【図３】 画像処理部における処理手順を示すフローチ
ャート。

【図４】 チェーンコードを説明する方向指数（ａ）と
コード化図形の例（ｂ）とを示す説明図。

【図５】 正規化ヒストグラムの作成例を示すグラフ。

【符号の説明】

１…パターン認識装置 ２…画像入力装置 ４…チェーンコード変換部 ５…正規化ヒストグラム作成部 ６…パターン認識部 ７…チェーンコード記憶部 ８…正規化ヒストグラム記憶部 １０…パターン特徴学習処理部 １１…パターン特徴記憶部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 識別対象画像を含む画像から抽出した検
   出画像の特徴量を予め抽出された識別目的物の画像の特
   徴量に照合して，上記識別目的物を認識するパターン認
   識方法において，上記検出画像の輪郭線を所定ピッチで
   分解し，分解された各輪郭線要素の方向成分を抽出し，
   上記方向成分毎の出現頻度を演算して，該出現頻度を全
   輪郭要素数で除算して輪郭線要素の正規化ヒストグラム
   を作成すると共に，該検出画像の輪郭線要素の正規化ヒ
   ストグラムと予め得られた識別目的物の輪郭線要素の正
   規化ヒストグラムとを比較して，識別目的物を認識する
   ことを特徴とするパターン認識方法。
2. 【請求項２】 上記識別目的物の認識を該識別目的物画
   像の正規化ヒストグラムを教師データとして学習させた
   ニューラルネットワークを用いて行う請求項１記載のパ
   ターン認識方法。
3. 【請求項３】 識別対象画像を含む画像から抽出した検
   出画像の特徴量を予め抽出された識別目的物の画像の特
   徴量に照合して，上記識別目的物を認識するパターン認
   識方法において，上記検出画像の輪郭線を所定ピッチで
   分解し各輪郭線要素の方向成分を抽出し，上記方向成分
   毎の出現頻度を演算して，該出現頻度を全輪郭要素数で
   除算して輪郭線要素の正規化ヒストグラムを作成すると
   共に，上記正規化ヒストグラムを所定角度で回転変換さ
   せた回転変換ヒストグラムを作成し，該検出画像の輪郭
   線要素の上記回転変換ヒストグラムと予め得られた輪郭
   線要素の回転変換ヒストグラムとを比較して，識別目的
   物を認識することを特徴とするパターン認識方法。
4. 【請求項４】 上記識別目的物の認識を該識別目的物画
   像の回転ヒストグラムを教師データとして学習させたニ
   ューラルネットワークを用いて行う請求項３記載のパタ
   ーン認識方法。