JPH0981536A

JPH0981536A - パターン認識方法及び装置

Info

Publication number: JPH0981536A
Application number: JP7231433A
Authority: JP
Inventors: Shigeo Abe; 重夫阿部; Ratsuku Taauonmatsuto; ラックターウォンマット
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-09-08
Filing date: 1995-09-08
Publication date: 1997-03-28

Abstract

(57)【要約】【目的】教師データからファジィルールを直接、抽出
し、汎化能力の高いパターン認識を実現するパターン認
識方法及び装置を提供すること。【構成】入出力データファイル１０７を用いて、デー
タ分割手段１０４で入力データをクラスタに分割して、
ルール抽出手段１０５により入出力データファイル１０
７と分割データファイル１０８から、クラスタ毎にファ
ジィルールを抽出し、ルール調整手段１０６でファジィ
ルールの調整を行い、ファジィルールファイル１０９を
用いてファジィルール推論手段１０２によりパターン認
識を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識方法及び
装置に関し、特にファジィ推論によりパターン認識を行
うのに好適なパターン認識方法及び装置に関する。

【０００２】

【従来の技術】文字の特徴量を入力して文字を認識す
る、あるいは機器の状態を入力して機器の異常を診断す
るパターン認識システムを構築するのに多層構造のニュ
ーラルネット、あるいはファジィ推論が適していると言
われている。ニューラルネットはエム。アイ。ティープ
レス(1986年)パラレルディストリビューティッドプロセ
シング第３１８頁から３６２頁(Parallel Distributed
Processing， Vol. 1, MITPress, CambridgeMA, 1986,
pp. 318−362) において論じられているように、入力
と出力のデータを組とした教師データを用いて学習によ
り、ニューラルネットが構築できるため、問題特有のア
ルゴリズムを開発する必要がないという大きな利点を持
っている。

【０００３】またこれに対してファジィルールにより推
論するファジィ推論を用いると、小規模で専門家の知識
が豊富な分野では、容易にパターン認識システムが構築
できるという利点がある。ファジィ推論ではファジィル
ールを獲得するのが難しいという問題を解決する方法と
して、専門家からでなく、ニューラルネットと同じく教
師データから行う方法もいくつか提案されている。例え
ば、アイトリプルイー・トランザクション・オン・ファ
ジィシステムズ第３巻１号第１８頁から第２８頁(IEEE
Trans. Fuzzy Systems, Vol. 3, No. 1, pp。 18−28,
1995)では、教師データを用いて超直方体でデータの存
在領域を近似する方法を取っている。この方法では、各
クラスに属する教師データの最小値と最大値を計算して
超直方体を定義し、クラス間の超直方体に重なりがあれ
ば、重なった部分を禁止領域として定義し、さらに禁止
領域内にこれらのクラスのデータがあれば、さらに同様
に超直方体を定義することによりファジィルールを抽出
する。

【０００４】

【発明が解決しようとする課題】ニューラルネットを用
いると学習の時間が極めて遅く、また出来上がったニュ
ーラルネットの仕組みがどのようになっているか分から
ないという問題があった。また、上記の超直方体により
ファジィルールを抽出する方法をとると、学習は極めて
高速であり、ファジィルールによりその動きも解析でき
るが、ファジィルールを抽出する教師データと得られた
ファジィルールの性能をテストするテストデータの特性
が大きく異なるときは、テストデータの性能すなわち汎
化能力がニューラルネットより劣るという問題があっ
た。

【０００５】本発明の目的は、上記のニューラルネット
及びファジィ推論の問題点を解決し、入力データと出力
データの組からなる教師データからファジィルールを直
接に抽出し、汎化能力の高いパターン認識を実現できる
方法及び装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明は、（イ）各クラ
スの入力データを分割する（ロ）分割されたデータを用
いて領域を近似することによりファジィルールを抽出す
る（ハ）教師データを用いて近似領域を調整することに
よりファジィルールをチューニングする等に特徴を有す
るものであり、これらの独立した手段、方法のみなら
ず、種々な組合せにもそれぞれ特徴がある。

【０００７】以下、問題を解決するための手段の一例を
説明する。

【０００８】（イ）各クラスの入力データを分割する同一クラスに属する教師データをそのデータの入力空間
での分布にしたがい、いくつかのクラスタに分割する手
段を設ける。

【０００９】（ロ）分割されたデータを用いて領域を近
似することによりファジィルールを抽出する各クラスタに含まれる教師データの存在領域を近似し、
この近似した領域を一つのファジィルールとして定義す
る手段を設ける。

【００１０】（ハ）教師データを用いて近似領域を調整
することによりファジィルールをチューニングする（ロ）で求まったファジィルールの近似領域をそのルー
ルの属するクラスに含まれる度合いが大きくなるように
近似領域を調整する手段を設ける。

【００１１】

【作用】

（イ）各クラスの入力データを分割する手段各クラスの教師データを分割することにより、各クラス
の存在領域をより精密に近似できるようになる。

【００１２】（ロ）ファジィルールを抽出する手段各クラスタに対応してファジィルールを定義することに
より、入力データがそのクラスタに対応するクラスに属
する程度、すなわち成立度が計算でき、ファジィルール
の成立度の最も高いクラスに入力データが属すると判定
することによりパターン認識ができる。

【００１３】（ハ）ファジィルールの調整手段教師データに対するパターン認識が正確に行われるよう
に近似領域を調整することにより、教師データのみなら
ず、テストデータに対する認識率を向上することができ
る。

【００１４】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図１に本発明の具体的実施例を示す。同図におい
て、１０１はファジィルール構築手段、１０２はファジ
ィルール推論手段、１０３は記憶手段、１０４はデータ
分割手段、１０５はルール抽出手段、１０６はルール調
整手段、１０７は入出力データファイル、１０８は分割
データファイル、１０９はファジィルールファイルであ
る。入出力データファイル１０７には、パターン認識を
行う対象から収集した入力データと出力データの組から
なる教師データが記憶されている。データ分割手段１０
４は入出力データファイル１０７のデータを分割して分
割データファイル１０８に分割結果を格納する。ルール
抽出手段１０５は入出力データファイル１０７と分割デ
ータファイル１０８とを用いて分割されたクラスタ毎に
ファジィルールを抽出し、ファジィルールファイル１０
９に格納する。ルール調整手段１０６は入出力データフ
ァイル１０７、分割データファイル１０８、およびファ
ジィルールファイル１０９を用いて、ファジィルールを
調整してその結果をファジィルールファイル１０９に格
納する。得られたファジィルールはファジィルール推論
手段１０２により未知の入力に対する出力を推論するの
に用いられる。ここでファジィルール構築手段１０１と
ファジィルール推論手段１０２は図１のように組み合わ
せてもよいが、切り離して、オフラインでファジィルー
ル構築手段１０１でファジィルールを抽出して、得られ
たファジィルールを組み込んだファジィルール推論手段
１０２でパターン認識システムを構成してもよい。

【００１５】図２に本発明を実施するハードウエア構成
を示す。同図において１０は中央処理装置(CPU)、２０
はメモリ、３０はキーボード、４０はCRTターミナルで
ある。データファイル１０７、１０８、１０９およびフ
ァジィルール構築手段１０１、ファジィルール推論手段
１０２を実行するプログラムはメモリ２０に格納されて
おり、CRTターミナル４０からのユーザーの指示により
起動されファジィルール構築手段１０１によりファジィ
ルールの抽出が、またファジィルール推論手段１０２に
よりパターン認識が行われる。なおファジィルール推論
手段１０２は図２のようなスタンドアロンの構成でな
く、システムに組み込んだ構成もとることができる。

【００１６】以下、データ分割手段１０４、ルール抽出
手段１０５、ルール調整手段１０６の実現方式を順に説
明する前に、ファジィ推論システムの構成を示す。m次
元の入力ベクトルxをn個のクラスに分離することを考え
る。このときにクラスi(i＝1,・・・,n)がいくつかのクラ
スタijに分割されているとする。ここでクラスタijはク
ラスiのj番目のクラスタであることを意味するとする。
このとき入出力データデータファイル１０７の構成を図
３に示す。同図において１０７−1，１０７−2，・・・，
１０７−mはＭ個からなるｍ次元入力に対応し、１０７
−oはＭ個からなる1次元出力に対応する。１０７−1，
１０７−2，・・・,１０７−mのi番目の要素の値はｍ次元
のi番目の入力データを示し、この入力データが所属す
るクラスが１０７−oのi番目の要素に定義されている。
このときクラスの数をｎ個とすると102は1からｎまでの
数字のどれかが記述されている。出力データ102は1次元
の代わりにｎ次元としてクラスiに属するときはi番目の
データを１として残りを０としてもよい。

【００１７】図４に分割データファイル１０８の構成を
示す。分割データファイル１０８は入出力データファイ
ル１０７と同じM個のデータからなりp番目のデータが入
出力データファイル１０７のp番目のデータのクラスタ
番号を保持している。すなわち、p番目の入力データ１
０７−1,・・・,１０７−m に対応するクラスタ番号ijのi
およびjは各々p番目の出力データファイル１０７−oとp
番目の分割データファイル１０８とより求めることがで
きる。

【００１８】このときに各々のクラスタ ijに対して次
のルールRijが定義されているとする。ただしc_ijはクラ
スタ_ijの中心である。

【００１９】

【数１】

【００２０】式(１)の入力xに対するメンバーシップ関
数m_ij(x)は式(２)〜式(４)で与えられる。ただしd_ij(x)
はxとc_ijとの重みつき距離、h_ij(x)は調整された距離、
α_ij(>0)はクラスタijの調整パラメータ、c_ij＝(c_ij,₁,
・・・,c_ij,_m)で r_ij,k はクラスタ_ijのk番目の半径であ
る。

【００２１】

【数２】

【００２２】

【数３】

【００２３】

【数４】

【００２４】図５にファジィルールファイル１０９にお
けるファジィルールR_ijのファイル構成を示す。１０９
−1はm個の中心の座標 c_ij,₁,・・・, c_ij,mで、１０９−2
は半径r_ij,₁ ,・・・, r_ij,_m を１０９−3 は調整パラメ
ータa_ij を示す。

【００２５】このときのファジィシステムの構成を図６
に示す。同図において２０４、２０５、２０６は式(１)
で示されるファジィルールR₁₁，R_ij，Rn₁で２０１、２
０２、２０３はおのおの入力x₁、 x₂、 x_mからファジィ
ルールR₁₁への入力である。

【００２６】ファジィルールR_ij ２０５に対して図５の
データが記憶されており、入力xとこのデータを用い
て、式(２)〜(４)を計算してメンバーシップ関数の値を
計算する。このときメンバーシップ関数ｍ_kl(x)が最大
のとき入力xはクラスkに属すると判定される。式(２)に
おける指数関数は式(２)の出力の範囲を［０，１］にす
るためである。したがって式(２)の指数関数の入力によ
り入力xを分類するときはh_ij(x)の最小値を求めればよ
い。この構成は考えられうる構成の中で最も単純な構成
である。ニューラルネットの構成と同程度の性能を実現
するためには、各々のクラスをクラスタに分割する必要
がある。各々のクラスタに対して、そのクラスタに属す
るデータを用いて中心c_ij、および半径ｒ_ij,kを推定す
ることができる。ついで、汎化能力をあげるために、正
しく認識されたデータが誤認識するのを許してα_ijを増
加あるいは減少して教師データの認識率を高める。

【００２７】（イ）各クラスの入力データの分割図６の出力にさらに線形結合の段を設けたネットをラデ
ィアル基底関数ネットとよぶが、ラディアル基底関数ネ
ットと多層ニューラルネットを比べると多層ニューラル
ネットの方が学習は遅いが汎化能力が高いと言われてい
る。これは多層ネットではシグモイド関数と言われる指
数関数を用いており、入力空間の全域にわたり出力が変
化する大域的な関数であるのに対して、ラディアル基底
関数ネットではガウス関数を用いておりローカルな関数
のためである。したがって、多層ニューラルネットと同
等の汎化能力を得るためには、ガウス関数がカバーする
入力領域ができるだけ大きい必要がある。このため、同
一クラスに属するデータをクラスタに分割する場合、ク
ラスタのデータが極端に少なくならないようにする必要
がある。

【００２８】クラスタリングする方法はいくつか提案さ
れているが、多くは繰り返し法を用いており、また多く
の方法ではクラスタに属するデータの数を調整する方法
を備えていない。このためこれらの方法でクラスタリン
グをするとあるクラスタのデータ数が極端に少なく、あ
るクラスタのデータが極端に多くなる可能性がある。も
し式(２)のパラメータを少ないデータを用いて決めたと
きは、高い汎化能力をあまり期待できない。このため各
々のクラスタに含まれるデータの数が大体同じ程度にな
るように、入力の各軸で分割したときに、分割された２
つのクラスタのデータの数が最も少ない軸で分割するよ
うにする。すなわち、１) N_c を各々のクラスタに属するデータの数の許容最
大値とする。最初は各々のクラスは１つのクラスタから
なっているとする。

【００２９】２) クラスタに属するデータの数が N_c を
越えるクラスタをクラスタijとして、クラスタ_ijに含ま
れるデータを用いて中心 c_ij を式(５)のように計算す
る。ただし N_ij はクラスタ_ijに含まれるデータの数で
ある。クラスタ_ijに属するデータをｘ_k ＝ｃ_ij,kによ
り分割する。ここで N_ij,1 および N_ij,2 を x_k ≧ ｃ
_ij, _k および x_k < ｃ_ij,k を満足するデータの数とす
る。このとき |N_ij,1−N_ij,2|を最小にするkを分割の軸
にする。

【００３０】３）データの数が N_cを越えるクラスタが
無くなるまでステップ２)を繰り返す。

【００３１】例えば図７において入力が２次元で２１０
〜２１５を６個の教師データとする。このとき x₂＝c
_ij,2 で分割するとデータ数が２個と４個のクラスタに
分割されるが、 x₁＝c_ij,1 で分割するとデータ数がど
ちらも3個となるから、x₁＝ c_ij,1 で分割する。

【００３２】

【数５】

【００３３】（ロ）ファジィルールの抽出各々のクラスタに対して式(１)で与えられるファジィル
ールR_ijを定義する。この段階では異なるクラスの領域
の重なりは考慮しないで領域を近似する。これらの領域
の重なりはあとでα_ijを調整するときに解消する。

【００３４】まず、最初に式(５)を用いてクラスタijの
中心ｃ_ijを計算する。ついで、半径r_ij,kを式(６)によ
り推定する。ただしθはパラメータ、a_ij,kはx_kの中心c
_ij,kからの平均の変位、σ_ij,kはa_ij,kの分散で式(７),
(８)で与えられる。

【００３５】

【数６】

【００３６】

【数７】

【００３７】

【数８】

【００３８】しかしながらもし中心のまわりでクラスタ
のデータの分布に片寄があれば、得られた楕円領域は教
師データの分布を忠実に近似することができない。例え
ば図８の上の図のように１次元のデータが分布している
とする。２５０〜２５３は教師データでそのうえの数字
は座標を示している。θ＝０とするとデータの分布によ
り式(５)で計算される中心はx＝０に位置する。ついで
式(６)〜(８)によりr_ij, ₁＝３となる。図より分かるよ
うに、楕円は中心から正の側に片寄っている。

【００３９】これを避けるために、平均の半径をデータ
が中心の正の側にあるか負の側にあるかにより計算し
て、片寄をなくすように中心を移動して、新しい中心を
用いて半径を再計算する。すなわち、最初に式(９),(１
０)を計算する。ここでa(p)_ij, _kはx_kのc_ij,kからの平均
の正の片寄り、 a(n)_ij,k は x_k のc_ij,kからの平均の
負の片寄り、N(p)_ijはクラスタijに属し x_k−c_ij,k>０
を満たすデータの数、 N(n)_ij はクラスタijに属し c
_ij,k−x_k>０を満足するデータの数である。ついで中心
を式(１１)のように修正する。

【００４０】

【数９】

【００４１】

【数１０】

【００４２】

【数１１】

【００４３】式(１１)、(７)および式(８)を用いて、半
径 r_ij,k を再計算する。

【００４４】（ハ）ファジィルールの調整考え方上述のようにして抽出されたファジィルールはクラス間
の重なりを考えないで定義したために、教師データに対
して認識率が最大になるようにファジィルールを調整す
る必要がある。しかしながら、中心と半径を調整すると
すると、最急降下法によらざるを得ず、時間がかかるこ
とになる。このためファジィルールR_ijの１つのパラメ
ータα_ijを調整することにする。もしα_ijを増やすと式
(２)で与えられるメンバーシップ関数の成立度は増加
し、減少すると成立度は低下する。調整の考え方を示す
ために、図９に示す２つのクラスで１つのクラスに１つ
のルールが定義されたときを考えよう。２６１はクラス
１のデータ、２６２はクラス２のデータ、２６３はクラ
ス１のメンバーシップ関数、２６４と２６５は変更され
たクラス１のメンバーシップ関数である。クラス１に属
するデータ２６１はクラス２に誤認識されている。もし
メンバーシップ関数２６３を２６４と２６５の間に入る
ようにα₁₁を増加するとデータ262を誤認識することな
くデータ２６１を正しく認識することができる。これは
α₂₁を減少することによっても実現できる。

【００４５】図１０はもっと複雑な例を示す。２７１、
２７５はクラス２に属するデータで、２７２、２７３、
２７４はクラス１に属するデータである。また２７６は
クラス２のメンバーシップ関数、２７７および２７８は
変更されたクラス２のメンバーシップ関数である。デー
タ２７１はクラス２に正しく分類されているが、データ
２７２、２７３、２７４はクラス２に間違って分類され
ている。もしα₁₁を増加あるいはα₂₁を減少するとデー
タ２７１が最初に誤認識するが、データ２７１の誤認識
を許すとすると、データ２７２、２７３、２７４を正し
く認識するようにできる。すなわち、クラス２のメンバ
ーシップ関数２７６を２７７および２７８の間にはいる
ようにα₂₁を減少すると、データ２７１が誤認識するが
データ２７２、２７３、２７４は正しく認識される。こ
れにより認識率がデータ２個だけ改善される。このよう
に、各々のファジィルールR_ijに対して認識率が改善さ
れるときは正しく認識されるデータが誤認識されること
を許して最適なα_ijの修正量を決める。このようにして
誤認識率が改善されなくなるまでα_ijを修正する。この
ように誤認識を許して認識率の改善を図る方法は極小解
に陥るのを防いでいるとも言える。もちろん調整の過程
は非線形であり、この方法で必ず最適解が求まるとの保
証はない。

【００４６】α_ijの上下限正しく認識されていたl−１個のデータの誤認識を許す
ときのα_ijの上限 U_ij(l)および下限L_ij(l)を求める。
入力教師データをファジィルール {R_ij} を用いて正し
く分類されたデータの集合Xと誤認識したデータの集合Y
に分割する。ついでクラスiに属する x(∈X)で式(１２)
を満たすものを求める。もし式(１２)が成立しないとき
はα_ijを変化させてもxは正しく認識されたままであ
る。もしxがさらに、式(１３)を満足するとすると、xを
正しく認識させるための式(１４)の下限L_ij(x)が存在す
ることになる。

【００４７】

【数１２】

【００４８】

【数１３】

【００４９】

【数１４】

【００５０】これを図１１を用いて補足する。２８０、
２８１、２８３は各々クラスタij、ik、ofのメンバーシ
ップ関数で２８２はメンバーシップ関数２８０の変更さ
れたメンバーシップ関数である。入力xをクラスiに属す
るとすると、メンバーシップ関数２８０を２８０と２８
２の間にはいるようにα_ijを減少しても入力xは正しく
認識される。これに対してα_ijをさらに減少させてメン
バーシップ関数２８２よりメンバーシップ関数の傾きが
大きくなると入力xは誤認識する。もし式(１３)が満た
されないとき、すなわち、式(１５)のときはα_ijを減少
してもxに誤認識は生じない。

【００５１】

【数１５】

【００５２】これを図１２を用いて説明する。２９０、
２９１、２９２は各々クラスタij、ik、ofのメンバーシ
ップ関数で293はメンバーシップ関数290の変更されたメ
ンバーシップ関数である。入力xをクラスiに属するとす
ると、入力xにおけるメンバーシップ関数２９１の成立
度の方がメンバーシップ関数２９２よりも大きいため、
α_ijを正の範囲でいくら小さくしても入力xは誤認識し
ない。

【００５３】これより正しく認識されたデータを誤認識
しない下限L_ij(１)は、式(１６)で与えられる。ここで
議論を簡単にするために異なるxに対してL_ij(x)は異な
るとする。このときは１つのxで満足される。同様に正
しく認識されたデータが１個誤認識することを許す下限
L_ij(２)はL_ij(x)の中の第２の最小値として式(１７)で
与えられる。一般に下限は式(１８)で与えられる。

【００５４】

【数１６】

【００５５】

【数１７】

【００５６】

【数１８】

【００５７】同様に上限U_ij(l)を求めることができる。
クラス０(≠i)に属するx(∈X)を選ぶ。クラスタopが最
小の調整された距離h_op(x)を持つとすると、式(１９)の
ようになる。調整された距離h_ij(x)はh_op(x)より大きい
から、xが正しく認識される範囲でのα_ijの上限U_ij(x)
は式(２０)で与えられる。

【００５８】

【数１９】

【００５９】

【数２０】

【００６０】図１３を用いてこれを説明する。３０１、
３０２はクラスタof、ijのメンバーシップ関数でメンバ
ーシップ関数300はクラスoに属する入力xが正しく認識
される限界のメンバーシップ関数である。α_ijを変えて
も対応するメンバーシップ関数が３００と３０２の間に
あるかぎりは入力xはクラスoに正しく認識される。

【００６１】これより正しく認識されたデータを誤認識
しないα_ijの上限U_ij(１)は式(２１)で与えられる。こ
こでU_ij(x)は異なるx に対して異なると仮定する。これ
より式(２１)は一つのxでのみ成立する。同様に正しく
認識されていた１つのデータの誤認識を許すα_ijの上限
U_ij(２)はU_ij(x)の中の第２の最小値で式(２２)で与え
られる。一般に、式(２３)のようになる。これよりα_ij
は式(２４)のように制約される。

【００６２】

【数２１】

【００６３】

【数２２】

【００６４】

【数２３】

【００６５】

【数２４】

【００６６】(a，b)を開区間を示すとする。もしα_ijを
(L_ij(１)，U_ij(１))の範囲の中で変化させると、正しく
認識されたデータx(∈X)は正しく認識されたままであ
る。また［a，b］を閉区間として［U_ij(l−1)，U
_ij(l)）あるいは（L_ij(l)，L_ij(l−1)］の区間で変化さ
せると、l−１個の正しく認識されたデータx(∈X)に誤
認識を生じる。

【００６７】α_ijの変更による認識率の向上クラスiに間違ったデータx(∈Y)あるいはクラスiに属し
クラスo(≠i)に間違ったデータx(∈Y)について、α_ijを
変えることにより正しく認識されるようになるか調べ
る。まずクラスiに属し、クラスo（≠i)に間違ったデー
タx(∈Y)について考える。このデータは式(２５)が成立
すると、h_ik(x)(k≠i)の値にかかわらず正しく認識され
る。ここでV_ij(x)はα_ijの下限である。

【００６８】

【数２５】

【００６９】図１４を用いてこれを説明する。３１０、
３１１は各々クラスタij,ofのメンバーシップ関数で３
１２、３１３はクラスiに属する入力xを正しく認識させ
るメンバーシップ関数の範囲を示している。 α_ijを増
やしてメンバーシップ関数３１０が３１２と３１３との
間に入るようになれば入力xは正しくクラスiに認識され
るようになる。

【００７０】α_ijを区間(α_ij，U_ij(l))の間の値に設定
したとき、Inc(l)を正しく認識される誤認識のデータの
数とする。もしV_ij(x)が区間(α_ij、U_ij(l))に含まれて
いるときにInc(l)を１つカウントアップする。さらに、
式(２６)のように定義する。α_ijをmαx(β_ij(l)，U
_ij(l−１))より大きく設定すると、l−１個のデータが
誤認識するが、誤認識していたInc(l) 個のデータが正
しく認識される。

【００７１】

【数２６】

【００７２】同様にクラスoに属するデータxがクラスi
に誤認識されたとする。α_ijを減少することによりxが
正しく認識されるか調べる。そのためにはクラスoの最
小の調整された距離がn個のクラスの間で第２の最小値
である必要がある。すなわち式(２７)のqはoである必要
がある。つぎにh_ij(x)はクラスiで最小で、クラスiの第
２の最小値は、式(２８)のように、クラスoの調整され
た距離の最小値より大きい必要がある。このときデータ
は式(２９)が成立すれば正しく認識される。ここでK
_ij(x)はα_ijの上限である。

【００７３】

【数２７】

【００７４】

【数２８】

【００７５】

【数２９】

【００７６】これを図１５で説明する。３２０、３２
１、３２２はクラスタij、of、ikのメンバーシップ関数
で、３２３および３２４は入力xをクラスoに正しく認識
させるためのメンバーシップ関数３２０の変更すべき範
囲を示す。メンバーシップ関数３２０が３２３と３２４
の範囲にはいるようにα_ijを調整することにより入力x
はクラスoに正しく認識されるようになる。

【００７７】Dec(l)をα_ijを区間(L_ij(l)、α_ij)に設定
したときに誤認識のデータが正しく認識される数とす
る。このときK_ij(x)が区間(L_ij(l)、α_ij)に含まれると
きにDec(l)を₁つカウントアップする。

【００７８】ここで、式(３０)のように定義する。もし
α_ijをmin(γ_ij(l)，L_ij(l−１))より小さく設定すると
l−１個の正しく認識されていたデータに誤認識が起こ
るがDec(l)個のデータが正しく認識されることになる。

【００７９】

【数３０】

【００８０】α_ijの変更 Inc(l)(l＝1,・・・,lM)に対して式(３１)を満たすlを求め
る。ただしlMは正の整数である。同様にDec(l)(l＝1,・・
・,lM)に対して式(３２)を満たすlを求める。

【００８１】

【数３１】

【００８２】

【数３２】

【００８３】式(３１)あるいは式(３２)を満たす複数の
ｌがあるときは最小のｌをとる。最初に式(３１)が式
(３２)より大きいか等しい場合を考える。もしα_ijを区
間(α_ij，U_ij(l))においてβ_ij(l)より大きくすると、
正しく認識されるデータの増加数はInc(l)−l＋1個とな
る。そこでα_ijを区間［β_ij(l)，U_ij(l))で式(３３)の
ように設定する。ここでδは0≦δ＜１を満たす。

【００８４】

【数３３】

【００８５】同様に式(３１)が式(３２)より小さいとき
は、α_ijを(L_ij(l)， γ_ij (l))の範囲でγ_ij(l)より小
さく式(３４)のように修正する。

【００８６】

【数３４】

【００８７】調整の方法以上の議論よりファジィルールの調整は図１６のように
すればよい。すなわち、 (ステップ４００) パラメー
タlMに適当な正の整数を設定する。このときlM−１はα
_ijを調整するときに許容する最大の誤認識の数である。
また式(３３)および式(３４)のδに[0，1)の区間の値を
設定し、α_ijに同一の正の初期値を設定する。 (ステップ４１０） α_ij(i＝1,・・・,n,j＝1,・・・)に対し
て、L_ij(l)、U_ij(l)、Inc(l)、Dec(l)、b_ij(l)、および
γ_ij(l)(l＝1,・・・,lM)を計算する。式(３１)あるいは式
(３２)を最大にするlを求め、式(３３)あるいは式(３
４)によりα_ijを変更する。 (ステップ４２０）ステップ４１０を認識率が改善さ
れないときは終了し、そうでないときはステップ４１０
に戻る。

【００８８】上記ファジィ推論を用いた例として車番を
認識するパターン認識システムを図１７に示す。同図に
おいて８０１はプレート切り出し手段、８０２は文字切
り出し手段、８０３は特徴抽出手段である。なお各手段
の詳細は、既に出願済みの特許に開示されている。即ち
車両を検知して、プレートを切り出す手段に関しては、
特開昭60−241387(画像処理装置)、特開昭61−141087
(画像処理方法および装置)、特開昭63−36383(画像処理
装置)、文字切り出しに関しては特開昭63−153682(濃淡
画像の処理方法および装置)、特徴抽出に関しては特開
昭62−293492(文字特徴抽出方法)に詳細に記述されてい
る走行している車の画像は、工業用テレビで画像認識装置
に取り込まれる。画像認識装置では、ナンバープレート
の切り出しを行ない、その中から文字を１つづつ切り出
し、文字の特徴量を抽出する。数字の認識のときは、特
徴量として例えば、穴の数、曲がり具合等を用いる。特
徴量はファジィルール推論手段102に入力され、０から
９までの数字に対する成立度が式(２)〜(４)を用いて計
算され、成立度のもっとも高いものに対応する数字であ
ると判定されてその識別結果が出力される。なおファジ
ィルールの抽出および調整は、あらかじめファジィルー
ル構築手段１０１で行なっておく。すなわち、データー
分割手段１０４で教師データをクラスタに分割し、ルー
ル抽出手段105で式(１)のファジィルールを抽出し、ル
ール調整手段１０６で図１６の手順でファジィルールの
調整を行う。

【００８９】本方式の評価を行なうため０から９までの
数字に対する教師データを８１０個、テストデータを８
２０個用意し、上述のようにファジィルールを決めた。
このとき各数字の教師データは８１個である。lM＝１０
とし、分割の上限Ncを７０としたときにテストデータの
認識率は９９.６３％でファジィルールの調整まで６０M
IPSの計算機でCPU時間は２.６秒であった。

【００９０】これをニューラルネットと比較すると、ニ
ューラルネットで初期値を変えて、１００回学習させた
ときの最大の認識率が９９.７６％で、最小は９８.９０
％、平均は９９.４１％であった。また学習時間は同一
の計算機で1回あたり７８.９秒であった。

【００９１】したがって本発明の方式で、ニューラルネ
ットの最大性能付近の性能を３０分の１の計算時間で実
現できたことになる。なお数字ばかりでなく、漢字、平
仮名も同様に認識できる。このとき、特徴量でなく切り
出した文字画像を例えば８×７等に分割して入力として
もよい。

【００９２】図１８に本発明のファジィ推論方式を白血
球を分類するパターン認識システム（血球分類装置）に
適用した場合を示す。白血球は成長の段階にしたがい分
類され、各々５〜７種類の成熟球、未成熟球に分類さ
れ、合計で１２種類程度の血球の種類に分類される。成
長段階により種類が決められているため、隣接した種類
の境界があいまいで非常に分類が難しい問題として知ら
れている。

【００９３】同図において９０１は血球切り出し手段、
９０２は特徴抽出手段である。光学的にスクリーニング
された血球データは血球分類装置に取り込まれる。血球
分類装置では、血球の切り出しを行ない、細胞核の周囲
長、面積等の血球の特徴量を抽出する。特徴量はファジ
ィルール推論手段１０２に入力され、１２種類程度の種
類の成立度が式(２)〜(４)を用いて計算され、成立度の
もっとも高いものに対応する分類に属すると判定されて
その識別結果が出力される。なおファジィルールの抽出
および調整は、あらかじめファジィルール構築手段１０
１で行なっておく。すなわち、データー分割手段１０４
で教師データをクラスタに分割し、ルール抽出手段１０
５で式(１)のファジィルールを抽出し、ルール調整手段
１０６で図１６の手順でファジィルールの調整を行う。

【００９４】本方式の評価を行なうため教師データを３
０９７個、テストデータを３１００個用意し、上述のよ
うにファジィルールを決めた。lM＝１０とし、分割の上
限Ncを８０としたときにテストデータの認識率は９１.
５８％でファジィルールの調整まで６０MIPSの計算機で
CPU時間は４１.６秒であった。

【００９５】これをニューラルネットと比較すると、ニ
ューラルネットで初期値を変えて、２５回学習させたと
きの最大の認識率が９０.４６％で、平均は８７.４４％
であったまた学習時間は同一の計算機で１回あたり１３
３分であった。したがって本発明の方式で、ニューラル
ネットの最大性能を凌ぐ性能を１９０分の１の計算時間
で実現できたことになる。

【００９６】

【発明の効果】以上説明した本発明の実施例の効果を説
明する。

【００９７】（イ）各クラスの入力データを分割する各クラスの入力データを分割することにより、各クラス
の領域の近似を教師データにより近づけることができ
る。

【００９８】（ロ）分割されたデータにより領域を近似
してファジィルールを抽出する分割されたデータを用いて領域を近似し、これをファジ
ィルールとすることによりルール抽出を容易に行うこと
ができる。

【００９９】（ハ）教師データを用いて近似領域を調整
することによりファジィルールをチューニングする教師データに対するパターン認識結果が向上するように
近似された領域を調整することにより、ファジィルール
間の競合関係が調整され、教師データに対する認識率の
向上とともに汎化能力も向上することができる。

【図面の簡単な説明】

【図１】本発明に係るパターン認識装置の一実施例の構
成を示すブロック図である。

【図２】図１に示すパターン認識装置のハード構成を示
すブロック図である。

【図３】図１に示すパターン認識装置における入出力デ
ータファイルの構成を示す説明図である。

【図４】図１に示すパターン認識装置における分割デー
タファイルの構成を示す説明図である。

【図５】図１に示すパターン認識装置におけるファジィ
ルールファイルの構成を示す説明図である。

【図６】ファジィシステムの構成を示す説明図である。

【図７】データの分割の仕方を示す説明図である。

【図８】入力データの存在領域を楕円近似する際にその
楕円の中心と半径の修正を行なう状態を示す説明図であ
る。

【図９】ファジィルールの調整の具体的手法の一例を示
す説明図である。

【図１０】ファジィルールの調整の具体的手法の他の例
を示す説明図である。

【図１１】ファジィルール調整のためのパラメータ調整
の下限を示す説明図である。

【図１２】ファジィルール調整のためのパラメータ調整
の下限を示す説明図である。

【図１３】ファジィルール調整のためのパラメータ調整
の上限を示す説明図である。

【図１４】ファジィルール調整により誤認識が解消され
る状態を示す説明図である。

【図１５】ファジィルール調整により誤認識が解消され
る状態を示す説明図である。

【図１６】ファジィルールの調整を行なうためのパラメ
ータの調整手順を示す説明図である。

【図１７】本発明が適用される車番を認識するパターン
認識システムの構成を示すブロック図である。

【図１８】本発明が適用される血球を分類するパターン
認識システムの構成を示すブロック図である。

【符号の説明】

１０ＣＰＵ２０メモリ３０キーボード４０ＣＲＴ１０１ファジィルール構築手段１０２ファジィルール推論手段１０３記憶手段１０４データ分割手段１０５ルール抽出手段１０６ルール調整手段１０７入出力データファイル１０８分割データファイル１０９ファジィルールファイル８０１プレート切り出し手段８０２文字切り出し手段８０３特徴抽出手段９０１血球切り出し手段９０２特徴抽出手段

Claims

【特許請求の範囲】

【請求項１】入力データとその入力データがどのクラ
スに属するかの出力データを教師データとし、いくつか
の教師データの入出力関係を用いてパターン認識のため
のファジィルールを生成するファジィルール生成手段を
有するパターン認識装置において、前記ファジィルール生成手段は、データをクラスタに分
割するデータ分割手段と、ファジィルールを抽出するル
ール抽出手段と、ファジィルールを調整するルール調整
手段とを有し、前記データ分割手段により同一クラスに
属するデータを１つ以上のクラスタに分割し、前記ルー
ル抽出手段を用いて、分割されたクラスタに属する入力
データの存在領域を楕円領域で近似することによりクラ
スタに対応するファジィルールを抽出し、前記ルール調
整手段により教師データが属するクラスに属する程度が
大きくなるようにファジィルールの存在領域を調整する
ことを特徴とするパターン認識装置。
【請求項２】前記データ分割手段は、各クラスタに対
応する入力データの軸毎の平均値を求める手段と、平均
値より大きい教師データあるいは平均値より小さい教師
データの数を求める手段とを有し、平均値より大きい教
師データ数と平均値より小さい教師データ数との差の絶
対値が最も少ない軸でクラスタを分割することを特徴と
する請求項１に記載のパターン認識装置。
【請求項３】前記ルール抽出手段は、クラスタに属す
る教師データの各軸の平均値の正の側の変位の平均値お
よび負の側の変位の平均値を求める手段と、楕円の中心
からの半径を求める手段とを有し、各々の変位の平均値
の違いにより片寄りのない位置に中心を決めることを特
徴とする請求項１に記載のパターン認識装置。
【請求項４】前記ルール調整手段は、正しく分離され
たデータのうちのｌ−1(ｌは正の整数)個のデータが誤
認識するときの楕円領域の傾きの上限および下限を求め
る手段と、誤認識したデータを正しく認識するための楕
円領域の傾きを計算する手段とを有し、最も認識率が改
善されるように1つの楕円領域の傾きを増加あるいは減
少することを特徴とする請求項１に記載のパターン認識
装置。
【請求項５】入力データとその入力データがどのクラ
スに属するかの出力データを教師データとし、いくつか
の教師データの入出力関係を用いてパターン認識のため
のファジィルールを生成するファジィルール生成手段を
有するパターン認識装置において、前記ファジィルール生成手段は、データをクラスタに分
割するデータ分割手段と、ファジィルールを抽出するル
ール抽出手段と、ファジィルールを調整するルール調整
手段とを有し、前記データ分割手段により同一クラスに
属するデータを1つ以上のクラスタに分割し、前記ルー
ル抽出手段を用いて、分割されたクラスタに属する入力
データの存在領域を楕円領域で近似することによりクラ
スタに対応するファジィルールを抽出し、前記ルール調
整手段により正しく分離されたデータのうちのl−1(lは
正の整数)個のデータが誤認識するときの楕円領域の傾
きの上限および下限を求め、誤認識したデータを正しく
認識するための楕円領域の傾きを計算し、最も認識率が
改善するように1つの楕円領域の傾きを増加あるいは減
少することを特徴とするパターン認識装置。
【請求項６】クラスタ中心のまわりの楕円領域でファ
ジィルールの条件部のメンバーシップ関数が定義された
ファジィルールを用いてパターン認識する装置におい
て、入力データに対する各ファジィルールの条件部の成立度
を計算する手段を有し、該成立度計算手段の計算結果に
基づいて成立度の最も高いファジィルールが属するクラ
スに入力が属すると判定することを特徴とするパターン
認識装置。
【請求項７】ファジィルールの条件部が代表点とその
代表点からの距離の重みで定義されたファジィルールを
用いてパターン認識する装置において、入力データと代表点との重み付き距離を計算する手段を
設け、入力の各々のファジィルールの代表点への重み付
き距離を計算して、重み付き距離の最も近いファジィル
ールが属するクラスに入力が属すると判定することを特
徴とするパターン認識装置。
【請求項８】入力データとその入力データがどのクラ
スに属するかの出力データを教師データとし、いくつか
の教師データの入出力関係を用いてパターン認識のため
のファジィルールを生成する方法であって、データをク
ラスタに分割するステップと、ファジィルールを抽出す
るステップと、ファジィルールを調整するステップとか
らなり、クラスタに分割するステップにおいて同一クラ
スに属するデータを1つ以上のクラスタに分割し、ファ
ジィルールを抽出するステップにおいて、分割されたク
ラスタに属する入力データの存在領域を楕円領域で近似
することによりクラスタに対応するファジィルールを抽
出し、ファジィルールを調整するステップにおいて教師
データが属するクラスに属する程度が大きくなるように
ファジィルールの存在領域を調整することを特徴とする
パターン認識用のファジィルール生成方法。
【請求項９】前記クラスタを分割するステップにおい
て各クラスタに対応する入力データの軸毎の平均値を求
め、ついで平均値より大きい教師データあるいは平均値
より小さい教師データの数を求め、平均値より大きい教
師データ数と平均値より小さい教師データ数との差の絶
対値が最も少ない軸でクラスタを分割することを特徴と
する請求項８に記載のパターン認識用のファジィルール
生成方法。
【請求項１０】前記ファジィルールを抽出するステッ
プにおいて、クラスタに属する教師データの各軸の平均
値の正の側の変位の平均値および負の側の平均値を求
め、各々の変位の平均値の違いに基づいて片寄りのない
位置に中心を決めることを特徴とする請求項８に記載の
パターン認識用のファジィルール生成方法。
【請求項１１】前記ファジィルールを調整するステッ
プにおいて、正しく分離されたデータのうちのl−1(lは
正の整数)個のデータが誤認識するときの楕円領域の傾
きの上限および下限を求め、ついで誤認識したデータを
正しく認識するための楕円領域の傾きを計算し、最も認
識率が改善するように1つの楕円領域の傾きを増加ある
いは減少することを特徴とする請求項８に記載のパター
ン認識用のファジィルール生成方法。
【請求項１２】入力データとその入力データがどのク
ラスに属するかの出力データを教師データとし、いくつ
かの教師データの入出力関係を用いてパターン認識のた
めのファジィルールを生成する方法であって、データを
クラスタに分割するステップと、ファジィルールを抽出
するステップと、ファジィルールを調整するステップと
からなり、クラスタに分割するステップでは同一クラス
に属するデータを1つ以上のクラスタに分割し、ファジ
ィルールを抽出するステップでは、分割されたクラスタ
に属する入力データの存在領域を楕円領域で近似するこ
とによりクラスタに対応するファジィルールを抽出し、
ファジィルールを調整するステップでは正しく分離され
たデータのうちのl−1(lは正の整数)個のデータが誤認
識するときの楕円領域の傾きの上限および下限を求め、
誤認識したデータを正しく認識するための楕円領域の傾
きを計算し、最も認識率が改善するように1つの楕円領
域の傾きを増加あるいは減少することを特徴とするパタ
ーン認識用のファジィルール生成方法。
【請求項１３】クラスタ中心のまわりの楕円領域でフ
ァジィルールの条件部のメンバーシップ関数が定義され
たファジィルールを用いてパターン認識する方法であっ
て、入力データに対する各ファジィルールの条件部の成
立度を計算し、成立度の最も高いファジィルールが属す
るクラスに入力が属すると判定することを特徴とするパ
ターン認識方法。
【請求項１４】ファジィルールの条件部が代表点とそ
の代表点からの距離の重みで定義されたファジィルール
を用いてパターン認識する方法であって、入力の各々の
ファジィルールの代表点への重み付き距離を計算して、
重み付き距離の最も近いファジィルールが属するクラス
に入力が属すると判定することを特徴とするパターン認
識方法。
【請求項１５】入力データとその入力データがどのク
ラスに属するかの出力データを教師データとし、いくつ
かの教師データの入出力関係を用いて車両のナンバープ
レートを認識するファジィルールを生成するファジィル
ール生成手段を有するパターン認識装置において、前記ファジィルール生成手段は、データをクラスタに分
割するデータ分割手段、と、ファジィルールを抽出する
ルール抽出手段と、ファジィルールを調整するルール調
整手段とを有し、データ分割手段により同一クラスに属
するデータを1つ以上のクラスタに分割し、前記ルール
抽出手段を用いて、分割されたクラスタに属する入力デ
ータの存在領域を楕円領域で近似することによりクラス
タに対応するファジィルールを抽出し、前記ルール調整
手段により教師データが属するクラスに属する程度が大
きくなるようにファジィルールの存在領域を調整するこ
とを特徴とするパターン認識装置。
【請求項１６】ファジィルールの条件部が代表点とそ
の代表点からの距離の重みで定義されたファジィルール
を用いてナンバープレートを認識するパターン認識装置
において、入力データと代表点との重み付き距離を計算する手段を
有し、該重み付き距離計算手段により入力の各々のファ
ジィルールの代表点への重み付き距離を計算して、重み
付き距離の最も近いファジィルールが属するクラスに入
力が属すると判定することを特徴とするパターン認識装
置。
【請求項１７】入力データとその入力データが属する
クラスを出力データを教師データとし、いくつかの教師
データの入出力関係を用いて血球を分類するファジィル
ールを生成するファジィルール生成手段を有するパター
ン認識装置において、前記ファジィルール生成手段は、データをクラスタに分
割するデータ分割手段と、ファジィルールを抽出するル
ール抽出手段と、ファジィルールを調整するルール調整
手段とを有し、前記データ分割手段により同一クラスに
属するデータを1つ以上のクラスタに分割し、前記ルー
ル抽出手段を用いて、分割されたクラスタに属する入力
データの存在領域を楕円領域で近似することによりクラ
スタに対応するファジィルールを抽出し、前記ルール調
整手段により教師データが属するクラスに属する程度が
大きくなるようにファジィルールの存在領域を調整する
ことを特徴とするパターン認識装置。
【請求項１８】ファジィルールの条件部が代表点とそ
の代表点からの距離の重みで定義されたファジィルール
を用いて血球を分類するパターン認識装置において、入力データと代表点との重み付き距離を計算する手段を
有し、該重み付き距離計算手段により入力の各々のファ
ジィルールの代表点への重み付き距離を計算して、重み
付き距離の最も近いファジィルールが属するクラスに入
力が属すると判定することを特徴とするパターン認識装
置。