JPH09231079A - ファジィ推論システムおよびファジィルール構築システム - Google Patents

Abstract

(57)【要約】 【課題】教師データが十分でない場合でも汎化能力が高
いパターン認識を行うファジィ推論システムを実現す
る。 【解決手段】データ分割部１０４によって教師データ１
０７を分割した各クラスタについて、ルール抽出部１０
５はファジィルールを抽出する。ファジィ推論部１０２
の推論結果を用いながら、ルール調整部１０６はファジ
ィルールの調整を行い、しきい値最適化部１１０はしき
い値の最適化を行う。ファジィ推論部１０２は、最大の
メンバシップ関数値がしきい値を越える場合、入力デー
タは、どのクラスタに属さない（異常）と判定する。フ
ァジィルールでは、入力データの次元のうちの２つの次
元による２次元の入力データの存在空間上に、各クラス
タの入力データの存在空間として楕円領域を定義する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ファジィ推論によ
りパターン認識を行うファジィ推論システムに関し、特
に、ファジィ推論システムの認識の性能を向上する技術
に関するものである。

【０００２】

【従来の技術】一般に、手書き文字を入力して文字を認
識するあるいは機器の状態を入力して機器の異常を診断
するパターン認識システムには、多層構造のニューラル
ネットやファジィルールを用いて推論を行うファジィ推
論を用いることが適していると言われている。

【０００３】たとえば、「ニューラルネットとファジィ
システムー理論と応用」（近代科学社、1995年発行）の
第47頁から56頁 において論じられているように、ニ
ューラルネットは、入力データと出力データを組とした
教師データを用いた学習によって構築できるため、問題
特有のアルゴリズムを開発する必要がないという利点を
持っている。

【０００４】一方、小規模なものであれば、専門家の知
識が豊富な分野では、容易にファジィ推論を用いてパタ
ーン認識システムが構築できる。

【０００５】しかし、一般的には、問題に適したファジ
ィルールを獲得するのは難しいとされている。

【０００６】そこで、ニューラルネットと同様に教師デ
ータから、ファジィルールを生成する技術が、いくつか
提案されている。

【０００７】たとえば、前掲した「ニューラルネットと
ファジィシステムー理論と応用」の第162頁から第173頁
には、教師データに応じて超直方体で各クラス（出力デ
ータ）に対応する入力データの存在領域を近似する技術
が示されている。この技術では、各クラスに属する入力
データの最小値と最大値より求めた超直方体を入力デー
タ空間内に定義し、超直方体同士に重なりがあれば、重
なった部分を禁止領域として定義し、さらに禁止領域内
の各クラスに属する教師データの最小値と最大値より求
めた超直方体を、各クラスに対応する入力データの存在
領域として禁止領域内に定義することによりファジィル
ールを抽出する。

【０００８】

【発明が解決しようとする課題】さて、ニューラルネッ
トには、学習の時間が極めて遅く、また、構築されたニ
ューラルネットの内部がどのようになっているか分から
ないという問題がある。

【０００９】また、前述した「ニューラルネットとファ
ジィシステムー理論と応用」記載の超直方体を用いてフ
ァジィルールを抽出する技術によれば、学習は極めて高
速であり、内部をファジィルールにより把握することが
できるが、この技術では、ファジィルールを抽出するた
めに用いた教師データのものと、パターン認識の対象と
する入力データとの特性が大きく異なるときは、認識の
性能がニューラルネットより劣るという問題があった。
すなわち汎化能力がニューラルネットより劣るという問
題があった。

【００１０】また、これらのニューラルネットあるいは
ファジィ推論を正常／異常を判断する診断の問題に適用
することを考えた場合、正常状態の教師データは容易に
集めることができるが、異常状態の教師データの収集が
難しいため、診断性能の高いパターン認識システムを構
築することが困難であるという問題もある。

【００１１】そこで、本発明は、汎化能力の高いファジ
ィ推論システムを提供することを目的とする。また、教
師データが得られにくい場合でも、より高い性能でパタ
ーン認識を行うことのできるファジィ推論システムを提
供することを目的とする。

【００１２】

【課題を解決するための手段】前記目的達成のために本
発明は、入力データとその入力データが属するクラスを
示す出力データとよりなる教師データに基づいてファジ
ィルールを生成するファジィルール構築システムであっ
て、記憶部と、当該記憶部にアクセスする処理部とを有
し、前記処理部は、各クラスに属する前記入力データの
平均値に応じた中心と、当該クラスに属する入力データ
の共分散行列で定義される形状を有する超楕円体領域
を、当該クラスに属する入力データの存在領域とするフ
ァジィルールを生成し、前記記憶部に記憶する手段と、
前記記憶部に記憶されたファジィルールに従って、前記
教師データの入力データに対する推論を実行するファジ
ィ推論手段と、前記ファジィ推論手段の推論結果が教師
データの出力データに一致する程度が、より高くなるよ
うに、各クラスに属する入力データの存在領域である超
楕円体領域の形状が変更されるように、前記ファジィ推
論手段の推論結果と前記記憶部に記憶されたファジィル
ールとに応じて前記記憶部に記憶されたファジィルール
を調整するファジィルール調整手段とを有すること特徴
とするファジィルール構築システムを提供する。

【００１３】ここで、超楕円体とは、n次元のデータ空
間において任意の２次元を選択し、当該２次元空間上で
領域を表現した場合に領域の形状が楕円となるものを言
う。

【００１４】このようなファジィルール構築システムに
よれば、ファジィルール調整手段による調整によって、
ファジィルール間の競合関係が調整され、教師データに
対する認識率の向上とともに汎化能力も向上することが
できる。

【００１５】また、本発明は、前記目的達成のために、
クラスの代表点と、当該代表点からの距離の重みと、当
該重みによって重みを付けた入力データからクラスの代
表点までの距離である重付け距離と当該入力データがク
ラスに属する成立度との関係を定義する、各クラス毎に
与えられたファジィルールに基づいて推論を行うファジ
ィ推論システムであって、前記ファジィルールと各クラ
スに与えられたしきい値を記憶する記憶部と、当該記憶
部にアクセスする処理部とを有し、前記処理部は、前記
記憶部に記憶されたファジィルールに基づいて、各入力
データから、各クラスの代表点までの前記重付け距離を
求める手段と、前記記憶部に記憶されたファジィルール
に基づいて、各入力データの各クラスに属する成立度を
各クラスについて求めた重付け距離に基づいて求める手
段と、前記入力データから求められた成立度が最も高か
ったクラスの代表点までの重付け距離が、前記憶部に記
憶されている当該クラスに与えられた所定のしきい値よ
り小さい場合に、前記入力データが属するクラスとし
て、当該求められた成立度が最も高かったクラスを選択
し、前記入力データから求められた成立度が最も高かっ
たクラスの代表点までの重付け距離が当該クラスに与え
られた所定のしきい値より大きい場合には、前記入力デ
ータが属するクラスとして、当該求められた成立度が最
も高かったクラス以外のクラスを推論する推論手段とを
有することを特徴とするファジィ推論システムを提供す
る。

【００１６】このようなファジィ推論システムによれ
ば、たとえば、異常を表すクラスの教師データが不十分
な場合に、異常を表す入力データを正常を表すものとし
て誤認識するような認識誤りを、正常のクラスにしきい
値を設けることにより排除し、認識率を向上することが
できる。

【００１７】

【発明の実施の形態】以下、本発明の一実施形態を説明
する。

【００１８】図１に本実施形態に係るファジィルール構
築／ファジィ推論システムの構成を示す。

【００１９】図中、１０１はファジィルール構築部、１
０２はファジィルール推論部、１０３は記憶部、１０４
はデータ分割部、１０５はルール抽出部、１０６はルー
ル調整部、１０７は教師データファイル、１０８は分割
データファイル、１０９はファジィルールファイル、１
１０はしきい値最適化部、１１１は入力データファイ
ル、１１２は出力データファイルである。

【００２０】ファジィルール構築部１０１はファジィル
ールの構築や調整を行い、ファジィルール推論部１０２
はファジィルールに従った推論を行う。

【００２１】すなわち、教師データファイル１０７に
は、パターン認識を行う対象から収集した入力データと
出力データの組からなる教師データが記憶されている。
データ分割部１０４は教師データファイル１０７のデー
タをクラスタに分割して分割データファイル１０８に分
割結果を格納する。ルール抽出部１０５は教師データフ
ァイル１０７と分割データファイル１０８とを用いて分
割されたクラスタ毎にファジィルールを抽出し、ファジ
ィルールファイル１０９に格納する。ルール調整部１０
６は教師データファイル１０７、分割データファイル１
０８、およびファジィルール１０９を用いて、ファジィ
ルールを調整し、さらにしきい値最適化部１１０でしき
い値を最適化してその結果をファジィルールファイル１
０９に格納する。クラスタ、しきい値については後に詳
述する。なお、後述するしきい値をファジィルール中で
用いないときは、しきい値最適化部１１０を用いなくて
よい。

【００２２】このようにしてファジィルールファイル１
０９に格納されたファジィルールはファジィルール推論
部１０２により入力に対する未知の出力を推論するのに
用いられる。推論の対象となる入力データは入力データ
ファイル１１１に、推論結果は出力データファイル１１
２に格納される。

【００２３】なお、ここでは、ファジィルール構築部１
０１とファジィルール推論部１０２とを両者で共用され
る記憶部１０３を介して接続した場合について説明した
が、両者を切り放し、ファジィルール構築部１０１で得
られたファジィルールをオフラインで、ファジィルール
推論部１０２に設定するようにしてもよい。また、ファ
ジィルール推論部１０２の推定結果（入力データと、こ
れに対して推論した出力データの組）を教師データに加
えて、逐次、ファイジィルール１０９を修正、あるいは
追加するようにしてもよい。

【００２４】ところで、図１に示したファジィルール構
築／ファジィ推論システムは、実際には、たとえば図２
に示すような構成を備えた計算機上に具現化することが
できる。

【００２５】図２において、１０は中央処理装置（ＣＰ
Ｕ）、２０はメモリ、３０はキーボード、４０はＣＲＴ
ターミナル、５０は画像入力部である。ファジィルール
構築部１０１、ファジィルール推論部１０２は、メモリ
２０に格納されたプログラムを中央処理装置１０が実行
することにより計算機上に実現されるプロセスとして実
現される。なお、これらの各プログラムは、ＣＲＴター
ミナル４０からのユーザーの指示により起動される。

【００２６】記憶部１０３は、メモリ２０を用いて実現
される。また、画像入力部５０は、ファジィ推論部１０
２の行うパターン認識の対象が画像である場合に、パタ
ーン認識の対象画像を取り込むために用いられる取り込
まれた画像のデータは、前述した入力データファイル１
１１に格納される。

【００２７】なお、ファジィルール構築／ファジィ推論
システムは、計算機以外の構成要素を持つ特定のシステ
ム中に組み込んだ形態で実現することもできる。

【００２８】以下、本実施形態に係るファジィルール構
築／ファジィ推論システムの詳細について説明する。

【００２９】まず、ファジィルール構築／ファジィ推論
システムの行う処理の概要について説明する。

【００３０】いま、ｍ次元の入力ベクトルｘをｎ個のク
ラスに分離することを考える。診断問題のときはクラス
ｎを状態が異常なクラスとする。このときにクラスｉ
（ｉ＝１，．．．、ｎ）がいくつかのクラスタｉｊに分
割されているとする。ここでクラスタｉｊはクラスｉの
ｊ番目のクラスタであることを意味するとする。

【００３１】このときの教師データファイル１０７の構
成を図３に示す。

【００３２】図において１０７−１、１０７−
２，．．．、１０７−ｍはｍ個の要素データからなるＭ
個のｍ次元入力データを表している。１０７−１、１０
７−２，．．．、１０７−ｍの横一行が一つの入力デー
タを表している。１０７−ｏはＭ個の出力データを表し
ており、１からＭまでの間のｉ番目の出力データは、ｉ
番目の入力データのクラスを表している。

【００３３】このときクラスの数をｎ個とするとＭ個の
出力データ１０７−ｏの各々には１からｎまでの数字の
どれかが記述されている。なお、Ｍ個の出力データ１０
７−ｏの各々をｎ次元の出力データとして、クラスｘを
表す出力データは、出力データのｘ番目のデータを１と
して残りを０とすることとしてもよい。

【００３４】このような教師データファイル１０７に基
づいて、データ分割部１０４は教師データファイル１０
７中の入力データをクラスタに分類し、分類結果を、図
４に示す分割データファイル１０８として生成する。

【００３５】図示するように、分割データファイル１０
８は入出力データ１０７と同じＭ個の分割データからな
り、ｐ番目の分割データがｐ番目の入力データのクラス
内クラスタ番号ｊを保持している。ここで、各入力デー
タには、クラスを表すｉ、クラス内クラスタ番号を表す
ｊを用いて表現されるクラスタ番号ｉｊが与えられる。
ｐ番目の入力データのクラスタ番号ｉｊのｉおよびｊ
は、ｐ番目のｐ番目の出力データ１とｐ番目の分割デー
タとより求めることができる。

【００３６】このようにして、分割データファイル１０
８が生成されたならば、次に、ルール抽出部１０５は、
教師データファイル１０７、分割データファイル１０８
より、ファジィルールを、ファジィルールファイル１０
９として生成する。

【００３７】すなわち、各々のクラスタｉｊに対して次
のルールＲ_ijを定義する。

【００３８】

【数１】

【００３９】ただし、ｃ_ijはクラスタｉｊの中心であ
る。ここで、入力ｘがどのクラスタに属するかを判断す
るためのメンバーシップ関数ｍ_ij（ｘ）は次式で与え
る。

【００４０】

【数２】

【００４１】

【数３】

【００４２】

【数４】

【００４３】ただしｄ_ij（ｘ）はｘとｃ_ijとの重みつき
距離、ｈ_ij（ｘ）はα_ijによって調整された距離、α_ij
（＞０）はクラスタｉｊの調整パラメータ、Ｑ_ijはクラ
スタｉｊのｍ×ｍ次元の共分散行列である。初めてファ
ジィルールを生成する際には、α_ijには予め定めた適当
な正の初期値を用いる。ただし、後述するルール調整部
１０６によるα_ijの調整処理により、α_ijに初期値を与
える場合には、ここでα_ijに初期値を与えなくてもよ
い。

【００４４】ここで、中心ｃ_ijはクラスタｉｊに属する
データの平均値を求めることにより計算する。すなわち

【００４５】

【数５】

【００４６】ただし、Ｎ_ijはクラスタｉｊに含まれるデ
ータの数である。

【００４７】共分散行列Ｑ_ijはクラスタｉｊに属するデ
ータにより、次式で推定する。

【００４８】

【数６】

【００４９】また、共分散行列Ｑ_ijが特異のときはＱ_ij
の全ての非対角要素を０にしてＱ_ijが正則になるように
する。このようにして与えられたメンバシップ関数は、
各クラスタに、当該クラスタにある成立度以上で属する
入力デ−タの領域として、ｍ次元のデ−タ空間における
超楕円体の領域を与える。ここでｍ次元のデ−タ空間に
おける超楕円体の領域とは、ｍ次元のうちから任意に選
択した２次元の空間における領域が楕円となる領域を指
している。

【００５０】ここで、Ｑ_ijを正則と仮定するとＱ_ijは正
定行列になる。これより重みつき距離の自乗平均は入力
次元ｍとなることが容易に分かる。すなわち

【００５１】

【数７】

【００５２】つぎに、診断問題のときはは正常データの
クラスに対して、また通常のパターン認識のときは全て
のクラスに対してしきい値ｔ_h（＞０）を導入する。初
めてファジィルールを生成する際には、ｔ_hには予め定
めた適当な初期値を用いる。

【００５３】このしきい値は、後に、ファジィ推論部１
０２における推論、判定において、もし入力ｘに対する
クラスタｉｊのメンバーシップ関数ｍ_ij（ｘ）（１≦ｉ
≦ｎ−１）が最大で、

【００５４】

【数８】

【００５５】を満たすとき、ｘは正常クラスｉに属する
と判定するために導入する。なお、この際、ファジィ推
論部１０２は、入力ｘに対するクラスタｉｊのメンバー
シップ関数ｍ_ij（ｘ）（１≦ｉ≦ｎ−１）が最大である
が（数８）を満たさないときは、異常クラスｎに属する
と判定する。また、もしｍ_nj（ｘ）が最大のときは重み
つき距離ｄ_ij（ｘ）の値に関わりなくｘは異常クラスｎ
に属すると判定される。なお、（数８）では（数７）の
性質を用いるために、（数８）において調整された距離
でなく重みつき距離を用いている。これにより、クラス
タの如何に関わらず、共通のしきい値を用いることがで
きる。また、診断問題でないときは、しきい値を設けな
くてもよいが、しきい値を設けるときは、クラスタｉｊ
に対応する重み付き距離が最小で、しきい値を越えると
きは、どのクラスにも属さないと判定する。これによ
り、教師データのものと極端に異なる入力データに関し
ては、判定を保留することになり判定の信頼度をあげる
ことができる。なお、しきい値はクラス毎に選択的に設
けてもよい。

【００５６】しきい値を導入することにより、診断問題
のときに異常データに対するファジィルールがなくても
異常データの判定が可能になる。

【００５７】このようにして、ファジィルールファイル
１０９の構成を図５に示す。

【００５８】ファジィルールファイル１０９は、クラス
タ毎に生成されるファジィルールＲ_ijのファイルと、し
きい値ファイルより構成される。

【００５９】図５ａ）は、クラスタ毎に生成されるファ
ジィルールＲ_ijのファイル構成を示す。１０９−１はｍ
個の中心の座標ｃ_ij,1，．．．．、ｃ_ij,mで、１０９−
２は共分散行列Ｑ_ijの逆行列で１０９−３は調整パラメ
ータα_ijを示す。１０９−２の各々の要素は行（あるい
は列）ベクトルを示し、例えば第１番目の要素は逆行列
の第１番目の行（あるいは列）ベクトルである。

【００６０】図５ｂ）は、しきい値ファイルの構成を示
す。１０９−４は、各クラスについて定義されたしきい
値ｔ_h,iである。ただし、全てのクラスに対して共通の
しきい値を用いるときには、一つのしきいしきい値ｔ_h
のみがしきい値ファイルに格納される。

【００６１】さて、このようにしてファジィルールファ
イル１０９が生成されると、ファジィ推論部１０２にお
いて、このファジィルールを用いた推論が可能となる。

【００６２】ファジィ推論部１０２の構成を図６に示
す。

【００６３】図中の演算エレメント２０４、２０５、２
０６は（数１）で示されるファジィルールＲ₁₁、Ｒ_ij、
Ｒ_n1に対応して設けられる。２０１、２０２、２０３は
各々入力データファイルの入力データｘ₁、ｘ₂、ｘ_mか
らファジィルールＲ₁₁に対応するエレメントへの入力で
ある。

【００６４】ファジィルールＲ_ijに対応する演算エレメ
ント２０５に対しては図５ａ）のデータが与えられる、
演算エレメント２０５は、入力ｘと、このデータを用い
て、（数２）−（数４）を計算して入力ｘに対するメン
バーシップ関数の値を計算する。

【００６５】判定部には図５ｂ）のしきい値データファ
イルのデータが与えられる。各演算エレメントの計算結
果は、判定部２０７に送られ、判定部２０７において、
前述したように、メンバーシップ関数ｍ_ij（ｘ）が最大
で、重み付き距離ｄ_ij（ｘ）がしきい値内の計算結果を
出力した演算エレメントに対応するファジィルールに対
応するクラスタに属するクラスに入力ｘは属すると判定
される。もし、メンバーシップ関数ｍ_ij（ｘ）の最大の
ものの重み付き距離ｄ_ij（ｘ）がしきい値を越えるを満
たさないときは、異常クラスｎに属すると判定する。ま
た、もしｍ_nj（ｘ）が最大のときは重みつき距離ｄ
_ij（ｘ）の値に関わりなくは異常クラスｎに属すると判
定する。

【００６６】ところで、（数２）における指数関数は
（数２）の出力の範囲を［０、１］にするためである。
したがって、演算エレメントで求めたｈ_ij（ｘ）の最小
のものを求めることによりメンバーシップ関数ｍ
_ij（ｘ）が最大のものを判定するようにしてもよい。

【００６７】さて、このようにしてファジィルールの生
成と、これを用いたファジィ推論は実現することができ
るが、より汎化能力を高めるために、本実施形態では、
異常クラスに対するファジィルールを生成する。さら
に、適宜α_ij、しきい値ｔ_hを調整する。

【００６８】すなわち、たとえば、しきい値最適化部１
１０は、教師データとすることのできる異常データが得
られたならば、これに応じてしきい値の最適化を行う。

【００６９】また、ルール調整部１０６は、α_ijを増加
あるいは減少して教師データの認識率を高める。

【００７０】また、ルール調整部１０６は、教師データ
とすることのできる異常データが得られたならば、これ
に応じてα_ijを調整する。

【００７１】ここで、汎化能力を高めるためには、異常
クラスに対するファジィルールを生成する必要があるこ
とを説明しておく。

【００７２】いま、すなわち、図７（ａ）に示したよう
に、入力デ−タの次元数が２次元の場合を考える。図中
の２５１は異常データ、２５２、２５３、２５４は正常
データである。しきい値がａのときは異常データ２５１
は異常と判定されるが、正常データ２５２、２５３、２
５４が異常と誤認識されてしまう。もししきい値をｂま
で増やすと、正常データ２５２、２５３、２５４は正し
く認識されるが、異常データ２５１は正常と誤認識して
しまう。したがって、この場合はしきい値を調整しても
正常のデータと異常のデータを正しく分類することがで
きない。これは、しきい値を導入することによって設定
される正常と異常の境界が超楕円体であり、本来の異常
データの領域から離れていても、しきい値外の正常デー
タを異常と判定してしまうことによる。

【００７３】この問題は、図５（ｂ）に示すように異常
データが属する異常クラス、クラスタのファジィルール
を定義して、正常と異常のデータが正しく分離するよう
に調整用パラメータα_ijを調整すれば解決できる。な
お、このようにする場合、汎化能力をあげるために、大
きなしきい値を導入してもよい。

【００７４】以上、本実施形態に係るファジィルール構
築／ファジィ推論システムの行う処理の概要について説
明した。

【００７５】以下、各部の行う処理の詳細について説明
する。

【００７６】（ｉ）まず、データ分割部１０４の行う入
力データのクラスタへの分割処理と、ルール抽出部１０
５の行うファジィルールの生成処理の詳細について説明
する。

【００７７】さて、図７の演算エレメントの段の出力側
に線形結合の段を設けたネットをラディアル基底関数ネ
ットとよぶが、ラディアル基底関数ネットと多層ニュー
ラルネットを比べると多層ニューラルネットの方が学習
は遅いが汎化能力が高いと言われている。これは多層ネ
ットではシグモイド関数と言われる指数関数を用いてお
り、これは入力空間の全域にわたり出力が変化する大域
的な関数であるのに対して、ラディアル基底関数ネット
ではガウス関数を用いており、これはローカルな関数の
ためである。

【００７８】したがって、多層ニューラルネットと同等
の汎化能力を得るためには、ガウス関数がカバーする入
力領域ができるだけ大きい必要がある。このため、同一
クラスに属する教師データをクラスタに分割する場合、
各クラスタの教師データが極端に少なくならないように
する必要がある。

【００７９】クラスタリングする方法はいくつか提案さ
れているが、多くは繰り返し法を用いており、また多く
の方法ではクラスタに属する教師データの数を調整する
方法を備えていない。このためこれらの方法でクラスタ
リングをするとあるクラスタの教師データ数が極端に少
なく、あるクラスタの教師データが極端に多くなる可能
性がある。

【００８０】そして、もし（数２）のパラメータを少な
いデータを用いて決めたときは、高い汎化能力をあまり
期待できない。このため、本実施形態では、各々のクラ
スタに含まれる教師データの数が極端に少なくならない
ようにする以下のクラスタリング法を用いる。ただし、
これ以外の方法によりクラスタリングすることも可能で
ある。

【００８１】いま、すでに教師データを用いてクラスタ
リングを行っているとする。次に、まだクラスタリング
されていない教師データをとり、この教師データが、あ
るクラスタの中心からの距離が与えられた半径内であれ
ば、データ分割部１０４は、その教師データは、そのク
ラスタに属するとし、ルール抽出部１０５はそのクラス
タのファジィルールを更新する。一方、そのようなクラ
スタがないときは、データ分割部１０４は、この教師デ
ータを属させる新しいクラスタを生成し、ルール抽出部
１０５は、このクラスタのファジィルールを生成する。

【００８２】より詳細には、クラスｉに対してファジィ
ルールＲ_ij（ｊ＝１，．．．、ｎ_i）が定義されている
とし、新しい教師データｘがクラスｉに属するものであ
るとする。ここで

【００８３】

【数９】

【００８４】がクラスタｋ（ｋ∈｛１，．．．、
ｎ_i｝）に対して満たされるときは、この教師データｘ
をクラスタｋに分類すると共に、クラスタｋに含まれる
教師データとｘを用いて（数５）、（数６）よりｃ_ij、
Ｑ_ijを計算し直す。ここでσ_Mはクラスタの最大半径
で、||.||はユークリッド距離である。ここで重み付き
距離を用いない理由は、クラスタに含まれるデータ数が
少ないときは共分散行列が正確に求まらないからであ
る。

【００８５】一方、もし（数９）を満たすｋが存在しな
い場合には、（数１０）の中心を持つクラスタと、この
クラスタについての（数１１）の分散をもつファジィル
ールＲ_i、ni+1を生成する。

【００８６】

【数１０】

【００８７】

【数１１】

【００８８】ここでεは小さな正の数である。（数１
１）は共分散行列の荒い近似であとなっており、この影
響は次に説明するファジィルール調整部１０６による調
整によって軽減される。

【００８９】以上の処理によって、たとえば、図８の、
まだクラスタリングされていない教師データ２１０、２
１１は、次のようにクラスタリングされる。すなわち、
クラスタ_ijが教師データ２１０に最も近く、教師データ
２１０は（数９）を満たすためクラスタｉｊに含めら
れ、このクラスタｉｊのファジィルールが更新される。
一方、やはりクラスタｉｊが教師データ２１０に最も近
いのであるが、教師データ２１１は（数９）を満たさな
いので、教師データ２１１は新しいクラスタに含めら
れ、このクラスタに対するファジィルールが生成され
る。

【００９０】（ii）次に、ルール調整部１０６が行うフ
ァジィルールの調整処理の詳細について説明する。

【００９１】前述したように、この処理では、Ｒ_ijの調
整を行う。

【００９２】さて、ルール抽出部１０５で抽出したファ
ジィルールはクラス間の重なりを考えないで定義したた
めに、教師データに対して認識率が最大になるようにフ
ァジィルールを調整する必要がある。しかしながら、各
クラスタの中心Ｃ_ijと半径Ｑ_ijを調整するとすると、最
急降下法によらざるを得ず、処理に多くの時間を要す
る。

【００９３】そこで、本実施形態では、ファジィルール
Ｒ_ijの１つのパラメータα_ijを調整することにより教師
データに対して認識率が最大になるようにファジィルー
ルを調整する。

【００９４】まず、α_ijの調整の基本的な考え方につい
て説明する。

【００９５】α_ijを増やすと（数２）で与えられるメン
バーシップ関数の成立度は増加し、減少すると成立度は
低下する。

【００９６】いま、図９に示す２つのクラスで１つのク
ラスに１つのルールが定義されたときを考る。図中、２
６１はクラス１のデータ、２６２はクラス２のデータ、
２６３はクラス１のメンバーシップ関数、２６４と２６
５は変更されたクラス１のメンバーシップ関数である。
クラス１に属するデータ２６１はクラス２に誤認識され
ている。もしメンバーシップ関数２６３を２６４と２６
５の間に入るようにα₁₁を増加するとデータ２６２を誤
認識することなくデータ２６１を正しく認識することが
できる。これはα₂₁を減少することによっても実現でき
る。

【００９７】次に、より複雑な図１０の場合を考える。

【００９８】図中、２７１、２７５はクラス２に属する
データで、２７２、２７３、２７４はクラス１に属する
データである。また２７６はクラス２のメンバーシップ
関数、２７７および２７８は変更されたクラス２のメン
バーシップ関数である。データ２７１はクラス２に正し
く分類されているが、データ２７２、２７３、２７４は
クラス２に間違って分類されている。もしα₁₁を増加あ
るいはα₂₁を減少するとデータ２７１が最初に誤認識す
るが、データ２７１の誤認識を許すとすると、データ２
７２、２７３、２７４を正しく認識するようにできる。
すなわち、クラス２のメンバーシップ関数２７６を２７
７および２７８の間にはいるようにα₂₁を減少すると、
データ２７１が誤認識するがデータ２７２、２７３、２
７４は正しく認識される。これにより認識率がデータ２
個だけ改善されることになる。

【００９９】そこで、本実施形態では、このように、各
々のファジィルールＲ_ijに対して認識率が改善されると
きは正しく認識されるデータが誤認識されることを許し
てα_ijを、誤認識率が改善されなくなるまで、順次修正
していく手法によって、α_ijを調整する。

【０１００】なお、このように誤認識を許して認識率の
改善を図る方法は極小解に陥るのを防いでいるとも言え
る。もちろん調整の過程は非線形であり、この方法で必
ず最適解が求まるとの保証はない。

【０１０１】以下、実際の調整の手順について説明する
前に、ここで、誤認識するようになるデータの数とα_ij
の値との変化の関係と、正しく認識するようになるデー
タの数とα_ijの値との変化の関係について示しておく。

【０１０２】Ｉ） 誤認識するようになるデータの数と
α_ijの値との変化の関係 いま、正しく認識されていたｆ−１個のデータの誤認識
を許すときのα_ijの上限Ｕ_ij（ｆ）および下限Ｌ
_ij（ｆ）を求める。入力教師データをファジィルール
｛Ｒ_ij｝を用いて正しく分類されたデータの集合Ｘと誤
認識したデータの集合Ｙに分割する。ついでクラスｉに
属するｘ（∈Ｘ）で次式を満たすものを求める。

【０１０３】

【数１２】

【０１０４】もし（数１２）が成立しないときはα_ijを
変化させてもｘは正しく認識されたままである。もしｘ
がさらに

【０１０５】

【数１３】

【０１０６】を満足するとするとｘを正しく認識させる
ための次式の下限Ｌ_ij（ｘ）が存在することになる。

【０１０７】

【数１４】

【０１０８】これを図１１を用いて補足する。図中の２
８０、２８１、２８３は各々クラスタｉｊ、ｉｋ、ｏｆ
のメンバーシップ関数で、２８２はメンバーシップ関数
２８０の変更されたメンバーシップ関数である。入力ｘ
をクラスｉに属するとすると、メンバーシップ関数２８
０を２８０と２８２の間にはいるようにα_ijを減少して
も入力ｘは正しく認識される。これに対してα_ijをさら
に減少させてメンバーシップ関数２８２よりメンバーシ
ップ関数の傾きが大きくなると入力ｘは誤認識する。

【０１０９】もし、（数１３）が満たされないとき、す
なわち

【０１１０】

【数１５】

【０１１１】のときはα_ijを減少してもｘに誤認識は生
じない。これを図１２を用いて説明する。図中の２９
０、２９１、２９２は各々クラスタｉｊ、ｉｋ、ｏｆの
メンバーシップ関数で、２９３はメンバーシップ関数２
９０の変更されたメンバーシップ関数である。入力ｘを
クラスｉに属するとすると、入力ｘにおけるメンバーシ
ップ関数２９１の成立度の方がメンバーシップ関数２９
２よりも大きいため、α_ijを正の範囲でいくら小さくし
ても入力ｘは誤認識しない。

【０１１２】これより正しく認識されたデータを誤認識
しない下限Ｌ_ij（１）は

【０１１３】

【数１６】

【０１１４】で与えられる。

【０１１５】ここで議論を簡単にするために異なるｘに
対してＬ_ij（ｘ）は異なるとする。このとき（数１６）
は１つのｘで満足される。同様に正しく認識されたデー
タが１個誤認識することを許す下限Ｌ_ij（２）はＬ
_ij（ｘ）の中の第２の最小値として次式で与えられる。

【０１１６】

【数１７】

【０１１７】一般に下限は次式で与えられる。

【０１１８】

【数１８】

【０１１９】同様に上限Ｕ_ij（ｆ）を求めることができ
る。クラスｏ（≠ｉ）に属するｘ（∈Ｘ）を選ぶ。クラ
スタｏｐが最小の調整された距離ｈ_op（ｘ）を持つとす
る。すなわち

【０１２０】

【数１９】

【０１２１】ここで、調整された距離ｈ_ij（ｘ）はｈ_op
（ｘ）より大きいから、ｘが正しく認識される範囲での
α_ijの上限Ｕ_ij（ｘ）は次式で与えられる。

【０１２２】

【数２０】

【０１２３】図１３を用いてこれを説明する。図中、３
０１、３０２はクラスタｏｆ、ｉｊのメンバーシップ関
数でメンバーシップ関数３００はクラスｏに属する入力
ｘが正しく認識される限界のメンバーシップ関数であ
る。α_ijを変えても対応するメンバーシップ関数が３０
０と３０２の間にあるかぎりは入力ｘはクラスｏに正し
く認識される。

【０１２４】これより正しく認識されたデータを誤認識
しないα_ijの上限Ｕ_ij（１）は次式で与えられる。

【０１２５】

【数２１】

【０１２６】ここでＵ_ij（ｘ）は異なるｘに対して異な
ると仮定する。これより（数２１）は一つの ｘでのみ
成立する。同様に正しく認識されていた１つのデータの
誤認識を許すα_ijの上限Ｕ_ij（２）はＵ_ij（ｘ）の中の
第２の最小値で次式で与えられる。

【０１２７】

【数２２】

【０１２８】一般に、

【０１２９】

【数２３】

【０１３０】となる。これよりα_ijは次のように制約さ
れる。

【０１３１】

【数２４】

【０１３２】（ａ，ｂ）を開区間を示すとする。もしα
_ijを（Ｌ_ij（１），Ｕ_ij（１））の範囲の中で変化させ
ると、正しく認識されたデータｘ（∈Ｘ）は正しく認識
されたままである。また［ａ，ｂ］を閉区間として［Ｕ
_ij（ｆ−１），Ｕ_ij（ｆ））あるいは（Ｌ_ij（ｆ），Ｌ
_ij（ｆ−１）］の区間で変化させると，ｆ−１個の正し
く認識されたデータｘ（∈Ｘ）に誤認識を生じる。

【０１３３】ＩＩ）正しく認識されるようになるデータ
数とα_ijの値の変化との関係 クラスｉに間違ったデータｘ（∈Ｙ）あるいはクラスｉ
に属しクラスｏ（ ≠ｉ）に間違ったデータｘ（∈Ｙ）
について、α_ijを変えることにより正しく認識されるよ
うになるか調べる。まずクラスｉに属し、クラスｏ（≠
ｉ）に間違ったデータｘ（∈Ｙ）について考える。この
データは次式が成立すると

【０１３４】

【数２５】

【０１３５】ｈ_ik（ｘ）（ｋ≠ｉ）の値にかかわらず正
しく認識される。ここでＶ_ij（ｘ）はα_ijのデータｘを
正しく認識するための下限である。

【０１３６】図１４を用いてこれを説明する。図中、３
１０、３１１は各々クラスタｉｊ、ｏｆのメンバーシッ
プ関数であり、３１２、３１３はクラスｉに属する入力
ｘを正しく認識させるメンバーシップ関数の範囲を示し
ている。図示するように、α_ijを増やしてメンバーシッ
プ関数３１０が３１２と３１３との間に入るようになれ
ば入力ｘは正しくクラスｉに認識されるようになる。

【０１３７】Ｉｎｃ（ｆ）を、α_ijを区間（α_ij，Ｕ_ij
（ｆ））の間の値に設定したときに正しく認識されるよ
うになる誤認識のデータの数とする。もしＶ_ij（ｘ）が
区間（α_ij，Ｕ_ij（ｆ））に含まれているときにＩｎｃ
（ｆ）を１つカウントアップする。さらに

【０１３８】

【数２６】

【０１３９】と定義する。α_ijをｍａｘ（β_ij（ｆ），
Ｕ_ij（ｆ−１））より大きく設定すると、ｆ−１個のデ
ータが誤認識するが、誤認識していたＩｎｃ（ｆ）個の
データが正しく認識されるようになる。

【０１４０】同様にクラスｏに属するデータｘがクラス
ｉに誤認識されたとする。α_ijを減少することによりｘ
が正しく認識されるか調べる。そのためにはクラスｏの
最小の調整された距離がｎ個のクラスの間で第２の最小
値である必要がある。すなわち次式のｑはｏである必要
がある。

【０１４１】

【数２７】

【０１４２】つぎに、ｈ_ij（ｘ）はクラスｉで最小で、
クラスｉの第２の最小値はクラスｏの調整された距離の
最小値より大きい必要がある。すなわち

【０１４３】

【数２８】

【０１４４】このときデータは次式が成立すれば正しく
認識される。

【０１４５】

【数２９】

【０１４６】ここで、Ｋ_ij（ｘ）はα_ijのデータｘを正
しく認識するための上限である。

【０１４７】これを図１５で説明する。図中、３２０、
３２１、３２２はクラスタｉｊ、ｏｆ、ｉｋのメンバー
シップ関数で、３２３および３２４は入力ｘをクラスｏ
に正しく認識させるためのメンバーシップ関数３２０の
変更すべき範囲を示す。メンバーシップ関数３２０が３
２３と３２４の範囲にはいるようにα_ijを調整すること
により入力ｘはクラスｏに正しく認識されるようにな
る。

【０１４８】Ｄｅｃ（ｆ）を、α_ijを区間（Ｌ
_ij（ｆ），α_ij）に設定したときに誤認識のデータが正
しく認識されるようになる数とする。このときＫ
_ij（ｘ）が区間（Ｌ_ij（ｆ），α_ij）に含まれるときに
Ｄｅｃ（ｆ）を１つカウントアップする。ここで

【０１４９】

【数３０】

【０１５０】と定義する。もし、α_ijをｍｉｎ（γ
_ij（ｆ），Ｌ_ij（ｆ−１））より小さく設定するとｆ−
１個の正しく認識されていたデータに誤認識が起こるが
Ｄｅｃ（ｆ）個のデータが正しく認識されることにな
る。

【０１５１】さて、以上のＩ）、ＩＩ）の関係に基づい
て、本実施形態では、次のようにα_ijを調整する。

【０１５２】すなわち、Ｉｎｃ（ｆ）（ｆ＝
１，．．．，ｆ_M）に対して次式を満たすｆを求める。
ただしｆ_Mは正の整数である。

【０１５３】

【数３１】

【０１５４】同様にＤｅｃ（ｆ）（ｆ＝１，．．．
ｆ_M）に対して次式を満たすｆを求める。

【０１５５】

【数３２】

【０１５６】（数３１）あるいは（数３２）を満たす複
数のｆがあるときは最小のｆをとる。最初に（数３１）
が（数３２）より大きいか等しい場合を考える。もしα
_ijを区間（α_ij，Ｕ_ij（ｆ））においてβ_ij（ｆ）より
大きくすると、正しく認識されるデータの増加数はＩｎ
ｃ（ｆ）−ｆ＋１個となる。そこで、α_ijを区間［β_ij
（ｆ），Ｕ_ij（ｆ））で次のように設定する。

【０１５７】

【数３３】

【０１５８】ここで、ｄは０≦δ＜１を満たす。

【０１５９】同様に（数３１）が（数３２）より小さい
ときは、α_ijを（Ｌ_ij（ｆ），γ_ij（ｆ）］の範囲でγ
_ij（ｆ）より小さく次のようにする修正する。

【０１６０】

【数３４】

【０１６１】以上説明してきたα_ijの調整手順を図１６
にまとめて示す。

【０１６２】すなわち、この処理では、ステップ４００
でパラメータｆ_Mに適当な正の整数を設定する。このと
きｆ_M−１はα_ijを調整するときに許容する最大の誤認
識の数である。また（数３３）および（数３４）のδに
［０，１）の区間の値を設定し、α_ijに同一の正の初期
値を設定し、教師データをファジィ推論部に与えて、そ
の結果を得る。

【０１６３】ステップ４１０では、α_ij（ｉ＝
１，．．．，ｎ，ｊ＝１，．．．）に対して、Ｌ
_ij（ｆ）、Ｕ_ij（ｆ）、Ｉｎｃ（ｆ）、Ｄｅｃ（ｆ）、
β_ij（ｆ）およびγ_ij（ｆ）を（ｆ＝１，．．．，
ｆ_M）において計算する。

【０１６４】そして、（数３１）あるいは（数３２）を
最大にするｆを求め、（数３３）あるいは（数３４）に
よりα_ijを変更する。

【０１６５】そして、ステップ４２０では、再度教師デ
ータをファジィ推論部１０２に与えて得られた認識率が
改善されないときは処理を終了し、そうでないときは、
ステップ４１０に戻り、今回のファジィ推論部１０２の
判定結果に基づいて、同様の処理を行う。なお、α_ijの
調整は、まず、新たに生成されたクラスタについて行っ
た後に、順次、残りのクラスタのα_ijの調整を行うよう
にする。

【０１６６】（iii）次に、しきい値最適化部１１０の
行うしきい値の最適化処理の詳細について説明する。

【０１６７】しきい値最適化部１１０は、充分な数の異
常状態のデータが得られたら、これを教師データとし
て、認識率が最大になるようにしきい値ｔ_hを定める。

【０１６８】いま、Ｎ（ａ）をしきい値ａで正しく認識
された数とする。このときＮ（ａ）は

【０１６９】

【数３５】

【０１７０】で与えられる。ただし、Ｎ_nn（ａ）はしき
い値ａで正常データ（正常のクラスに属する入力デー
タ）が正しく正常状態と認識された数で、Ｎ_aa（ａ）は
しきい値ａで異常データ（異常のクラスに属する入力デ
ータ）が正しく認識された数である。先に図７（ａ）に
示したように、しきい値を導入することにより、正常状
態と判定される入力データの領域が制限される。従っ
て、正のａに対して次の関係が成り立つ。

【０１７１】

【数３６】

【０１７２】従って、Ｎ（ａ）−Ｎ（∞）を最大にする
最適値ａが存在する。ここで、

【０１７３】

【数３７】

【０１７４】が成立する。ただし、ΔＮ_aa（ａ）（≧
０）はしきい値ａを導入することにより正しく認識され
る異常データの増加数で、ΔＮ_nn（ａ）（≦０）はしき
い値ａを導入することにより正しく認識される正常デー
タの減少数である。

【０１７５】（数３７）を最大するａを簡単に求めるた
め、適当な区間［ｔ_h、min ，ｔ_{h、ma x}］を設定する。こ
こでｔ_h、min＞１である。つぎにこの区間内で、ｔ_h、min
＋ｋΔ≦ｔ_h、max、ｋ＝０、１、．．．と変化させなが
ら、教師データの入力データをファジィ推論部１０２に
与え、推論結果と教師データの出力データの照合結果か
ら、（数３７）を求め、（数３７）を最大にするｔ
_h、min＋ｋΔを求める。ここで、Δはｔ_hに比べ小さい正
の数である。

【０１７６】そして、求めたｔ_h、min＋ｋΔを最適化さ
れたｔ_hとする。

【０１７７】なお、全てのクラスにしきい値を設けると
きは、クラスタに含まれる入力データの重み付き距離の
うちの最大の重み付き距離より大きい値にしきい値を設
定すればよい。これにより、極端に教師データのもとか
ら外れた入力データを判定不能とすることができ、判定
の信頼度をあげることができる。

【０１７８】以上、ファジィルール構築部１０１の各部
の行う処理の詳細について説明した。

【０１７９】ところで、ここまでに説明してきたように
ファジィルールＲ_ijのパラメータは中心ｃ_ij、共分散行
列Ｑ_ij、および調整パラメータａ_ijである。前述したよ
うに、最初の２つのパラメータは教師データを用いてル
ール抽出部１０５で求めるが、ルールに対応する教師デ
ータが充分にないときは、関連したデータが得られる毎
にｃ_ij、Ｑ_ijを修正する必要がある。一方、充分な数の
データによりファジィルールが生成された後は、教師デ
ータの認識率が最大になるように、調整パラメータα_ij
の調整のみをルール調整部１０６によって行えばよい。

【０１８０】そこで、本実施形態に係るファジィ推論／
ファジィルール構築システムでは、ファジィ推論部１０
２で入力データの判定を行わせながらファジィルール構
築部１０１を用いてファジィルールの修正、調整を行う
オンライン学習を実現する。

【０１８１】いま、診断問題に対するファジィ推論部１
０２を構築する場合を考える。このような場合、構築の
最初の段階では、正常データの教師データは充分にある
が、異常データの教師データは充分にない場合が多い。

【０１８２】そこで、実施形態に係るファジィ推論／フ
ァジィルール構築システムでは、正常クラスのクラスタ
のファジィルールのｃ_ij、Ｑ_ijは最初に一度計算し、そ
の後は固定する。これに対して、異常クラスのクラスタ
のファジィルールに関しては、充分な数の異常クラスの
教師データが得られるまでは、異常データが得られる毎
に、これを教師データとしてｃ_ij、Ｑ_ijを再計算する
か、新しいファジィルールを生成する。また、調整パラ
メータα_ijの調整は教師データとして用いることのでき
るデータが得られる毎に適宜行う。

【０１８３】すなわち、異常のクラス、クラスタのファ
ジィルールの生成、修正、調整パラメータα_ijの調整に
は、教師データできる異常データの数が不充分な場合の
学習段階と、教師データとできる異常データが十分に得
られた調整段階に分かれる。

【０１８４】学習段階では、異常データに対するルール
がないか、あってもその信頼度が低い。従って、小さな
しきい値を設定して、異常データの誤認識を防ぐ。ただ
し、正常データの認識率が低下しないようにするために
は、しきい値は１以上である必要がある。この段階で
は、ファジィ推論部１０２で入力データを判定し、判定
結果の成否をオペレータが判断し、キーボードなどより
ファジィ推論／ファジィルール構築システムに入力す
る。

【０１８５】この判定結果の入力に応じてファジィルー
ル構築部は、次の処理を行う。

【０１８６】すなわち、 イ）ファジィ推論部の判定が正常で、オペレータの判断
も正常の場合は、処理を行わない。

【０１８７】ロ）ファジィ推論部の判定が正常でオペレ
ータの判断が異常の場合は、この異常データを教師デー
タとして異常クラスのクラスタのファジィルールの生成
または修正と全てのクラスタのα_ijの調整を行う。

【０１８８】ハ）ファジィ推論部の判定が異常でオペレ
ータの判断が正常の場合は、正常データに基づいて異常
クラスのクラスタのファジィルールの生成または修正は
行えないので、この正常データを用いて全てのクラスタ
のα_ijの調整を行う。

【０１８９】ニ）ファジィ推論部の判定が異常でオペレ
ータの判断も異常の場合には、この異常データを教師デ
ータとして異常クラスのクラスタのファジィルールの生
成または修正と全てのクラスタのα_ijの調整を行う。

【０１９０】次に調整段階段解では、充分な数の異常デ
ータが教師データとして既に与えられているので異常ク
ラスのクラスタに対するルールの修正は不要である。し
たがって、このときはファジィ推論部とオペレータとの
判断に違いがあるときはα_ijを修正する。また、しきい
値を最適化する。

【０１９１】なお上記のオンライン学習は、診断問題だ
けでなく通常のパターン認識のときにも適用できる。そ
のときは、教師データが不充分なクラスのデータを上記
の異常データと同様考えて同様の処理を行えばよい。

【０１９２】以上説明した本実施形態の特徴と、その特
徴による効果を、ここにまとめて示す。

【０１９３】（イ）各クラスの入力データをクラスタに
分割する 各クラスの入力データをクラスタに分割することによ
り、各クラスの領域の近似を教師データのものにより近
づけることができる。

【０１９４】（ロ）分割されたクラスタにより領域を近
似してファジィルールを抽出する 分割されたクラスタを用いて領域を近似し、これをファ
ジィルールとすることによりルール抽出を容易に行うこ
とができる。またしきい値を用いることにより、データ
が不十分な場合でも認識率を向上できる。

【０１９５】（ハ）教師データを用いて近似領域を調整
することによりファジィルールをチューニングする 教師データに対するパターン認識結果が向上するよう
に、近似された領域を調整することにより、ファジィル
ール間の競合関係が調整され、教師データに対する認識
率の向上とともに汎化能力も向上することができる。

【０１９６】（ニ）しきい値を最適化する 入出力データを用いてしきい値を最適化することによ
り、（ハ）に加えてさらに汎化能力を向上できる。ま
た、認識の信頼性をあげることができる。

【０１９７】

【実施例１】以上に説明したファジィ推論／ファジィル
ール構築システムを組み込んだ、車番認識システムの構
成を図１７に示す。

【０１９８】図中、８０１はプレート切り出し部、８０
２は文字切り出し部、８０３は特徴抽出部、１０００が
前述した実施形態に係るファジィ推論／ファジィルール
構築システムである。なお、これら各部の詳細について
は以下の文献記載のものなどを用いることができる。

【０１９９】すなわち、車両を検知して、プレートを切
り出すプレート切り出し部は特開昭６０−２４１３８７
号（画像処理装置）、特開昭６１−１４１０８７号（画
像処理方法および装置）、特開昭６３−３６３８３号
（画像処理装置）に記載のものを、、文字切り出し部に
関しては特開昭６３−１５３６８２号（濃淡画像の処理
方法および装置）、特徴抽出に関しては特開昭６２−２
９３４９２号（文字特徴抽出方法）に記載のものを用い
ることができる。

【０２００】さて、本画像認識装置には、走行している
車の画像が、工業用テレビで画像認識装置に取り込まれ
る。画像認識装置では、ナンバープレートの切り出しを
行ない、その中から文字を１つづつ切り出し、文字の特
徴量を抽出する。数字の認識のときは、特徴量として例
えば、穴の数、曲がり具合等を用いる。特徴量は入力デ
ータとして、ファジィルール推論部１０２に入力され
る。ファジィルール推論部１０２では、０から９までの
数字のクラスのクラスタに対する成立度を（数２）−
（数４）を用いて計算し、成立度のもっとも高いクラス
タに対応する数字であると判定して、その識別結果を出
力する。

【０２０１】しきい値を用いるときは重み付き距離がし
きい値内のとき、そのクラスタのクラスに属するとし
て、そうでないときは判定できないとする。

【０２０２】なおファジィルールの抽出および調整は、
あらかじめファジィルール構築部１０１で行なってお
く。すなわち、データー分割部１０４で教師データをク
ラスタに分割し、ルール抽出部１０５で（数１）のファ
ジィルールを抽出し、ルール調整部１０６で図１６の手
順でファジィルールの調整を行い、しきい値最適化部１
１０でしきい値の最適化を行う。もちろん、前述したよ
うに、画像認識装置の設置後に、オンライン学習により
ファジィルールをルール調整部１０６、しきい値最適化
部１１０で調整することも可能である。

【０２０３】本画像認識装置の評価を行なうため０から
９までの数字に対する教師データを８１０個、テストデ
ータを８２０個用意し、上述のようにファジィルールを
決めた。このとき各数字の教師データは８１個である。
ｆ_M＝１０とし、各クラスのデータをクラスタリングし
なかったときにテストデータの認識率は９９．６３％で
ファジィルールの調整まで６０ＭＩＰＳの計算機でＣＰ
Ｕ時間は４秒であった。

【０２０４】これをニューラルネットと比較すると、ニ
ューラルネットで初期値を変えて、１００回学習させた
ときの最大の認識率が９９．７６％で、最小は９８．９
０％、平均は９９．４１％であったまた学習時間は同一
の計算機で１回あたり７８．９秒であった。

【０２０５】したがって本画像認識装置で、ニューラル
ネットの最大性能付近の性能を２０分の１の計算時間で
実現できたことになる。

【０２０６】なお数字ばかりでなく、漢字、平仮名も同
様に認識できる。このとき、特徴量でなく切り出した文
字画像を例えば８×７等に分割して入力データとしても
よい。

【０２０７】

【実施例２】以上に説明したファジィ推論／ファジィル
ール構築システムを血球の分類に適用した組み込んだシ
ステムの構成を図１８に示す。

【０２０８】この場合、本ファジィ推論／ファジィルー
ル構築システムのファジィ推論部によって、白血球は成
長の段階にしたがい分類され、各々５ー７種類の成熟
球、未成熟球に分類され、合計で１２種類程度の血球の
種類に分類される。このような白血球の分類は、成長段
階により種類が決められているため、隣接した種類の境
界があいまいで非常に分類が難しい問題として知られて
いる。

【０２０９】さて、図１８において９０１は血球切り出
し部、９０２は特徴抽出部、１０００が前述した実施形
態に係るファジィ推論／ファジィルール構築システムで
ある。

【０２１０】このようなシステムにおいて、光学的にス
クリーニングされた血球データは血球分類装置に取り込
まれる。血球切り出し部９０１では、血球の切り出しを
行ない、特徴抽出部９０２では、細胞核の周囲長、面積
等の血球の特徴量を抽出する。

【０２１１】特徴量は、入力データとしてファジィルー
ル推論部１０２に入力され、１２種類程度の種類の成立
度が（数２）−（数４）を用いて計算され、成立度のも
っとも高いものに対応する分類に属すると判定されてそ
の識別結果が出力される。ここで、前述したように、し
きい値を設けるときは重み付き距離がしきい値内のとき
そのクラスに属すると判定される。

【０２１２】なおファジィルールの抽出および調整は、
あらかじめファジィルール構築部１０１で行なってお
く。すなわち、データー分割部１０４で教師データをク
ラスタに分割し、ルール抽出部１０５で（数１）のファ
ジィルールを抽出し、ルール調整部１０６で図１６の手
順でファジィルールの調整を行い、しきい値最適化部１
１０でしきい値の最適化を行う。もちろん、前述したよ
うに、画像認識装置の設置後に、オンライン学習により
ファジィルールをルール調整部１０６、しきい値最適化
部１１０で調整することも可能である。

【０２１３】本システムの評価を行なうため教師データ
を３０９７個、テストデータを３１００個用意し、上述
のようにファジィルールを決めた。ｆ_M＝１０とし、各
クラスのデータをクラスタリングしなかったときにテス
トデータの認識率は９１．６５％でファジィルールの調
整まで６０ＭＩＰＳの計算機でＣＰＵ時間は２９秒であ
った。

【０２１４】これをニューラルネットと比較すると、ニ
ューラルネットで初期値を変えて、２５回学習させたと
きの最大の認識率が９０．４６％で、平均は８７．４４
％であった。また学習時間は同一の計算機で１回あたり
１３３分であった。したがって本発明の方式で、ニュー
ラルネットの最大性能を凌ぐ性能を４００分の１の計算
時間で実現できたことになる。また、異常データに相当
する７クラスを１つの異常データのクラスにして、残り
の５つの正常データはそのままで正常データのみでファ
ジィルールを生成して、正常データのしきい値を２．０
に設定して診断を行ったところテストデータで９０．５
８％の認識率を得、正常データのみでも高い認識率を実
現できることが確認された。

【０２１５】

【発明の効果】以上のように、本発明によれば、汎化能
力の高いファジィ推論システムを提供することができ
る。また、教師データが得られにくい場合でも、より高
い性能でパターン認識を行うことのできるファジィ推論
システムを提供することができる。

【図面の簡単な説明】

【図１】ファジィ推論／ファジィルール構築システムの
構成を示す図である。

【図２】ファジィ推論／ファジィルール構築システムの
ハードウェア構成を示す図である。

【図３】教師データファイルの構成を示した図である。

【図４】分割データファイルの構成を示した図である。

【図５】ファジィルールファイルの構成を示す図であ
る。

【図６】ファジィ推論部の構成を示す図である。

【図７】各クラスタの領域としきい値の関係を示した図
である。

【図８】データの分割のようすを示した図である。

【図９】ファジィルールの調整のようすを示した図であ
る。

【図１０】ファジィルールの調整のようすを示した図で
ある。

【図１１】ファジィルールの調整のようすを示した図で
ある。

【図１２】ファジィルールの調整のようすを示した図で
ある。

【図１３】ファジィルールの調整のようすを示した図で
ある。

【図１４】ファジィルールの調整のようすを示した図で
ある。

【図１５】ファジィルールの調整のようすを示した図で
ある。

【図１６】ファジィルールの調整処理の手順を示した図
である。

【図１７】車番認識システムの構成を示す図である。

【図１８】血球分類を行うシステムの構成を示す図であ
る。

【符号の説明】

１０１はファジィルール構築部、１０２はファジィルー
ル推論部、１０３は、記憶部、１０４はデータ分割部、
１０５はルール抽出部、１０６はルール調整部、１１０
はしきい値最適化部

Claims (16)

【特許請求の範囲】
1. 【請求項１】入力データとその入力データが属するクラ
   スを示す出力データとよりなる教師データに基づいてフ
   ァジィルールを生成するファジィルール構築システムで
   あって、 記憶部と、当該記憶部にアクセスする処理部とを有し、 前記処理部は、 各クラスに属する前記入力データの平均値に応じた中心
   と、当該クラスに属する入力データの共分散行列で定義
   される形状を有する超楕円体領域を、当該クラスに属す
   る入力データの存在領域とするファジィルールを生成
   し、前記記憶部に記憶する手段と、 前記記憶部に記憶されたファジィルールに従って、前記
   教師データの入力データに対する推論を実行するファジ
   ィ推論手段と、 前記ファジィ推論手段の推論結果が教師データの出力デ
   ータに一致する程度が、より高くなるように、各クラス
   に属する入力データの存在領域である超楕円体領域の形
   状が変更されるように、前記ファジィ推論手段の推論結
   果と前記記憶部に記憶されたファジィルールとに応じて
   前記記憶部に記憶されたファジィルールを調整するファ
   ジィルール調整手段とを有すること特徴とするファジィ
   ルール構築システム。
2. 【請求項２】入力データとその入力データが属するクラ
   スを示す出力データとよりなる教師データに基づいてフ
   ァジィルールを生成するファジィルール構築システムで
   あって、 記憶部と、当該記憶部にアクセスする処理部とを有し、 前記処理部は、 前記各入力データを、各入力データの値に応じて、当該
   入力データが属するクラスに属する複数のクラスタのい
   ずれかに属する入力データとして分類するクラスタ分類
   手段と、 各クラスタに属する前記入力データの平均値に応じた中
   心と、当該クラスに属する入力データの共分散行列で定
   義される形状を有する超楕円体領域を、各クラスタおよ
   び当該クラスタが属するクラスに属する入力データの存
   在領域とするファジィルールを生成し、前記記憶部に記
   憶する手段と、 前記記憶部に記憶されたファジィルールに従って、前記
   教師データの入力データに対する推論を実行するファジ
   ィ推論手段と、 前記ファジィ推論手段の推論結果が教師データの出力デ
   ータに一致する程度が、より高くなるように、各クラス
   タに属する入力データの存在領域である超楕円体領域の
   形状が変更されるように、前記ファジィ推論手段の推論
   結果と前記記憶部に記憶されたファジィルールとに応じ
   て前記記憶部に記憶されたファジィルールを調整するフ
   ァジィルール調整手段とを有すること特徴とするファジ
   ィルール構築システム。
3. 【請求項３】請求項２記載のファジィルール構築システ
   ムであって、 前記クラスタ分離手段は、 各入力データについて、順次、各クラスタに属する入力
   データの平均値と当該入力データとの距離の差の最小値
   が所定以内のクラスタが存在する場合には、当該クラス
   タに当該入力データが属すると分類し、各クラスタに属
   する入力データの平均値と当該入力データとの距離の差
   の最小値が所定以内のクラスタが存在しない場合には、
   当該入力データのみが属する新たなクラスタを生成し、
   当該クラスタに当該入力データが属すると分類すること
   を特徴とするファジィルール構築システム。
4. 【請求項４】請求項１、２または３記載のファジィルー
   ル構築システムであって、 前記ファジィルール調整手段は、 前記教師データの出力データに一致したファジィ推論手
   段の推論結果のうちの、所定数以下の推論結果のみが一
   致しなくなることを保証できる、前記超楕円体領域の形
   状の変更の変更量の上限および下限を求める手段と、 前記上限と下限との間において、前記超楕円体領域の形
   状の変更量を、当該変更量の変更によって前記教師デー
   タの出力データに一致しなかったファジィ推論手段の推
   論結果が前記教師データの出力データに一致するように
   なる数と、前記所定数との差分が最も多くなるように求
   め、当該求めた変更量の変更が前記超楕円体領域の形状
   に施されるように、前記ファジィルールの調整を行う特
   徴とするファジィルール構築システム。
5. 【請求項５】入力データとその入力データが属するクラ
   スを示す出力データとよりなる教師データに基づいてフ
   ァジィルールを生成し、当該ファジィルールに従って認
   識対象から得られた入力データが属するクラスを推論す
   るファジィルール構築システムであって、 記憶部と、当該記憶部にアクセスする処理部とを有し、 前記処理部は、 各クラスに属する前記教師データの入力データの平均値
   に応じた中心と、当該クラスに属する教師データの入力
   データの共分散行列で定義される形状を有する超楕円体
   領域を、当該クラスに属する認識対象から得られる入力
   データの存在領域とするファジィルールを生成し、前記
   記憶部に記憶するファジィルール生成手段と、 前記記憶部に記憶されたファジィルールに従って、推論
   対象より得られた入力データに対する推論を実行するフ
   ァジィ推論手段と、 前記ファジィ推論手段の推論対象より得た入力データに
   対する推論結果が正しいか否かを表すオペレータの入力
   を受け付ける手段と、 オペレータの入力に応答して、前記推論対象より得た入
   力データと前記前記オペレータの入力によって定まる当
   該入力データの属するクラスを表す出力データの組を前
   記教師データに含めたデータを新たな教師データとし
   て、前記ファジィルール生成手段に新たなファジィルー
   ルを生成させ、前記記憶部に記憶させる手段と、 オペレータの入力に応答して、前記新たな教師データの
   入力データに対する推論結果が新たな教師データの出力
   データに一致する程度が、より高くなるように、各クラ
   スに属する入力データの存在領域である超楕円体領域の
   形状が変更されるように、前記記憶部に記憶されたファ
   ジィルールに応じて前記記憶部に記憶された前記ファジ
   ィルールを調整するファジィルール調整手段とを有する
   こと特徴とするファジィ推論システム。
6. 【請求項６】クラスの代表点と、当該代表点からの距離
   の重みと、当該重みによって重みを付けた入力データか
   らクラスの代表点までの距離である重付け距離と当該入
   力データがクラスに属する成立度との関係を定義する、
   各クラス毎に与えられたファジィルールに基づいて推論
   を行うファジィ推論システムであって、 前記ファジィルールと各クラスに与えられたしきい値を
   記憶する記憶部と、当該記憶部にアクセスする処理部と
   を有し、 前記処理部は、 前記記憶部に記憶されたファジィルールに基づいて、各
   入力データから、各クラスの代表点までの前記重付け距
   離を求める手段と、 前記記憶部に記憶されたファジィルールに基づいて、各
   入力データの各クラスに属する成立度を各クラスについ
   て求めた重付け距離に基づいて求める手段と、 前記入力データから求められた成立度が最も高かったク
   ラスの代表点までの重付け距離が、前記憶部に記憶され
   ている当該クラスに与えられた所定のしきい値より小さ
   い場合に、前記入力データが属するクラスとして、当該
   求められた成立度が最も高かったクラスを選択し、前記
   入力データから求められた成立度が最も高かったクラス
   の代表点までの重付け距離が当該クラスに与えられた所
   定のしきい値より大きい場合には、前記入力データが属
   するクラスとして、当該求められた成立度が最も高かっ
   たクラス以外のクラスを推論する推論手段とを有するこ
   とを特徴とするファジィ推論システム。
7. 【請求項７】請求項６記載のファジィ推論システムであ
   って、 前記推論手段は、前記入力データから求められた成立度
   が最も高かったクラスの代表点までの距離もしくは所定
   の重付け距離が当該クラスに与えられた所定のしきい値
   より大きい場合には、前記入力データが属するクラスと
   して、あらかじめ用意したメンバシップ関数が与えられ
   ていないクラスを推論することを特徴とするファジィ推
   論システム。
8. 【請求項８】請求項６記載のファジィ推論システムであ
   って、 前記クラスのうちの一部のクラスには前記しきい値が与
   えられておらず、 推論手段は、前記入力データから求められた成立度が最
   も高かったクラスの代表点までの距離もしくは所定の重
   付け距離が当該クラスに与えられた所定のしきい値より
   大きい場合には、前記入力データが属するクラスとし
   て、前記しきい値が与えられていないクラスのうち前記
   入力データから求められた成立度が最も高かったクラス
   を推論することを特徴とするファジィ推論システム。
9. 【請求項９】請求項６、７または８記載のファジィ推論
   システムであって、 前記処理部は、 入力データとその入力データが属するクラスを示す出力
   データとよりなる教師データを入力する手段と、 前記推論手段に、教師データの入力データに対する推論
   を行わせ、前記推論手段の前記教師データの入力データ
   に対する推論結果が教師データの出力データに一致する
   程度が、より高くなるように、前記記憶部に記憶されて
   いる各クラスのしきい値を調整するしきい値調整手段と
   を有すること特徴とするファジィ推論システム。
10. 【請求項１０】請求項７記載のファジィ推論システムで
    あって、 前記処理部は、 前記推論手段の入力データに対する推論結果が正しいか
    否かを表すオペレータの入力を受け付ける手段と、 オペレータの入力に応答して、入力データと前記前記オ
    ペレータの入力によって定まる当該入力データの属する
    クラスを表す出力データの組を前記教師データに含めた
    データを新たな教師データとして、前記しきい値調整手
    段に、前記記憶部に記憶されている各クラスのしきい値
    を調整を行わせる手段を有することを特徴とするファジ
    ィ推論システム。
11. 【請求項１１】車両のナンバープレートを撮影した画像
    に基づいてナンバープレートに表示された記号を推論す
    るためのファジィルールを生成するファジィルール生成
    システムであって、 入力データと、その入力データが属する、各々記号に対
    応して設けられたクラスを示す出力データとよりなる教
    師データを入力する手段と、 各クラスに属する前記入力データの平均値に応じた中心
    と、当該クラスに属する入力データの共分散行列で定義
    される形状を有する超楕円体領域を、当該クラスに属す
    る入力データの存在領域とするファジィルールを生成
    し、前記記憶部に記憶する手段と、 生成されたファジィルールに従って、前記教師データの
    入力データに対する推論を実行するファジィ推論手段
    と、 前記ファジィ推論手段の推論結果が教師データの出力デ
    ータに一致する程度が、より高くなるように、各クラス
    に属する入力データの存在領域である超楕円体領域の形
    状を、前記ファジィ推論手段の推論結果と前記ファジィ
    ルールとに応じて変更することにより前記ファジィルー
    ルを調整するファジィルール調整手段とを有すること特
    徴とするファジィルール構築システム。
12. 【請求項１２】車両のナンバープレートを撮影した画像
    に基づいてナンバープレートに表示された記号を推論す
    る車番認識システムであって、 各々記号に対応して設けられたクラスの代表点と、当該
    代表点からの距離の重みと、当該重みによって重みを付
    けた入力データからクラスの代表点までの距離である重
    付け距離と当該入力データがクラスに属する成立度との
    関係を定義する、各クラス毎に与えられたファジィルー
    ルを記憶する記憶手段と、 前記記憶手段に記憶されたファジィルールに基づいて、
    各入力データから、各クラスの代表点までの前記重付け
    距離を求める手段と、 前記記憶手段に記憶されたファジィルールに基づいて、
    各入力データの各クラスに属する成立度を各クラスにつ
    いて求めた重付け距離に基づいて求める手段と、 前記入力データから求められた成立度が最も高かったク
    ラスの代表点までの重付け距離が当該クラスに与えられ
    た所定のしきい値より小さい場合に、前記入力データが
    属するクラスとして、当該求められた成立度が最も高か
    ったクラスを選択し、前記入力データから求められた成
    立度が最も高かったクラスの代表点までの重付け距離が
    当該クラスに与えられた所定のしきい値より大きい場合
    には、前記入力データが属するクラスとして、当該求め
    られた成立度が最も高かったクラス以外のクラスを推論
    し、推論したクラスに対応する記号を出力する推論手段
    とを有することを特徴とするファジィ推論システム。
13. 【請求項１３】血球を撮影した画像に基づいて血球の属
    する分類を推論するためのファジィルールを生成するフ
    ァジィルール生成システムであって、 入力データと、その入力データが属する、各々分類に対
    応して設けられたクラスを示す出力データとよりなる教
    師データを入力する手段と、 各クラスに属する前記入力データの平均値に応じた中心
    と、当該クラスに属する入力データの共分散行列で定義
    される形状を有する超楕円体領域を、当該クラスに属す
    る入力データの存在領域とするファジィルールを生成す
    る手段と、 生成されたファジィルールに従って、前記教師データの
    入力データに対する推論を実行するファジィ推論手段
    と、 前記ファジィ推論手段の推論結果が教師データの出力デ
    ータに一致する程度が、より高くなるように、各クラス
    に属する入力データの存在領域である超楕円体領域の形
    状を、前記ファジィ推論手段の推論結果と前記ファジィ
    ルールとに応じて変更することにより前記ファジィルー
    ルを調整するファジィルール調整手段とを有すること特
    徴とするファジィルール構築システム。
14. 【請求項１４】血球を撮影した画像に基づいて血球の属
    する分類を推論する車番認識システムであって、 各々分類に対応して設けられたクラスの代表点と、当該
    代表点からの距離の重みと、当該重みによって重みを付
    けた入力データからクラスの代表点までの距離である重
    付け距離と当該入力データがクラスに属する成立度との
    関係を定義する、各クラス毎に与えられたファジィルー
    ルを記憶する記憶手段と、 前記記憶手段に記憶されたファジィルールに基づいて、
    各入力データから、各クラスの代表点までの前記重付け
    距離を求める手段と、 前記記憶手段に記憶されたファジィルールに基づいて、
    各入力データの各クラスに属する成立度を各クラスにつ
    いて求めた重付け距離に基づいて求める手段と、 前記入力データから求められた成立度が最も高かったク
    ラスの代表点までの重付け距離が当該クラスに与えられ
    た所定のしきい値より小さい場合に、前記入力データが
    属するクラスとして、当該求められた成立度が最も高か
    ったクラスを選択し、前記入力データから求められた成
    立度が最も高かったクラスの代表点までの重付け距離が
    当該クラスに与えられた所定のしきい値より大きい場合
    には、前記入力データが属するクラスとして、当該求め
    られた成立度が最も高かったクラス以外のクラスを推論
    し、推論したクラスに対応する分類を出力する推論手段
    とを有することを特徴とするファジィ推論システム。
15. 【請求項１５】記憶部と当該記憶部にアクセスする処理
    部を備えたデータ処理装置の処理部を制御する制御情報
    を記述した情報記憶媒体であって、 前記制御情報は、 入力データとその入力データが属するクラスを示す出力
    データとよりなる教師データの各クラスに属する前記入
    力データの平均値に応じた中心と、当該クラスに属する
    入力データの共分散行列で定義される形状を有する超楕
    円体領域を、当該クラスに属する入力データの存在領域
    とするファジィルールを生成し、前記記憶部に記憶する
    前記処理部の動作と、 前記記憶部に記憶されたファジィルールに従って、前記
    教師データの入力データに対する推論を実行する前記処
    理部の動作と、 前記ファジィ推論手段の推論結果が教師データの出力デ
    ータに一致する程度が、より高くなるように、各クラス
    に属する入力データの存在領域である超楕円体領域の形
    状が変更されるように、前記ファジィ推論手段の推論結
    果と前記記憶部に記憶されたファジィルールとに応じて
    前記記憶部に記憶されたファジィルールを調整する前記
    処理部の動作とを制御することを特徴とする情報記憶媒
    体。
16. 【請求項１６】記憶部と当該記憶部にアクセスする処理
    部を備えたデータ処理装置の処理部を制御する制御情報
    を記述した情報記憶媒体であって、 前記制御情報は、 クラスの代表点と、当該代表点からの距離の重みと、当
    該重みによって重みを付けた入力データからクラスの代
    表点までの距離である重付け距離と当該入力データがク
    ラスに属する成立度との関係を定義する、各クラス毎に
    与えられたファジィルールとファジィルールと各クラス
    に与えられたしきい値を記憶する前記記憶部に記憶され
    たファジィルールに基づいて、各入力データから、各ク
    ラスの代表点までの前記重付け距離を求める前記処理部
    の動作と、 前記記憶部に記憶されたファジィルールに基づいて、各
    入力データの各クラスに属する成立度を各クラスについ
    て求めた重付け距離に基づいて求める前記処理部の動作
    と、 前記入力データから求められた成立度が最も高かったク
    ラスの代表点までの重付け距離が、前記憶部に記憶され
    ている当該クラスに与えられた所定のしきい値より小さ
    い場合に、前記入力データが属するクラスとして、当該
    求められた成立度が最も高かったクラスを選択し、前記
    入力データから求められた成立度が最も高かったクラス
    の代表点までの重付け距離が当該クラスに与えられた所
    定のしきい値より大きい場合には、前記入力データが属
    するクラスとして、当該求められた成立度が最も高かっ
    たクラス以外のクラスを推論する前記処理部の動作とを
    制御することを特徴とする情報記憶媒体。