JPH0363775A - ニューラルネットワークシステム - Google Patents
ニューラルネットワークシステムInfo
- Publication number
- JPH0363775A JPH0363775A JP1199725A JP19972589A JPH0363775A JP H0363775 A JPH0363775 A JP H0363775A JP 1199725 A JP1199725 A JP 1199725A JP 19972589 A JP19972589 A JP 19972589A JP H0363775 A JPH0363775 A JP H0363775A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- patterns
- input
- output
- recognize
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
（ａｌ産業上の利用分野
この発明は、入力されたパターンを認識するニューラル
ネットワークに関する。
ネットワークに関する。
（ｂ）従来の技術
文字、音声等の認識を簡略なアルゴリズムで効率よく認
識する方法としてニューラルネットワークが提案されて
いる。ニューラルネットワークは、入カバターンとこの
人カバターンの正しい認識結果である期待出力とを対応
させてニューラルネットワークに与え、入カバターンか
ら得られる実際の出力と期待出力との差が小さくなるよ
うに各ニューロンの結合を改変してゆくバックプロパゲ
ーション等の学習アルゴリズムにより簡略な構成で高い
認識率を得ることができる。
識する方法としてニューラルネットワークが提案されて
いる。ニューラルネットワークは、入カバターンとこの
人カバターンの正しい認識結果である期待出力とを対応
させてニューラルネットワークに与え、入カバターンか
ら得られる実際の出力と期待出力との差が小さくなるよ
うに各ニューロンの結合を改変してゆくバックプロパゲ
ーション等の学習アルゴリズムにより簡略な構成で高い
認識率を得ることができる。
ｆｃ）発明が解決しようとする課題
しかし、このような学習アルゴリズムを用いても、−船
釣に線型分離不可能な複数のパターン群など分離の悪い
パターンの識別は困難であり、なかには学習を重ねても
認識が不可能なパターンも存在する。このようなパター
ンをも認識させようとすれば、学習回数を増加させなけ
ればならずニューラルネットワークが稼働できるように
なるまでに時間が掛かる欠点があった。またいくら学習
を重ねても高い認識率を得ることができないパターンも
あり、これを単一のニューラルネットワークで認識しよ
うとすればネットワークの構造を複雑化しなければなら
ないため、演算に時間が掛かってしまううえ、認識が細
部に及び過ぎるため、ノイズの混入が多くなり、却って
全体の認識率を低下させてしまう欠点があった。
釣に線型分離不可能な複数のパターン群など分離の悪い
パターンの識別は困難であり、なかには学習を重ねても
認識が不可能なパターンも存在する。このようなパター
ンをも認識させようとすれば、学習回数を増加させなけ
ればならずニューラルネットワークが稼働できるように
なるまでに時間が掛かる欠点があった。またいくら学習
を重ねても高い認識率を得ることができないパターンも
あり、これを単一のニューラルネットワークで認識しよ
うとすればネットワークの構造を複雑化しなければなら
ないため、演算に時間が掛かってしまううえ、認識が細
部に及び過ぎるため、ノイズの混入が多くなり、却って
全体の認識率を低下させてしまう欠点があった。
この発明は、このような現状に鑑み、認識しにくいパタ
ーンのみ別のニューラルネットワークで認識するように
して認識率を高めたニューラルネットワークシステムを
提供することを目的とする（ｄ）課題を解決するための
手段 （１） この出願の第一の発明は、 入力されたパターンの全てについて認識結果を出力する
よう組織化された第一のニューラルネットワークと、 第一のニューラルネットワークが認識容易なパターンと
認識困難なパターンとを識別出力するよう組織化された
第二〇ニューラルネットワークと第一〇ニューラルネッ
トワークが認識困難なパターンのみ学習されており、第
一のニューラルネットワークが認識困難なパターンにつ
いての認識結果を出力するよう組織化された第三のニュ
ーラルネットワークと、 を有することを特徴とする。
ーンのみ別のニューラルネットワークで認識するように
して認識率を高めたニューラルネットワークシステムを
提供することを目的とする（ｄ）課題を解決するための
手段 （１） この出願の第一の発明は、 入力されたパターンの全てについて認識結果を出力する
よう組織化された第一のニューラルネットワークと、 第一のニューラルネットワークが認識容易なパターンと
認識困難なパターンとを識別出力するよう組織化された
第二〇ニューラルネットワークと第一〇ニューラルネッ
トワークが認識困難なパターンのみ学習されており、第
一のニューラルネットワークが認識困難なパターンにつ
いての認識結果を出力するよう組織化された第三のニュ
ーラルネットワークと、 を有することを特徴とする。
（２） この出願の第二の発明は、
入力されたパターンを複数のカテゴリに分類するニュー
ラルネットワークシステムであって、入力されたパター
ンの全てについてその属するカテゴリを認識出力するよ
う組織化された第一のニューラルネットワークと、 第一〇ニューラルネットワークが認識困難なパターンを
認識出力するよう組織化された第二のニューラルネット
ワークと、 を設け、 前記第二のニューラルネットワークを各カテゴリ別に複
数設けたことを特徴とする。
ラルネットワークシステムであって、入力されたパター
ンの全てについてその属するカテゴリを認識出力するよ
う組織化された第一のニューラルネットワークと、 第一〇ニューラルネットワークが認識困難なパターンを
認識出力するよう組織化された第二のニューラルネット
ワークと、 を設け、 前記第二のニューラルネットワークを各カテゴリ別に複
数設けたことを特徴とする。
（ｅ１発明の作用
この出願の第一の発明に係るニューラルネットワークシ
ステムは第一〜第三のニューラルネットワークを有して
いる。第一のニューラルネットワークは入力された全て
のパターンについて認識結果を出力する。このため入力
され得る全てのパターンについての学習を行っており類
似するパターン間の微細な相違に関して混同する可能性
がある。このため、学習による認識能力の判定に基づき
第一のニューラルネットワークで認識が困難なパターン
であるか否かを第二のニューラルネットワークで判断し
、このパターンのみ第三〇ニューラルネットワークで認
識をするようにした。第一第二のニューラルネットワー
クはともに入力される全パターンを認識対象とするが、
それぞれ期待出力が異なるためネットワークの組織化も
異なりより単純な判断を行う第二のニューラルネットワ
ークの判定率が高くなる。また、第三のニューラルネッ
トワークは第一のニューラルネットワークが認識困難で
あったパターンのみを学習し、これらの認識のみを行う
ため、いわゆる微細な相違のみを認識すればよくなり高
い認識率を得ることができる。
ステムは第一〜第三のニューラルネットワークを有して
いる。第一のニューラルネットワークは入力された全て
のパターンについて認識結果を出力する。このため入力
され得る全てのパターンについての学習を行っており類
似するパターン間の微細な相違に関して混同する可能性
がある。このため、学習による認識能力の判定に基づき
第一のニューラルネットワークで認識が困難なパターン
であるか否かを第二のニューラルネットワークで判断し
、このパターンのみ第三〇ニューラルネットワークで認
識をするようにした。第一第二のニューラルネットワー
クはともに入力される全パターンを認識対象とするが、
それぞれ期待出力が異なるためネットワークの組織化も
異なりより単純な判断を行う第二のニューラルネットワ
ークの判定率が高くなる。また、第三のニューラルネッ
トワークは第一のニューラルネットワークが認識困難で
あったパターンのみを学習し、これらの認識のみを行う
ため、いわゆる微細な相違のみを認識すればよくなり高
い認識率を得ることができる。
このように単純なニューラルネットワークを複数組み合
わせることによって、認識率を向上することができると
ともに、各ニューラルネットワークの複雑化や学習回数
の増加を防止することができる。
わせることによって、認識率を向上することができると
ともに、各ニューラルネットワークの複雑化や学習回数
の増加を防止することができる。
また、この出願に係る第二のニューラルネットワークシ
ステムは第一、第二のニューラルネットワークを有して
おり、第一のニューラルネットワークは入力された全て
のパターンについて認識結果を出力するため、全てのパ
ターンについての学習を実行している。これにより認識
困難となったパターンに関して、第二のニューラルネッ
トワークがどのカテゴリに属するかを認識する。このた
め、各カテゴリ毎に第二〇ニューラルネットワークを設
け、第一〇ニューラルネットワークが認識困難な自己の
カテゴリに属するパターンのみ認識出力するようにした
。これにより分類するカテゴリが多岐にわたっても確実
な認識が可能になった（ｆ）実施例 第１図はこの発明の実施例であるニューラルネットワー
クシステムの構成を示す図であり、第２図は各ニューラ
ルネットワークの構成を示す図である。また、第３図（
Ａ）〜（Ｄ）は各ニューラルネットワークの学習内容を
示す図である。
ステムは第一、第二のニューラルネットワークを有して
おり、第一のニューラルネットワークは入力された全て
のパターンについて認識結果を出力するため、全てのパ
ターンについての学習を実行している。これにより認識
困難となったパターンに関して、第二のニューラルネッ
トワークがどのカテゴリに属するかを認識する。このた
め、各カテゴリ毎に第二〇ニューラルネットワークを設
け、第一〇ニューラルネットワークが認識困難な自己の
カテゴリに属するパターンのみ認識出力するようにした
。これにより分類するカテゴリが多岐にわたっても確実
な認識が可能になった（ｆ）実施例 第１図はこの発明の実施例であるニューラルネットワー
クシステムの構成を示す図であり、第２図は各ニューラ
ルネットワークの構成を示す図である。また、第３図（
Ａ）〜（Ｄ）は各ニューラルネットワークの学習内容を
示す図である。
このシステムは、入力されたパターンをＡ、 Ｂ何れ
かのカテゴリに分類するためのシステムであり、３個の
ニューラルネットワークＮＮＡ、ＮＮＢ、ＮＮＣおよび
これらのニューラルネットワークの出力を総合して結果
ｙを出力する制御装置４とを有している。このうち第一
〇ニューラルネットワークＮＮＡは、入力され得る全て
のパターンについての学習がなされており、入力される
全てのパターンについてその属するカテゴリ（Ａ、
Ｂ）を判断する０判断結果は“１′、０”で出力され、
“１”は入カバターンがカテゴリＡに属することを意味
し、“０°“は入カバターンがカテゴリＢに属すること
を意味する。また、第二のニューラルネットワークＮＮ
Ｂは、入力され得る全てのパターンについてその入カバ
ターンが第一のニューラルネットワークによって正確に
分類されるか否かが学習されている。この学習は第一〇
ニューラルネットワークＮＮＡの学習結果に基づいて行
われる。これにより、入力されたパターンが第一〇ニュ
ーラルネットワークＮＮＡでは正しい分類をしにくいも
のである場合に１″を出力する。
かのカテゴリに分類するためのシステムであり、３個の
ニューラルネットワークＮＮＡ、ＮＮＢ、ＮＮＣおよび
これらのニューラルネットワークの出力を総合して結果
ｙを出力する制御装置４とを有している。このうち第一
〇ニューラルネットワークＮＮＡは、入力され得る全て
のパターンについての学習がなされており、入力される
全てのパターンについてその属するカテゴリ（Ａ、
Ｂ）を判断する０判断結果は“１′、０”で出力され、
“１”は入カバターンがカテゴリＡに属することを意味
し、“０°“は入カバターンがカテゴリＢに属すること
を意味する。また、第二のニューラルネットワークＮＮ
Ｂは、入力され得る全てのパターンについてその入カバ
ターンが第一のニューラルネットワークによって正確に
分類されるか否かが学習されている。この学習は第一〇
ニューラルネットワークＮＮＡの学習結果に基づいて行
われる。これにより、入力されたパターンが第一〇ニュ
ーラルネットワークＮＮＡでは正しい分類をしにくいも
のである場合に１″を出力する。
第三のニューラルネットワークは、第二のニューラルネ
ットワークが“１”を出力するようなパターンのみにつ
いて学習されており、このような入カバターンがＡ、Ｂ
何れのカテゴリに属するかを判断する。
ットワークが“１”を出力するようなパターンのみにつ
いて学習されており、このような入カバターンがＡ、Ｂ
何れのカテゴリに属するかを判断する。
各ニューラルネットワークＮＮＡ、ＮＮＢ、ＮＮＣは、
第２図に示すように入力層−中間層−出力層の３層から
なる階層構造になっており、入力層はｎ個のニューロン
からなり、中間層はｍ個（ｍａｎ）のニューロンからな
り、出力層は１個のニューロンからなっている。入力層
のｎ個のニューロンにはＸＩ〜Ｘ７のｎ行のベクトルで
表現されるパターンが入力される。入力層の各ニューロ
ンは中間層の全てのニューロンと各々異なる結合係数で
結合している。中間層の各ニューロンは入力層からの入
力の合計値に基づいて出力する値を決定する。この出力
値の決定はシグモイド関数による演算で行われる。さら
に、中間層の全てのニューロンは出力層のニューロンに
結合している。
第２図に示すように入力層−中間層−出力層の３層から
なる階層構造になっており、入力層はｎ個のニューロン
からなり、中間層はｍ個（ｍａｎ）のニューロンからな
り、出力層は１個のニューロンからなっている。入力層
のｎ個のニューロンにはＸＩ〜Ｘ７のｎ行のベクトルで
表現されるパターンが入力される。入力層の各ニューロ
ンは中間層の全てのニューロンと各々異なる結合係数で
結合している。中間層の各ニューロンは入力層からの入
力の合計値に基づいて出力する値を決定する。この出力
値の決定はシグモイド関数による演算で行われる。さら
に、中間層の全てのニューロンは出力層のニューロンに
結合している。
出力層ニューロンは中間層の各ニューロンからの入力値
の合計値に基づいて出力する値を決定する。この決定も
シグモイド関数によって行われる。
の合計値に基づいて出力する値を決定する。この決定も
シグモイド関数によって行われる。
ここで、前層のニューロンからの入力値は前層ニューロ
ンの出力値Ｏとそのニューロンとの結合係数（結合の強
さ）はＷの積となる。そこで、中間層、出力層のニュー
ロンの出力関数は、前層からの入力の総和ｎｅｔ＝ΣＷ
ｉｊ・０．に関するシグモイド関数ｆ （ｎｅｔ） に基づく閾値関数Ｆ （ｎｅｔ）で定義される。この闇
値関数Ｆ （ｎｅｔ）は、ｆ （ｎｅｔ）の値が閾値ｈ
１以上の場合は“１”を出力し、閾値ｈ２ （ｈｌ＞ｈ
２）以下の場合には“Ｏ″を出力する。すなわち、ｉｆ
ｆ （ｎｅｔ）≧ｈｌ ｔｈｅｎ Ｆ （
ｎｅｔ） ＝ １ｉｆ ｈｌ≦ｆ （ｎｅｔ）≦ｈ２
ｔｈｅｎ Ｆ （ｎｅｔ） ＝ ｆ （ｎｅｔ）
ｉｆ ｆ （ｎｅｔ）≦ｈ２ ｔｈｅｎ
Ｆ （ｒ＋ｅｔ） ＝ ０となる。
ンの出力値Ｏとそのニューロンとの結合係数（結合の強
さ）はＷの積となる。そこで、中間層、出力層のニュー
ロンの出力関数は、前層からの入力の総和ｎｅｔ＝ΣＷ
ｉｊ・０．に関するシグモイド関数ｆ （ｎｅｔ） に基づく閾値関数Ｆ （ｎｅｔ）で定義される。この闇
値関数Ｆ （ｎｅｔ）は、ｆ （ｎｅｔ）の値が閾値ｈ
１以上の場合は“１”を出力し、閾値ｈ２ （ｈｌ＞ｈ
２）以下の場合には“Ｏ″を出力する。すなわち、ｉｆ
ｆ （ｎｅｔ）≧ｈｌ ｔｈｅｎ Ｆ （
ｎｅｔ） ＝ １ｉｆ ｈｌ≦ｆ （ｎｅｔ）≦ｈ２
ｔｈｅｎ Ｆ （ｎｅｔ） ＝ ｆ （ｎｅｔ）
ｉｆ ｆ （ｎｅｔ）≦ｈ２ ｔｈｅｎ
Ｆ （ｒ＋ｅｔ） ＝ ０となる。
◆
このような構成のニューラルネットワークＮＮＡ、ＮＮ
Ｂ、ＮＮＣについて、以下の手順で学習を行わせる。
Ｂ、ＮＮＣについて、以下の手順で学習を行わせる。
第一のニューラルネットワークＮＮＡには第３図（Ａ）
に示すような入力バターン群Ａ、Ｂとその期待出力デー
タ“１”、°“Ｏ”との組み合せをｎ回学習させる。学
習は公知のバックプロパゲーションのアルゴリズムに基
づいて行われる。すなわち、入カバターンを入力し出力
と期待出力データとの差が極小になるように結合係数を
変更してゆく。これにより、第一〇ニューラルネットワ
ークＮＮＡは対応する入カバターンがＡに属するもので
あるとき１″を出力し、入カバターンがＢに属するもの
であるとき“０”を出力するように組織化される。
に示すような入力バターン群Ａ、Ｂとその期待出力デー
タ“１”、°“Ｏ”との組み合せをｎ回学習させる。学
習は公知のバックプロパゲーションのアルゴリズムに基
づいて行われる。すなわち、入カバターンを入力し出力
と期待出力データとの差が極小になるように結合係数を
変更してゆく。これにより、第一〇ニューラルネットワ
ークＮＮＡは対応する入カバターンがＡに属するもので
あるとき１″を出力し、入カバターンがＢに属するもの
であるとき“０”を出力するように組織化される。
このようにＮＮＡを学習させた時点で、全ての学習デー
タについての出力データを検査し、正しく学習できた（
正しく分類できた）入カバターンと正しく学習できなか
った（正しく分類できなかった）人カバターンとを識別
する（第３図（Ｂ））。ここで、正しく学習できなかっ
たとは、期待出力が°“１”であるにもかかわらず“１
”以外の値（“′Ｏ”°または中間値）が出力されるこ
と、や期待出力が“°０”であるにもかかわらず“０“
以外の値（“１パまたは中間値）が出力されることをい
う。このとき、入力バターン群Ａのうち第一のニューラ
ルネットワークＮＮＡが正しく識別できたパターン群を
Ａｌ、ＮＮＡが正しく識別できなかった入カバターン群
をＡ２とする。また、入力バターン群Ｂのうち第一のニ
ューラルネットワークＮＮＡが正しく識別できたパター
ン群をＢｌ。
タについての出力データを検査し、正しく学習できた（
正しく分類できた）入カバターンと正しく学習できなか
った（正しく分類できなかった）人カバターンとを識別
する（第３図（Ｂ））。ここで、正しく学習できなかっ
たとは、期待出力が°“１”であるにもかかわらず“１
”以外の値（“′Ｏ”°または中間値）が出力されるこ
と、や期待出力が“°０”であるにもかかわらず“０“
以外の値（“１パまたは中間値）が出力されることをい
う。このとき、入力バターン群Ａのうち第一のニューラ
ルネットワークＮＮＡが正しく識別できたパターン群を
Ａｌ、ＮＮＡが正しく識別できなかった入カバターン群
をＡ２とする。また、入力バターン群Ｂのうち第一のニ
ューラルネットワークＮＮＡが正しく識別できたパター
ン群をＢｌ。
ＮＮＡが正しく識別できなかった人カバターン群をＢ２
とする。第二のニューラルネットワークは、ＡＩ、Ｂｌ
に属するパターンが入力されたとき“０゛°を出力し、
Ａ２．Ｂ２に属するパターンが入力されたとき”１”を
出力するように（第３図（Ｃ））学習される。この学習
により、第二のニューラルネットワークＮＮＢは、第一
のニューラルネットワークＮＮＡが正確な分類をできな
いパターンが入力されたとき“１”を出力するように組
織化される。
とする。第二のニューラルネットワークは、ＡＩ、Ｂｌ
に属するパターンが入力されたとき“０゛°を出力し、
Ａ２．Ｂ２に属するパターンが入力されたとき”１”を
出力するように（第３図（Ｃ））学習される。この学習
により、第二のニューラルネットワークＮＮＢは、第一
のニューラルネットワークＮＮＡが正確な分類をできな
いパターンが入力されたとき“１”を出力するように組
織化される。
さらに、第三のニューラルネットワークＮＮＣには、第
一のニューラルネットワークＮＮＡが正しく分類できな
かったパターン群Ａ２．Ｂ２のみ（第３図（Ｄ））を学
習させる。この場合、期待出力データはＡ２： “１”
、Ｂ２：“′Ｏ”である。
一のニューラルネットワークＮＮＡが正しく分類できな
かったパターン群Ａ２．Ｂ２のみ（第３図（Ｄ））を学
習させる。この場合、期待出力データはＡ２： “１”
、Ｂ２：“′Ｏ”である。
この学習により第三のニューラルネットワークＮＳＣは
Ａ２ （Ａ）、Ｂ２ （Ｂ）に属するパターンを正しく
分類できるように組織化される。すなわち、認識が困難
なパターン群（類似したパターン群）Ａ２．Ｂ２のみを
学習したことにより、パターンの微妙な差異に大きく反
応するシナプス結合が形成されこれらの分類が可能とな
る。
Ａ２ （Ａ）、Ｂ２ （Ｂ）に属するパターンを正しく
分類できるように組織化される。すなわち、認識が困難
なパターン群（類似したパターン群）Ａ２．Ｂ２のみを
学習したことにより、パターンの微妙な差異に大きく反
応するシナプス結合が形成されこれらの分類が可能とな
る。
また、制御回路４は第二のニューラルネットワークＮＮ
Ｂの出力データに基づいて第一のニューラルネットワー
クＮＮＡまたは第三のニューラルネットワークＮＮＣの
何れの出力データを結論として採用するかを判断する回
路である。すなわち、ＮＮＢの出力が“ＯＮの場合には
、ＮＮＡで正確に分類可能なパターンが入力されたこと
を意味するため、ＮＮＡの出力データを結果出力として
採用し、ＮＮＢの出力が“１″の場合には、ＮＮＡで正
確に分類不可能なパターンが入力されたことを意味する
ため、ＮＮＣの出力データを結果出力として採用する。
Ｂの出力データに基づいて第一のニューラルネットワー
クＮＮＡまたは第三のニューラルネットワークＮＮＣの
何れの出力データを結論として採用するかを判断する回
路である。すなわち、ＮＮＢの出力が“ＯＮの場合には
、ＮＮＡで正確に分類可能なパターンが入力されたこと
を意味するため、ＮＮＡの出力データを結果出力として
採用し、ＮＮＢの出力が“１″の場合には、ＮＮＡで正
確に分類不可能なパターンが入力されたことを意味する
ため、ＮＮＣの出力データを結果出力として採用する。
これにより、このシステムの結果出力は常に正しいもの
に保たれる。
に保たれる。
ここで、この実施例ではＮＮＢ、ＮＮＣを１組設けたが
、認識困難なパターンが複数の組合せで存在する場合や
分類されるべきカテゴリが３以上ある場合にはＮＮＢ、
ＮＮＣを複数組もうけるようにしてもよい。
、認識困難なパターンが複数の組合せで存在する場合や
分類されるべきカテゴリが３以上ある場合にはＮＮＢ、
ＮＮＣを複数組もうけるようにしてもよい。
第４図はこの出願の第二の発明の実施例であるニューラ
ルネットワークシステムの構成を示す図であり、第５図
（Ａ）〜（Ｄ）は同ニューラルネットワークシステムを
構成する各ニューラルネットワークの学習内容を示す図
である。このシステムは上記第一の発明の実施例同様入
力されたパターンをＡ、Ｂいずれかカテゴリに分類する
ため構成されたものであり、３個のニューラルネットワ
ークＮＮＤ、ＮＮＥ、ＮＮＦおよびこれらのニューラル
ネットワークの出力を総合して結果ｙを出力する制御装
置５を有している。各ニューラルネットワークは上記第
一の実施例のものと同様である。
ルネットワークシステムの構成を示す図であり、第５図
（Ａ）〜（Ｄ）は同ニューラルネットワークシステムを
構成する各ニューラルネットワークの学習内容を示す図
である。このシステムは上記第一の発明の実施例同様入
力されたパターンをＡ、Ｂいずれかカテゴリに分類する
ため構成されたものであり、３個のニューラルネットワ
ークＮＮＤ、ＮＮＥ、ＮＮＦおよびこれらのニューラル
ネットワークの出力を総合して結果ｙを出力する制御装
置５を有している。各ニューラルネットワークは上記第
一の実施例のものと同様である。
このうち第一のニューラルネットワークＮＮＤは、入力
され得る全てのパターンについての学習がなされており
、入力される全てのパターンについてその属するカテゴ
リ（Ａ、Ｂ）を判断する。
され得る全てのパターンについての学習がなされており
、入力される全てのパターンについてその属するカテゴ
リ（Ａ、Ｂ）を判断する。
判断結果は“１”、“Ｏ“°で出力され、“１”は人カ
バターンがカテゴリＡに属することを意味し、“Ｏ′は
入カバターンがカテゴリＢに属することを意味する。ま
た、第二のニューラルネットワークＮＮＥ、ＮＮＦはそ
れぞれ、入力されえるパターンのうちカテゴリＡに属し
第一のニューラルネットワークによって正確に分類され
ないパターン、および、入力されえるパターンのうちカ
テゴリＢに属し第一〇ニューラルネットワークによって
正確に分類されないパターンのみを識別するよう組織化
されている。
バターンがカテゴリＡに属することを意味し、“Ｏ′は
入カバターンがカテゴリＢに属することを意味する。ま
た、第二のニューラルネットワークＮＮＥ、ＮＮＦはそ
れぞれ、入力されえるパターンのうちカテゴリＡに属し
第一のニューラルネットワークによって正確に分類され
ないパターン、および、入力されえるパターンのうちカ
テゴリＢに属し第一〇ニューラルネットワークによって
正確に分類されないパターンのみを識別するよう組織化
されている。
ニューラルネットワークをこのように組織化するための
以下のような学習が行われる。
以下のような学習が行われる。
第一のニューラルネットワークＮＮＤには、上記実施例
のＮＮＡ同様第５図（Ａ）に示すような入力バターン群
Ａ、Ｂとその期待出力データ“１“°Ｏ″との組み合せ
を学習させる。これにより、第一〇ニューラルネットワ
ークＮＮＤは対応する入カバターンがＡに属するもので
あるとき“１゛を出力し、入カバターンがＢに属するも
のであるとき“０°゛を出力するように組織化される。
のＮＮＡ同様第５図（Ａ）に示すような入力バターン群
Ａ、Ｂとその期待出力データ“１“°Ｏ″との組み合せ
を学習させる。これにより、第一〇ニューラルネットワ
ークＮＮＤは対応する入カバターンがＡに属するもので
あるとき“１゛を出力し、入カバターンがＢに属するも
のであるとき“０°゛を出力するように組織化される。
このようにＮＮＡを学習させた時点で、全ての学習デー
タについての出力データを検査し、正しく学習できた（
正しく分類できた）入カバターンと正しく学習できなか
った（正しく分類できなかった）入カバターンとを識別
する（第５図（Ｂ））。このとき、入力バターン群Ａの
うち第一のニューラルネットワークＮＮＤが正しく識別
できたパターン群をＡ１．ＮＮＤが正しく識別できなか
った入カバ、ターン群をＡ２とする。また、入力バター
ン群Ｂのうち第一〇ニューラルネットワークＮＮＤが正
しく識別できたパターン群をＢｌ、ＮＮＤが正しく識別
できなかった入カバターン群をＢ２とする。
タについての出力データを検査し、正しく学習できた（
正しく分類できた）入カバターンと正しく学習できなか
った（正しく分類できなかった）入カバターンとを識別
する（第５図（Ｂ））。このとき、入力バターン群Ａの
うち第一のニューラルネットワークＮＮＤが正しく識別
できたパターン群をＡ１．ＮＮＤが正しく識別できなか
った入カバ、ターン群をＡ２とする。また、入力バター
ン群Ｂのうち第一〇ニューラルネットワークＮＮＤが正
しく識別できたパターン群をＢｌ、ＮＮＤが正しく識別
できなかった入カバターン群をＢ２とする。
第二のニューラルネットワークＮＮＥは、このうちＡ２
に属するパターンが入力されたときのみ“１″を出力す
るように（第５図（Ｃ））学習される。この学習により
、第二のニューラルネットワークＮＮＥは、第一〇ニュ
ーラルネットワークＮＮＤが正確な分類をできないカテ
ゴリＡのパターンについてのみ°“１”を出力するよう
に組織化される。また、第二のニューラルネットワーク
ＮＮＦは、このうちＢ２に属するパターンが入力された
ときのみ“１”を出力するように（第５図（Ｄ））学習
される。この学習により、第二のニューラルネットワー
クＮＮＦは、第一〇ニューラルネットワークＮＮＤが正
確な分類をできないカテゴリＢのパターンについてのみ
°′１”を出力するように組織化される。この学習でＡ
２．Ｂ２のみを分類できるようになるのは、Ａ２または
Ｂ２のみを学習したことにより、これらのパターンのみ
に顕著な特徴に大きく反応するシナプス結合が形成され
これらの分類が可能となるからである。
に属するパターンが入力されたときのみ“１″を出力す
るように（第５図（Ｃ））学習される。この学習により
、第二のニューラルネットワークＮＮＥは、第一〇ニュ
ーラルネットワークＮＮＤが正確な分類をできないカテ
ゴリＡのパターンについてのみ°“１”を出力するよう
に組織化される。また、第二のニューラルネットワーク
ＮＮＦは、このうちＢ２に属するパターンが入力された
ときのみ“１”を出力するように（第５図（Ｄ））学習
される。この学習により、第二のニューラルネットワー
クＮＮＦは、第一〇ニューラルネットワークＮＮＤが正
確な分類をできないカテゴリＢのパターンについてのみ
°′１”を出力するように組織化される。この学習でＡ
２．Ｂ２のみを分類できるようになるのは、Ａ２または
Ｂ２のみを学習したことにより、これらのパターンのみ
に顕著な特徴に大きく反応するシナプス結合が形成され
これらの分類が可能となるからである。
また、制御回路５は第二のニューラルネットワークＮＮ
ＥまたはＮＮＦが“１”を出力したとき、この出力値を
採用して結果出力を行う回路である。すなわち、ＮＮ５
．ＮＮＦの出力が“０”の場合には、ＮＮＤで正確に分
類可能なパターンが入力されたことを意味するため、Ｎ
ＮＤの出力データを結果出力として採用し、ＮＮＥの出
力が°“１”の場合には、ＮＮ’Ｄで正確に分類不可能
であるがカテゴリＡに属するパターンであることを意味
するため結果として１”を出力する。また、ＮＮＦの出
力が“１°“の場合には、ＮＮＤで正確に分類不可能で
あるがカテゴリＢに属するパターンであることを意味す
るため結果として“Ｏ”を出力する。これにより、この
システムの結果出力は常に正しいものに保たれる。
ＥまたはＮＮＦが“１”を出力したとき、この出力値を
採用して結果出力を行う回路である。すなわち、ＮＮ５
．ＮＮＦの出力が“０”の場合には、ＮＮＤで正確に分
類可能なパターンが入力されたことを意味するため、Ｎ
ＮＤの出力データを結果出力として採用し、ＮＮＥの出
力が°“１”の場合には、ＮＮ’Ｄで正確に分類不可能
であるがカテゴリＡに属するパターンであることを意味
するため結果として１”を出力する。また、ＮＮＦの出
力が“１°“の場合には、ＮＮＤで正確に分類不可能で
あるがカテゴリＢに属するパターンであることを意味す
るため結果として“Ｏ”を出力する。これにより、この
システムの結果出力は常に正しいものに保たれる。
（０発明の効果
以上のようにこの発明のニューラルネットワ−クシステ
ムによれば、全部の入カバターンについて認識結果を出
力するニューラルネットワークが全ての入カバターンに
ついて正確でない場合、不正確なもののみ他のニューラ
ルネットワークで認識させるようにしたことにより、こ
の「他のニューラルネットワーク」は一般的に認識が困
難なもののみについて学習を行い、これらを認識するの
みでよいため、一般的なニューラルネットワークでは捉
えにくいパターンの微妙な差異に対して顕著に反応する
ように組織化され、確実な認識を行うことができる。こ
のように、一般的な動作を行うニューラルネットワーク
と特殊な動作を行うニューラルネットワークと組み合わ
せたことにより、各ニューラルネットワークの構成を複
雑化させる必要がなく、また、学習回数を増やす必要も
なくなるため、簡略に極めて認識確度の高いニューラル
ネットワークシステムを実現することができる。
ムによれば、全部の入カバターンについて認識結果を出
力するニューラルネットワークが全ての入カバターンに
ついて正確でない場合、不正確なもののみ他のニューラ
ルネットワークで認識させるようにしたことにより、こ
の「他のニューラルネットワーク」は一般的に認識が困
難なもののみについて学習を行い、これらを認識するの
みでよいため、一般的なニューラルネットワークでは捉
えにくいパターンの微妙な差異に対して顕著に反応する
ように組織化され、確実な認識を行うことができる。こ
のように、一般的な動作を行うニューラルネットワーク
と特殊な動作を行うニューラルネットワークと組み合わ
せたことにより、各ニューラルネットワークの構成を複
雑化させる必要がなく、また、学習回数を増やす必要も
なくなるため、簡略に極めて認識確度の高いニューラル
ネットワークシステムを実現することができる。
第１図はこの出願の第一の発明の実施例であるニューラ
ルネットワークシステムの構成を示す図、第２図は同ニ
ューラルネットワークシステムで使用されるニューラル
ネットワークの構成を示す図、第３図（Ａ）〜（Ｄ）は
同ニューラルネットワークの学習内容を示す図である。 二大味ヲ諺班士本母＝４ｄ４ 第４図はこの出願の第二の発明の実施例であるニューラ
ルネットワークシステムの構成を示す図、第５図（Ａ）
〜（Ｄ）は同ニューラルネットワークシステムに使用さ
れる各ニューラルネットワークの学習内容を示す図であ
る。 ＮＮＡ〜ＮＮＦ−ニューラルネットワーク、４．５−制
御回路。
ルネットワークシステムの構成を示す図、第２図は同ニ
ューラルネットワークシステムで使用されるニューラル
ネットワークの構成を示す図、第３図（Ａ）〜（Ｄ）は
同ニューラルネットワークの学習内容を示す図である。 二大味ヲ諺班士本母＝４ｄ４ 第４図はこの出願の第二の発明の実施例であるニューラ
ルネットワークシステムの構成を示す図、第５図（Ａ）
〜（Ｄ）は同ニューラルネットワークシステムに使用さ
れる各ニューラルネットワークの学習内容を示す図であ
る。 ＮＮＡ〜ＮＮＦ−ニューラルネットワーク、４．５−制
御回路。
Claims (2)
- （１）入力されたパターンの全てについて認識結果を出
力するよう組織化された第一のニューラルネットワーク
と、 第一のニューラルネットワークが認識容易なパターンと
認識困難なパターンとを識別出力するよう組織化された
第二のニューラルネットワークと第一のニューラルネッ
トワークが認識困難なパターンのみ学習されており、第
一のニューラルネットワークが認識困難なパターンにつ
いての認識結果を出力するよう組織化された第三のニュ
ーラルネットワークと、 を有することを特徴とするニューラルネットワークシス
テム。 - （２）入力されたパターンを複数のカテゴリに分類する
ニューラルネットワークシステムであって入力されたパ
ターンの全てについてその属するカテゴリを認識出力す
るよう組織化された第一のニューラルネットワークと、 第一のニューラルネットワークが認識困難なパターンを
認識出力するよう組織化された第二のニューラルネット
ワークと、 を設け、 前記第二のニューラルネットワークを各カテゴリ別に複
数設けたことを特徴とするニューラルネットワークシス
テム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1199725A JPH0363775A (ja) | 1989-07-31 | 1989-07-31 | ニューラルネットワークシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1199725A JPH0363775A (ja) | 1989-07-31 | 1989-07-31 | ニューラルネットワークシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0363775A true JPH0363775A (ja) | 1991-03-19 |
Family
ID=16412578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1199725A Pending JPH0363775A (ja) | 1989-07-31 | 1989-07-31 | ニューラルネットワークシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0363775A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998029833A1 (en) * | 1996-12-25 | 1998-07-09 | Hitachi, Ltd. | Pattern recognition apparatus and pattern recognition method |
| JP2020524854A (ja) * | 2017-06-22 | 2020-08-20 | ウェイモ エルエルシー | 珍しい事例の分類 |
-
1989
- 1989-07-31 JP JP1199725A patent/JPH0363775A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998029833A1 (en) * | 1996-12-25 | 1998-07-09 | Hitachi, Ltd. | Pattern recognition apparatus and pattern recognition method |
| US6549661B1 (en) | 1996-12-25 | 2003-04-15 | Hitachi, Ltd. | Pattern recognition apparatus and pattern recognition method |
| JP2020524854A (ja) * | 2017-06-22 | 2020-08-20 | ウェイモ エルエルシー | 珍しい事例の分類 |
| US11093799B2 (en) | 2017-06-22 | 2021-08-17 | Waymo Llc | Rare instance classifiers |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reid et al. | Rapid training of higher-order neural networks for invariant pattern recognition | |
| JP2940933B2 (ja) | パターン認識方式 | |
| Carpenter | Neural network models for pattern recognition and associative memory | |
| CN109063728A (zh) | 一种火灾图像深度学习模式识别方法 | |
| US6038338A (en) | Hybrid neural network for pattern recognition | |
| Tivive et al. | A new class of convolutional neural networks (SICoNNets) and their application of face detection | |
| Ritter et al. | Morphological perceptrons with dendritic structure | |
| CN118447317A (zh) | 基于多尺度脉冲卷积神经网络的图像分类学习方法 | |
| Ito et al. | Category classification method using a self-organizing neural network | |
| Bouchain | Character recognition using convolutional neural networks | |
| US6560582B1 (en) | Dynamic memory processor | |
| Chauhan et al. | Pattern recognition system using MLP neural networks | |
| Baraldi et al. | Fuzzy combination of Kohonen's and ART neural network models to detect statistical regularities in a random sequence of multi-valued input patterns | |
| CN110458818A (zh) | 一种基于神经网络算法的槟榔检测方法 | |
| US5293454A (en) | Learning method of neural network | |
| JPH0363775A (ja) | ニューラルネットワークシステム | |
| Tivive et al. | A face detection system using shunting inhibitory convolutional neural networks | |
| Mirchandani et al. | Plant disease detection and classification using image processing and artificial neural networks | |
| Ritter et al. | A new auto-associative memory based on lattice algebra | |
| Petkov et al. | Generalized net model of the cognitive and neural algorithm for adaptive resonance theory 1 | |
| Shankar | Neural networks | |
| JPH02310782A (ja) | ファジィニューロン | |
| JP3243313B2 (ja) | パターン認識用ファジィニューロン | |
| JPH01232464A (ja) | ニューラルネット構成方法 | |
| Bichsel | Image processing with optimum neural networks |