JPH03288285A - データ処理装置の学習方法 - Google Patents
データ処理装置の学習方法Info
- Publication number
- JPH03288285A JPH03288285A JP2088163A JP8816390A JPH03288285A JP H03288285 A JPH03288285 A JP H03288285A JP 2088163 A JP2088163 A JP 2088163A JP 8816390 A JP8816390 A JP 8816390A JP H03288285 A JPH03288285 A JP H03288285A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neurons
- input
- output
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
- G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
- G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
- G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
- G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S706/00—Data processing: artificial intelligence
- Y10S706/90—Fuzzy logic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野］
本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。
データ処理装置に関する。
この種のデータ処理装置におけるニューラルネットワー
クは、第３図に示す神経細胞モデル（以下、ニューロン
という）１を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩ、、Ｉ２
、Ｉ３・・・Ｉｎにはそれぞれ重みＷｌ、Ｗ２、Ｗ３・
・・Ｗｎが掛けられ、これらの総和と閾値θとの比較結
果に応したデータ○が出力される。
クは、第３図に示す神経細胞モデル（以下、ニューロン
という）１を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩ、、Ｉ２
、Ｉ３・・・Ｉｎにはそれぞれ重みＷｌ、Ｗ２、Ｗ３・
・・Ｗｎが掛けられ、これらの総和と閾値θとの比較結
果に応したデータ○が出力される。
この比較方法としては種々のものが可能であるが、例え
ば正規化関数１〔ｆ］を採用すると、出力データ○は、 ○＝１ 〔ΣＷｎ・Ｉｎ−θ〕・・・・・（１）と表さ
れる。すなわち、ΣＷｎ・Ｉｎが闇値８以上の時そのニ
ューロンは発火して出力データ０は「１」となり、また
ΣＷｎ・Ｉｎが閾値θより小さい時出力データ○は「０
」となる。
ば正規化関数１〔ｆ］を採用すると、出力データ○は、 ○＝１ 〔ΣＷｎ・Ｉｎ−θ〕・・・・・（１）と表さ
れる。すなわち、ΣＷｎ・Ｉｎが闇値８以上の時そのニ
ューロンは発火して出力データ０は「１」となり、また
ΣＷｎ・Ｉｎが閾値θより小さい時出力データ○は「０
」となる。
従来のニューラルネットワークは、このようなニューロ
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成される。
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成される。
ニューラルレイヤは例えば、ローゼンブラット（Ｒｏｓ
ｅｎｂｌａｔｔ）が提案したパーセプトロンのように３
層すなわち入力層、中間層および出力層から成り、各層
のニューロンは隣接する他の層の全てのニューロンにシ
ナプス結合する。
ｅｎｂｌａｔｔ）が提案したパーセプトロンのように３
層すなわち入力層、中間層および出力層から成り、各層
のニューロンは隣接する他の層の全てのニューロンにシ
ナプス結合する。
〔発明が解決しようとする課題］
このようなデータ処理装置において各ニューロンのシナ
プス重みを最適化する操作は「学習」と呼ばれ、その実
現の保証と効率化は重要な課題である。例えば、近年注
目を集めているハックプロパゲーション法では、ローカ
ルミニマムからの脱出と、収束時間が問題点として残さ
れている。特に多数の中間層を含むニューラルネットワ
ークにおいてその傾向が大である。
プス重みを最適化する操作は「学習」と呼ばれ、その実
現の保証と効率化は重要な課題である。例えば、近年注
目を集めているハックプロパゲーション法では、ローカ
ルミニマムからの脱出と、収束時間が問題点として残さ
れている。特に多数の中間層を含むニューラルネットワ
ークにおいてその傾向が大である。
本発明はこのような従来の問題点を解消すべく創案され
たもので、中間層に対し効率的学習を施し得る学習方法
を提供することを目的とする。
たもので、中間層に対し効率的学習を施し得る学習方法
を提供することを目的とする。
〔課題を解決するための手段］
本発明に係る学習方法は、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応するニューロンおよびこのニュ
ーロンに隣接スるニューロンのうち所定の割合以上のニ
ューロンが発火している場合に、発火する傾向を持つよ
うに、中間層および出力層のシナプスの重みを決定する
ものである。そして、中間層が多数設けられる場合には
、１個の中間層の学習が所定段階まで終了したときに、
新たに中間層を追加し、これに対しても同様の学習を施
し、逐次中間層を増加させるものである。ここに人出六
層のニューロン数はその１回のデータ容量により決定さ
れ、処理し得るデータ個数はニューラルネットワーク全
体のニューロン数により決定される。したがって多くの
データの処理のためには中間層の増大は必須である。
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応するニューロンおよびこのニュ
ーロンに隣接スるニューロンのうち所定の割合以上のニ
ューロンが発火している場合に、発火する傾向を持つよ
うに、中間層および出力層のシナプスの重みを決定する
ものである。そして、中間層が多数設けられる場合には
、１個の中間層の学習が所定段階まで終了したときに、
新たに中間層を追加し、これに対しても同様の学習を施
し、逐次中間層を増加させるものである。ここに人出六
層のニューロン数はその１回のデータ容量により決定さ
れ、処理し得るデータ個数はニューラルネットワーク全
体のニューロン数により決定される。したがって多くの
データの処理のためには中間層の増大は必須である。
（実施例〕
以下図示実施例により本発明を説明する。
第１図は、本発明の一実施例に係るデータ処理装置を有
する文字認識システムを示す。この文字認識システムは
、ビデオカメラＩＱ、前処理装置２０、データ処理装置
３０、後処理装置４０およびデイスプレィ５０を備える
。ビデオカメラ１０は文字を入力するために設けられ、
前処理装置２０に接続される。前処理装置２０は例えば
従来公知の画像処理装置であり、入力された文字の特徴
データ（例えば端点数、分岐点数等）を抽出し、この特
徴データをデータ処理装置３０に出力する。
する文字認識システムを示す。この文字認識システムは
、ビデオカメラＩＱ、前処理装置２０、データ処理装置
３０、後処理装置４０およびデイスプレィ５０を備える
。ビデオカメラ１０は文字を入力するために設けられ、
前処理装置２０に接続される。前処理装置２０は例えば
従来公知の画像処理装置であり、入力された文字の特徴
データ（例えば端点数、分岐点数等）を抽出し、この特
徴データをデータ処理装置３０に出力する。
データ処理装置３ｏは、後述するようにニューラルネッ
トワークを構成し、前処理装置２０から入力された文字
の特徴データ０こ基づいてその文字を認識し、この認識
結果乙こ応したデータを後処理装置４０に出力する。認
識信号は例えばキャラクタコートであり、後処理装置４
０はこの出力データを例えばワープロデータとして格納
し、同時にデイスプレィ５０に出力する。デイスプレィ
５０は例えｓｉ ＣＲＴから構成され、データ処理装置
３０により認識された文字を画面上に表示する。
トワークを構成し、前処理装置２０から入力された文字
の特徴データ０こ基づいてその文字を認識し、この認識
結果乙こ応したデータを後処理装置４０に出力する。認
識信号は例えばキャラクタコートであり、後処理装置４
０はこの出力データを例えばワープロデータとして格納
し、同時にデイスプレィ５０に出力する。デイスプレィ
５０は例えｓｉ ＣＲＴから構成され、データ処理装置
３０により認識された文字を画面上に表示する。
データ処理装置３０を構成するニューラルネントワーク
はコンピュータのハードウェアの一部としてｉｔされる
。このデータ処理装置３０は第１図において模式的に表
されており、この図から理解されるように入力１ｉ１３
１、中間層３２および出力層３３を有し、中間層３２は
入力層３１および出力層３３の間に配設される。各層３
１．３２゜３３は本実施例において、それぞれ同数のニ
ューロンＮを有し、入力層３１のニューロンＮは中間層
３２の全てのニューロンＮに接続され、また中間層３２
のニューロンＮｊよ出力層３３の全てのニューロンＮに
接続される。
はコンピュータのハードウェアの一部としてｉｔされる
。このデータ処理装置３０は第１図において模式的に表
されており、この図から理解されるように入力１ｉ１３
１、中間層３２および出力層３３を有し、中間層３２は
入力層３１および出力層３３の間に配設される。各層３
１．３２゜３３は本実施例において、それぞれ同数のニ
ューロンＮを有し、入力層３１のニューロンＮは中間層
３２の全てのニューロンＮに接続され、また中間層３２
のニューロンＮｊよ出力層３３の全てのニューロンＮに
接続される。
各ニューロンＮは第３図を参照して上述したように、（
１）式の正規化関数に基づき、「１」または「０」のデ
ータを出力する。ニューロンＮは例えばオペアンプから
構成され、また各ニューロンＮへ入力されるデータに乗
しられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習が行われる。
１）式の正規化関数に基づき、「１」または「０」のデ
ータを出力する。ニューロンＮは例えばオペアンプから
構成され、また各ニューロンＮへ入力されるデータに乗
しられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習が行われる。
第２図は入力層３１、中間層３２および出力層３３を模
式的に表したもので、各層３１．３２゜３３は相互に同
数のニューロンを有している。ここでは説明の簡単のた
め、各層３１．３２．３３のニューロン数は３６個とし
、また各層においてニューロンは横方向に６個、縦方向
に６個配列されている。ここで、図の左下隅のニューロ
ンの位置を原点とし、左からｉ番目、下からｊ番目に位
置するニューロンをＮ ｉ ｊとする。
式的に表したもので、各層３１．３２゜３３は相互に同
数のニューロンを有している。ここでは説明の簡単のた
め、各層３１．３２．３３のニューロン数は３６個とし
、また各層においてニューロンは横方向に６個、縦方向
に６個配列されている。ここで、図の左下隅のニューロ
ンの位置を原点とし、左からｉ番目、下からｊ番目に位
置するニューロンをＮ ｉ ｊとする。
入力ＩＪ３１の各ニューロンは、ビデオカメラ１０を介
して得られる文字の特徴データによって発火する。例え
ばＮｏ、Ｎ１□、Ｎ２１、Ｎ２□の発火の組合せによっ
て端点数が表され、Ｎ Ｉ ｆｆ、Ｎ ｌ ４、Ｎ２３
、Ｎｚ４の発火の組合せによって分岐点数が表されると
する。すなわち、入力層３１のニューロンの発火パター
ンは入力される文字に応して人為的に決定される。
して得られる文字の特徴データによって発火する。例え
ばＮｏ、Ｎ１□、Ｎ２１、Ｎ２□の発火の組合せによっ
て端点数が表され、Ｎ Ｉ ｆｆ、Ｎ ｌ ４、Ｎ２３
、Ｎｚ４の発火の組合せによって分岐点数が表されると
する。すなわち、入力層３１のニューロンの発火パター
ンは入力される文字に応して人為的に決定される。
一方出力層３３では、例えば、左下隅と右上隅のニュー
ロンを結ぶ対角線上のニューロンＮ□、により文字が表
される。すなわちこの対角線上のニューロンは、その文
字のキャラクタコードを表し、出力層３３のニューロン
の発火パターンは人為的に決定される。本実施例二二お
いて、対角線上のニューロンＮ ｉ ｉの発火パターン
の種類は６４通りあり、したがって本実施例では６４種
類の文字を認識することができ、例えばアルファベント
の認識が可能である。
ロンを結ぶ対角線上のニューロンＮ□、により文字が表
される。すなわちこの対角線上のニューロンは、その文
字のキャラクタコードを表し、出力層３３のニューロン
の発火パターンは人為的に決定される。本実施例二二お
いて、対角線上のニューロンＮ ｉ ｉの発火パターン
の種類は６４通りあり、したがって本実施例では６４種
類の文字を認識することができ、例えばアルファベント
の認識が可能である。
さて文字認識の学習が行われる前においては、データ処
理装置３０に文字データが入力されても、出力層３３の
ニューロンは発火しない。このニューロンは、学習によ
って発火が可能となり、入力された文字データに応した
所定の発火パターンを呈するようになると、学習は終了
する。なお学習用の人出カバターンはニューラルネット
ワークで処理すべきデータの代表データであり、実際に
処理すべきデータは広範囲に渡る。そして学習は、この
代表入出力データに対する連想が適正に行われるまで実
行される。しかして学習が終了すると、入力層３１およ
び出力層３３は入力された文字データに応して上述した
よう５二人為的に定められる発火パターンを呈すること
となる。そして、入力層３１、中間層３２および出力層
３３の各層における発火パターンはこれらの層３１．３
２．３３にわたってスムーズに変化していくと推定され
る。
理装置３０に文字データが入力されても、出力層３３の
ニューロンは発火しない。このニューロンは、学習によ
って発火が可能となり、入力された文字データに応した
所定の発火パターンを呈するようになると、学習は終了
する。なお学習用の人出カバターンはニューラルネット
ワークで処理すべきデータの代表データであり、実際に
処理すべきデータは広範囲に渡る。そして学習は、この
代表入出力データに対する連想が適正に行われるまで実
行される。しかして学習が終了すると、入力層３１およ
び出力層３３は入力された文字データに応して上述した
よう５二人為的に定められる発火パターンを呈すること
となる。そして、入力層３１、中間層３２および出力層
３３の各層における発火パターンはこれらの層３１．３
２．３３にわたってスムーズに変化していくと推定され
る。
そこで本実施例では、学習の過程において、これらの層
における発火パターンがスムーズに変化するように、中
間層３２および出力層３３の重みを変化させている。
における発火パターンがスムーズに変化するように、中
間層３２および出力層３３の重みを変化させている。
まず、中間層３２のニューロンＮ、Ｊが発火スべきか否
かを、このニューロンに対応する入力層３１および出力
層３３の各ニューロンＮ ｉ ｊ ！こ隣接するニュー
ロンの発火を考慮して決定する。すなわち、入力層３１
および出力層３３において対応するニューロンＮ ｉ
ｊおよびこれの周囲のニューロンのうち、所定の割合以
上のニューロンが発火し、あるいは発火すべきである場
合、中間層３２のニューロンＮ ｉ ｊは発火する傾向
を有すると判断され、このような発火が得られるように
、中間層３２および出力層３３の所定のニューロンの重
みが増加せしめられる。
かを、このニューロンに対応する入力層３１および出力
層３３の各ニューロンＮ ｉ ｊ ！こ隣接するニュー
ロンの発火を考慮して決定する。すなわち、入力層３１
および出力層３３において対応するニューロンＮ ｉ
ｊおよびこれの周囲のニューロンのうち、所定の割合以
上のニューロンが発火し、あるいは発火すべきである場
合、中間層３２のニューロンＮ ｉ ｊは発火する傾向
を有すると判断され、このような発火が得られるように
、中間層３２および出力層３３の所定のニューロンの重
みが増加せしめられる。
このような中間層のニューロンが発火すべきか否かの判
定方法について、第５図（ａ）、（ｂ）、（ｃ）を参照
して具体的に説明する。なお第５図（ａ）は入力層３１
の発火パターン、第５図（ｂ）は中間層３２の発火パタ
ーン、第５図（ｃ）は出力層３３の発火パターンをそれ
ぞれ示し、図中、黒丸は発火しているニューロン、白丸
は発火していないニューロンを示す。この例では、入力
された文字の特徴データによって入力層３１は図のよう
な発火パターンを呈し、またこの文字を認識するために
は、出力層３３は図のような発火パターンを呈しなけれ
ばならない。つまり図示された入力層３１の発火パター
ンは入力文字によって一意に定まり、出力層３３の発火
パターンは学習が終了した時のものである。また中間層
３２の発火パターンは、本実施例の手法によって予想さ
れた発火パターンである。
定方法について、第５図（ａ）、（ｂ）、（ｃ）を参照
して具体的に説明する。なお第５図（ａ）は入力層３１
の発火パターン、第５図（ｂ）は中間層３２の発火パタ
ーン、第５図（ｃ）は出力層３３の発火パターンをそれ
ぞれ示し、図中、黒丸は発火しているニューロン、白丸
は発火していないニューロンを示す。この例では、入力
された文字の特徴データによって入力層３１は図のよう
な発火パターンを呈し、またこの文字を認識するために
は、出力層３３は図のような発火パターンを呈しなけれ
ばならない。つまり図示された入力層３１の発火パター
ンは入力文字によって一意に定まり、出力層３３の発火
パターンは学習が終了した時のものである。また中間層
３２の発火パターンは、本実施例の手法によって予想さ
れた発火パターンである。
第５図（ａ）、（ｂ）、（Ｃ）において、まず、中間層
３２の例えばニューロンＮ２４に対応する入力層３１の
ニューロンＮ２４に関し、このニューロンＮ２４とこれ
に隣接する８個のニューロンの発火状態を調べる。すな
わち破線Ａで囲まれた領域のニューロンの発火状態を見
ると、この図示例では３個のニューロンが発火している
。同様に、対応する出力層３３のニューロンＮｚ４とこ
れに隣接するニューロン、すなわち破線Ｂで囲まれた領
域の発火分布を調べると、１個のニューロンが発火して
いる。したがって、中間層３２のニューロンＮ２４に対
応する入力層３１および出力層３３のニューロンおよび
これに隣接する合計１８個のニューロンのうち、４個の
ニューロンが発火している。
３２の例えばニューロンＮ２４に対応する入力層３１の
ニューロンＮ２４に関し、このニューロンＮ２４とこれ
に隣接する８個のニューロンの発火状態を調べる。すな
わち破線Ａで囲まれた領域のニューロンの発火状態を見
ると、この図示例では３個のニューロンが発火している
。同様に、対応する出力層３３のニューロンＮｚ４とこ
れに隣接するニューロン、すなわち破線Ｂで囲まれた領
域の発火分布を調べると、１個のニューロンが発火して
いる。したがって、中間層３２のニューロンＮ２４に対
応する入力層３１および出力層３３のニューロンおよび
これに隣接する合計１８個のニューロンのうち、４個の
ニューロンが発火している。
ここで、領域ＡおよびＢのニューロンのうち１５％以上
のニューロンが発火する時中間層３２のニューロンが発
火すべきであると定めた場合、中間層３２のニューロン
Ｎ２４は発火する傾向を有すると判断される。第５図（
ａ）、（ｂ）、（Ｃ）では、中間層３２のニューロンは
、対応する入出力層３１．３３のニューロンおよびこれ
に隣接するニューロンの１５％以上が発火する時、発火
する傾向を有するとして定められている。
のニューロンが発火する時中間層３２のニューロンが発
火すべきであると定めた場合、中間層３２のニューロン
Ｎ２４は発火する傾向を有すると判断される。第５図（
ａ）、（ｂ）、（Ｃ）では、中間層３２のニューロンは
、対応する入出力層３１．３３のニューロンおよびこれ
に隣接するニューロンの１５％以上が発火する時、発火
する傾向を有するとして定められている。
なお、縁部乙こ位置するニューロンについては、破線Ｃ
で示すように、６個のニューロンの発火状態が検討され
、また角に位置するニューロンについては、破線りで示
すように、４個のニューロンの発火状態が検討される。
で示すように、６個のニューロンの発火状態が検討され
、また角に位置するニューロンについては、破線りで示
すように、４個のニューロンの発火状態が検討される。
しかして第５図（ａ）、（ｂ）、（ｃ）の例では、中間
層３２の各ニューロンのうち黒で示した３０個のニュー
ロンが発火する傾向を有すると判断される。そして、こ
の文字認識の学習では、中間層３２および出力層３３の
各ニューロンの重みが、このようにして得られた発火パ
ターンが得られるように、所定値だけ増加せしめられる
。
層３２の各ニューロンのうち黒で示した３０個のニュー
ロンが発火する傾向を有すると判断される。そして、こ
の文字認識の学習では、中間層３２および出力層３３の
各ニューロンの重みが、このようにして得られた発火パ
ターンが得られるように、所定値だけ増加せしめられる
。
この重みの増加を第３図を用いて具体的に説明すると、
中間層のニューロン１の出力データ○が発火時の値（例
えば「１」）であれば、そのニューロン１に結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「Ｉ２」と’１３Ｊ）に
対するシナプス重み（この場合「Ｗ２」と「Ｗ：ｌＪ）
が、例えば５％だけ増加せしめられる。出力層のニュー
ロンのシナプス重みについても同様に処理され、上述し
たように発火子べきであるとされた中間層のニューロン
に対するシナプス重みが、例えば５％だけ増加せしめら
れる。
中間層のニューロン１の出力データ○が発火時の値（例
えば「１」）であれば、そのニューロン１に結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「Ｉ２」と’１３Ｊ）に
対するシナプス重み（この場合「Ｗ２」と「Ｗ：ｌＪ）
が、例えば５％だけ増加せしめられる。出力層のニュー
ロンのシナプス重みについても同様に処理され、上述し
たように発火子べきであるとされた中間層のニューロン
に対するシナプス重みが、例えば５％だけ増加せしめら
れる。
しかして、入力層３１、中間層３２および出力層３３の
各層間において発火パターンが最もスムーズに変化する
ように、中間層３２および出力層３３の重みが増加せし
められる。ここで、入力層３１および出力層３３の各ニ
ューロンが全ての入力文字に関してできるだけ同し頻度
で発火するように定めておけば、中間層３２の各ニュー
ロンも均等に発火することが可能となる。これによって
、ローカルミニマムへの落ち込みを防止することが可能
となり、また中間層３１の各ニューロンは、それぞれ略
均等に発火することとなる。すなわち発火しだいニュー
ロンの発生を回避することが可能となり、中間層３２の
ニューロンを効率的に作用させることができる。
各層間において発火パターンが最もスムーズに変化する
ように、中間層３２および出力層３３の重みが増加せし
められる。ここで、入力層３１および出力層３３の各ニ
ューロンが全ての入力文字に関してできるだけ同し頻度
で発火するように定めておけば、中間層３２の各ニュー
ロンも均等に発火することが可能となる。これによって
、ローカルミニマムへの落ち込みを防止することが可能
となり、また中間層３１の各ニューロンは、それぞれ略
均等に発火することとなる。すなわち発火しだいニュー
ロンの発生を回避することが可能となり、中間層３２の
ニューロンを効率的に作用させることができる。
なお１回の学習におけるシナプス重みの増加は学習回数
に対して第４図のように変化し、複数回の学習により徐
々に全体系の学習が行われるとともに、学習終期には微
小変化による微調整が行われる。また初期の重みの急増
により学習速度が高められる。
に対して第４図のように変化し、複数回の学習により徐
々に全体系の学習が行われるとともに、学習終期には微
小変化による微調整が行われる。また初期の重みの急増
により学習速度が高められる。
上記実施例において、中間層３２は入力層３１と出力層
３３に接続され、層数は３であった。しかし、本発明は
３層のニューラルネットワークに限定されるものではな
く、４層以上のニューラルレイヤを有するニューラルネ
ットワークにも適用可能である。この場合、まず第１の
中間層を選択し、この中間層の各ニューロンが、入力層
および出力層の対応するニューロンおよびこれに隣接す
るニューロンのうち所定の割合以上のニューロンが発火
する場合に、発火する傾向を持つように、第１の中間層
および出力層のシナプス重みを増加させる。そして全て
の入力文字について学習が所定段階まで終了すると、新
たに第２の中間層を追加し、この第２の中間層について
も同様にして、対応するニューロンおよびこれに隣接す
るニューロンの所定割合以上のニューロンが発火するか
否かを考慮して、第２の中間層およびこの中間層の出力
側に結合された層（出力層または第１の中間層）におけ
るシナプス重みを増加させる。しかして４層の場合の重
み分布が得られる。５層以上の場合も同様である。
３３に接続され、層数は３であった。しかし、本発明は
３層のニューラルネットワークに限定されるものではな
く、４層以上のニューラルレイヤを有するニューラルネ
ットワークにも適用可能である。この場合、まず第１の
中間層を選択し、この中間層の各ニューロンが、入力層
および出力層の対応するニューロンおよびこれに隣接す
るニューロンのうち所定の割合以上のニューロンが発火
する場合に、発火する傾向を持つように、第１の中間層
および出力層のシナプス重みを増加させる。そして全て
の入力文字について学習が所定段階まで終了すると、新
たに第２の中間層を追加し、この第２の中間層について
も同様にして、対応するニューロンおよびこれに隣接す
るニューロンの所定割合以上のニューロンが発火するか
否かを考慮して、第２の中間層およびこの中間層の出力
側に結合された層（出力層または第１の中間層）におけ
るシナプス重みを増加させる。しかして４層の場合の重
み分布が得られる。５層以上の場合も同様である。
第６図（ａ）、（ｂ）、（Ｃ）は、第５図（ａ）〜（ｃ
）と同じ文字を認識する場合における各層３１．３２．
３３の発火パターンを示し、第６図（ａ）および（Ｃ）
は、第５図（ａ）および（Ｃ）と全く同しである。中間
層３２の発火パターンは、第５図（ｂ）の場合と異なり
、対応する入出力層３１．３３のニューロンおよびこれ
に隣接するニューロンの２０％以上が発火する時、発火
する傾向を持つように定められている。
）と同じ文字を認識する場合における各層３１．３２．
３３の発火パターンを示し、第６図（ａ）および（Ｃ）
は、第５図（ａ）および（Ｃ）と全く同しである。中間
層３２の発火パターンは、第５図（ｂ）の場合と異なり
、対応する入出力層３１．３３のニューロンおよびこれ
に隣接するニューロンの２０％以上が発火する時、発火
する傾向を持つように定められている。
第７図（ａ）、（ｂ）、（ｃ）も、第５図（ａ）〜（ｃ
）と同し文字を認識する場合における各層の発火パター
ンを示し、第７図（ａ）および（ｃ）は、第５図（ａ）
および（Ｃ）と全く同しである。第７図（ａ）〜（Ｃ）
の例において、中間層３２の発火パターンは、対応する
入出力層３１．３３のニューロンおよびこれに隣接する
ニューロンの２５％以上が発火する時、発火する傾向を
持つように定められている。
）と同し文字を認識する場合における各層の発火パター
ンを示し、第７図（ａ）および（ｃ）は、第５図（ａ）
および（Ｃ）と全く同しである。第７図（ａ）〜（Ｃ）
の例において、中間層３２の発火パターンは、対応する
入出力層３１．３３のニューロンおよびこれに隣接する
ニューロンの２５％以上が発火する時、発火する傾向を
持つように定められている。
第５図（ｂ）、第６図（ｂ）および第７図（ｂ）の比較
から容易に理解されるように、中間層３２の発火パター
ンは入力層および出力層の両者の発火パターンの特徴を
備えた傾向を有し、また、入出力層３１．３３の対応領
域におけるニューロンの発火の割合を大きく定めるほど
、中間層３２の発火ニューロンの数は少なくなる。
から容易に理解されるように、中間層３２の発火パター
ンは入力層および出力層の両者の発火パターンの特徴を
備えた傾向を有し、また、入出力層３１．３３の対応領
域におけるニューロンの発火の割合を大きく定めるほど
、中間層３２の発火ニューロンの数は少なくなる。
以上の例では、入出力層において、各ニューロンに隣接
するニューロンを規定する領域Ａ１．Ｂ、Ｃ，Ｄは矩形
を有している。しかし、領域の形状はこれに限定される
ものではなく、例えば第８図（ａ）、（ｂ）、（ｃ）に
示す例のように、ニューロンの配列がハニカム状に分割
可能な場合には、六角形を有する。この場合、中間層３
２のニューロンＮに対応する、入力層３１の領域Ｅと出
力層３３の領域Ｆとは、それぞれ７個のニューロンから
戒り、中間層３２のニューロンＮは、領域Ｅ、Ｆの１４
個のニューロンの所定の割合以上が発火する場合に発火
する傾向を有する。
するニューロンを規定する領域Ａ１．Ｂ、Ｃ，Ｄは矩形
を有している。しかし、領域の形状はこれに限定される
ものではなく、例えば第８図（ａ）、（ｂ）、（ｃ）に
示す例のように、ニューロンの配列がハニカム状に分割
可能な場合には、六角形を有する。この場合、中間層３
２のニューロンＮに対応する、入力層３１の領域Ｅと出
力層３３の領域Ｆとは、それぞれ７個のニューロンから
戒り、中間層３２のニューロンＮは、領域Ｅ、Ｆの１４
個のニューロンの所定の割合以上が発火する場合に発火
する傾向を有する。
なおニューロンに対する入出力データは、デジタルの場
合２値に限定され丁、多値であってもよく、またアナロ
グデータであってもよい。
合２値に限定され丁、多値であってもよく、またアナロ
グデータであってもよい。
さらに出力層は、対角線上のニューロンによってキャラ
クタコードを表すように構成される必要はなく、全ての
ニューロン２こよって認識文字を定義するように構成し
てもよい。
クタコードを表すように構成される必要はなく、全ての
ニューロン２こよって認識文字を定義するように構成し
てもよい。
また各層３１，３２．３３におけるニューＣン数は、上
記実施例のように３６個に限定されず、認識する文字の
種類の数に応した数だけ設けられる。
記実施例のように３６個に限定されず、認識する文字の
種類の数に応した数だけ設けられる。
さらに、本発明は文字認識だけでなく、図形認識あるい
は音声認識に適用することもできる。
は音声認識に適用することもできる。
［発明の効果］
以上のように本発明によれば、ニューラルネットワーク
の中間層に対し効率的な学習を施すことがてきるという
効果が得られる。
の中間層に対し効率的な学習を施すことがてきるという
効果が得られる。
第１図は本発明の一実施例を通用した文字認識システム
を示す概略構成図、 第２図は入力層、中間層および出力層乙こおけるニュー
ロンを示す概念図、 第３図はニューロンの一例を示す概念図、第４図は学習
回数と重みの変化との関係を示すグラフ、 第５図（ａ）、（ｂ）、（Ｃ）は対応領域におけるニュ
ーロンの１５％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第６図（ａ）、（ｂ）、（ｃ）は対応領域におけるニュ
ーロンの２０％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第７図（ａ）、（ｂ）、（ｃ）は対応領域におけるニュ
ーロンの２５％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第８図（ａ）、（ｂ）、（ｃ）はニューロンの配列がハ
ニカム状に分割可能である場合における入力層、中間層
および出力層のニューロンを示す図である。 １、Ｎ・・・ニューロン ３１・・・入力層 ３２・・・中間層 ３３・・・出力層
を示す概略構成図、 第２図は入力層、中間層および出力層乙こおけるニュー
ロンを示す概念図、 第３図はニューロンの一例を示す概念図、第４図は学習
回数と重みの変化との関係を示すグラフ、 第５図（ａ）、（ｂ）、（Ｃ）は対応領域におけるニュ
ーロンの１５％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第６図（ａ）、（ｂ）、（ｃ）は対応領域におけるニュ
ーロンの２０％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第７図（ａ）、（ｂ）、（ｃ）は対応領域におけるニュ
ーロンの２５％以上が発火する時中間層のニューロンが
発火する傾向を持つ場合における、各層の発火パターン
を示す図、 第８図（ａ）、（ｂ）、（ｃ）はニューロンの配列がハ
ニカム状に分割可能である場合における入力層、中間層
および出力層のニューロンを示す図である。 １、Ｎ・・・ニューロン ３１・・・入力層 ３２・・・中間層 ３３・・・出力層
Claims (2)
- （１）入力されたデータに所定の処理を施した結果に基
づいて発火し所定のデータを出力する複数のニューロン
をそれぞれ有する入力層および出力層と、上記入力層お
よび出力層の間に配設され、上記複数のニューロンを有
するとともに、各ニューロンが上記入力層および出力層
の各ニューロンに結合する中間層とを備えたデータ処理
装置の学習方法において、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応するニューロンおよびこのニュ
ーロンに隣接するニューロンのうち所定の割合以上のニ
ューロンが発火している場合に、発火する傾向を持つよ
うに、中間層および出力層のシナプスの重みを増加させ
、全ての入出力に対して同様の処理を施すことを特徴と
するデータ処理装置の学習方法。 - （２）請求項１記載の学習方法により学習されたデータ
処理装置について、新たな中間層を追加し、この新たな
中間層の各ニューロンを隣接する層の各ニューロンに接
続し、新たな中間層の各ニューロンが、入力側および出
力側の各層の対応するニューロンおよびこのニューロン
に隣接するニューロンのうち所定の割合以上のニューロ
ンが発火している場合に、発火する傾向を持つように、
新たな中間層および隣接する出力側の層のシナプスの重
みを増加させ、全ての入出力に対して同様の学習を施し
、学習が所定段階まで終了した時点でさらに新たな中間
層の追加と同様の学習を繰り返し、中間層を増加させて
いくことを特徴とするデータ処理装置の学習方法。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2088163A JPH03288285A (ja) | 1990-04-04 | 1990-04-04 | データ処理装置の学習方法 |
| DE69123867T DE69123867T2 (de) | 1990-04-04 | 1991-03-28 | Lernverfahren für Datenverarbeitungsanlage |
| EP91105034A EP0450522B1 (en) | 1990-04-04 | 1991-03-28 | A learning method for a data processing system |
| KR1019910005358A KR910018922A (ko) | 1990-04-04 | 1991-04-03 | 데이터처리장치의 학습방법 |
| US07/680,117 US5257342A (en) | 1990-04-04 | 1991-04-03 | Learning method for a data processing system with neighborhoods |
| US08/232,415 US5528700A (en) | 1990-04-04 | 1994-04-25 | Character recognition system based on a neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2088163A JPH03288285A (ja) | 1990-04-04 | 1990-04-04 | データ処理装置の学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH03288285A true JPH03288285A (ja) | 1991-12-18 |
Family
ID=13935261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2088163A Pending JPH03288285A (ja) | 1990-04-04 | 1990-04-04 | データ処理装置の学習方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US5257342A (ja) |
| EP (1) | EP0450522B1 (ja) |
| JP (1) | JPH03288285A (ja) |
| KR (1) | KR910018922A (ja) |
| DE (1) | DE69123867T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05303626A (ja) * | 1992-04-27 | 1993-11-16 | Matsushita Electric Ind Co Ltd | 外観検査画像認識方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04216343A (ja) * | 1990-12-17 | 1992-08-06 | Sony Corp | 信号再生装置および方法 |
| US5495611A (en) * | 1992-06-22 | 1996-02-27 | International Business Machines Corporation | Method and apparatus for dynamic load of an ABIOS device support layer in a computer system |
| EP0602717B1 (fr) * | 1992-12-16 | 1997-10-01 | Laboratoires D'electronique Philips S.A.S. | Dispositif neuronal et procédé pour le construire |
| JPH07200512A (ja) * | 1993-09-13 | 1995-08-04 | Ezel Inc | 最適化問題解決装置 |
| JP3630734B2 (ja) * | 1994-10-28 | 2005-03-23 | キヤノン株式会社 | 情報処理方法 |
| US5835633A (en) * | 1995-11-20 | 1998-11-10 | International Business Machines Corporation | Concurrent two-stage multi-network optical character recognition system |
| US5966460A (en) * | 1997-03-03 | 1999-10-12 | Xerox Corporation | On-line learning for neural net-based character recognition systems |
| DE19940577A1 (de) * | 1999-08-26 | 2001-03-01 | Wilex Biotechnology Gmbh | Verfahren zum Trainieren eines neuronalen Netzes |
| US6721452B2 (en) | 2001-09-12 | 2004-04-13 | Auburn University | System and method of handwritten character recognition |
| FR2846490B1 (fr) * | 2002-10-24 | 2005-01-14 | Suisse Electronique Microtech | Systeme d'analyse spatiale d'une grandeur physique |
| MY138544A (en) | 2003-06-26 | 2009-06-30 | Neuramatix Sdn Bhd | Neural networks with learning and expression capability |
| JP4660860B2 (ja) * | 2005-03-23 | 2011-03-30 | 富士フイルム株式会社 | 画像記録方法及び装置 |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| JP7471162B2 (ja) * | 2020-07-08 | 2024-04-19 | 三菱重工業株式会社 | 評価装置、プラント制御支援システム、評価方法、及びプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4092631A (en) * | 1974-04-30 | 1978-05-30 | Sharp Kabushiki Kaisha | Pattern recognition systems |
| US5054093A (en) * | 1985-09-12 | 1991-10-01 | Cooper Leon N | Parallel, multi-unit, adaptive, nonlinear pattern class separator and identifier |
| US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
| US5048100A (en) * | 1988-12-15 | 1991-09-10 | Michael Kuperstein | Self organizing neural network method and system for general classification of patterns |
| JP2940933B2 (ja) * | 1989-05-20 | 1999-08-25 | 株式会社リコー | パターン認識方式 |
| US5067164A (en) * | 1989-11-30 | 1991-11-19 | At&T Bell Laboratories | Hierarchical constrained automatic learning neural network for character recognition |
| JPH03196277A (ja) * | 1989-12-25 | 1991-08-27 | Takayama:Kk | データ処理装置のための特徴データ選択方法 |
| US5249259A (en) * | 1990-01-23 | 1993-09-28 | Massachusetts Institute Of Technology | Genetic algorithm technique for designing neural networks |
| US5048097A (en) * | 1990-02-02 | 1991-09-10 | Eastman Kodak Company | Optical character recognition neural network system for machine-printed characters |
| US5033066A (en) * | 1990-02-16 | 1991-07-16 | Hughes Aircraft Company | Event tagging time delay |
| US5151951A (en) * | 1990-03-15 | 1992-09-29 | Sharp Kabushiki Kaisha | Character recognition device which divides a single character region into subregions to obtain a character code |
| US5052043A (en) * | 1990-05-07 | 1991-09-24 | Eastman Kodak Company | Neural network with back propagation controlled through an output confidence measure |
-
1990
- 1990-04-04 JP JP2088163A patent/JPH03288285A/ja active Pending
-
1991
- 1991-03-28 DE DE69123867T patent/DE69123867T2/de not_active Expired - Fee Related
- 1991-03-28 EP EP91105034A patent/EP0450522B1/en not_active Expired - Lifetime
- 1991-04-03 KR KR1019910005358A patent/KR910018922A/ko not_active Abandoned
- 1991-04-03 US US07/680,117 patent/US5257342A/en not_active Expired - Fee Related
-
1994
- 1994-04-25 US US08/232,415 patent/US5528700A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05303626A (ja) * | 1992-04-27 | 1993-11-16 | Matsushita Electric Ind Co Ltd | 外観検査画像認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0450522A2 (en) | 1991-10-09 |
| US5528700A (en) | 1996-06-18 |
| US5257342A (en) | 1993-10-26 |
| DE69123867T2 (de) | 1997-04-30 |
| DE69123867D1 (de) | 1997-02-13 |
| EP0450522A3 (en) | 1993-05-19 |
| EP0450522B1 (en) | 1997-01-02 |
| KR910018922A (ko) | 1991-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bishop et al. | Approximating posterior distributions in belief networks using mixtures | |
| EP0327817B1 (en) | Associative pattern conversion system and adaptation method thereof | |
| Liu et al. | Natural-logarithm-rectified activation function in convolutional neural networks | |
| US5528700A (en) | Character recognition system based on a neural network | |
| US5355437A (en) | Neural network architecture for pattern recognition | |
| Rujan et al. | A geometric approach to learning in neural networks | |
| Ritter et al. | Associative memories based on lattice algebra | |
| US10650307B2 (en) | Neuromorphic architecture for unsupervised pattern detection and feature learning | |
| Woods | Back and counter propagation aberrations | |
| EP0453939A2 (en) | Learning method for data processing system | |
| JPH03288258A (ja) | データ処理装置の学習方法 | |
| Bishop et al. | Neural networks-an introduction | |
| JP3035106B2 (ja) | 大規模情報認識回路 | |
| JPH045751A (ja) | データ処理装置の学習方法 | |
| JPH045750A (ja) | データ処理装置の学習方法 | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| Halgamuge et al. | A new method for generating fuzzy classification systems using RBF neurons with extended RCE learning | |
| JPH05314090A (ja) | ニューラルネットを用いたパターン認識方法およびその装置 | |
| GG III et al. | Competitive learning using competitive activation rules | |
| JPH0438556A (ja) | データ処理装置 | |
| JPH0424864A (ja) | データ処理装置 | |
| JPH05159086A (ja) | ニューラルネットワークの学習方式 | |
| Kuo et al. | Implementation Techniques and Applications of Fuzzy Neural Network Systems | |
| Junji et al. | Image filtering with multilayered cellularly connected evolutionary neural networks | |
| Fomin et al. | Robustness of hebbian and anti-hebbian learning |