JPH0424864A - データ処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野］ 本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。

〔従来の技術〕

この種のデータ処理装置におけるニューラルネットワー
クは、第４図に示す神経細胞モデル（以下、ニューロン
という）１を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩｔ、Ｉ２
、Ｉ３・・・Ｉｎにはそれぞれ重みＷ、　、Ｗ、　、Ｗ
。

、・・・Ｗｎが掛けられ、これらの総和と閾値θとの比
較結果に応じたデータ０が出力される。

この比較方法としては種々のものが可能であるが、例え
ば正規化関数１〔ｆ〕を採用すると、出力データＯは、 ｏ＝１　〔ΣＷｎ−Ｉｎ−θ〕・・・・・（１）と表さ
れる。すなわち、ΣＷｎ−Ｉｎが闇値θね上の時そのニ
ューロンは発火して出力データｏＧ：ｒｌ］となり、ま
たΣＷｎ−Ｉｎが閾値θより！Ｊさい時出力データ０は
「ｏ」となる。

従来のニューラルネットワークは、このよう４ニユーロ
ンを並列に設けてニューラルレイヤを構成するとともに
、このニューラルレイヤを直列に接続して構成される。

ニューラルレイヤは例えばローゼンブラット（Ｒｏｓｅ
ｎｂｌａｔｔ）が提案したバーセブトロンのように３層
すなわち入力層、中間層および出力層から成り、各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合する。

〔発明が解決しようとする課題〕

このようなデータ処理装置において、入力層のニューロ
ンは入力データの処理にために多数段けられなければな
らないが、出力層のニューロンは実質的に処理結果を出
力するだけであるので比較的少数で足りる。ところが従
来、中間層のニューロン数の決定方法について確立され
た理論がなく、通常、全ニューラルレイヤについて同数
のニューロンを設けていた。このためニューロン数が真
人なものとなり、全てのニューロンが効率的に使用され
ていないという問題があった。

本発明はこのような従来の問題点を解消すべく創案され
たもので、処理目的に必要な最小数のニューロンによっ
て構成されたデータ処理装置を提供することを目的とす
る。

〔課題を解決するための手段〕

本発明に係るデータ処理装置は、ニューラルレイヤのニ
ューロンが一定数のニューロンから成るニューロン群に
分けられ、各ニューロン群の一部のニューロンが隣接す
るニューロン群にも属しており、各ニューロン群がそれ
ぞれ次段のニューラルレイヤのニューロンに対応し、か
つ第ｎ段のニューラルレイヤのニューロン数Ｎ１１がＮ
ｎ１（ｆｆ了−ｖ）／（ＥＴ−Ｖ））　２の式に従って
定められること特徴としている。

但し、Ｎ７−８は第（ｎ−１）段のニューロン数、ａは
１つのニューロン群のニューロン数、■は隣接する他の
１つのニューロン群にも属スルニューロンの列の数であ
る。

〔実施例〕

以下図示実施例により本発明を説明する。

第１図は、本発明の一実施例に係るデータ処理装置を有
する文字認識システムを示す。この文字認識システムは
、ビデオカメラ１ｏ、前処理装置２０、データ処理装置
３ｏ、後処理装２４０およびデイスプレィ５０を備える
。ビデオカメラ１゜は文字を入力するために設けられ、
前処理装置２０に接続される。前処理装置２ｏは例えば
従来公知の画像処理装置であり、入力された文字の特徴
データ（例えば端点数、分岐点数等）を抽出し、この特
徴データをデータ処理装置３ｏに出力する。

データ処理装置３０は、後述するようにニューラルネッ
トワークを構成し、前処理装置２０から入力された文字
の特徴データに基づいてその文字を認識し、この認識結
果に応じたデータを後処理装Ｗ４０に出力する。認識信
号は例えばキャラクタコードであり、後処理装置４ｏは
この出力データを例えばワープロデータとして格納し、
同時にデイスプレィ５０に出力する。デイスプレィ５０
は例えばＣＲＴから構成され、データ処理装置３゜によ
り認識された文字を画面上に表示する。

データ処理装置３０を構成するニューラルネットワーク
はコンピュータのハードウェアの一部として構成される
。このデータ処理装置３ｏは第１図において模式的に表
されており、この図から理解されるように３層のニュー
ラルレイヤすなわち入力層３１、中間層３２および出力
層３３を有し、中間層３２は入力層３１および出力層３
３の間に配設される。各層３１．３２．３３は本実施例
において、それぞれ多数のニューロンｎを有し、入力層
３１のニューロンｎは中間層３２の全てのニューロンｎ
に接続され、また中間層３２のニューロンｎは出力層３
３の全てのニューロンｎにｔｌＨＪＥされる。

各ニューロンｎは第４図を参照して上述したように、（
１）式の正規化関数に基づき、「１」または「０」のデ
ータを出力する。ニューロンｎは例えばオペアンプから
構成され、また各ニューロンｎへ入力されるデータに乗
じられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習が行われる。

第２図（ａ）、（ｂ）、（Ｃ）は入力層３１、中間層３
２および出力層３３を模式的に表したものである。ニュ
ーロンの数は、入力層３１、中間層３２、出力層３３の
順に少なくなっている。ここでは説明の簡単のため、入
力層３１のニューロン数を６４個、中間層３２のニュー
ロン数を４９個、出力層３３のニューロン数を３６個と
する。

また各層のニューロンは、入力層３１においては横方向
および縦方向にそれぞれ８個配列され、中間層３２にお
いては横方向および縦方向にそれぞれ７個配列され、出
力層３３においては横方向および縦方向に６個配列され
ている。ここで、図の左下隅のニューロンの位置を原点
とし、左からｉ番目、下からｊ番目に位置するニューロ
ンをｎ８、とする。

入力層３１の各ニューロンはビデオカメラ１０を介して
得られる文字の特徴データによって発火する。例えばｎ
ｌｌ、ｎ＋ｚｓ　ｎ２ｉｓ　ｎｚｚの発火の組合せによ
って端点数が表され、ｎ１３、ｎ１４、ｎ２３、ｎｚ４
の発火の組合せによって分岐点数が表されるとする。す
なわち、入力層３１のニューロンの発火パターンは人力
される文字に応じて人為的に決定される。

一方出力層３３では、例えば、左下隅と右上隅のニュー
ロンを結ぶ対角線上のニューロンｎ１ｉ（破線りにより
囲まれたニューロン）により文字が表される。すなわち
この対角線上のニューロンは、その文字のキャラクタコ
ードを表し、出力層３３のニューロンの発火パターンは
人為的に決定される。本実施例において、対角線上のニ
ューロンｎＢの発火パターンの種類は６４通りあり、し
たがって本実施例では６４種類の文字を認識することが
でき、例えばアルファベットの認識が可能である。

さて文字認識の学習が行われる前においては、データ処
理装置３０に文字データが入力されても、出力層３３の
ニューロンは発火しない。このニューロンは、学習によ
って発火が可能となり、入力された文字データに応じた
所定の発火パターンを呈するようになると、学習は終了
する。なお学習用の入出カバターンはニューラルネット
ワークで処理すべきデータの代表データであり、実際に
処理すべきデータは広範囲に渡る。そして学習は、この
代表入出力データに対する連想が適正に行われるまで実
行される。しかして学習が終了すると、入力層３１およ
び出力層３３は入力された文字データに応じて上述した
ように人為的に定められる発火パターンを呈することと
なる。

各層すなわちニューラルレイヤのニューロンの対応関係
について説明する。

各層においてニューロンは、一定数のニューロンから成
るニューロン群に分けられ、本実施例において１つのニ
ューロン群は４個のニューロンから構成されている。入
力層３Ｉについて説明すると、第２図（ａ）に示すよう
に、例えばニューロン群ａ、はニューロンｎ１ｂＮｒｌ
ｚｂ、、　ｎｅｔｓ　ｎｚ７から、ニューロン群ａ２は
ニューロンｎＺ＆、ｎ３ｂｓｎｚ’ｙ、ｎ３．からそれ
ぞれ構成される。同様にして、１ニユーロンずつ図の右
ヘシフトさせることによりニューロン群ａ３＼ａ４Ｓａ
ｓ＼ａ６＼　ａフが定義される。これらの各ニューロン
群ａ、”−ａ。

は、それぞれ中間層３２のニューロンｎ１６、ｎＺ＆、
ｆｌ　３ｂ〜ｎ　４６＼ｎ　ｓｈ−、ｎ　ｂｂ＼ｎ　ｔ
ｂに対応するりすなわち入力層３１のニューロン群は、
中間層３２において、このニューロン群の左下のニュー
ロンにニー０フ群ａ１の場合ニューロンｎ　１６）と同
じ座標のニューロン（ｎ、、）に対応する。

中間層３２のニューロンも、入力層３１と同様にニュー
ロン群に分けられ、各ニューロン群は４個のニューロン
から構成される。そして各ニューロン群は、上述したの
と全く同様にして、それぞれ出力Ｊｌｉ３３のニューロ
ンに対応している。

第２図（ａ）から理解されるように、各ニューロン群の
ニューロンのうち一部のニューロンは隣接するニューロ
ン群にも属している。具体的に説明すると、例えばニュ
ーロン群ａＩのニューロンｎｉｂ、ｆＬｚ１は右側に隣
接するニューロン群ａ２にモ属し、またニューロン群ａ
１のニューロンｎ１６、ｎ２１＋は下側に隣接するニュ
ーロン群ａ８にも属する。しかして、各ニューロン群は
隣接する他のニューロン群にオーバーラツプしている。

ここで、人力層３Ｉのニューロン数をＮｉ、入力層３１
におけるニューロン群のニューロン数ｔａ、隣接する他
の１つのニューロン群にも属スルニューロンの列の数を
Ｖとする。入力層３１におけるニューロン群の数をＸと
すると、第３図から理解されるように次式が成立する。

（Ｆｉ−ｖ）Ｘ　（ｘ−１）　十Ｆ丁＝１’Ｗ’Ｔした
がって、 ｘ＝（ＦＸＴ−ｖ）／（Ｌｉ−ｖ） となる。なお各数値Ｎｉ、ａ、ｖは、Ｘが整数となるよ
うに選択されるべきであるが、数値ａに関しては、最も
端部に位置するニューロン群のニューロン数を他のニュ
ーロン群のニューロン数とは異なるものにしてもよい。

入力層３１の各ニューロン群は中間層３２０１つのニュ
ーロンに１対１に対応するので、入力層３１のニューロ
ン群の数Ｘは中間層３２のニューロン数に等しい。した
がって、中間層３２のニューロン数をＮｍとおくと、 Ｎｍ＝　（（ＦＮＴ−ｖ）／（Ｌｉ−ｖ））”　　＜２
）となる。

このような関係を一般化すると、第ｎ段のニューラルレ
イヤにおけるニューロン数Ｎ７は、Ｎ　−＝　（（、ｒ
Ｎ；Ｌ−ｖ　）／　（Ｆ丁ｖ　）　）　”　　（３）と
なる。ただし、Ｎｎ−１は第（ｎ−１）段のニューラル
レイヤにおけるニューロン数である。

入力層３１のニューロン数は入力データに対する処理内
容によって定められる。すなわち例えば文字認識の場合
、文字の特徴データの種類によって、入力層３１のニュ
ーロン数が決定される。−方、出力層３３のニューロン
数は出力内容によって定められる。文字認識の場合であ
れば、文字のキャラクタコードの種類によって決定され
、例えばアルファベットを認識するシステムにおいては
６４個設けられればよい。したがって、本データ処理装
置の処理内容に応じて、入力層３１および出力層３３の
ニューロン数が定められる。これに対し、中間層３２の
ニューロン数は（２）式に示すように入力層３１のニュ
ーロン数、およびニューロン群内のニューロン数等によ
って定められる。もちろん、中間層３２と出力層３３の
ニューロン数の関係も、入力層３１と中間層３２との関
係と同様であり、（３）式を満足しなければならない。

したがって、第１図および第２図（ａ）〜（Ｃ）のよう
に入力層３１、中間層３２および出力層３３の３層のニ
ューラルレイヤが設けられるとは限らず、２層以上の中
間層が設けられることもある。そこで次にニューラルレ
イヤの層数の決定方法について説明する。

上述のように、入力層３１のニューロン数Ｎｉと出力層
３３のニューロン数ＮＯはデータ処理装置の目的に応じ
て決定される。一方、ニューロン群に含まれるニューロ
ン数ａおよび隣接する他の１つのニューロン群にも属す
るニューロンの列の数Ｖ（オーバーラツプ率）は、実験
的に求められる。例えば、ａは「４」であり、またＶは
「１」（この場合、オーバーラツプ率は５０％）である
。

さて、入力層３１のニューロン数Ｎｉ、ニューロン群の
ニューロン数ａおよびオーバーラツプ率Ｖが定められる
と、第２層（第１の中間層）におけるニューロン数Ｎ２
は、（３）式によって決定される。

そして、第２層のニューロン数Ｎ２が求められると、同
様にして（３）式から第３層（第２の中間層）のニュー
ロン数Ｎ３が求められる。しかしてこの計算は第（ｎ＋
１）層のニューロン数が出力層３３のニューロン数ＮＯ
よりも小さくなるまで続けられ、第ｎ層が出力層３３の
直ぐ前段の中間層となる。

上記実施例において、１つのニューロン群に含まれるニ
ューロン数は４個であったが、これに限定さるものでは
なく、必要に応じて任意の数を選択することができる。

また、ニューロン群のニューロン数ａおよびオーバーラ
ツプ率■は、入力層３１から出力層３３まで全て同じ数
値にする必要はない。すなわち、中間層３２が多数設け
られる場合、最後段の中間層の各ニューロン群を出力層
３３の各ニューロンに１対１に対応させるために、この
最後段の中間層は他の中間層とは異なるニューロン数ａ
あるいはオーバーラツプ率Ｖを有しなければならないこ
ともある。

なお出力層は、対角線上のニューロンによってキャラク
タコードを表すように構成される必要はなく、全てのニ
ューロンによって認識文字を定義するように構成しても
よい。

また上記実施例では、各層は正方形を有し、ニューロン
が基盤の目のように配列されているが、このような配列
は概念的なものであり、実際には物理的にこのように配
列されるとは限らない。つマリ例えば、ニューロンはコ
ンピュータのメモリによって構成されることもあり、こ
のような場合、ニューロンのメモリ上における物理的な
配置は全く問題にならない。

さらに、本発明は文字認識だけでなく、図形認識あるい
は音声認識に適用することもできる。

［発明の効果］ 以上のように本発明によれば、処理目的に必要な最小限
のニューロンによってデータ処理装置を構成することが
できるという効果が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を適用した文字認識システム
を示す概略構成図、 第２図は入力層、中間層および出力層におけるニューロ
ンを示す概念図、 第３図は各ニューロン群のオーバーラツプの関係を示す
図、 第４図はニューロンの一例を示す概念図である。 １、、Ｎ・・・ニューロン ３１・・・入力層 ３２・・・中間層 ３３・・・出力層 （ａ） （Ｃ） 第 図 ｎ 第 図

Claims (1)

【特許請求の範囲】
1. （１）入力されたデータに所定の処理を施した結果に基
   づいて発火し所定のデータを出力する複数のニューロン
   から成る複数段のニューラルレイヤを備えたデータ処理
   装置であって、上記ニューラルレイヤのニューロンは一
   定数のニューロンから成るニューロン群に分けられ、各
   ニューロン群の一部のニューロンは隣接するニューロン
   群にも属しており、各ニューロン群はそれぞれ次段のニ
   ューラルレイヤのニューロンに対応し、かつ第ｎ段のニ
   ューラルレイヤのニューロン数Ｎ＿ｎが Ｎ＿ｎ＝｛（√Ｎ＿ｎ＿−＿１−ｖ）／（√ａ−ｖ）｝
   ＾２の式に従って定められること特徴とするデータ処理
   装置。 但し、Ｎ＿ｎ＿−＿１は第（ｎ−１）段のニューロン数
   、ａは１つのニューロン群のニューロン数、ｖは隣接す
   る他の１つのニューロン群にも属するニューロンの列の
   数である。