JPH03168862A - ニューロコンピュータ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ 本発明は、脳の神経細胞の数理モデルを用いたニューロ
コンピュータに関する。

［従来の技術］ ニューロコンピュータは、脳の神経細胞を数理モデル化
したものである。脳の神経細胞の夫々は、全体が一続き
の細胞膜で囲まれた単一の細胞であり、細胞体と呼ばれ
る本体の部分、本体から樹状に突き出た多数の突起から
なる樹状突起と呼ばれる部分、軸索と呼ばれる１本の長
い線維の部分の夫々から構成されており、各部分は樹状
突起で入力信号を受容し、細胞体で入力信号を処理し、
軸索から出力信号を出力するという情報処理機能を有す
る。

軸索は途中で何本にも枝分かれしており、末端が夫々他
の神経細胞の樹状突起（又は細胞体の表面）に結合して
おり、これらの結合している部分は特にシナプスと呼ば
れている。即ち、一つの細胞体の出力情報はシナプスを
介して他の細胞体へ伝えられる。

細胞体は、細胞膜で外部と隔てられており、細胞体の内
部は、外部とは異なる電位を有することができ、通常、
細胞体の内部の電位は外部の電位よりも低い。

特に細胞体の外部の電位を零電位としたときの細胞体の
内部の電位を膜電位、細胞体への入力信号がないときの
膜電位を静止膜電位という。

入力信号が細胞体に入力されると膜電位が変化し、膜電
位が静止膜電位よりも高くなり、所定のしきい値を越え
ると細胞体は活性化して膜電位が急激に高くなり、その
後膜電位が急速に落ちて、元の電位値に戻る。これは細
胞体の興奮と呼ばれている。興奮の結果、細胞体から電
気パルスが発生し、発生された電気パルスが軸索を伝わ
って他の細胞体との結合点のシナプスへ伝えられる。

［発明が解決しようとする課題コ 従来のニューロコンピュータは、入力値の夫々に対する
シグモイド関数の値を、関数テーブルとして全てメモリ
に貯えているために記憶の容量を多く必要とし、記憶の
容量が小さいニューラルチップと呼ばれているニューラ
ルネットのＬＳＩ（大規模集積回路）を使用できず、シ
グモイド関数を精度よく計算することができないという
問題点がある。

本発明の目的は、各入力値に対するシグモイド関数の値
を精度よくかつ記憶の容量が小さいニュ−ラルチップを
用いて計算するニューロコンピュータを提供することに
ある。

［課題を解決するための手段］ 本発明によれば、前記目的は、第１の入力値に対応する
第１の出力関数値を記憶させる記憶手段と、第２の入力
値を量子化すると共に前記第２の人力値と前記第１の入
力値との差を計算する量子化手段と、前記量子化手段及
び前記記憶手段の夫々に接続されており、前記計算され
た入力値の差と前記記憶された第１の出力関数値とによ
って、前記第２の人力値に対応する第２の出力関数値を
算出する演算手段とを備えたことを特徴とするニューロ
コンピュータによって達成される。

［作　用］ 本発明によれば、記憶手段が第１の入力値に対応する第
１の出力関数値を記憶し、量子化手段が第２の入力値を
量子化すると共に第２の入力値と第１の入力値との差を
計算し、演算手段が、量子化手段から計算された入力値
の差を受容すると共に、記憶手段から記憶された第１の
出力関数値を受容して、第２の入力値に対応する第２の
出力関数値を算出する。

［実施例コ 以下、図面に示す一実施例を用いて本発明を詳述する。

本実施例によりシグモイド関数を計算するための各ステ
ップの流れを第１図のフローチャートに示す。また、本
実施例によるニューロコンピュータの構成を第２図に示
す。

入力装置１及び汎用コンピュータ２を外部に配設したニ
ューロコンピュータ３は、汎用コンピュータ２に接続さ
れた記憶手段としてのメモリ４、入力装置１に接続され
た量子化手段としての演算器５、演算器５及びメモリ４
の夫々に接続した演算手段としてのマイクロプロセッサ
６を備えている。

脳の神経細胞に対する数理モデルとしては、マッカロッ
クーピッツ（ＭｃＣｕｌｌｏｃｈ−Ｐｉ目Ｓ）の形式ニ
ューロン（またはしきい素子）と呼ばれている数理モデ
ルが知られている。

第３図にマツ力口ックーピッツの形式ニューロンを示す
。この形式ニューロンを用いたニューロコンピュータは
、ユニットと呼ばれる多入力−１出力の情報処理素子に
より構成されている。ユニットへの入力信号のｎ個の入
力を ｎ個の入力の夫々に対するシナブスの結合効率の量を表
わすウェイト（荷重）を しきい値をθとすると、ユニットからの出力信号の出力
ｙは、 であり、φ（Ｓ）はユニットの出力関数である。

形式ニューロンに対しては、出力関数φ（Ｓ）として第
４図に示すシグモイド関数 φ（ｓ）＝１／　（１＋ｅ　　） が多く用いられている。

シグモイド関数の計算は、ニューロコンピュータ３の使
用目的を明確に決めることからスタートする（ステップ
Ｓｔ）。

使用目的が決定したら、まず入力装ａｔにより使用目的
に適合するようにシグモイド関数における誤差の許容範
囲を示すシグモイド関数φ（Ｓ）の精度Ｅ　を決める（
ステップＳ２）。

ｐ 精度Ｅ　が決定したら、この精度Ｅ　に基づいｐｐ てシグモイド関数φ（Ｓ）の入力値Ｘの取り得る範囲を
求めるために範囲内における入力値Ｘの最大値Ａを決め
る（ステップＳ３）。ここで最大値Ａは、次式の関係式
から求め得る。

Ｅ　≧　［１−φ　（Ａ）］＝ ｐｐ １一 １＋ｅ 即ち １　＋Ｅｐ Ａ　≧　ｌｏｇ　　− ｐ　　　　　　　ｅ Ｅｐ Ａ≧Ａ， であって、最大値Ａは整数である。

最大値Ａを求めたら、次に入力値Ｘを等分割するために
分割数Ｎを決める（ステップＳ４）。

分割数Ｎは次式により決定される。

１／１ 即ち　　　　Ｎ　≧（２４Ｅ　　）　　　　・Ａｐｐ Ｎ≧Ｎ， であって、分割数Ｎは整数である。

上述の方法で最大値Ａと分割数Ｎとを決定したら入力装
置１より夫々の値Ａ及びＮを入力する。

第５図に示すように、入力値Ｘの最大値Ａを分割数Ｎで
割った値Ａ／Ｎが、分割された各入力値を、外部に配置
される汎用コンピュータ２によって計算させて（ステッ
プＳ５）、計算された夫々のシグモイド関数を汎用コン
ピュータ２からニューロコンピュータ３のメモリ４に関
数テーブルとして記憶させる（ステップＳ６）。入力装
置１は、更に入力値Ｘをニューロコンピュータ３の演算
器５に伝送する（ステップＳ７）。

演算器５は、入力値Ｘの符号が正の符号又は負の符号の
いずれを有するかを判定して、判定結果、即ち入力値Ｘ
が正又は負の符号を有していることをマイクロプロセッ
サ６に伝送すると共に、入力値Ｘの絶対値１ｘｌを算出
する（ステップＳ８）。

次に、絶対値ｌｘｌが等分割されたＡの、どの分割区間
内に属するかを演算器５によって、Ａ　　　　　　　　
　　　　　Ａ ｎ≦ｌ　ｘ　ｌ　＜　　　　　（ｎ＋１）Ｎ　　　　　
　　　　　　　　Ｎ （但しｎ　＝０．　ｌ．　２，・・・・・・，　Ｎ−１
）の関係式から判定し、ｎの値を求める（ステップＳ９
）。

Ａ Ａ 例えば、 絶対値 Ｘ が ２ と ３ との Ｎ Ｎ 間の分割区間内に属するのであれば、 る。

ｎ＝２であ ｎの値が決まればＸは、 Ａ Ｘ　＝ ｎ Ｎ として求まる （ステップ３１０ ） Ｘは上記の関係式から明らかなように、メモリ４に記憶
された関数テーブルの中のｌつのシグモイド関数の入力
値に相当する。

次に演算器５によって、絶対値ＩＸＩと算出されたＸと
の差Δを Δ＝　　　Ｘ　　　−Ｘ として求める（ステップＳｌｌ　）。

次に任意の入力値Ｘに対するシグモイド関数φ（ｘ）を
上述した各段階の結果を利用してマイクロプロセッサ６
によって算出するプロセスを以下に詳述する。

一般式ｆ　（ｘ＋ａ）は、テイラー展開によりｆｉ＋ａ
ｌ　＝＋（Ｉ）　＋ａｌ’　（ｘ）ａ　　　　　　　　
　　　　　　　　ａ＋　　　　　ｆ’　　（１）　　＋
　　　　　ｆ”’　（１　　＋θａ）２　！　　　　　
　　　　３　！ で表わされる。ここにＯくθく１である。

従ってφ （ Ｘ ） は、 テイラー展開により φ （ Ｘ ） ＝φ （Ｘ＋Δ） Δ Δ ＋ φ′ （Ｘ） ＋ φ″′ （Ｘ＋θΔ） ２ １ ３ ｉ として表わされる。

この式中、 更に φ′ （ｘ） ＝φ （ｘ） ［１−φ （Ｘ）］ φ′ （ｘ） ｛φ （ｘ） ［１−φ （Ｘ）］ド ［１− ２φ （ｘ）１ φ″′ （Ｘ） ＝φ （ｘ） ［１−φ （ｘ）１ ・｛１−６φ　（ｘ）＋６［φ　（ｘ）］　　２）であ
り、２次までのテイラー展開を用いてφ （ Ｘ ）シφ （ｘ） ＋Δ・φ ［ｌ−φ （ｘ）１ ＋ （ｘ） −　［１−φ　（Ｘ）　ｌ　　−　［１−２　　φ　（
Ｘ）｝上式においてφ（ｘ）は、入力値Ｘに対応するシ
グモイド関数であり、すでに関数テーブルの中の１つの
シグモイド関数としてメモリ４に貯えられている。よっ
てφ（ｌ　Ｘ　ｌ）は、メモリ４中の関数テーブルを引
用すると共に入力値の差Δを用いることによって、マイ
クロプロセッサ６で容易に算出し得る（ステップＳ１２
　）。

２次までのティラー展開を用いた場合の誤差Ｅ　は、 『 Δ φ″′ （Ｘ十θΔ） ３ 雪 Δ φ （Ｘ＋θΔ） ［ｌ一φ （Ｘ＋θΔ） １ ３ ▼ ＋１− ６φ （Ｘ＋θΔ） ＋６［φ （Ｘ＋θΔ） １ ｝ であり １ ｉ φ （Ｘ＋θΔ） ［１−φ （Ｘ＋θΔ） 】 ？■ ４ ｔ ｛ｌ−６φ （Ｘ＋θΔ） ＋６［φ （Ｘ＋θΔ） １ ｝ １≦１ より ？■　Δ３ ２４ として近似できる。

更に、 の関係式により 従って Ｅ　　≦　Ｅｐ ｒ であり、近似計算により求めたシグモイド関数の誤差Ｅ
　は、設定された誤差値Ｅ，よりも小さいｒ 値を示している。

例として、Ａ＝ｌＯ．Ｎ＝２７＝１２８の場合は、Ａ＝
ＩＯ，　Ｎ＝２８ ＝２５６ のように非常に小さい誤差値を示している。

入力値Ｘが最大値Ａよりも大きい場合、即ちＸ≧Ａに対
しては、最大値Ａを充分大きい値とすればシグモイド関
数φ（Ａ）は ｍφ（Ａ）　＝ｌｉｍ　　（１／１＋ｅ−Ａ）　−１Ａ
→ｏｏ　　　　Ａ→■ となり極限値１に近づくので、φ（ｘ）’−’φ（Ａ）
として近似できる。

入力値Ｘの符号が負であるというデータを演算器５より
受け取った場合には、入力値Ｘに対応する所望のシグモ
イド関数φ（Ｘ）は、 近似計算により算出したシグモイド関数φを、関係式 （Ｘ） φ　（ｘ）＝１−φ　（ｘ） に代入して算出し得る。

入力値Ｘの符号が正であるデータを演算器５より受け取
った場合は、算出したシグモイド関数φ（Ｘ）からφ（
Ｘ）＝φ（ｘ）という関係式により所望のシグモイド関
数φ（ｘ）を得る（ステップＳ１３　）。

算出されたシグモイド関数φ（ｘ）及びシグモイド関数
φ（ｘ）の１次導関数φ′　（Ｘ）は、バックプロパゲ
ーション・アルゴリズムと呼ばれる教師付学習方式のア
ルゴリズムに用い得る。

［発明の効果］ 本発明のニューロコンピュータによれば、量子化手段に
より計算された入力値の差と記憶手段に記憶された第１
の人力値に対応する第１の出力関数値とによって、第２
の入力値に対応する第２の出力関数値を算出する演算手
段を備えているが故に、限られた数の第１の出力関数値
を利用して、所望の第２の出力関数値が算出し得、その
結果、記憶の容量が小さいニューラルチップをニューロ
コンピュータに使用し得る。

【図面の簡単な説明】

第１図は、本発明の一実施例によるシグモイド関数の算
出プロセスを表わすフローチャート図、第２図は、本発
明の一実施例によるニューロコンピュータの構成図、第
３図は、本発明のニューロコンピュータに利用され得る
ニューラルネットワークにおける神経細胞の数理モデル
の概略図、第４図は、出力関数であるシグモイド関数の
形状図、第５図は、第４図のシグモイド関数の部分説明
図、を示す。 １・・・・・・入力装置、　　２・・・・・・汎用コン
ピュータ、３・・・・・・ニューロコンピュータ、　　
４・・・・・・メモリ、５・・・・・・演算器、　　６
・・・・・・マイクロプロセッサ。 第 ２ 図 第４図

Claims (1)

【特許請求の範囲】
1. 第１の入力値に対応する第１の出力関数値を記憶させる
   記憶手段と、第２の入力値を量子化すると共に前記第２
   の入力値と前記第１の入力値との差を計算する量子化手
   段と、前記量子化手段及び前記記憶手段の夫々に接続さ
   れており、前記計算された入力値の差と前記記憶された
   第１の出力関数値とによって、前記第２の入力値に対応
   する第２の出力関数値を算出する演算手段とを備えたこ
   とを特徴とするニューロコンピュータ。