JPH07210534A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH07210534A JPH07210534A JP6337167A JP33716794A JPH07210534A JP H07210534 A JPH07210534 A JP H07210534A JP 6337167 A JP6337167 A JP 6337167A JP 33716794 A JP33716794 A JP 33716794A JP H07210534 A JPH07210534 A JP H07210534A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- inputs
- output
- neural network
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
- Devices For Executing Special Programs (AREA)
- Image Analysis (AREA)
- Measurement Of Radiation (AREA)
Abstract
(57)【要約】
【目的】 各ニューロンが実質的に加算器のみで構成さ
れ、かつ反復的なトレーニングを必要とすることなくグ
ローバルミニマムを生成するニューラルネットワークを
実現する。 【構成】 ハードウェアまたはソフトウェアで実施で
き、各々加算器の形式の主たる処理要素のみを有するニ
ューロンまたはニューロン回路（４６，４７，５１，５
２）で構成されるニューラルネットワーク（図３）であ
る。各々のニューラルネットワークはさらにその入力に
対数機能（４１，４２，４４）を適用しかつそのニュー
ロンの出力に逆対数機能（５４，５５，５８，５９）を
適用する手段を含む。本ニューラルネットワークは反復
的なトレーニングを必要とせずかつ各々の与えられた組
の入力ベクトルに対しグローバルミニマムを生じるトレ
ーニングアルゴリズムを使用する。
れ、かつ反復的なトレーニングを必要とすることなくグ
ローバルミニマムを生成するニューラルネットワークを
実現する。 【構成】 ハードウェアまたはソフトウェアで実施で
き、各々加算器の形式の主たる処理要素のみを有するニ
ューロンまたはニューロン回路（４６，４７，５１，５
２）で構成されるニューラルネットワーク（図３）であ
る。各々のニューラルネットワークはさらにその入力に
対数機能（４１，４２，４４）を適用しかつそのニュー
ロンの出力に逆対数機能（５４，５５，５８，５９）を
適用する手段を含む。本ニューラルネットワークは反復
的なトレーニングを必要とせずかつ各々の与えられた組
の入力ベクトルに対しグローバルミニマムを生じるトレ
ーニングアルゴリズムを使用する。
Description
【０００１】
【産業上の利用分野】この発明は一般的には人工ニュー
ラルネットワークに関し、かつ、より特定的には、ＶＬ
ＳＩ（超大規模集積回路）チップにおいてまたはコンピ
ュータプログラムにおいて実施できかつ反復的な学習
（ｔｒａｉｎｉｎｇ）を必要とせずかつ各々の与えられ
た組の入力ベクトルに対しグローバルミニマム（ｇｌｏ
ｂａｌｍｉｎｉｍｕｍ：大域的最小）を生成する学習ア
ルゴリズムを使用するニューラルネットワークに関す
る。
ラルネットワークに関し、かつ、より特定的には、ＶＬ
ＳＩ（超大規模集積回路）チップにおいてまたはコンピ
ュータプログラムにおいて実施できかつ反復的な学習
（ｔｒａｉｎｉｎｇ）を必要とせずかつ各々の与えられ
た組の入力ベクトルに対しグローバルミニマム（ｇｌｏ
ｂａｌｍｉｎｉｍｕｍ：大域的最小）を生成する学習ア
ルゴリズムを使用するニューラルネットワークに関す
る。
【０００２】
【関連発明】本発明は対応米国出願において同じ譲渡人
に譲渡された以下の米国特許出願に関連している。 （１）米国特許出願「ニューロン回路およびその使用方
法（ＮｅｕｒｏｎＣｉｒｃｕｉｔ ａｎｄ Ｍｅｔｈｏ
ｄ ｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」 （２）本願発明の対応米国出願と同じ日に出願された米
国特許出願「加算器回路を使用した人工ニューロンおよ
びその使用方法（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒｏｎ
Ｕｓｉｎｇ Ａｄｄｅｒ Ｃｉｒｃｕｉｔ ａｎｄ
Ｍｅｔｈｏｄｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」 （３）１９９３年６月１４日出願の米国特許出願第０７
６，６０１号「ニューラルネットワークおよびその使用
方法（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ａｎｄ Ｍｅｔ
ｈｏｄ ｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」、平成６年６
月１０日出願の日本出願、特願平６−１５２９１４号に
対応している。上に示した関連発明の主題は参照のため
本件出願の開示に導入される。
に譲渡された以下の米国特許出願に関連している。 （１）米国特許出願「ニューロン回路およびその使用方
法（ＮｅｕｒｏｎＣｉｒｃｕｉｔ ａｎｄ Ｍｅｔｈｏ
ｄ ｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」 （２）本願発明の対応米国出願と同じ日に出願された米
国特許出願「加算器回路を使用した人工ニューロンおよ
びその使用方法（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒｏｎ
Ｕｓｉｎｇ Ａｄｄｅｒ Ｃｉｒｃｕｉｔ ａｎｄ
Ｍｅｔｈｏｄｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」 （３）１９９３年６月１４日出願の米国特許出願第０７
６，６０１号「ニューラルネットワークおよびその使用
方法（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ａｎｄ Ｍｅｔ
ｈｏｄ ｏｆ Ｕｓｉｎｇ Ｓａｍｅ）」、平成６年６
月１０日出願の日本出願、特願平６−１５２９１４号に
対応している。上に示した関連発明の主題は参照のため
本件出願の開示に導入される。
【０００３】
【従来の技術】人工ニューラルネットワークは、音声認
識、プロセス制御、光学的文字認識、信号処理、および
画像処理のような、広い範囲の計算機環境において有用
性を有する。上に述べたものの多くのための処理エンジ
ンはニューロン回路と称される複数の基本的構成要素の
論理エレメントを備えたニューラルネットワークによっ
て実施できる。
識、プロセス制御、光学的文字認識、信号処理、および
画像処理のような、広い範囲の計算機環境において有用
性を有する。上に述べたものの多くのための処理エンジ
ンはニューロン回路と称される複数の基本的構成要素の
論理エレメントを備えたニューラルネットワークによっ
て実施できる。
【０００４】ニューロン回路（または処理エレメント）
はニューラルネットワークの基本的な基礎単位である。
ニューロン回路は複数の入力および１つの出力を有す
る。
はニューラルネットワークの基本的な基礎単位である。
ニューロン回路は複数の入力および１つの出力を有す
る。
【０００５】上に示した関連発明（１）に示されている
ように、伝統的なニューロン回路の構造はしばしば乗算
器回路、加算回路、（２進しきい値またはシグモイド関
数のような）非線形関数を達成するための回路、および
シナプスまたは荷重入力接続として機能する回路を含
む。典型的な従来のニューロン回路は上に述べた回路の
全てを必要とするから、１つの半導体チップ上に製造で
きるニューロン回路の数は大幅に制限される。前記関連
発明（１）は１つの実施例として、その主たる処理エレ
メントとして乗算器のみを備えたニューロン回路を開示
し、一方上に示した関連発明（２）は、１つの実施例と
して、その主たる処理エレメントとして加算器のみを具
備するニューロン回路を開示する。
ように、伝統的なニューロン回路の構造はしばしば乗算
器回路、加算回路、（２進しきい値またはシグモイド関
数のような）非線形関数を達成するための回路、および
シナプスまたは荷重入力接続として機能する回路を含
む。典型的な従来のニューロン回路は上に述べた回路の
全てを必要とするから、１つの半導体チップ上に製造で
きるニューロン回路の数は大幅に制限される。前記関連
発明（１）は１つの実施例として、その主たる処理エレ
メントとして乗算器のみを備えたニューロン回路を開示
し、一方上に示した関連発明（２）は、１つの実施例と
して、その主たる処理エレメントとして加算器のみを具
備するニューロン回路を開示する。
【０００６】上に示した関連発明（３）に述べられてい
るように、２０より多くの知られた形式のニューラルネ
ットワークのアーキテクチャがあり、それらの内で「逆
伝搬（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）」、「パー
セプトロン（ｐｅｒｃｅｐｔｒｏｎ）」、および「ホッ
プフィールドネットワーク（Ｈｏｐｆｉｅｌｄ ｎｅｔ
ｗｏｒｋ）」が最もよく知られている。前記関連発明
（３）は、１つの実施例において、反復的なトレーニン
グを必要とせず、各々の与えられた組の入力ベクトルに
対しグローバルミニマムを生成し、かつ実施するのが容
易なアーキテクチャを有するニューラルネットワークを
開示している。
るように、２０より多くの知られた形式のニューラルネ
ットワークのアーキテクチャがあり、それらの内で「逆
伝搬（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）」、「パー
セプトロン（ｐｅｒｃｅｐｔｒｏｎ）」、および「ホッ
プフィールドネットワーク（Ｈｏｐｆｉｅｌｄ ｎｅｔ
ｗｏｒｋ）」が最もよく知られている。前記関連発明
（３）は、１つの実施例において、反復的なトレーニン
グを必要とせず、各々の与えられた組の入力ベクトルに
対しグローバルミニマムを生成し、かつ実施するのが容
易なアーキテクチャを有するニューラルネットワークを
開示している。
【０００７】
【発明が解決しようとする課題】前記関連発明（３）に
開示されたニューラルネットワークは従来より知られた
技術に対し非常に有意な進歩を示しているが、このよう
な関連発明（３）に開示された利点を少なくとも有しか
つさらに簡単かつ低価格でありそして集積回路上に実施
されたときにさらに小さなシリコン空間を要求する改善
されたニューラルネットワークを提供することが望まし
い。
開示されたニューラルネットワークは従来より知られた
技術に対し非常に有意な進歩を示しているが、このよう
な関連発明（３）に開示された利点を少なくとも有しか
つさらに簡単かつ低価格でありそして集積回路上に実施
されたときにさらに小さなシリコン空間を要求する改善
されたニューラルネットワークを提供することが望まし
い。
【０００８】したがって、反復的なトレーニングを必要
とせず、各々の与えられた組の入力ベクトルに対しグロ
ーバルミニマムを生成し、かつ実施するのが容易であり
かつ低価格である簡単（ｓｔｒａｉｇｈｔ−ｆｏｒｗａ
ｒｄ）なアーキテクチャを有するニューラルネットワー
クの必要性が大いに存在する。
とせず、各々の与えられた組の入力ベクトルに対しグロ
ーバルミニマムを生成し、かつ実施するのが容易であり
かつ低価格である簡単（ｓｔｒａｉｇｈｔ−ｆｏｒｗａ
ｒｄ）なアーキテクチャを有するニューラルネットワー
クの必要性が大いに存在する。
【０００９】
【課題を解決するための手段および作用】本発明の教示
にしたがって設計されたニューラルネットワークの好ま
しい実施例は多くても３つの層（ｌａｙｅｒｓ）を具備
する。第１の層は少なくとも２つの機能、すなわち
（１）外部入力をネットワークに接続する相互接続機
能、および（２）ネットワークへの外部入力の対数をと
る対数機能（ｌｏｇａｒｉｔｈｍｉｃ ｆｕｎｃｔｉｏ
ｎ）である。第２の層は上で示した関連発明（２）に説
明されたニューロン回路またはそのソフトウェア的な等
価物を使用する。第３の層、すなわち出力層、は前記第
２の層におけるニューロンの出力に対し逆対数機能（ｉ
ｎｖｅｒｓｅ−ｌｏｇａｒｉｔｈｍｉｃ ｆｕｎｃｔｉ
ｏｎ）を達成しかつ次にそれらを合計または加算する。
にしたがって設計されたニューラルネットワークの好ま
しい実施例は多くても３つの層（ｌａｙｅｒｓ）を具備
する。第１の層は少なくとも２つの機能、すなわち
（１）外部入力をネットワークに接続する相互接続機
能、および（２）ネットワークへの外部入力の対数をと
る対数機能（ｌｏｇａｒｉｔｈｍｉｃ ｆｕｎｃｔｉｏ
ｎ）である。第２の層は上で示した関連発明（２）に説
明されたニューロン回路またはそのソフトウェア的な等
価物を使用する。第３の層、すなわち出力層、は前記第
２の層におけるニューロンの出力に対し逆対数機能（ｉ
ｎｖｅｒｓｅ−ｌｏｇａｒｉｔｈｍｉｃ ｆｕｎｃｔｉ
ｏｎ）を達成しかつ次にそれらを合計または加算する。
【００１０】長いトレーニングサイクルを必要とする伝
統的なニューラルネットワークに対して、本発明にした
がって構築されたニューラルネットワークは、しばしば
パーソナルコンピュータによって数分より多くない時間
で計算できる、単一のトレーニングサイクル（これはま
たエポック（ｅｐｏｃｈ））または反復（ｉｔｅｒａｔ
ｉｏｎ）とも称される）でグローバルソルーション（ｇ
ｌｏｂａｌ ｓｏｌｕｔｉｏｎ）に収斂する。
統的なニューラルネットワークに対して、本発明にした
がって構築されたニューラルネットワークは、しばしば
パーソナルコンピュータによって数分より多くない時間
で計算できる、単一のトレーニングサイクル（これはま
たエポック（ｅｐｏｃｈ））または反復（ｉｔｅｒａｔ
ｉｏｎ）とも称される）でグローバルソルーション（ｇ
ｌｏｂａｌ ｓｏｌｕｔｉｏｎ）に収斂する。
【００１１】さらに、伝統的なニューラルネットワーク
に対して、本発明によれば、個々に何らかの非線形機能
を使用せずかつ各々その主たる処理エレメントとして加
算器回路のみを必要とする複数のニューロン回路を使用
するニューラルネットワークが提供される。したがっ
て、ＶＬＳＩチップ上にさらに多くのニューロン回路が
集積でき、これは１つまたはそれ以上のそのようなチッ
プを使用するニューラルネットワークの計算機的な能力
を大幅に増大する。
に対して、本発明によれば、個々に何らかの非線形機能
を使用せずかつ各々その主たる処理エレメントとして加
算器回路のみを必要とする複数のニューロン回路を使用
するニューラルネットワークが提供される。したがっ
て、ＶＬＳＩチップ上にさらに多くのニューロン回路が
集積でき、これは１つまたはそれ以上のそのようなチッ
プを使用するニューラルネットワークの計算機的な能力
を大幅に増大する。
【００１２】したがって、本発明にしたがって構築され
たニューラルネットワークは、計算機的な時間の大幅に
改善された低減と共に、従来より大幅に正確な結果、お
よびそれが半導体チップ上にあってもあるいはコンピュ
ータプログラムにおいても、その実施のためのコストお
よび複雑さの大幅な低減を達成する。
たニューラルネットワークは、計算機的な時間の大幅に
改善された低減と共に、従来より大幅に正確な結果、お
よびそれが半導体チップ上にあってもあるいはコンピュ
ータプログラムにおいても、その実施のためのコストお
よび複雑さの大幅な低減を達成する。
【００１３】さらに、本発明にしたがって構築されたニ
ューラルネットワークはニューロン回路の出力を加算す
るための複数の加算回路を提供することによって複数の
出力を持つことができる。
ューラルネットワークはニューロン回路の出力を加算す
るための複数の加算回路を提供することによって複数の
出力を持つことができる。
【００１４】したがって、本発明の１つの利点は、各々
その主たる処理エレメントとして本質的に加算回路のみ
を必要とする複数のニューロン回路を使用したニューラ
ルネットワークを提供することであり、それによって非
常に多数のそのようなニューロン回路を含むニューラル
ネットワークが構築でき、その結果高いレベルの機能性
および製造の低いコストのため商業的に競争力のある製
品を得ることができる。
その主たる処理エレメントとして本質的に加算回路のみ
を必要とする複数のニューロン回路を使用したニューラ
ルネットワークを提供することであり、それによって非
常に多数のそのようなニューロン回路を含むニューラル
ネットワークが構築でき、その結果高いレベルの機能性
および製造の低いコストのため商業的に競争力のある製
品を得ることができる。
【００１５】反復的なトレーニングを必要としないニュ
ーラルネットワークを提供することも本発明の利点であ
る。
ーラルネットワークを提供することも本発明の利点であ
る。
【００１６】本発明のさらに他の利点は各々の与えられ
た組の入力ベクトルに対しグローバルミニマムを生じる
ニューラルネットワークを提供することである。
た組の入力ベクトルに対しグローバルミニマムを生じる
ニューラルネットワークを提供することである。
【００１７】本発明のさらに他の利点は反復的なトレー
ニングを必要としないニューラルネットワークを学習さ
せる方法を提供することである。
ニングを必要としないニューラルネットワークを学習さ
せる方法を提供することである。
【００１８】本発明に係わるニューラルネットワークを
使用する方法を提供するのも本発明の１つの利点であ
る。
使用する方法を提供するのも本発明の１つの利点であ
る。
【００１９】本発明の１つの態樣によれば、複数のネッ
トワーク入力および少なくとも１つのネットワーク出力
を有するニューラルネットワークが提供され、該ニュー
ラルネットワークはネットワーク入力に対し対数機能を
適用して対応する対数入力を生成する手段、複数のニュ
ーロンであって各ニューロンは前記複数の対数入力の対
応するものに応答する複数の入力を有しかつ出力を発生
するもの、前記ニューロン出力の各々に逆対数（ｉｎｖ
ｅｒｓｅ−ｌｏｇａｒｉｔｈｍｉｃ）機能を適用して対
応する逆対数出力を生成するための手段、そして前記ニ
ューロンの逆対数出力を加算しかつ前記少なくとも１つ
のネットワーク出力を発生するための手段を具備する。
トワーク入力および少なくとも１つのネットワーク出力
を有するニューラルネットワークが提供され、該ニュー
ラルネットワークはネットワーク入力に対し対数機能を
適用して対応する対数入力を生成する手段、複数のニュ
ーロンであって各ニューロンは前記複数の対数入力の対
応するものに応答する複数の入力を有しかつ出力を発生
するもの、前記ニューロン出力の各々に逆対数（ｉｎｖ
ｅｒｓｅ−ｌｏｇａｒｉｔｈｍｉｃ）機能を適用して対
応する逆対数出力を生成するための手段、そして前記ニ
ューロンの逆対数出力を加算しかつ前記少なくとも１つ
のネットワーク出力を発生するための手段を具備する。
【００２０】本発明の他の態樣によれば、複数のネット
ワーク入力および少なくとも１つのネットワーク出力、
複数のニューロンであって各々のニューロンは複数の入
力を受信しかつ出力を発生するもの、対数および逆対数
機能を生成するための手段を具備するニューラルネット
ワークが提供され、さらに該ニューラルネットワークを
動作させる方法が提供され、該方法は、（ａ）前記対数
機能生成手段が対数機能を前記ネットワーク入力に適用
して対応する対数入力を生成する段階と、（ｂ）前記対
数入力の各々を前記ニューロン入力に分配する段階と、
（ｃ）各々のニューロンが前記対数入力の各々に対して
ゲーティング機能を適用して対応するゲーテッド入力を
生成する段階と、（ｄ）各々のニューロンが前記ゲーテ
ッド入力の各々を一緒に加算して合計（ｓｕｍ）を発生
する段階と、（ｅ）各々のニューロンが前記合計を荷重
値に加算して各々のニューロンに対するニューロン出力
を発生する段階と、（ｆ）前記逆対数機能生成手段が逆
対数機能を前記ニューロン出力の各々に適用して対応す
る逆対数出力を生成する段階と、（ｇ）前記ニューロン
の前記逆対数出力を加算して前記少なくとも１つのネッ
トワーク出力を発生する段階とを具備する。
ワーク入力および少なくとも１つのネットワーク出力、
複数のニューロンであって各々のニューロンは複数の入
力を受信しかつ出力を発生するもの、対数および逆対数
機能を生成するための手段を具備するニューラルネット
ワークが提供され、さらに該ニューラルネットワークを
動作させる方法が提供され、該方法は、（ａ）前記対数
機能生成手段が対数機能を前記ネットワーク入力に適用
して対応する対数入力を生成する段階と、（ｂ）前記対
数入力の各々を前記ニューロン入力に分配する段階と、
（ｃ）各々のニューロンが前記対数入力の各々に対して
ゲーティング機能を適用して対応するゲーテッド入力を
生成する段階と、（ｄ）各々のニューロンが前記ゲーテ
ッド入力の各々を一緒に加算して合計（ｓｕｍ）を発生
する段階と、（ｅ）各々のニューロンが前記合計を荷重
値に加算して各々のニューロンに対するニューロン出力
を発生する段階と、（ｆ）前記逆対数機能生成手段が逆
対数機能を前記ニューロン出力の各々に適用して対応す
る逆対数出力を生成する段階と、（ｇ）前記ニューロン
の前記逆対数出力を加算して前記少なくとも１つのネッ
トワーク出力を発生する段階とを具備する。
【００２１】
【実施例】本発明は添付の特許請求の範囲において特定
的に指摘されている。しかしながら、本発明の他の特徴
は添付の図面と共に以下の詳細な説明を参照することに
よりさらに明らかとなりかつ本発明が最も良く理解され
るであろう。
的に指摘されている。しかしながら、本発明の他の特徴
は添付の図面と共に以下の詳細な説明を参照することに
よりさらに明らかとなりかつ本発明が最も良く理解され
るであろう。
【００２２】当業者には本発明のニューラルネットワー
クはハードウェア、ソフトウェア、あるいはそれらの組
合わせによって実施することができ、かつ「ニューロン
回路」および「ニューロン」は本明細書では相互交換可
能に使用されており、同様に用語「合計回路（ｓｕｍｍ
ｉｎｇ ｃｉｒｃｕｉｔ）」、「合計器（ｓｕｍｍｅ
ｒ）」、「加算器回路（ａｄｄｅｒ ｃｉｒｃｕｉ
ｔ）」、「加算器（ａｄｄｅｒ）」、その他も構成の形
式に応じて相互交換可能であることが理解されるであろ
う。
クはハードウェア、ソフトウェア、あるいはそれらの組
合わせによって実施することができ、かつ「ニューロン
回路」および「ニューロン」は本明細書では相互交換可
能に使用されており、同様に用語「合計回路（ｓｕｍｍ
ｉｎｇ ｃｉｒｃｕｉｔ）」、「合計器（ｓｕｍｍｅ
ｒ）」、「加算器回路（ａｄｄｅｒ ｃｉｒｃｕｉ
ｔ）」、「加算器（ａｄｄｅｒ）」、その他も構成の形
式に応じて相互交換可能であることが理解されるであろ
う。
【００２３】図１は、本発明に係わるニューラルネット
ワークの概念図を示す。複数のネットワーク入力ｘ１，
ｘ２，…，ｘｎが順次対数機能部４へと入力され、該対
数機能部４は回路またはアルゴリズムによって適切に実
施でき、かつその入力に対して対数機能を施し、それに
よって対数入力を生成する。
ワークの概念図を示す。複数のネットワーク入力ｘ１，
ｘ２，…，ｘｎが順次対数機能部４へと入力され、該対
数機能部４は回路またはアルゴリズムによって適切に実
施でき、かつその入力に対して対数機能を施し、それに
よって対数入力を生成する。
【００２４】各々の入力が対数機能部４に入力される
と、対応する対数出力が隠れ層（ｈｉｄｄｅｎ ｌａｙ
ｅｒ）の各々のニューロンに分配される（それらのニュ
ーロンの内ニューロン５，６，７および８のみが示され
ている）。本発明においては、隠れ層においては１つの
層のニューロンのみが必要とされる。
と、対応する対数出力が隠れ層（ｈｉｄｄｅｎ ｌａｙ
ｅｒ）の各々のニューロンに分配される（それらのニュ
ーロンの内ニューロン５，６，７および８のみが示され
ている）。本発明においては、隠れ層においては１つの
層のニューロンのみが必要とされる。
【００２５】前に示した関連発明において述べたよう
に、各々のニューロンはゲーティング機能（ｇａｔｉｎ
ｇ ｆｕｎｃｔｉｏｎ）を前記対数入力に適用して対応
するゲーテッド入力（ｇａｔｅｄ ｉｎｐｕｔ）を生成
する。各々の入力ｘｉの対数がニューロン５〜８に分配
されるから、各々のニューロン５〜８はゲーティング機
能をそれらに適用してゲーテッド入力を形成する。次
に、各々のニューロン５〜８はそのゲーテッド入力を、
もしあれば、前のサイクル（単数または複数）から得ら
れる累積された合計に加算し、さもなければゼロに加算
して、新しい累積された合計を生成する。
に、各々のニューロンはゲーティング機能（ｇａｔｉｎ
ｇ ｆｕｎｃｔｉｏｎ）を前記対数入力に適用して対応
するゲーテッド入力（ｇａｔｅｄ ｉｎｐｕｔ）を生成
する。各々の入力ｘｉの対数がニューロン５〜８に分配
されるから、各々のニューロン５〜８はゲーティング機
能をそれらに適用してゲーテッド入力を形成する。次
に、各々のニューロン５〜８はそのゲーテッド入力を、
もしあれば、前のサイクル（単数または複数）から得ら
れる累積された合計に加算し、さもなければゼロに加算
して、新しい累積された合計を生成する。
【００２６】最後の入力、ｘｎ、の対数がニューロン５
〜８に分配された時、各々のニューロン５〜８はそのそ
れぞれの新しく累積された合計を、もしあれば、荷重値
（ｗｅｉｇｈｔ ｖａｌｕｅ）に加算して累積された合
計を形成する。
〜８に分配された時、各々のニューロン５〜８はそのそ
れぞれの新しく累積された合計を、もしあれば、荷重値
（ｗｅｉｇｈｔ ｖａｌｕｅ）に加算して累積された合
計を形成する。
【００２７】各々のニューロンの累積された合計は次に
逆対数機能部１２に供給され、該逆対数機能部１２はそ
の入力に対し逆対数（ｉｎｖｅｒｓｅ−ｌｏｇａｒｉｔ
ｈｍｉｃ）機能を達成する。ニューロン５〜８の出力の
逆対数は次に出力層における、加算器１４のような、適
切な加算手段または機能部に供給されてニューラルネッ
トワークの出力ｙを生成する。
逆対数機能部１２に供給され、該逆対数機能部１２はそ
の入力に対し逆対数（ｉｎｖｅｒｓｅ−ｌｏｇａｒｉｔ
ｈｍｉｃ）機能を達成する。ニューロン５〜８の出力の
逆対数は次に出力層における、加算器１４のような、適
切な加算手段または機能部に供給されてニューラルネッ
トワークの出力ｙを生成する。
【００２８】図２は、図１に示されたニューラルネット
ワークを使用した方法の流れ図を示す。ボックス２０に
示されるように、最初に、対数機能が前記複数のネット
ワーク入力の１つｘｉに適用される。次に、ボックス２
２に示されるように、入力ｘｉの対数がニューロン５〜
８の各々に分配される。
ワークを使用した方法の流れ図を示す。ボックス２０に
示されるように、最初に、対数機能が前記複数のネット
ワーク入力の１つｘｉに適用される。次に、ボックス２
２に示されるように、入力ｘｉの対数がニューロン５〜
８の各々に分配される。
【００２９】判断ボックス２４において、これがｎ番目
のネットワーク入力であるか否かの判断が行なわれる。
もしそうであれば、本方法はボックス２８に進むが、も
しそうでなければ、ボックス２６に進む。
のネットワーク入力であるか否かの判断が行なわれる。
もしそうであれば、本方法はボックス２８に進むが、も
しそうでなければ、ボックス２６に進む。
【００３０】ボックス２６においては、各々のニューロ
ン５〜８はそのそれぞれのゲーテッド入力を、もしあれ
ば、その前に累積された合計に加算し、さもなければゼ
ロに加算して新しい累積された合計を発生する。本方法
は次にボックス２０に戻る。
ン５〜８はそのそれぞれのゲーテッド入力を、もしあれ
ば、その前に累積された合計に加算し、さもなければゼ
ロに加算して新しい累積された合計を発生する。本方法
は次にボックス２０に戻る。
【００３１】ボックス２８においては、各々のニューロ
ン５〜８はそのそれぞれのゲーテッド入力を、もしあれ
ば、その前に累積された合計に加算しかつ、もしあれ
ば、荷重値に加算して累積された和または合計を形成す
る。
ン５〜８はそのそれぞれのゲーテッド入力を、もしあれ
ば、その前に累積された合計に加算しかつ、もしあれ
ば、荷重値に加算して累積された和または合計を形成す
る。
【００３２】ボックス３０において、各々のニューロン
の累積された合計はその出力であると規定される。次
に、ボックス３２において、前記複数のニューロン５〜
８の出力のうちの１つの逆対数がとられる。ボックス３
４において、該逆対数が加算器１４の入力に分配され、
かつボックス３６において、加算器１４がこの入力を、
もしあれば、前に累積された合計に加算し、さもなけれ
ばゼロに加算して新しい累積された合計を発生する。
の累積された合計はその出力であると規定される。次
に、ボックス３２において、前記複数のニューロン５〜
８の出力のうちの１つの逆対数がとられる。ボックス３
４において、該逆対数が加算器１４の入力に分配され、
かつボックス３６において、加算器１４がこの入力を、
もしあれば、前に累積された合計に加算し、さもなけれ
ばゼロに加算して新しい累積された合計を発生する。
【００３３】判断ボックス３７において、これが最後の
（すなわち、Ｎ番目の）ニューロン出力の逆対数である
か否かに関して判断が行なわれる。もしそうであれば、
本方法はボックス３８に進むが、そうでなければ、ボッ
クス３２に戻る。
（すなわち、Ｎ番目の）ニューロン出力の逆対数である
か否かに関して判断が行なわれる。もしそうであれば、
本方法はボックス３８に進むが、そうでなければ、ボッ
クス３２に戻る。
【００３４】ボックス３８において、加算器の出力がニ
ューラルネットワークの出力ｙであると規定され、かつ
本手順は終了する。
ューラルネットワークの出力ｙであると規定され、かつ
本手順は終了する。
【００３５】図３は、本発明にしたがって入力が並列に
受信されかつ複数の出力を有するニューラルネットワー
クの概念図を示す。複数のネットワーク入力ｘ１，
ｘ２，…，ｘｎが入力層の対数機能部４１，４２および
４４にそれぞれ供給される。
受信されかつ複数の出力を有するニューラルネットワー
クの概念図を示す。複数のネットワーク入力ｘ１，
ｘ２，…，ｘｎが入力層の対数機能部４１，４２および
４４にそれぞれ供給される。
【００３６】入力層の各々の対数機能部４１，４２およ
び４４の出力は隠れ層の各々のニューロン（そのうちニ
ューロン４６，４７，５１および５２のみが示されてい
る）に分配される。例えば、対数機能部４１の出力はニ
ューロン回路４６，４７，５１および５２の各々、およ
び隠れ層の全ての他のニューロン回路（図示せず）に分
配される。同じ接続は入力層の対数機能部４２，４４お
よび全ての他の対数機能部（図示せず）の出力に関して
行なわれる。
び４４の出力は隠れ層の各々のニューロン（そのうちニ
ューロン４６，４７，５１および５２のみが示されてい
る）に分配される。例えば、対数機能部４１の出力はニ
ューロン回路４６，４７，５１および５２の各々、およ
び隠れ層の全ての他のニューロン回路（図示せず）に分
配される。同じ接続は入力層の対数機能部４２，４４お
よび全ての他の対数機能部（図示せず）の出力に関して
行なわれる。
【００３７】ニューラルネットワークのこの実施例に対
しては、ニューロン回路４６，４７，５１および５２の
出力は逆対数機能部５４，５５，５８および５９にそれ
ぞれ供給されてこれらの出力の逆対数を生成する。
しては、ニューロン回路４６，４７，５１および５２の
出力は逆対数機能部５４，５５，５８および５９にそれ
ぞれ供給されてこれらの出力の逆対数を生成する。
【００３８】次に、ニューロン４６および４７の逆対数
が加算器６１によって加算され、該加算器６１の出力ｙ
１はこのニューラルネットワークの１つの出力を表わ
す。さらに、ニューロン４７，５１および５２の逆対数
が加算器６２によって加算され、該加算器６２の出力ｙ
ｎは本ニューラルネットワークの他の出力を表わす。ニ
ューロン４６〜５２の他の出力は適切に付加的な加算器
または合計器（図示せず）に供給されてこのニューラル
ネットワークの他の出力ｙ２〜ｙｎ−１を生成する。
が加算器６１によって加算され、該加算器６１の出力ｙ
１はこのニューラルネットワークの１つの出力を表わ
す。さらに、ニューロン４７，５１および５２の逆対数
が加算器６２によって加算され、該加算器６２の出力ｙ
ｎは本ニューラルネットワークの他の出力を表わす。ニ
ューロン４６〜５２の他の出力は適切に付加的な加算器
または合計器（図示せず）に供給されてこのニューラル
ネットワークの他の出力ｙ２〜ｙｎ−１を生成する。
【００３９】図３は、出力層において２つの加算器また
は加算回路を示しているが、当業者には２つより多くの
加算器または合計回路が使用できることが理解されるで
あろう。また、図３はいくつかのネットワーク出力が結
合されていることを示しているが、ニューロン回路の出
力はまた切り離すことができることを理解するであろ
う。
は加算回路を示しているが、当業者には２つより多くの
加算器または合計回路が使用できることが理解されるで
あろう。また、図３はいくつかのネットワーク出力が結
合されていることを示しているが、ニューロン回路の出
力はまた切り離すことができることを理解するであろ
う。
【００４０】図４は、図３に示されたニューラルネット
ワークを使用する方法の流れ図を示す。ボックス７０に
示されているように、ネットワーク入力（すなわち、入
力ｘ１，ｘ２，…，ｘｎ）の各々の対数がとられる。次
に、ボックス７２において、この値が実質的に同時に各
々のニューロン（図３の隠れ層のニューロン４６，４
７，…，５１，５２）の入力に分配される。
ワークを使用する方法の流れ図を示す。ボックス７０に
示されているように、ネットワーク入力（すなわち、入
力ｘ１，ｘ２，…，ｘｎ）の各々の対数がとられる。次
に、ボックス７２において、この値が実質的に同時に各
々のニューロン（図３の隠れ層のニューロン４６，４
７，…，５１，５２）の入力に分配される。
【００４１】次に、ボックス７４に示されるように、各
々のニューロンはネットワーク入力の各々の対数に対し
ゲーティング機能を適用して対応するゲーテッド入力を
生成する。図３に関して前に述べたように、任意の与え
られたニューロンは異なるゲーティング機能をそれが受
信する異なるネットワーク入力の各々の対数に適用でき
る。
々のニューロンはネットワーク入力の各々の対数に対し
ゲーティング機能を適用して対応するゲーテッド入力を
生成する。図３に関して前に述べたように、任意の与え
られたニューロンは異なるゲーティング機能をそれが受
信する異なるネットワーク入力の各々の対数に適用でき
る。
【００４２】次に、ボックス７６に示されるように、い
ずれかの与えられたニューロンのためのゲーテッド入力
が一緒に加算されて和または合計（ｓｕｍ）を発生す
る。
ずれかの与えられたニューロンのためのゲーテッド入力
が一緒に加算されて和または合計（ｓｕｍ）を発生す
る。
【００４３】次に、ボックス７８に示されるように、い
ずれか与えられたニューロンに対するゲーテッド入力が
所定の荷重値に加算されてそのようなニューロンのため
のニューロン出力を発生する。また、図３に関して前に
述べたように、任意の与えられたニューロンはその合計
に対して異なる荷重値を適用できる。
ずれか与えられたニューロンに対するゲーテッド入力が
所定の荷重値に加算されてそのようなニューロンのため
のニューロン出力を発生する。また、図３に関して前に
述べたように、任意の与えられたニューロンはその合計
に対して異なる荷重値を適用できる。
【００４４】次に、ボックス８０に関しては、各々のニ
ューロン出力の逆対数がとられる。ボックス８２におい
て、第１のグループのニューロン（すなわち、ニューロ
ン４６および４７）のニューロン出力の逆対数が合計器
６１によって合計されて第１のネットワーク出力ｙ１を
発生する。
ューロン出力の逆対数がとられる。ボックス８２におい
て、第１のグループのニューロン（すなわち、ニューロ
ン４６および４７）のニューロン出力の逆対数が合計器
６１によって合計されて第１のネットワーク出力ｙ１を
発生する。
【００４５】最後に、ボックス８４に関しては、第２の
グループのニューロン（すなわち、ニューロン４７，５
１および５２）のニューロン出力の逆対数が合計器６２
によって合計されて第２のネットワーク出力ｙｎを発生
する。
グループのニューロン（すなわち、ニューロン４７，５
１および５２）のニューロン出力の逆対数が合計器６２
によって合計されて第２のネットワーク出力ｙｎを発生
する。
【００４６】図３に関して前に述べたように、当業者に
は付加的なグループ分けのニューロン４６〜５２の逆対
数を付加的な合計器（図示せず）に入力して付加的な出
力ｙ２〜ｙｎ−１を提供できることが理解されるであろ
う。
は付加的なグループ分けのニューロン４６〜５２の逆対
数を付加的な合計器（図示せず）に入力して付加的な出
力ｙ２〜ｙｎ−１を提供できることが理解されるであろ
う。
【００４７】図５は、本発明の好ましい実施例に係わ
る、入力が順次受信されかつ複数の出力を有するニュー
ラルネットワークの概念図を示す。図１に示されるよう
に、複数のネットワーク入力ｘ１，ｘ２，…，ｘｎは直
列的に入力層の単一の対数機能部４に供給される。対数
機能部４の出力は隠れ層の各々のニューロン（そのうち
ニューロン５〜８のみが示されている）に分配される。
る、入力が順次受信されかつ複数の出力を有するニュー
ラルネットワークの概念図を示す。図１に示されるよう
に、複数のネットワーク入力ｘ１，ｘ２，…，ｘｎは直
列的に入力層の単一の対数機能部４に供給される。対数
機能部４の出力は隠れ層の各々のニューロン（そのうち
ニューロン５〜８のみが示されている）に分配される。
【００４８】ニューラルネットワークのこの実施例に対
しては、ニューロン５〜８の１つの出力はまず逆対数機
能部１２に供給され、かつそのようなニューロン出力の
逆対数が次に実質的に同時に各々の合計器１０１〜１０
９に供給される。次に、ニューロン５〜８の他の１つの
出力が逆対数機能部１２へと供給され、かつその逆対数
が実質的に同時に各々の合計器１０１〜１０９に供給さ
れる。
しては、ニューロン５〜８の１つの出力はまず逆対数機
能部１２に供給され、かつそのようなニューロン出力の
逆対数が次に実質的に同時に各々の合計器１０１〜１０
９に供給される。次に、ニューロン５〜８の他の１つの
出力が逆対数機能部１２へと供給され、かつその逆対数
が実質的に同時に各々の合計器１０１〜１０９に供給さ
れる。
【００４９】各々の合計器１０１〜１０９は各々の新し
く受信した逆対数をその累積された和に加算し、さもな
ければゼロに加算し、かつそれが各々のニューロン出力
の逆対数を受信したとき、各々の合計器１０１〜１０９
の最終的に累積された和がニューラルネットワークの出
力ｙ１〜ｙｎであると規定される。
く受信した逆対数をその累積された和に加算し、さもな
ければゼロに加算し、かつそれが各々のニューロン出力
の逆対数を受信したとき、各々の合計器１０１〜１０９
の最終的に累積された和がニューラルネットワークの出
力ｙ１〜ｙｎであると規定される。
【００５０】前記隠れ層における付加的なニューロン
（図示せず）の出力を付加的な逆対数機能部（図示せ
ず）に供給しかつ合計器１０１〜１０９に供給できるこ
とが理解されるであろう。
（図示せず）の出力を付加的な逆対数機能部（図示せ
ず）に供給しかつ合計器１０１〜１０９に供給できるこ
とが理解されるであろう。
【００５１】図６は、図５に示されたニューラルネット
ワークを使用する方法の流れ図である。図６に示された
方法のステップ２０〜３２は図２に示された同じ番号の
ステップと同じで良い。
ワークを使用する方法の流れ図である。図６に示された
方法のステップ２０〜３２は図２に示された同じ番号の
ステップと同じで良い。
【００５２】ステップ１１０においては、前記ニューロ
ンの１つ（例えば、ニューロン５）の出力が前記出力合
計器１０１〜１０９の各々に分配される。ステップ１１
２において、各々の合計器がその入力を、もしあれば、
前に累積された和に加算し、そもなければゼロに加算
し、新しく累積された合計を発生する。
ンの１つ（例えば、ニューロン５）の出力が前記出力合
計器１０１〜１０９の各々に分配される。ステップ１１
２において、各々の合計器がその入力を、もしあれば、
前に累積された和に加算し、そもなければゼロに加算
し、新しく累積された合計を発生する。
【００５３】判断ボックス１１４において、これが最後
の（すなわち、Ｎ番目の）ニューロン出力の逆対数であ
るか否かの判定が行なわれる。もしそうであれば、本方
法はボックス１１６に進むが、そうでなければボックス
３２に戻る。
の（すなわち、Ｎ番目の）ニューロン出力の逆対数であ
るか否かの判定が行なわれる。もしそうであれば、本方
法はボックス１１６に進むが、そうでなければボックス
３２に戻る。
【００５４】ステップ１１６において、各々の出力合計
器の最終的に累積された合計が前記複数のネットワーク
出力ｙ１〜ｙｎの１つであると規定される。
器の最終的に累積された合計が前記複数のネットワーク
出力ｙ１〜ｙｎの１つであると規定される。
【００５５】本発明のニューラルネットワークの動作は
多項式展開（ｐｏｌｙｎｏｍｉａｌｅｘｐａｎｓｉｏ
ｎ）の使用に基づいており、かつ、大ざっぱな意味で、
サイン，コサイン、指数／対数関数のような、直交関
数、フーリエ変換、ルジャンドル多項式、ボルテラ（Ｖ
ｏｌｔｅｒｒａ）関数または放射基底関数、その他のよ
うな非線形基底関数（ｎｏｎ−ｌｉｎｅａｒ ｂａｓｉ
ｓ ｆｕｎｃｔｉｏｎ）の使用、あるいは多項式展開と
直交関数の組合わせに基づいている。
多項式展開（ｐｏｌｙｎｏｍｉａｌｅｘｐａｎｓｉｏ
ｎ）の使用に基づいており、かつ、大ざっぱな意味で、
サイン，コサイン、指数／対数関数のような、直交関
数、フーリエ変換、ルジャンドル多項式、ボルテラ（Ｖ
ｏｌｔｅｒｒａ）関数または放射基底関数、その他のよ
うな非線形基底関数（ｎｏｎ−ｌｉｎｅａｒ ｂａｓｉ
ｓ ｆｕｎｃｔｉｏｎ）の使用、あるいは多項式展開と
直交関数の組合わせに基づいている。
【００５６】好ましい実施例は多項式展開を使用してお
り、その一般的な場合は次の数式１で表わされる。
り、その一般的な場合は次の数式１で表わされる。
【数１】 この場合、ｘｉはネットワーク入力を表わし、かつｘｉ
＝ｆｉ（ｚｊ）のような関数とすることができ、ｚｊは
任意の変数であり、指数ｉおよびｊは任意の正の整数で
あり、ｙはニューラルネットワークの出力を表わし、ｗ
ｉ−１はｉ番目のニューロンの荷重を表わし、ｇ１ｉ，
…，ｇｎｉはｉ番目のニューロンに対するゲーティング
関数を表わしかつ整数であり、好ましい実施例ではゼロ
またはそれ以上の値であり、そしてｎはネットワーク入
力の数である。
＝ｆｉ（ｚｊ）のような関数とすることができ、ｚｊは
任意の変数であり、指数ｉおよびｊは任意の正の整数で
あり、ｙはニューラルネットワークの出力を表わし、ｗ
ｉ−１はｉ番目のニューロンの荷重を表わし、ｇ１ｉ，
…，ｇｎｉはｉ番目のニューロンに対するゲーティング
関数を表わしかつ整数であり、好ましい実施例ではゼロ
またはそれ以上の値であり、そしてｎはネットワーク入
力の数である。
【００５７】前記数式１の各項はニューロン出力および
そのようなニューロンに関連する荷重およびゲーティン
グ関数を表わしている。該ニューロンの動作は前記関連
発明（２）に記載されている。各々の入力値が正であり
かつしたがって対数関数を適用する、各々のニューロン
は各々の入力の符号に追従しかつ前記数式１の項に対す
る正しい符号を生成する。ニューラルネットワークにお
いて使用されるべき多項式展開の項の数は利用可能なニ
ューロンの数、トレーニング例の数、その他を含む数多
くの要因に基づいている。多項式展開のより高い次数の
項は通常より低い次数の項より有意性が小さい。したが
って、好ましい実施例においては、より低い次数の項
が、可能な場合には、上に述べた種々の要因に基づき選
択される。また、種々の入力に関連する測定の単位が変
わり得るから、入力はそれらが使用される前に正規化さ
れる必要がある。
そのようなニューロンに関連する荷重およびゲーティン
グ関数を表わしている。該ニューロンの動作は前記関連
発明（２）に記載されている。各々の入力値が正であり
かつしたがって対数関数を適用する、各々のニューロン
は各々の入力の符号に追従しかつ前記数式１の項に対す
る正しい符号を生成する。ニューラルネットワークにお
いて使用されるべき多項式展開の項の数は利用可能なニ
ューロンの数、トレーニング例の数、その他を含む数多
くの要因に基づいている。多項式展開のより高い次数の
項は通常より低い次数の項より有意性が小さい。したが
って、好ましい実施例においては、より低い次数の項
が、可能な場合には、上に述べた種々の要因に基づき選
択される。また、種々の入力に関連する測定の単位が変
わり得るから、入力はそれらが使用される前に正規化さ
れる必要がある。
【００５８】次の数式２は前記数式１の別の表現であ
り、３次の項までの項を示している。
り、３次の項までの項を示している。
【数２】 この場合、各変数は前記数式１と同じ意味を有し、かつ
ｆ１（ｉ）はｎ＋１から２ｎの範囲の範囲の指数関数
（ｉｎｄｅｘ ｆｕｎｃｔｉｏｎ）であり、ｆ
２（ｉ，ｊ）は２ｎ＋１から２ｎ＋（ｎ）（ｎ−１）／
２の範囲の指数関数であり、かつｆ３（ｉ，ｊ）は２ｎ
＋１＋（ｎ）（ｎ−１）／２から３ｎ＋（ｎ）（ｎ−
１）／２の範囲にある。また、ｆ４からｆ６は同様の方
法で表わされる。
ｆ１（ｉ）はｎ＋１から２ｎの範囲の範囲の指数関数
（ｉｎｄｅｘ ｆｕｎｃｔｉｏｎ）であり、ｆ
２（ｉ，ｊ）は２ｎ＋１から２ｎ＋（ｎ）（ｎ−１）／
２の範囲の指数関数であり、かつｆ３（ｉ，ｊ）は２ｎ
＋１＋（ｎ）（ｎ−１）／２から３ｎ＋（ｎ）（ｎ−
１）／２の範囲にある。また、ｆ４からｆ６は同様の方
法で表わされる。
【００５９】当業者は前記ゲーティング関数は数式２で
表わされる項に組み込まれることを認識するであろう。
例えば、数式２は次のように表わすことができる。
表わされる項に組み込まれることを認識するであろう。
例えば、数式２は次のように表わすことができる。
【数３】 ｙ＝ｗ０＋ｗ１ｘ１＋ｗ２ｘ２＋……ｗｉｘｉ＋……＋ｗｎｘｎ ＋ｗｎ＋１ｘ１ ２＋……＋ｗ２ｎｘｎ ２ ＋ｗ２ｎ＋１ｘ１ｘ２＋ｗ２ｎ＋２ｘ１ｘ３＋…… ＋ｗ３ｎ−１ｘ１ｘｎ＋ｗ３ｎｘ２ｘ３＋ｗ３ｎ＋１ｘ２ｘ４＋ ……ｗ２ｎ＋（ｎ）（ｎ−１）／２ｘｎ−１ｘｎ＋…… ＋ｗＮ−１ｘ１ ｇ１Ｎ ｘ２ ｇ２Ｎ……ｘｎ ｇｎＮ＋…… この場合、各変数は数式１と同じ意味を有する。
【００６０】前記ゲーティング関数項ｇｉｎは数式３の
最後に示された項にのみ明示的に表われているが、各々
の他の項は明示的に示されたそのｇｉＮ項を有すること
が理解される（例えば、ｗ１ｘ１項についてはｇ１２＝
１であり、かつ他の項はｇｉ２＝０，ｉ＝２，３，…，
ｎである）ことに注目すべきである。Ｎは任意の正の整
数でありかつネットワークにおけるＮ番目のニューロン
を表わす。
最後に示された項にのみ明示的に表われているが、各々
の他の項は明示的に示されたそのｇｉＮ項を有すること
が理解される（例えば、ｗ１ｘ１項についてはｇ１２＝
１であり、かつ他の項はｇｉ２＝０，ｉ＝２，３，…，
ｎである）ことに注目すべきである。Ｎは任意の正の整
数でありかつネットワークにおけるＮ番目のニューロン
を表わす。
【００６１】
【トレーニングアルゴリズム】ニューラルネットワーク
が有用なものとなるためには、各々のニューロン回路の
荷重（ｗｅｉｇｈｔｓ）が決定されなければならない。
これは、例えば、前記関連発明（３）に述べたような、
適切なトレーニングアルゴリズムの使用によって達成で
きる。
が有用なものとなるためには、各々のニューロン回路の
荷重（ｗｅｉｇｈｔｓ）が決定されなければならない。
これは、例えば、前記関連発明（３）に述べたような、
適切なトレーニングアルゴリズムの使用によって達成で
きる。
【００６２】
【発明の概要】要するに、各々がその主たる処理エレメ
ントとして加算器のみを必要とする複数のニューロンを
使用したニューラルネットワークの概念、並びに好まし
い実施例を含むいくつかの実施例、が説明された。
ントとして加算器のみを必要とする複数のニューロンを
使用したニューラルネットワークの概念、並びに好まし
い実施例を含むいくつかの実施例、が説明された。
【００６３】さらに、当業者には、開示された発明は種
々の方法で修正できかつ上に特に述べられかつ説明され
た好ましい形式以外の数多くの実施例を取り得ることが
理解されるであろう。
々の方法で修正できかつ上に特に述べられかつ説明され
た好ましい形式以外の数多くの実施例を取り得ることが
理解されるであろう。
【００６４】本発明の概念は数多くの方法で変更できる
ことが理解されるであろう。例えば、入力ノードの数、
ニューロンまたはニューロン回路の数、および対数、逆
対数、および合計手段または回路の数およびそれらの相
互接続のようなシステム構造上のエレメントに関して
は、集積回路技術、実施の形態（例えば、アナログ、デ
ジタル、ソフトウェア、その他）、ダイの寸法、ピンア
ウト、その他に応じて設計上選択できる事項である。
ことが理解されるであろう。例えば、入力ノードの数、
ニューロンまたはニューロン回路の数、および対数、逆
対数、および合計手段または回路の数およびそれらの相
互接続のようなシステム構造上のエレメントに関して
は、集積回路技術、実施の形態（例えば、アナログ、デ
ジタル、ソフトウェア、その他）、ダイの寸法、ピンア
ウト、その他に応じて設計上選択できる事項である。
【００６５】また、上に述べた多項式展開の切り詰めの
程度は必要とされる精度に依存することも明らかであろ
う。
程度は必要とされる精度に依存することも明らかであろ
う。
【００６６】したがって、添付の特許請求の範囲によっ
て本発明の真の精神および範囲内に入る本発明の全ての
修正をカバーすることを意図している。
て本発明の真の精神および範囲内に入る本発明の全ての
修正をカバーすることを意図している。
【００６７】
【発明の効果】ここに開示された種々の実施例のニュー
ラルネットワーク、および該ニューラルネットワークを
使用しかつトレーニングする方法は反復的なトレーニン
グを必要とせずかつ各々の与えられた組の入力ベクトル
に対しグローバルミニマムを提供するから、開示された
ニューラルネットワークは、計算時間の大幅な低減と共
に、かつ半導体チップ上に実施されてもあるいはコンピ
ュータプログラムで実施されても、実施上のコストおよ
び複雑さを大幅に低減しながら、従来よりはるかに正確
な結果を達成できる。
ラルネットワーク、および該ニューラルネットワークを
使用しかつトレーニングする方法は反復的なトレーニン
グを必要とせずかつ各々の与えられた組の入力ベクトル
に対しグローバルミニマムを提供するから、開示された
ニューラルネットワークは、計算時間の大幅な低減と共
に、かつ半導体チップ上に実施されてもあるいはコンピ
ュータプログラムで実施されても、実施上のコストおよ
び複雑さを大幅に低減しながら、従来よりはるかに正確
な結果を達成できる。
【図１】本発明に係わるニューラルネットワークを示す
概念的説明図である。
概念的説明図である。
【図２】図１に示されたニューラルネットワークの使用
方法を示す流れ図である。
方法を示す流れ図である。
【図３】本発明に係わる入力が並列に受信されかつ複数
の出力を有するニューラルネットワークを示す概念的説
明図である。
の出力を有するニューラルネットワークを示す概念的説
明図である。
【図４】図３に示されたニューラルネットワークを使用
する方法を示す流れ図である。
する方法を示す流れ図である。
【図５】本発明の好ましい実施例に係わる入力が直列的
に受信されかつ複数の出力を有するニューラルネットワ
ークを示す概念的説明図である。
に受信されかつ複数の出力を有するニューラルネットワ
ークを示す概念的説明図である。
【図６】図５に示されたニューラルネットワークを使用
する方法を示す流れ図である。
する方法を示す流れ図である。
２ ニューラルネットワークへの入力 ４，４１，４２，４４ 対数機能部 ５，６，７，８ ニューロン １２，５５，５８，５９ 逆対数機能部 １４，６１，６２，１０１，…，１０９ 合計器 ４６，４７，５１，５２ ニューロン １６ ニューラルネットワークの出力
Claims (5)
- 【請求項１】 複数のネットワーク入力および少なくと
も１つのネットワーク出力を有するニューラルネットワ
ーク（図３）であって、 対数機能（４１，４２，４４）を前記ネットワーク入力
に適用して対応する対数入力を生成する手段、 複数のニューロン（４６，４７，５１，５２）であっ
て、各々のニューロンは前記複数の対数入力のうちの対
応するものに応答する複数の入力を有しかつ出力を発生
するもの、 前記ニューロン出力の各々に対し逆対数機能（５４，５
５，５８，５９）を適用して対応する逆対数出力を生成
する手段、そして前記ニューロンの前記逆対数出力を合
計し（６１，６２）かつ前記少なくとも１つのネットワ
ーク出力を発生する手段、 を具備することを特徴とするニューラルネットワーク。 - 【請求項２】 前記ニューロンは線形伝達関数を具備す
ることを特徴とする請求項１に記載のニューラルネット
ワーク。 - 【請求項３】 ニューラルネットワークを動作させる方
法であって、該ニューラルネットワークは、 複数のネットワーク入力および少なくとも１つのネット
ワーク出力、 複数のニューロン（４６，４７，５１，５２）であっ
て、各々のニューロンは複数の入力を受信しかつ出力を
発生するもの、そして対数機能（４１，４２，４４）お
よび逆対数機能（５４，５５，５８，５９）を生成する
手段、 を具備し、前記方法は、 （ａ）前記対数機能生成手段が対数関数を前記ネットワ
ーク入力に適用して対応する対数入力を生成する段階、 （ｂ）前記対数入力の各々を前記ニューロン入力の各々
に分配する段階、 （ｃ）各々のニューロンがゲーティング関数を前記対数
入力の各々に適用して対応するゲーテッド入力を生成す
る段階、 （ｄ）各々のニューロンが前記ゲーテッド入力の各々を
一緒に加算して合計を発生する段階、 （ｅ）各々のニューロンが前記合計を荷重値に加算して
各々のニューロンに対するニューロン出力を発生する段
階、 （ｆ）前記逆対数機能生成手段が逆対数関数を前記ニュ
ーロン出力の各々に適用して対応する逆対数出力を生成
する段階、そして （ｇ）前記ニューロンの前記逆対数出力を合計して前記
少なくとも１つのネットワーク出力を発生する段階、 を具備することを特徴とするニューラルネットワークを
動作させる方法。 - 【請求項４】 前記ニューラルネットワークの動作は多
項式展開に基づくことを特徴とする請求項３に記載のニ
ューラルネットワークを動作させる方法。 - 【請求項５】 ニューラルネットワークを動作させる方
法であって、該ニューラルネットワークは、 複数のネットワーク入力および少なくとも１つのネット
ワーク出力、 複数のニューロン（４６，４７，５１，５２）であっ
て、各々のニューロンは複数の入力を受信しかつ出力を
発生するもの、そして対数機能（４１，４２，４４）お
よび逆対数機能（５４，５５，５８，５９）を生成する
手段、 を具備し、前記方法は、 （ａ）前記対数関数生成手段が対数機能を前記ネットワ
ーク入力の各々に実質的に同時に適用して対応する対数
入力を生成する段階、 （ｂ）前記対数入力の各々を前記ニューロン入力の各々
に分配する段階、 （ｃ）各々のニューロンがゲーティング関数を前記対数
入力の各々に適応して対応するゲーテッド入力を生成す
る段階、 （ｄ）各々のニューロンが前記ゲーテッド入力の各々を
一緒に加算して合計を発生する段階、 （ｅ）各々のニューロンが前記合計を荷重値に加算して
各々のニューロンに対するニューロン出力を発生する段
階、 （ｆ）前記逆対数機能生成手段が前記ニューロン出力の
各々に対して実質的に同時に逆対数機能を適用して対応
する逆対数出力を生成する段階、 （ｇ）前記複数のニューロンの第１のグループの前記逆
対数出力を合計して第１のネットワーク出力を発生する
段階、そして （ｈ）前記複数のニューロンのうちの第２のグループの
前記逆対数出力を合計して第２のネットワーク出力を発
生する段階、 を具備することを特徴とするニューラルネットワークを
動作させる方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17660194A | 1994-01-03 | 1994-01-03 | |
| US08/176,601 | 1994-01-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07210534A true JPH07210534A (ja) | 1995-08-11 |
Family
ID=22645042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6337167A Pending JPH07210534A (ja) | 1994-01-03 | 1994-12-26 | ニューラルネットワーク |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5778153A (ja) |
| EP (1) | EP0661645A3 (ja) |
| JP (1) | JPH07210534A (ja) |
| KR (1) | KR950024083A (ja) |
| CA (1) | CA2135857A1 (ja) |
| RU (2) | RU94045146A (ja) |
| TW (1) | TW386198B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019155910A1 (ja) * | 2018-02-06 | 2019-08-15 | 国立大学法人北海道大学 | ニューラル電子回路 |
| WO2020230850A1 (ja) * | 2019-05-15 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
| JP2024023629A (ja) * | 2018-06-29 | 2024-02-21 | インテル・コーポレーション | 区分線形近似を用いる深層ニューラルネットワークアーキテクチャ |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6501805B1 (en) | 1999-05-14 | 2002-12-31 | Harris Corporation | Broadcast transmission system with single correction filter for correcting linear and non-linear distortion |
| US11244225B2 (en) * | 2015-07-10 | 2022-02-08 | Samsung Electronics Co., Ltd. | Neural network processor configurable using macro instructions |
| CN106777829B (zh) * | 2017-02-06 | 2019-04-12 | 深圳晶源信息技术有限公司 | 一种集成电路掩模设计的优化方法及计算机可读的存储介质 |
| US10922608B2 (en) * | 2017-03-08 | 2021-02-16 | Arm Ltd | Spiking neural network |
| US10929746B2 (en) * | 2017-11-27 | 2021-02-23 | Samsung Electronics Co., Ltd. | Low-power hardware acceleration method and system for convolution neural network computation |
| DE102019208257A1 (de) * | 2018-07-03 | 2020-01-09 | Heidelberger Druckmaschinen Ag | Druckqualitätsanalyse mit neuronalen Netzen |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3551663A (en) * | 1965-04-15 | 1970-12-29 | Gen Electric | Multiplication apparatus in a data processing system with a variable length multiplier |
| US3748451A (en) * | 1970-08-21 | 1973-07-24 | Control Data Corp | General purpose matrix processor with convolution capabilities |
| FR2212952A5 (ja) * | 1972-12-29 | 1974-07-26 | Cit Alcatel | |
| US3967100A (en) * | 1973-11-12 | 1976-06-29 | Naonobu Shimomura | Digital function generator utilizing cascade accumulation |
| US3922536A (en) * | 1974-05-31 | 1975-11-25 | Rca Corp | Multionomial processor system |
| PL106470B1 (pl) * | 1977-02-01 | 1979-12-31 | Inst Maszyn Matematycznych | Uklad cyfrowy do obliczania wartosci zlozonych wyrazen arytmetycznych |
| DE3506749A1 (de) * | 1984-02-27 | 1985-09-26 | Nippon Telegraph & Telephone Public Corp., Tokio/Tokyo | Matrixprozessor und steuerverfahren hierfuer |
| US4626825A (en) * | 1985-07-02 | 1986-12-02 | Vlsi Technology, Inc. | Logarithmic conversion apparatus |
| US5109524A (en) * | 1985-07-02 | 1992-04-28 | Vlsi Technology, Inc. | Digital processor with a four part data register for storing data before and after data conversion and data calculations |
| GB8619452D0 (en) * | 1986-08-08 | 1986-12-17 | Dobson V G | Signal generating & processing |
| EP0314809B1 (en) * | 1987-05-14 | 1993-07-21 | Fujitsu Limited | Vector processor for processing recurrent equations at a high speed |
| US5337266A (en) * | 1987-12-21 | 1994-08-09 | Arnold Mark G | Method and apparatus for fast logarithmic addition and subtraction |
| US4849925A (en) * | 1988-01-15 | 1989-07-18 | The United States Of America As Represented By The Secretary Of The Navy | Maximum entropy deconvolver circuit based on neural net principles |
| FI894021A7 (fi) * | 1988-08-31 | 1990-03-01 | Fujitsu Ltd | Neuronstruktur. |
| US5073867A (en) * | 1989-06-12 | 1991-12-17 | Westinghouse Electric Corp. | Digital neural network processing elements |
| US5359551A (en) * | 1989-06-14 | 1994-10-25 | Log Point Technologies, Inc. | High speed logarithmic function generating apparatus |
| US5113367A (en) * | 1989-07-03 | 1992-05-12 | The United States Of America As Represented By The Secretary Of The Navy | Cross entropy deconvolver circuit adaptable to changing convolution functions |
| US5042001A (en) * | 1989-10-02 | 1991-08-20 | Cyrix Corporation | Method and apparatus for performing mathematical functions using polynomial approximation and a rectangular aspect ratio multiplier |
| US5068816A (en) * | 1990-02-16 | 1991-11-26 | Noetzel Andrew S | Interplating memory function evaluation |
| US5343254A (en) * | 1991-04-25 | 1994-08-30 | Olympus Optical Co., Ltd. | Image signal processing device capable of suppressing nonuniformity of illumination |
| JP3003276B2 (ja) * | 1991-06-19 | 2000-01-24 | 松下電器産業株式会社 | 信号解析装置 |
| US5450522A (en) * | 1991-08-19 | 1995-09-12 | U S West Advanced Technologies, Inc. | Auditory model for parametrization of speech |
| US5331582A (en) * | 1991-12-16 | 1994-07-19 | Pioneer Electronic Corporation | Digital signal processor using a coefficient value corrected according to the shift of input data |
| US5365465A (en) * | 1991-12-26 | 1994-11-15 | Texas Instruments Incorporated | Floating point to logarithm converter |
| US5278945A (en) * | 1992-01-10 | 1994-01-11 | American Neuralogical, Inc. | Neural processor apparatus |
| WO1993017383A1 (de) * | 1992-02-29 | 1993-09-02 | Hoefflinger Bernd | Schaltungsanordnung zum digitalen multiplizieren von integer-zahlen |
| JPH05342191A (ja) * | 1992-06-08 | 1993-12-24 | Mitsubishi Electric Corp | 経済時系列データ予測及び解析システム |
| US5517667A (en) * | 1993-06-14 | 1996-05-14 | Motorola, Inc. | Neural network that does not require repetitive training |
| US5553012A (en) * | 1995-03-10 | 1996-09-03 | Motorola, Inc. | Exponentiation circuit utilizing shift means and method of using same |
-
1994
- 1994-11-15 CA CA002135857A patent/CA2135857A1/en not_active Abandoned
- 1994-12-13 TW TW083111637A patent/TW386198B/zh not_active IP Right Cessation
- 1994-12-22 EP EP94120387A patent/EP0661645A3/en not_active Withdrawn
- 1994-12-26 JP JP6337167A patent/JPH07210534A/ja active Pending
- 1994-12-28 KR KR1019940037715A patent/KR950024083A/ko not_active Withdrawn
- 1994-12-29 RU RU94045146/09A patent/RU94045146A/ru unknown
- 1994-12-29 RU RU94045263/09A patent/RU94045263A/ru unknown
-
1997
- 1997-01-08 US US08/780,532 patent/US5778153A/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019155910A1 (ja) * | 2018-02-06 | 2019-08-15 | 国立大学法人北海道大学 | ニューラル電子回路 |
| JP2024023629A (ja) * | 2018-06-29 | 2024-02-21 | インテル・コーポレーション | 区分線形近似を用いる深層ニューラルネットワークアーキテクチャ |
| WO2020230850A1 (ja) * | 2019-05-15 | 2020-11-19 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及び電子機器 |
| US12010434B2 (en) | 2019-05-15 | 2024-06-11 | Sony Semiconductor Solutions Corporation | Solid-state imaging apparatus and electronic device to perform arithmetic operation of neural network |
Also Published As
| Publication number | Publication date |
|---|---|
| KR950024083A (ko) | 1995-08-21 |
| RU94045263A (ru) | 1996-10-20 |
| TW386198B (en) | 2000-04-01 |
| EP0661645A3 (en) | 1995-09-20 |
| RU94045146A (ru) | 1996-10-20 |
| US5778153A (en) | 1998-07-07 |
| EP0661645A2 (en) | 1995-07-05 |
| CA2135857A1 (en) | 1995-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5517667A (en) | Neural network that does not require repetitive training | |
| US5390136A (en) | Artificial neuron and method of using same | |
| JPH08297716A (ja) | ニューラル・ネットワーク用の適応型重み調整回路 | |
| CN116362314B (zh) | 一种存算一体装置和计算方法 | |
| CN114787823A (zh) | 灵活精度的神经推理处理单元 | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| Hopfield | The effectiveness of analogue'neural network'hardware | |
| US5581661A (en) | Artificial neuron using adder circuit and method of using same | |
| Niknia et al. | Nanoscale accelerators for artificial neural networks | |
| Ni et al. | LBFP: Logarithmic block floating point arithmetic for deep neural networks | |
| CN109697511A (zh) | 数据推理方法、装置及计算机设备 | |
| JP7663296B2 (ja) | アナログクロスバーアレイの更新のための疎な変更可能なビット長決定論的パルス生成 | |
| GB2236608A (en) | Digital neural networks | |
| US11977432B2 (en) | Data processing circuit and fault-mitigating method | |
| Arnold et al. | On the cost effectiveness of logarithmic arithmetic for backpropagation training on SIMD processors | |
| Bermak et al. | VLSI implementation of a neural network classifier based on the saturating linear activation function | |
| CN116134415A (zh) | 用于更新交叉阵列的脉冲生成 | |
| Bochev | Distributed arithmetic implementation of artificial neural networks | |
| RU2256226C2 (ru) | Нейронная сеть для расширения кортежа числовой системы вычетов | |
| JPH07210542A (ja) | ニューロン回路 | |
| Yasunaga et al. | Performance of a bus-based parallel computer with integer-representation processors applied to artificial neural network and parallel AI domains | |
| Biederman et al. | Design of a neural network-based digital multiplier | |
| JP3263955B2 (ja) | しきい値回路 | |
| Geva et al. | A VLSI friendly neural network with localised transfer functions | |
| Krikelis et al. | Implementing neural networks with the associative string processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050126 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20041217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050408 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050608 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050615 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061003 |