JPH07282038A

JPH07282038A - 線形関数で近似する数値処理方法及びプロセッサ

Info

Publication number: JPH07282038A
Application number: JP7075337A
Authority: JP
Inventors: Yannick Deville; デヴィレヤンニック
Original assignee: Koninklijke Philips Electronics NV; Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1994-03-31
Filing date: 1995-03-31
Publication date: 1995-10-27
Also published as: EP0683462A2; EP0683462A3

Abstract

(57)【要約】【目的】任意の関数を線形で近似する数値処理方法及
びプロセッサの構築【構成】変数データ(x) を数値的に処理し、場合によ
っては不連続なＬ個の部分的線形関数〔f(x)〕を構築
し、同数の線形副関数〔H₀(x),…,H_L-1(x)〕を付随的に
生成し、そのうち、最初の副関数〔H₀(x) 〕は１つの部
分(J₀)をもち、以後の副関数〔H₁(x),…,H_L-1(x)〕は第
１の部分(J_i) と第２の部分 (J'_i) とをもち、該２つ
の部分の端の限界値(r_i) は構築しようとする関数〔f
(x)〕の隣接する部分の限界値にそれぞれ一致し、また
構築しようとする関数〔f(x)〕の各部分(F_u) の限界に
より定義される各インターバル(I_u) にそれぞれ在る全
副関数のコントリビューションの総和を計算する数値処
理方法。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、変数データを数値的に
処理して、所定数の部分を持ち該各部分では線形関数で
あり且つこれらの部分間は場合によっては不連続である
ような部分的線形関数(une fonction lineaire par mor
ceaux)を構築する数値処理方法に関する。

【０００２】本発明の適用分野には、連続又は不連続な
非線形関数を近似するための関数を生成することがあ
る。

【０００３】本発明はまた、この方法を実行する数値プ
ロセッサ及びニューラル数値プロセッサ(un processeur
numerique neuronal)にも関するものであり、その適用
分野としては、特に活性化関数(fonctions d'activatio
n)を生成するものがある。

【０００４】

【従来の技術】ニューラル数値プロセッサは、神経回路
網(reseau de neurones)と呼ばれる完全なシステムの一
部分を形成する。神経回路網は、シナプス係数を割り当
てられているシナプスによって一般的に相互に結合して
いる非線形オートマトンで構成される。

【０００５】極めて広く普及しているタイプの神経回路
網の１つでは、ニューロンは複数の引き続いている層中
にグループ分けされて、各ニューロンは次の層の全ニュ
ーロンと結合しており、情報は入力層から次の層（隠さ
れた層）へと通過して行き、出力層にまで至るのであ
る。

【０００６】ある所定のニューロンが、上流側で(en am
ont)それに接続しているニューロンにより与えられるす
べての寄与を合計して、ニューラル・ポテンシャルを引
き渡す。ニューラル・ポテンシャルは通常、非線形活性
化関数の支配下に置かれるので、プロセッサが正しい判
断をすることができる。

【０００７】今日、ニューラル・プロセッサ内部で広く
普及している活性化関数は、シグモイド関数(fonctions
sigmoides) であって、その理由は学習ステップ中で最
適の収斂速度が得られるからである。

【０００８】単一のハードウェアでシグモイド関数の計
算を実行しようとすることは合理的でないから、当業者
は先ずシグモイド関数を部分的線形関数で近似しようと
試みる。

【０００９】部分的線形関数を用いてシグモイド関数を
近似する関数を合成し、またその導関数を合成する手段
を持つニューラル数値プロセッサは、ヨーロッパ特許出
願第EP 0546624号により既知である。この文献は、全く
任意の関数、特に不連続のある関数の合成は可能として
いない。実際には、その手段というのは、異なる定数値
F_min,F_maxを持つ２つの定数直線部分とその中間の第
３の部分とを含む関数で、この第３の部分は所与のイン
ターバル内で定義され、線形の場合も非線形の場合もあ
り、その下限値及び上限値は該所与のインターバルの両
端でそれぞれ上記定数値に一致している関数を構築す
る、というものに過ぎない。従ってこれは２つの飽和セ
グメント(segments de saturation)で両端を限られた単
純な線形又は非線形の関数が生成されるに過ぎない。所
与のインターバル内では、近似を求めなければならない
非線形関数との関連で該単純な関数が選定される。シグ
モイド関数を近似するためにはこの第３の（定数でな
い）部分は３次の多項式、すなわちランプ(rampe) 形と
なろう。３次の多項式は、求める形の非線形近似関数を
作るのに十分な数の値をストックしているテーブルを用
いてハードウェア的に構築できる。もしランプ関数(fon
ction rampe)を用いるなら、テーブルを用いるには及ば
ない。定数直線部分というのは実はしきい値であって、
先ず最初に求めなければならないものであるが、これが
計算時間を遅くする。

【００１０】上記先行技術の文献に記載された部分的線
形関数は、実際には線形関数でその両端がいずれも飽和
しているものである。従ってこれは勾配が減少して水平
な漸近線を持つ連続関数しか近似することができないの
で、応用範囲も限られる。

【００１１】

【発明が解決しようとする課題】本発明の目的は、予め
定められた精密さで部分的線形関数を合成する方法を提
供することである：この部分的線形関数は任意の連続又
は不連続な関数の近似に適用することができる；またそ
れは十分簡単な構造であって、チップ上に集積化するこ
とができる；次にそれは極めて高速の計算を実行でき
る。

【００１２】

【課題を解決するための手段】この目的は、冒頭に規定
した方法が、 − 構築しようとする関数の部分の数と同数の線形副関
数を付随的に生成することを含み、それらの副関数のう
ち、最初の線形副関数は１つの部分をもち、それに続く
線形副関数は第１の部分及び第２の部分と称する２つの
部分をもち、該２つの部分の端には限界があり、該限界
は構築しようとする関数の隣接する部分の限界にそれぞ
れ一致するものであり、また − 構築しようとする関数の各部分の限界により定義さ
れる各インターバルにそれぞれ在る全副関数のコントリ
ビューションの総和を計算することを含むことを特徴と
することにより達成される。

【００１３】この方法は、例えば活性化関数の合成に適
用できる, 特にシグモイド関数の合成に適用できる；任
意の神経回路網で使用可能なニューロン関数の合成に適
用できる；更に一般的に任意の連続又は不連続な関数の
合成に適用できる。

【００１４】

【実施例】次に本発明が図面を参照して詳細に説明され
る。

【００１５】Ｉ- 生成すべき関数 f(x) の定義. 本発明は先ず第一に、必ずしも連続である必要のない部
分的線形関数を生成するために、変数データを処理する
数値処理方法に関する。

【００１６】本発明は次に、この数値処理方法の手順を
実行するための、在来型の数値プロセッサ及びニューラ
ル数値プロセッサに関する。

【００１７】生成すべき部分的線形関数は、ｘを変数デ
ータとするとき f(x) と定義され、それは多数のセグメ
ントで表される：これらのセグメントは定義域がｘ軸上
の２点間に限定され、両端は隣のセグメントの端とｘ座
標の値が共通であるが、其処での連続性は必ずしも要求
されない：セグメントの端は調整可能で如何なる値もと
り得るものとする。各セグメントはその勾配及び縦軸を
截る点の縦座標、並びに両端の横座標によって規定され
る。

【００１８】この部分的線形関数は、最も制約の少ない
形ですべての関数の近似関数を、換言すれば近似されよ
うとする関数に不連続があるか否かを問わずに、近似関
数を構築するのに応用される。

【００１９】図１を参照して、先ず関数 f(x) を、次の
ような１組のパラメタを用いて最も一般的な形で定義す
る： − セグメントの数：ｍ, 他のパラメタに課される条件
とは異なり、セグメントの数ｍは以下の議論において常
に一定とする。セグメント数ｍが変動する場合への拡張
は当業者にとって容易である； − セグメントの両端の横座標：ｘ_u, この横座標の値
はインデクスｕの増加と共に必ず増加する。一般的には
インデクスｕは１から m−1 まで動き、その外側は無限
大に至る。従ってインターバルＩ_uは次の通りに定義さ
れ、記される：Ｉ₀＝ (−∞, ｘ₁)；Ｉ_u＝〔ｘ_u, ｘ_u+1), 但し u＝1 から u＝m-2 までに
対して；Ｉ_m-1＝〔ｘ_m-1,＋∞).

【００２０】変数ｘの定義域は有界の場合も有界でない
場合もある：生成された関数 f(x)の両端のセグメント
Ｆ₀及びＦ_m-1は無限大に至ることもある。もし両端の
インターバルが有界であるならば、下限及び上限として
ｘ₀及びｘ_mがそれぞれ導入される。 u＝0 から u＝m-
1 までの各インターバルＩ_uにおいて、関数 f(x) は勾
配がｐ_uで縦軸を截る点の縦座標がｑ_uの直線で定義さ
れる： f(x) ＝ｐ_uｘ＋ｑ_u

【００２１】図１には簡略化された近似関数 f(x) が例
示されており、茲では： − 関数 f(x) は、その数が m＝6 なる直線セグメント
のF₀,F₁,F₂,F₃,F₄,F₅を含み； − 最初のインターバルI₀は、横座標が−∞からx₁に亙
り、x₁はこれに含まれない、この直線セグメントF₀の勾
配はp₀であり縦軸を截る点の縦座標はq₀である； − インターバルI₁は、横座標がx₁からx₂に亙り、x₁は
これに含まれるがx₂はこれに含まれない；このインター
バルの直線セグメントF₁の勾配はp₁であり縦軸を截る点
の縦座標はq₁である； − I₂,F₂; I₃,F₃; I₄,F₄ については I₁,F₁と同様； − 最後のインターバルI₅は、x₅から＋∞に亙り、x₅は
これを含まれる；対応する直線セグメントF₅の勾配はp₅
であり縦軸を截る点の縦座標はq₅である； − この例では不連続が存在し、横座標x₃におけるF₂と
F₃との間が不連続になっている。

【００２２】II- 近似関数 f(x) を構築するための変数
ｘの処理方法。上に定義した近似関数 f(x) を構築する方法が図２によ
り提案される。この方法は、入力データの数値処理の多
数の連鎖を含み、該連鎖は並列に動作し、その各々が機
能ブロックによって図式的に表されている。

【００２３】この並列処理の方法には、在来型の固定配
線方式とニューラル方式とのいずれにも適用できるとい
う利点がある。またこの方法は、関数を構成するセグメ
ントの生成を並列に行うことのできる演算により極めて
高速に任意の必要な関数を生成するという利点もある。

【００２４】図２に図式的に示す並列処理の配列は、 i
＝0 から i＝L-1 までに亙る B_iと記されたＬ個のブロ
ックで表され、すべてが同じ入力変数ｘを受け取り、各
々が出力 H_i(x) を出力する。これらの出力はすべてブ
ロックＳに与えられ、ブロックＳの機能はそれらの総和
を算出することである。ブロックＳからの出力がこの方
法で得られた近似関数 f(x) の値である。

【００２５】各ブロック B_iの転移関数(fonction de t
ransfert)H_i(x) は、図3Aに示すように部分的線形関数
の部分集合(sous-ensemble) として定義され、副関数と
呼ばれるもので、茲で J_i及びJ'_iと記す部分を最大で
も２つしか含まず、この２つの部分の間には連続性は要
求されない。この方法の最終段階で、ブロック B_iの適
当な集合を使って、その間に連続性の要求されない任意
の数の部分を含む部分的線形関数 f(x) を求める。

【００２６】更に精確に云えば、図3Aにおけるブロック
B_iの転移関数 H_i(x) は、一般的にはTABLE I の関係
式 1a)により定義され、茲で r_iは２つのセグメント J
_i及びJ'_iに共通の限界の横座標で、しきい値(seuil)
と呼ばれる。従って、転移関数 H_i(x) は５個のパラメ
タ r_i,s_i,t_i, s'_i, t'_iにより定義される。これ
は、機能ブロックを組み合わせて形成された図3Bに示す
一般ブロック B_i中で実行する演算により生成すること
ができる。図3Bのブロック B_iでは、２つのセグメント
J_i及びJ'_iで表される H_i(x) の５個のパラメタのう
ちで s_i,t_iは機能ブロック105 に記憶され、s'_i, t'
_iは機能ブロック106 に記憶され、 r_iは機能ブロック
104 に記憶されている。ブロック101 で入力ｘをしきい
値 r_iと比較する。その比較結果がマルチプレクサ102
を制御し、該マルチプレクサ102 は１対の値(s,t) をブ
ロック103 に転送する。この１対の値は、ｘについての
比較検査の結果に依存して(s_i,t_i) に等しいか又は
(s'_i, t'_i) に等しい。次にブロック103 は対応する
転移関数 H_i(x) ＝sx＋t を計算する、但し茲で関係式
1a)に従ってｓは s_iか又はs'_iに等しく、ｔは t_iか
又はt'_iに等しい；それから機能ブロック103 はこの値
H_i(x) を一般ブロック B_iからの出力として供給す
る。なお、TABLE I は図15ないし図18に掲げてある。

【００２７】以下、この並列処理の方法についての説明
では、次の３つの条件が成り立つものとする： (1) 並列処理連鎖の最初のものを図式的に表す第１のブ
ロック B₀の転移関数は厳密に線形である。従ってそれ
は TABLE Iの関係式1b')により定義される、すなわち：すべてのｘに対して: H₀(x) ＝ s₀x＋t₀ 1b') である。事実、一般形としてのTABLE I の関係式1a)
は、単一のセグメントJ₀を持つ関数の場合、すなわち(s
_i,t_i) ＝ (s'_i, t'_i) の場合を含む。単一の部分を
持つこのような関数を構築するときには、パラメタが３
つ省略できる、例えば r_i, s'_i, t'_iを省略できる。
これが、一般性を損なうことはないのであって、もしこ
のような関数を用いたくないと考えるならば、ブロック
B₀を除外して、s₀＝0,t₀＝0 とすればよい。 (2) それ以外の処理連鎖を図式的に表す第２から先のブ
ロックB₁ないし B_L-1はいずれも厳密に線形でない、す
なわち各関数 H_i(x) は２つのセグメントを持ってい
る、或いは i＝1 から i＝L-1 までに対して(s_i,t_i)
≠ (s'_i, t'_i) と云ってもよい。これが一般性を損な
うことはないのであって、B₀のような単一のブロックは
いかなる厳密な線形関数をも構築できるのだから、厳密
に線形の関数を持つ２つのブロック B_iは決して用いら
れない。 (3) 種々のしきい値（又は限界値） r_iの値は、(i＝1
からL-1 までに対して)ｉが増加すれば必ず増加するこ
とを要求される。これが一般性を損なうことはないので
あって、同じ r_iの値を持つ単一のブロックは同じ関数
を構築できるのだから同じ r_i値を持つ２つのブロック
B_iは決して用いられない。そうすると、この条件は単
に、ブロックのしきい値ｒの関数として指標ｉをブロッ
クに割り当てる、ということである。

【００２８】並列に搭載されているブロックB₀及びブロ
ックB₁ないし B_L-1により形成される処理連鎖の、図２
に示す全配列は TABLE Iの関係式 2) のように記すこと
ができる。

【００２９】従って近似関数 f(x) は上記のパラメタL,
r_i,s_i,t_i, s'_i, t'_iを用いて直接に表されること
になり、これらのパラメタを「並列配置用パラメタの一
式」と称する。これらのパラメタを動かすときに生成さ
れる関数 f(x) の集合が、部分的に線形であり、セグメ
ント間は連続である必要のない求めようとしている関数
の集合に等しい、というのが利点である。先ず最初に、
図１に示すような各関数 f(x) を定義するために、セグ
メント F₀から F_m-1までを順次に定義するパラメタm,
x_u,p_u,q_uから出発する、これらを「普通のパラメタ
の一式」と称する。この「普通のパラメタの一式」と
「並列配置用パラメタの一式」との間に存在する関係は
TABLE Iに掲げる関係式 3a),3b),3c)に示されている。

【００３０】しきい値ｒは同じインデクスをもつインタ
ーバルＩの左端の横座標に対応する。近似関数 f(x) の
所与のインターバル I_uに在るセグメント F_uの勾配 p
_uは、ｉが０からｕまでの転移関数 H_i(x) の第１のセ
グメント J_iのすべてを担う直線の勾配 s_iの総和に、
ｉが u＋1 から関数 f(x) の最後のセグメント F_m-1の
インデクス m−1 までの転移関数 H_i(x) の第２のセグ
メントJ'_iのすべてを担う直線の勾配s'_iの総和を加え
たものに等しい。これが TABLE Iの 3b)式である。近似
関数 f(x) のこの該所与のインターバル I_uに在る同じ
セグメント F_uの縦軸を截る点の縦座標 q_uは、ｉが０
からｕまでの転移関数 H_i(x) の第１のセグメント J_i
のすべてを担う直線の縦軸を截る点の縦座標 t_iの総和
に、ｉがu＋1 から関数 f(x) の最後のセグメント F
_m-1のインデクス m−1 までの転移関数 H_i(x) の第２
のセグメントJ'_iのすべてを担う直線の縦軸を截る点の
縦座標t'_iの総和を加えたものに等しい。これが TABLE
Iの 3c)式である。

【００３１】パラメタ s_i,t_i, s'_i, t'_iから普通の
パラメタ p_u,q_uを導くのではなくて、並列配置に対し
てはその逆をやるのが望ましい。そのときに： − p_uから s_i, s'_iを導くのに、2m-1個の未知数を
もつｍ個の方程式が用いられる。それはこの方程式の解
が無限に存在することを意味する、換言すれば、構築す
べき所与の関数に対し、物理的に記憶すべきパラメタと
して可能な値は無限に存在する。従ってこの方法を実現
するハードウェアの構造は過剰な自由度を所有してお
り、それ故に記憶して置くべき s_i, s'_iの値のうちの
幾つかはアプリオリ（先験的）に固定されているので、
このハードウェアの構造が構築できる関数のクラス(la
classe de fonctions)を制限することなくハードウェア
構造中に必要なメモリ位置を制限することができる；ま
た − 全く同じ現象が q_uから t_i, t'_iを導くときにも
生起する、従って t_i,t'_i…の値のうちの幾つかはア
プリオリに固定されている；ことは明らかである。

【００３２】III - 非ニューラル並列構造をもつプロセ
ッサ。次に、図２に示す本発明による並列処理の方法を実現す
るプロセッサを提案する。このプロセッサでは、この方
法の演算を実行する機能ブロックは、直接的な固定配線
されたハードウェア・ブロックにより実現している。

【００３３】図２に示す機能ブロック B₀から B_L-1に
よる並列処理連鎖の配列を見ると、そのハードウェア構
造が後述され、その転移関数H₀(x) が唯１つの直線J₀で
表されるブロック B₀を別にすれば、それ以外の B₁か
ら B_L-1までのブロックはハードウェア的には全く同一
のタイプであって、図3Bに描く一般型タイプでその転移
関数が図3Aに示すタイプのものであるか、或いは以下に
記す３つの簡略型タイプのうちの１つであるか、のどち
らかである。ブロック B₁から B_L-1までを同一のタイ
プで構築することにより、それら４つのタイプから任意
の連続又は不連続な部分的線形近似関数 f(x) を構築す
ることができる。

【００３４】以下に先ず記述するのは、ブロック B₁か
ら B_L-1までの一般的ハードウェア構造であって、次い
で機能ブロック B₀及び機能ブロック B₁から B_L-1ま
でを構築するのに極めて有利な簡略型ハードウェア構造
を更に詳しく記述する。

【００３５】これら特定の簡略型構造は、図3Bの一般型
ブロック B_iに関するハードウェアよりずっと有利なハ
ードウェアで構築される近似関数 f(x) について、すべ
ての可能性を現実化するものである。

【００３６】III-a/ 一般型ブロック B_iの簡略化され
ないハードウェア構造。記憶ブロック105 には s_i,t_iが記憶され、記憶ブロッ
ク106 にはs'_i, t'_iが記憶され、記憶ブロック104 に
は r_iが記憶され、これらの記憶ブロックはメモリの所
在位置であるか、又は他のバスである。ブロック101 は
比較器であり、ブロック102 はマルチプレクサであり、
ブロック103 は乗算器である。図２のブロックＳは、例
えば２つの入力をもつ加算器の木である。

【００３７】III-b/ ブロックB₀の簡略型ハードウェア
構造. 直線の転移関数H₀(x) は TABLE Iの公式 1b') で表され
て、図示すれば例えば図4Aの線になるのであるが、それ
を図4Bに示すように構築するには、一般ブロック(bloc
general) B_iより簡単な初等ブロック(bloc elementair
e) B₀をもつハードウェア構造の利用が可能であり、該
ブロックB₀は、s₀及びt₀を記憶する２つのメモリ５を含
み、また図3Bのブロック103 の機能を持つブロック３を
含むのである。

【００３８】III-c/ ブロック B₁から B_L-1までの１
番目の簡略型ハードウェア構造. この１番目の簡略型ハードウェア構造というのは、上述
のすべての条件に更に付け加えて i＝1 から i＝m-1 ま
でに対し t_i＝0 , s'_i＝0 とする１番目の特定の場合
のことである。

【００３９】その結果もたらされる関数 H_i(x) は i≠
0 に対して TABLE Iの関係式 4a)で定義され、図5Aの２
つの線のセグメントで例示されている。この線は x≧ r
_iに対しては勾配が s_iで縦軸を截る点の縦座標が t_i
＝0 になっている１番目のセグメント J_iであり； x＜
r_iに対しては縦軸を截る点の縦座標がt'_iでｘ軸に平
行な２番目のセグメントJ'_iである。こうして記憶すべ
きパラメタの数が限定されて、計算が図3Bのブロックに
比して簡略化され且つ更に速くなっている。

【００４０】このタイプの関数 H_i(x) は図5Bに示され
る簡略化されたハードウェアのブロック B_iにより実現
できる。これは s_ix の値を計算する乗算器13を含み；
またこれと同時に（或いはもしこれらのブロックが共通
のエレメントを持つならば引き続いて）ｘを試験する比
較器11を含む。この試験の結果がマルチプレクサ12を制
御し、該マルチプレクサ12が乗算器13からの出力か又は
値t'_iかのどちらかを供給する。

【００４１】普通のパラメタと並列配置用パラメタとの
間の関係は TABLE Iの関係式 4b)ないし4g) で与えられ
る。

【００４２】双対(dual)の場合すなわち i＝1 から i＝
m-1 までに対し s_i＝0 , t'_i＝0の場合にも同じ特性
を得ることができ、同じやり方で取り扱うことができ
る。対応する転移関数 H_i(x) を表す線が図5Cに示さ
れ、図5Dに示される簡略化されたハードウェア・ブロッ
クで実現できる。ブロック13はs'_ix の値を計算する乗
算器である。ブロック11はｘを試験する。この試験の結
果がマルチプレクサ12を制御し、該マルチプレクサ12が
乗算器13からの出力か又は値 t_iかのどちらかを供給す
る。

【００４３】III-d/ ブロック B₁から B_L-1までの２
番目の簡略型ハードウェア構造。この２番目の簡略型ハードウェア構造というのは、一般
的なケースで述べられたすべての条件に更に i＝1 から
i＝m-1 までに対しs'_i＝0 , t'_i＝0 とするという条
件を付け加えた２番目の特定の場合のことである。その
結果もたらされる関数 H_i(x) は i≠0 に対して TABLE
Iの関係式 5a)で定義され、図6Aの２つの線のセグメン
トで例示されている。この線は x≧ r_iに対しては勾配
が s_iで縦軸を截る点の縦座標が t_iの１番目のセグメ
ント J_iであり； x＜ r_iに対してはｘ軸に重なる２番
目のセグメントJ'_iである。こうして記憶すべきパラメ
タの数が限定されて、計算が図3Bのブロックに比して簡
略化され且つ更に速くなっている。

【００４４】このタイプの関数 H_i(x) は図6Bに示され
る簡略化されたハードウェアのブロック B_iにより実現
できる。このブロック B_iは s_ix ＋ t_iの値を計算す
る乗算器23を含む。これと同時に、或いはもしこれらの
ブロックが共通のエレメントを持つならば引き続いて、
ブロック21がｘを試験する。この試験の結果がマルチプ
レクサ22を制御し、該マルチプレクサ22が乗算器23から
の出力か又は値０かのどちらかを供給する。

【００４５】普通のパラメタと並列配置用パラメタとの
間の関係は TABLE Iの関係式 5b)ないし5g) で与えられ
る。

【００４６】双対の場合すなわち i＝1 から i＝m-1 ま
でに対し s_i＝0 , t_i＝0 の場合にも同じ特性を得る
ことができ、同じやり方で取り扱うことができる。対応
する転移関数 H_i(x) を表す線が図6Cに示され、図6Dに
示されるやり方で実現できる。ブロック23はs'_ix ＋t'
_iの値を計算する乗算器である。ブロック21はｘを試験
する。この試験の結果がマルチプレクサ22を制御し、該
マルチプレクサ22が乗算器23からの出力か又は値０かの
どちらかを供給する。

【００４７】III-e/ ブロック B₁から B_L-1までの３
番目の簡略型ハードウェア構造. この３番目の簡略型ハードウェア構造というのは、一般
的なケースで述べられたすべての条件に更に i＝1 から
i＝m-1 までに対しs'_i＝0 , t_i＝-s_i r_iとすると
いう条件を付け加えた３番目の特定の場合のことであ
る。その結果もたらされる関数 H_i(x) は i≠0 に対し
て TABLE Iの関係式 6a)で定義され、図7Aの２つの線の
セグメントで例示されている。この線は x≧ r_iに対し
ては勾配がs_iで縦軸を截る点の縦座標が t_i＝-s_i r
_iになっている１番目のセグメントJ_iであり； x＜ r
_iに対しては縦軸を截る点の縦座標がt'_iでｘ軸に平行
な２番目のセグメントJ'_iである。１番目のセグメント
J_iの特徴は横軸を截る点の横座標が r_iであることで
ある。茲でも又、記憶すべきパラメタの数が限定され
て、計算が一般的な場合に比して簡略化され且つ更に速
くなっている。はじめの２つの特定の場合については、
使われるパラメタの数は同じであるが、ハードウェア構
築の或るものについては利点がある。実際問題として、
どちらの場合を考えても x≧ r_iの試験は行わなければ
ならない。それの一般に行われるやり方であり従って上
記のいずれの場合にも用いられる方法とは、差 x-r_iを
計算してその値の符号をチェックする、というものであ
る。だから１番目及び２番目の特定の場合にも x-r_iの
値を計算する機会があった。それに対して３番目の特定
の場合には、その値はやはり計算されるがそれに続いて
以後の計算ではｘの代わりにその値が直接用いられ、そ
れによって使用されるデータ・バスを最適化することが
出来るようになる。従って茲で考察したうちでは３番目
の特定の場合が特に有利である。

【００４８】このタイプの関数 H_i(x) は図7Bに示され
るやり方で実現できる。ブロック31は上述の方法で x-r
_iの試験を実行し、次いで２つの出力を供給する。
「高」出力は２進信号でマルチプレクサ32を制御する；
「低」信号は x-r_iの値をブロック33に送出するバスで
ある。ブロック33は乗算器であって、 s_i(x− r_i) を
計算する。マルチプレクサ32は乗算器33からの出力か又
は値t'_iかのどちらかを供給する。

【００４９】普通のパラメタと並列配置用パラメタとの
間の関係は TABLE Iの関係式 6b)ないし6g) で与えられ
る。

【００５０】双対の場合すなわち i＝1 から i＝m-1 ま
でに対し s_i＝0 , t'_i＝−s'_i×r_iの場合にも同じ
特性を得ることが可能とされ、同じやり方で取り扱うこ
とができる。対応する転移関数 H_i(x) を表す線が図7C
に示され、図7Dに示されるやり方で実現できる。ブロッ
ク31が x≧ r_iの試験を行い、差 x− r_iを生成する。
このブロック31は２つの出力を供給し、その１つはマル
チプレクサ32を制御する２進信号である。もう１つの方
は x-r_iの値を乗算器ブロック33に送出するバスであっ
て、s'_i(x− r_i) の値を計算する。このマルチプレク
サ32は乗算器33からの出力か又は t_iの値かのどちらか
を供給する。

【００５１】TABLE I は、固定配線の並列ハードウェア
構造を形成するための簡略化したブロックの転移関数を
概括し、それに付して関連図面の番号を示すテーブルで
あり、また一般的構造のブロックの転移関数及び図面番
号を示すテーブルである。

【００５２】図８は、どのようにして図２の並列配置
が、場合によっては不連続な部分的線形関数 f(x) を生
成するかを示す図である。図８の説明では、図２の並列
配置が図４に記載のタイプのハードウェア・ブロック
B₀、及び図5Aと図5Bに記載の１番目の簡略型ハードウェ
ア構造と称するタイプのハードウェア・ブロックB₁ない
しB_L-1を用いて構築されたものと仮定する。

【００５３】この図８では、TABLE I の関係式 2) によ
る種々のしきい値 r_i間のインターバルのすべてに対し
て：x＜r₁ に対して H₀(x)＝s₀x ＋t₀ ,H₁(x)＝
t'₁, 等々…であり；従って f(x) ＝s₀x +(t₀+t'₁+
t'₂+t'₃+t'₄) となり、r₁≦ｘ＜r₂ に対して H₀(x)
＝s₀x ＋t₀ ,H₁(x)＝s₁x ,H₂(x)＝t'₂ , 等々…であ
り；従って f(x) ＝(s₀+s₁)x +(t₀+t'₂+t'₃+t'₄)とな
り、r₂≦ｘ＜r₃ に対して H₀(x)＝s₀x ＋t₀ ,H₁(x)
＝s₁x ,H₂(x)＝s₂x ,H₃(x)＝t'₃, 等々…であり；従っ
て f(x) ＝(s₀+s₁+s₂)x +(t₀+t'₃+t'₄) となる、等々
…。

【００５４】 IV- 並列に基づきマイクロプログラムによる構造. 図２に示す処理方法をマイクロプログラムによる構造で
実現することも可能である。目的は上述のタイプの関数
f(x) をプログラムで計算することとなる。このプログ
ラムは例えば関係する機能を表すハードウェア構造用に
書き替えられることができる。この場合には、次のよう
な基本機能、すなわちしきい値に関する試験、乗算及び
加算等を実行するハードウェアが使われる。更にこのハ
ードウェアは並列構造を持つ。

【００５５】そのような構造が図９に示され、その演算
は次の通りである。DIFF(x,r) と呼ばれるブロック91は
２つのベクトルを比較する、そのベクトルの各エレメン
トのインデクスｉは i＝1 から i＝m-1 までである。１
番目のベクトルはその全てのコンポネントが入力ｘに等
しい。２番目のベクトルはベクトル

【外１】で、その各コンポネントは r_iであって、これを MEM
(r) と呼ばれるブロック95から受け取る。ブロック91、
すなわちDIFF(x,r) は、各エレメントのインデクスが i
＝1 から i＝m-1 までのベクトルを出力する。これらの
エレメントの各々はx≧ r_iの試験結果を示す２進値で
ある。このベクトルはメモリ96及び97にアドレスするの
に使われ、これらのメモリはそれぞれ MEM(s) 及び MEM
(t) と呼ばれる。これらのメモリ96及びメモリ97はそれ
ぞれ、s₀から s_m-1, s'₁からs'_m-1;及びt₀から t_m-1,
t'₁からt'_m-1 を含んでいる。次にこれらのメモリ96及
び97はそれぞれベクトル

【外２】及びベクトル

【外３】を供給する。これらのベクトルはどちらもそのエレメン
トの数がｍであり、そのインデクスは i＝0 から i＝m-
1 までである。ベクトル〔外２〕のエレメントの値は：
エレメント０がs₀に等しい； i≠0 に対しては、ブロッ
ク91,DIFF(x,r)から条件 x≧ r_iが成り立っている旨の
信号を受け取っていれば、エレメントｉはs_iに等し
い、そうでなければエレメントｉはs'_iに等しい。同様
に、ベクトル〔外３〕のエレメントの値は：エレメント
０がt₀に等しい； i≠0 に対しては、ブロック91,DIFF
(x,r)から条件 x≧ r_iが成り立っている旨の信号を受
け取っていれば、エレメントｉは t_iに等しい、そうで
なければエレメントｉはt'_iに等しい。これら２つのベ
クトル〔外２〕及び〔外３〕は次のように使われる：ブ
ロック92は

【外４】と呼ばれ、エレメントの数がｍで、そのインデクスは i
＝0 から i＝m-1 までのベクトルを生成する。そのベク
トルの各エレメントは、ベクトル〔外２〕の同じインデ
クスのエレメントに値ｘを掛け算した積である。このベ
クトルはブロック93に与えられる、このブロック93は

【外５】と呼ばれる。ブロック93は、エレメントの数がｍで、そ
のインデクスは i＝0 から i＝m-1 までのベクトルを生
成する。そのベクトルの各エレメントは、ブロック92す
なわち〔外４〕から受け取った同じインデクスのエレメ
ントにベクトル〔外３〕の同じインデクスのエレメント
を足し算した和である。従って、こうして得られたこの
ベクトルの各エレメントｉは、前に定義した H_i(x) の
値をもつ。この全エレメントはブロック94に供給され、
このブロック94はΣと呼ばれる。ブロック94は単に H_i
(x) の総和を生成し、従って求めようとしていた f(x)
が与えられ、それは前に述べたのと同じ形のものであ
る。

【００５６】図９では、ブロック91, ブロック92, ブロ
ック93、すなわち DIFF(x,r), 〔外４〕, 〔外５〕は、
各々の機能を説明するために別々に書いてある。実際に
はマイクロプログラム化した解答ではそれはベクトル演
算の同一ALU のブロックである。上述の説明は、パラメ
タ r_i,s_i,t_i, s'_i, t'_iの値という観点からは一般
的な場合に対応する。もっと以前に記述した並列構造固
定配線プロセッサの説明中にあった特定のケースを再び
導入することができる。そうすると方程式は簡略化され
る。

【００５７】Ｖ- ニューラル・プロセッサ。 V-a/ ニューラル・プロセッサの一般的構造. 場合によっては不連続であるような部分的線形関数 f
(x) を生成するための、本発明による完全なニューラル
・プロセッサの一般的ハードウェア構造が、図10に示さ
れる。この構造は： − i＝1 から i＝k までのインデクスｉを付してある
ｋ個の隠されたニューロン(neurones caches) を持ち、
それらを HN₁, …, HN_i, …, HN_kと記す； − 及び、単一の出力ニューロンを持ち、それを ON と
記す；である。

【００５８】このような構造は並列形の故に演算速度が
向上するような応用分野に適応している。更にまたそれ
自身がニューラルな応用分野にも適応している。

【００５９】各隠されたニューロンHN_iの演算用の構造
及び方程式は、「標準」正式ニューロン(neurone forme
l "standard") の構造及び方程式であり、図11A に示さ
れている。所与の各隠されたニューロンHN_iは、重み付
けをした(avec un poids) 入力変数ｘ、すなわちC¹ _iと
記されたシナプス係数を受け取り、また、定数１に固定
された入力の重み付けと見做されるしきい値C⁰ _iを受け
取る。各隠されたニューロンHN_iは、重み付けをした総
和を生成し、またそれは中間出力 e_i(x) を、TABLE II
の式 1a') に従って計算する。重み付けをした総和はΣ
と記される。なお、TABLE IIは図19及び図20に掲げてあ
る。

【００６０】各隠されたニューロンHN_iは、中間出力 e
_i(x) を形成する重み付けをした総和を、 A_iと記す活
性化関数を横断して転送し、活性化関数 A_i〔 e_i(x)
〕を計算する。活性化関数 A_i〔 e_i(x) 〕について
は後に更に詳述する。

【００６１】単一の出力ニューロン ON の構造は図11B
に示される。これは、シナプス係数d¹ _iを使って、すべ
ての隠されたニューロンHN_iからの出力 A_i〔 e_i(x)
〕の重み付けをした総和Σを生成する。この出力ニュ
ーロンは更に、d¹ ₀で重み付けをした入力ｘと、d⁰ ₀で
重み付けをした定数値１を受け取る。この出力ニューロ
ンは線形である、換言すればそれは活性化関数を横断し
てこの総和を通過しない（或いはこの関数は恒等式であ
ると云っても同じことである）。この出力ニューロンか
らの出力が関数 f(x) であって、それがすなわち生成し
ようと求めていたものである。

【００６２】各隠されたニューロンHN_iの重み付けは、
出力ニューロン ON の入力重み付けとして図11A に示さ
れる。

【００６３】次に残っているのは、各隠されたニューロ
ンの活性化関数 A_i〔 e_i(x) 〕を定義することであ
る。採用する方法は、場合によっては不連続な２つの部
分を含む部分的線形関数の集合を、可能な関数の集合と
して受け入れることである。この選択をする理由は、適
切なニューロンの集合を使用することにより、任意の数
の部分を含み部分間に連続性を要求されることなく、ど
のような部分的線形関数f(x) をも求められるからであ
る。更に精確にいえば茲で考えている一般的な場合に
は、隠されたニューロンｉの活性化関数 A_iはTABLE II
の関係式 7a)で定義される。これらの関係式では、変数
ｅは各隠されたニューロンHN_iの総和ユニットΣからの
中間出力 e_i(x) であり、 z_iはしきい値であり、
a_i,b_i, a'_i,b'_iは関数 A_i〔 e_i(x) 〕を定義する
ためのパラメタである。従って一般的な場合にはそのよ
うな関数は５つのパラメタ z_i,a_i,b_i, a'_i, b'_iで
定義される。TABLE IIのこれらの関係式 7a)は、並列処
理の方法における関数 H_i(x) の定義で使われた TABLE
Iの関係式 1a)と類似である。唯一の違いは茲では別の
記号を導入する必要があるという点で、それは TABLE I
の記号が前と同じ意味で引き続き用いられるからであ
る。実際に、図２の機能ブロックの転移関数 H_i(x)は
変数ｘを入力として直接持っていたのに対し、図10のニ
ューロン網では隠されたニューロンHN_i中の活性化関数
A_iを与えるブロックが図11A に示され、それは各総和
ユニットΣからのいわゆる中間出力の値 e_i(x) を入力
変数として持っている。

【００６４】従って各活性化関数 A_iは前に述べた関数
H_i(x) と類似のやり方で、図3Bにより説明したやり方
の記号を変えて、構築できる。

【００６５】TABLE IIの関係式7a')は前の関係式 7a)か
ら導かれる。

【００６６】出力ニューロンは線形であり、全システム
の転移関数はTABLE IIの関係式8)により種々のコントリ
ビューションの総和として書くことができる。この関係
式8)においては： − G₀(x) は、入力ｘ及び定数値１から、TABLE IIの関
係式 7b)が与える出力ニューロンに直接行く接続による
コントリビューションであり； − G_i(x) は、 i＝1 から i＝K までのすべてのｉに
対して、インデクスｉをもつ隠されたニューロンによる
コントリビューションである。以下に述べるところではすべて次の条件が i＝1 から i
＝K までの各ｉに対して成り立つものと仮定する：第１
の条件として: C¹ _i＞0 とする；第２の条件として: G
_i(x) は線形ではないとする、又はさもなければ、この
関数をG₀(x) と合併(fusionner) して対応の隠されたニ
ューロンを除外(supprimer) するものとする。故に、TA
BLE IIの関係式 7a') 及び 11d) から導かれたTABLE II
の関係式9)によって G_i(x) が定義され、そこから次の
４つの結果が引き出される：「１番目の結果」：ニューロン網のパラメタの値が一旦
与えられると、部分的線形関数 f(x) を計算すること
が、これらの関係式9)によって可能になる。「２番目の結果」：方程式という観点からは、ニューロ
ン網を前に述べたタイプの非ニューロン並列構造プロセ
ッサと対比することができる、ということをこれらの関
係式9)は示している。ニューロン網の構築する関数f(x)
は、非ニューロン並列構造で導入された関数H₀(x) に類
似の線形関数G₀(x) と、非ニューロン並列構造で導入さ
れた i＝1 から i＝L-1 までに対する関数 H_i(x) と究
極的には同じタイプの i＝1 から i＝k までに対するｋ
個の関数 G_i(x) との総和である、という観点から上記
の対比がなされる。方程式という観点からは、この対比
の原理は、TABLE IIの関係式 10)及び11a)ないし11h)に
よって、導入された条件である C¹ _i＞0 と共に伝達さ
れる。従ってこれらの方程式によって次の２つの対比が
生じる:^* − ニューロン網の入力ｘ及び１から出力ニューロンO
Nに直接行く接続は、非ニューロン並列構造のブロックB
₀に対比される；^* − 隠されたニューロンHN_iは、ブロック B_iに対比
される。しかしながら、この対比が引き続き使用可能であるため
には、非ニューロン並列構造について検討したときに r
_iの値はｉと共に必ず増大すると仮定したのだから、隠
されたニューロンのインデクスも r_iの値がｉと共に必
ず増大するように選定しなければならない、ということ
を明確に注意するべきである。このことは一般性を損な
わないのであって、単にニューロンへの番号付与を通常
の順序で行えばよいのである；ともかく、同じ r_iを持
つ２つのニューロンは合併されるのだから、異なる r_i
をもつニューロンが常に用いられる。この対比から以下
の性質を使用することが可能となる：「３番目の結果」：ニューロン網の係数から並列配置用
パラメタの一式に移行して、そこから普通のパラメタの
一式（すなわち x_u,p_u, q_u）を導くということが、
TABLE IIの方程式9)によって可能になる。「４番目の結果」：並列配置用パラメタの一式からニュ
ーロン網のシナプス係数に移行することに関し：^* − 前記方程式システムの反転については明白であ
り、L,k 及びH₀(x) 並びにG₀(x) のパラメタに関しては
固有の解が与えられる；^* − その他のパラメタに関しては、 H_i(x) から G
_i(x) への反転はｉの値の各々について別々に行われ
る。そうすると、 H_i(x) の５つのパラメタの立場では
G_i(x) のパラメタである８つの未知数のある５個の方
程式があり、重み付け係数が３つ、 A_iのパラメタが５
つ、及び不等式C¹ _i＞0 である；が導かれる。

【００６７】これらの条件と方程式の形式とから、所与
の関数 f(x) を構築するために必要以上の自由度がニュ
ーロン網の係数を通して与えられている、と云うことが
できる。そのことの実用上の恩恵として、ニューロン網
のいくつかのパラメタの値をアプリオリに固定すること
により、構築できる関数のクラスを制約することなくハ
ードウェアの構造が有利に簡略化される。

【００６８】この目的のために、隠されたニューロン用
の簡略化された構造を以下に説明する。これらの構造は
G_i(x) の特定の形式及び H_i(x) の特定の形式に対応
し、それら自身はまた、非ニューロン並列構造をもつプ
ロセッサのブロック B_i用の簡略化されたハードウェア
構造に対応する。従って、普通のパラメタから並列配置
用のパラメタへ移行するための方程式を以下に導入され
る方程式と組み合わせることにより、普通のパラメタか
ら簡略化された構造をもつニューロン網の係数に移行す
ることが可能になるであろう。

【００６９】V-b/ 隠されたニューロン用の最初の簡略
化された構造. 隠されたニューロン用のこの簡略化された構造は、一般
的構造を規定する固定条件をすべて使用し且つ i＝1 か
ら i＝k までの各隠されたニューロンHN_iの、従って各
関数 G_i(x) のパラメタから幾つかをアプリオリに固定
することにより定義される。これらのパラメタのうち、
パラメタ A_iの幾つかは重み付け係数を固定することな
く固定される。事実、 i＝1 から i＝k までのすべての
ｉに対して z_i＝0, a'_i＝0, b_i＝0 と固定してある。

【００７０】双対のケースは i＝1 から i＝k までのす
べてのｉに対して z_i＝0, a_i＝0, b'_i＝0 となる。この双対のケースは同じ性質を得ることを可能
とし、それ故に非ニューロン構造で得られたのと同じ価
値がある；しかしそれは前に説明したのと同じやり方で
あるから茲では繰り返さない。

【００７１】この新しい条件によって、自由なパラメタ
が変化したとき隠されたニューロンから生じる関数 G_i
(x) の集合は、非ニューロン並列構造をもつプロセッサ
が存在し、更に t_i＝− s_i r_i及びs'_i＝0 を満足す
るとき定義されたタイプの関数 H_i(x) の集合に等し
い。

【００７２】対応する関数 H_i(x) は TABLE Iの方程式
6a)により与えられ、非ニューロン並列構造をもつプロ
セッサのブロック B_iの３番目の簡略型ハードウェア構
造の転移関数に対応する。

【００７３】従って、並列配置用のパラメタと普通のパ
ラメタとの間を通過するために TABLE Iの諸公式がこの
３番目の簡略型ハードウェア構造に関連して使用される
（図７参照）。

【００７４】更に、次には各活性化関数 A_iが２つの
「自由」パラメタ a_i, b'_iにより定義される：これら
のパラメタは唯１つの値が割り当てられる。各隠された
ニューロンの構造は、このニューロン中で次の４つの活
性化関数のうちの１つを使って簡略化され、それは生成
するべき関数 H_i(x) に従って選定されるものである。

【００７５】「１番目の活性化関数」固定条件 z_i＝0,
a'_i＝0, b_i＝0 に加えて、 a_i＝0 , b'_i＝1 も固
定する。この活性化関数はTABLE III-A の式12a)により
与えられ、図12A に示されている。なお、TABLE III-A
は図21に掲げてある。

【００７６】この関数 A_i(e) から任意の重み付け係数
で構築される関数 G_i(x) の集合は、TABLE III-A の式
12b)に従って式9)及び式11d)から導かれる。これらの式
12b)は、 t_i＝− s_i r_i及びs'_i＝0 のようにして、
また更に加えて s_i＝0 のようにして、式1a) の関数 H
_i(x) の集合と対比することができる。

【００７７】従って、関数 H_i(x) は、方程式1a) から
導かれたTABLE III-A の式12c)によって与えられること
になる。

【００７８】そのような活性化関数に対して、 H_i(x)
の今でも自由なパラメタを G_i(x)の今でも自由なパラ
メタの関数として与える方程式が、関係式12b)及び12c)
の対比項により求められる。

【００７９】従って、所与の H_i(x) に対して、換言す
れば所与の r_i及びt'_iに対して、その他のパラメタは
すべて既に固定されているのだから、TABLE III-A の式
13a)ないし13c)により反転方程式が与えられることにな
る。

【００８０】「２番目の活性化関数」固定条件 z_i＝0,
a'_i＝0, b_i＝0 に加えて、 a_i＝1 及びb'_i＝0 も
固定する。

【００８１】この活性化関数はTABLE III-B の式14a)に
より与えられ、図12B に示されている。なお、TABLE II
I-B は図22に掲げてある。

【００８２】この関数 A_i(e) から任意の重み付け係数
で構築される関数 G_i(x) の集合は、TABLE III-B の式
14b)に従って式9)及び式11d)から導かれる。これらの式
14b)は、 t_i＝− s_i r_i及びs'_i＝0 のようにして、
また更に加えて s_i≠0 及びt'_i＝0 のようにして、式
1a) の関数 H_i(x) の集合と対比することができる。

【００８３】従って、関数 H_i(x) は、方程式1a) から
導かれたTABLE III-B の式14c)によって与えられること
になる。

【００８４】そのような活性化関数に対して、 H_i(x)
の今でも自由なパラメタを G_i(x)の今でも自由なパラ
メタの関数として与える方程式が、関係式14b)及び14c)
の対比項により求められる。

【００８５】従って、所与の H_i(x) に対して、換言す
れば所与の r_i及び s_iに対して、その他のパラメタは
すべて既に固定されているのだから、TABLE III-B の式
15a)ないし15c') により反転方程式が与えられることに
なる。

【００８６】「３番目の活性化関数」固定条件 z_i＝0,
a'_i＝0, b_i＝0 に加えて、 a_i＝1 及びb'_i＝1 も
固定する。

【００８７】この活性化関数はTABLE III-C の式16a)に
より与えられ、図12C に示されている。なお、TABLE II
I-C は図23に掲げてある。

【００８８】この関数 A_i(e) から任意の重み付け係数
で構築される関数 G_i(x) の集合は、TABLE III-C の式
16b)に従って式9)及び式11d)から導かれる。これらの式
16b)は、 t_i＝− s_i r_i及びs'_i＝0 のようにして、
また更に加えて s_i≠0 及びt'_i≠0 及び s_i／t'_i＞
0 のようにして、式1a) の関数 H_i(x) の集合と対比す
ることができる。

【００８９】従って、関数 H_i(x) は、TABLE III-C の
方程式1a) から導かれた式16c)によって与えられること
になる。

【００９０】そのような活性化関数に対して、 H_i(x)
の今でも自由なパラメタを G_i(x)の今でも自由なパラ
メタの関数として与える方程式が、関係式16b)及び16c)
の対比項により求められる。

【００９１】従って、所与の H_i(x) に対して、換言す
れば所与の r_i, s _i及びt'_iに対して、その他のパラ
メタはすべて既に固定されているのだから、TABLE III-
C の式17a), 17b), 17c)により反転方程式が与えられる
ことになる。

【００９２】「４番目の活性化関数」固定条件 z_i＝0,
a'_i＝0, b_i＝0 に加えて、 a_i＝1 及びb'_i＝−1
も固定する。

【００９３】この活性化関数はTABLE III-D の式18a)に
より与えられ、図12D に示されている。なお、TABLE II
I-D は図24に掲げてある。

【００９４】この関数 A_i(e) から任意の重み付け係数
で構築される関数 G_i(x) の集合は、TABLE III-D の式
18b)に従って式9)及び式11d)から導かれる。これらの式
18b)は、 t_i＝− s_i r_i及びs'_i＝0 のようにして、
また更に加えて s_i≠0 及びt'_i≠0 及び s_i／t'_i＜
0 のようにして、式1a) の関数 H_i(x) の集合と対比す
ることができる。

【００９５】従って、関数 H_i(x) は、方程式1a) から
導かれたTABLE III-D の式18c)によって与えられること
になる。

【００９６】そのような活性化関数に対して、 H_i(x)
の今でも自由なパラメタを G_i(x)の今でも自由なパラ
メタの関数として与える方程式が、関係式18b)及び18c)
の対比項により求められる。

【００９７】従って、所与の H_i(x) に対して、換言す
れば所与の r_i, s _i,t' _iに対して、その他のパラメ
タはすべて既に固定されているのだから、TABLE III-D
の式19a), 19b), 19c)により反転方程式が与えられるこ
とになる。

【００９８】TABLE IIは一般的な場合における転移関数
A_i〔 e_i(x) 〕及び関数 G_i(x)を概括するテーブル
であり、TABLE III は４つの特定の活性化関数及び対応
する関数 G_i(x) を概括するテーブルである。

【００９９】上に提示した４つの特定の活性化関数の各
々はそれぞれ、非ニューロン並列構造をもつプロセッサ
の処で説明した３番目の簡略型ハードウェア構造の転移
関数のタイプの対応する転移関数 H_i(x) を構築するこ
とを可能とする。従って、部分的な関数 f(x) を生成す
るのに貢献する各関数 H_i(x) を構築するために、これ
らの４つの特定の活性化関数のうち構築すべきこの関数
H_i(x) のパラメタによって選定されたものが活性化関
数 A_iになっている隠されたニューロンが使用されるこ
とになる。

【０１００】茲で、ニューラル・プロセッサの隠された
ニューロンの各々が、これら４つの活性化関数 A_i〔 e
_i(x) 〕の１つを構築する簡略型ハードウェア構造を含
む。従ってニューラル・プロセッサのの一般的構造が簡
略化される。

【０１０１】図12の線にそれぞれ対応するこれら４つの
活性化関数 A_i〔 e_i(x) 〕を実現するハードウェア構
造は、図13A ないし図13D に示される。その演算は前に
説明したところから直接導かれる。

【０１０２】図13A は図12A に示す関数 A_i(e) を実現
する一例であって、TABLE III-A の式12a)に対応する。
このハードウェア構造はｅを試験するためのブロック21
1 を含み、また、試験結果により選択された入力０及び
入力１を受け取り且つ式12a)による出力 A_i(e) を供給
するマルチプレクサ212 を含む。

【０１０３】図13B は図12B に示す関数 A_i(e) を実現
する一例であって、TABLE III-B の式14a)に対応する。
このハードウェア構造はｅを試験するためのブロック22
1 を含み、また、ｅの試験結果により選択された入力ｅ
それ自身及び入力０を受け取り且つ求めていた出力 A_i
(e) を供給するマルチプレクサ222 を含む。

【０１０４】図13C は図12C に示す関数 A_i(e) を実現
する一例であって、TABLE III-C の式16a)に対応する。
このハードウェア構造はｅを試験するためのブロック23
1 を含み、また、ｅの試験結果により選択された入力ｅ
それ自身及び入力１を受け取り且つ式16a)による出力 A
_i(e) を供給するマルチプレクサ232 を含む。

【０１０５】図13D は図12D に示す関数 A_i(e) を実現
する一例であって、TABLE III-D の式18a)に対応する。
この構造はｅを試験するためのブロック241 を含み、ま
た、ｅの試験結果により選択された入力ｅそれ自身及び
入力(a−1)を受け取り且つ式18a)による出力 A_i(e) を
供給するマルチプレクサ242 を含む。

【０１０６】構築されるべき４つの活性化関数に対応す
る４つの可能な演算モードを定義するため更に別の２つ
の２進信号を受け取るハードウェア構造を構築すること
も可能である。それによって、各隠されたニューロンの
活性化関数を構築すべき関数H_i(x) の関数として配列
することにより、すべての隠されたニューロンに対し同
じハードウェア構造を使用することが可能になる。

【０１０７】図14に示すこの構造は、ｅを試験するため
のブロック251 を含み、またマルチプレクサ252 を含
む。このマルチプレクサはｅの試験結果により制御され
且つ２つの制御手段 254及び255 により制御される。こ
のマルチプレクサは４つの入力を持ち、１番目はｅの入
力であり、２番目は１の入力であり、３番目は０の入力
であり、４番目は-1の入力である。この４つの入力のう
ちから制御手段254,255を用いて選択して使われる２つ
の入力に依存して、図13A から図13D までの配列のうち
の１つが生成される。

【０１０８】V-c/ 隠されたニューロン用の最初の簡略
型構造の変形. この変形では各隠されたニューロンは２つの活性化関数
のうち唯１つを構築するハードウェア構造を含む： − t_i＝− s_i r_i及びs'_i＝0 であるような、そし
て更に加えて s_i＝0 又はt'_i＝0 であるような任意の
関数 H_i(x) を構築するため、隠されたニューロン用の
最初の簡略型構造に関連して述べられた最初の２つの活
性化関数12a)及び14a)のうちの１つを活性化関数を持つ
隠されたニューロンが使用される。 − それ以外の関数 H_i(x) で、 t_i＝− s_i r_i及び
s'_i＝0 であるような、そして更に加えて s_i≠0 及び
t'_i≠0 であるような、TABLE I の式6a) で定義される
関数 H_i(x) を構築するため、 H_i(x) は次の形に分解
される： H_i＝H¹ _i＋H² _i．

【０１０９】こうして導入された２つの新しい関数はそ
れぞれ、TABLE III-B の式14c)中のH_iをH¹ _iに置き換
え、またTABLE III-A の式12c)中の H_iをH² _iに置き換
えることによって求められる。これら２つの新しい関数
H¹ _i及びH² _iは最初の２つの活性化関数12a)，14a)を使
うことによりそれぞれ１つのニューロンを用いて構築さ
れる。故に H_i(x) は１つではなく２つの隠されたニュ
ーロンを用いて構築される。

【０１１０】V-d/ 隠されたニューロン用の第２の簡略
化された構造. 一般的な構造でのすべての条件を固定し、更にそれに加
えて各隠されたニューロンHN_iに対して i＝1 から i＝
K までについて z_i＝0, a'_i＝0, b'_i＝0 とすることにより、前と同様の検討を進めることができ
る。

【０１１１】双対のケースは i＝1 から i＝k までのす
べてのｉに対して z_i＝0, a_i＝0, b_i＝0 と固定する。この双対のケースは同じ性質を得ることを
可能とし、同じやり方で処理される。

【０１１２】これらの条件の下に、自由なパラメタの集
合が変化するとき隠されたニューロンから生じる関数 G
_i(x) の集合は、非ニューロン並列構造をもち更にs'_i
＝0及びt'_i＝0 を満足するプロセッサが存在するとき
のブロック B_iの２番目の簡略型ハードウェア構造（図
６）の転移関数 H_i(x) の集合に等しい。並列配置用の
パラメタと普通のパラメタとの間を通過するために、こ
のブロック B_iの２番目の構造ように与えられた諸公式
が使用される。

【０１１３】更に、次には各活性化関数 A_i(e) が２つ
の「自由」パラメタ a_i, b_iにより定義される。これ
らのパラメタにどんな値を採らせても有効に役立つこと
はないから、上に定義した４つの活性化関数がニューラ
ル・プロセッサの隠されたニューロンの構造を簡略化す
るのに使用される。

【０１１４】隠されたニューロンのこの第２の簡略化さ
れた構造の変形が隠されたニューロンの最初の簡略化さ
れた構造の記述中の原理に従って導かれる。

【０１１５】VI - 窮屈な構造(STRUCTURES CONTRAINTE
S). 今まで述べた並列又はニューラルのプロセッサでは更に
次のように規定されよう： a) 関数 f(x) のセグメント(F₀,…,F_L-I) の限界 x_u
が強制される。例えばこれらの限界 x_uの値すなわちし
きい値 r_iは不動で ROMに記憶される。或いは他の例で
は不動であるばかりでなく特定されるので上記ROM のサ
イズが限定される。 b) 構築すべき関数 f(x) 中の不連続を禁じる。この場
合には新しい条件が関数H_i(x) のパラメタに与えられ
て一般的に H_i(x) のパラメタの１つを記憶するメモリ
位置を除外する。

【０１１６】VII - 関数 f(x) 及びその導関数f'を同時
に計算するプロセッサ. 今までに定義したような部分的線形関数 f(x) 及びその
導関数f'(x) を同時に生成するプロセッサは、学習とい
う面でのニューロン網への応用に対して極めて有用であ
る。

【０１１７】VII-a/ 非ニューロン並列構造をもつプロ
セッサ. このプロセッサでは、関数 f(x) は、関数 H_i(x) のコ
ントリビューションの総和を生成することにより構築さ
れる。従って、導関数f'は関数 H_i(x) の導関数H'_iの
コントリビューションの総和を生成することにより構築
される。

【０１１８】関数 f(x) 及びその導関数f'を同時に供給
するために、図２によって説明した構造は次の通りに変
形される： − 制御信号がこの並列構造のブロック B_iの各々に与
えられ、それに従って各ブロック B_iはその出力に関数
H_i(x) か又はその導関数H'_iを供給する； − 導関数H'を生成する手段が設けられる：前述の通
り、図３，図５，図６，図７に関連して関数 H_i(x) を
生成するためにブロック B_iは一対の(s_i,t_i) か又は
(s'_i, t'_i) かを供給するメモリ領域を含み、そのう
ちのあるものは既に予め定義された値を持つことを好適
とする。茲で導関数H'は勾配 s_i又はs'_iを排他的に含
む。そうするとこれらの値は、３つのタイプの関数 H_i
(x) に関連する３つのタイプの導関数H'を求めるのに使
用され、該 H_i(x) の３つのタイプというのは、それぞ
れ３つのブロック B_iの簡略型ハードウェア構造により
生成するのに有利なものとして選定されたものである。
従ってこれらのブロック B_iはこれらの勾配を専ら考慮
して導関数H'を生成する； − マルチプレクサが各ブロック B_iの出力に配置さ
れ、制御信号により制御され、関数 H_i(x) 及びその導
関数H'_iを受け取る。このマルチプレクサは、恐らく当
該ブロック B_i中に既に存在するマルチプレクサと結合
することができるであろう。

【０１１９】VII-b/ ニューラル・プロセッサ. このプロセッサでは、関数 f(x) は、関数 G_i(x) のコ
ントリビューションの総和を生成される。従って、導関
数f'は関数 G_i(x) の導関数G'_iのコントリビューショ
ンの総和として計算される。

【０１２０】関数 f(x) 及びその導関数f'を同時に生成
するために、上述のニューラル・プロセッサは次の通り
に変形される： − ニューラル・プロセッサは制御信号を受け取り、こ
の信号に依存して関数 f(x) か又はその導関数f'かを供
給する； − 導関数f'を生成するモードでは、この制御信号は、
関数G₀に対応する出力ニューロンONの２つの入力接続上
で、関数G₀の代わりに関数G'₀ を供給するために働く:
この目的のために、先ず始めに重み付け係数又はシナプ
ス係数に対応する入力は何のコントリビューションも供
給しない、これは重み付け０か又は入力０かにより実行
される; 次に重み付け係数d¹ ₀に対応する入力がコント
リビューションd¹ ₀のみを供給する、換言すれば関数G₀
を生成するバージョンで重み付けは変更せず入力はｘで
はなく１とする； − i≠0 のとき関数 G_i(x) は次のようにして導かれ
る: G_i(x) ＝d¹ _i.C¹ _i. A_i (C¹ _ix ＋C⁰ _i) ，従って G_i(x) の導関数は: G'_i(x) ＝d¹ _i.C¹ _i.A'_i (C¹ _ix ＋C⁰ _i) となる。この導関数G'_i(x) は次のようにして生成され
る:^* − 制御信号はすべての隠されたニューロンに送られ
る、そして導関数f'を計算するモードでは、各隠された
ニューロンの活性化関数 A_i(e) はその導関数A' _iに置
き換えられる;^* − 隠されたニューロンの出力では、関数 f(x) を計
算するための重み付け係数値d¹ _iは重み付け係数値d¹ _i
C¹ _iに置き換えられ、それは例えば重み付け係数d¹ _iと
は異なる別のメモリ中に記憶することができる。この別
のメモリは、新しい必要な重み付け係数値d¹ _iC¹ _iを計
算するブロックを予め用意するか又は重み付け係数d¹ _i
は前の通りとするが隠されたニューロン中で導関数A'_i
にC¹ _iを乗じた積を活性化関数に使用するか、いずれか
により用いないこともできる。しかし別のメモリを用い
る方が、活性化関数のよりよい標準化につながるので好
適である。 − 導関数A'_iを生成できる簡略型ハードウェア構造
は、導関数H'_i及び簡略化した関数 A_iについて前に述
べたのと同様にして導くことができる。

【図面の簡単な説明】

【図１】図１は、不連続のある部分的線形近似関数f(x)
を表す図である。

【図２】図２は、不連続のある部分的線形関数f(x)を生
成するための複数の並列処理連鎖を含む方法を説明する
図である。

【図３】図3Aは、２つの部分をもち不連続のある部分的
線形関数 H_i(x) を表す図であり、図3Bは、図3Aに示す
関数を生成する処理連鎖をブロックを用いてシンボル的
に表す図である。

【図４】図4Aは、純粋に線形な関数H₀(x) を表す図であ
り、図4Bは、この関数を生成するための簡略化したハー
ドウェア・ブロックB₀を表す図である。

【図５】図5Aは、最初の特定の関数 H_i(x) を表す図で
あり、図5Bは、この関数を生成するための簡略化したハ
ードウェア・ブロックB₁ないし B_L-1を表す図であり、
図5C及び図5Dは、図5A及び図5Bの双対の場合を説明する
図である。

【図６】図6Aは、２番目の特定の関数 H_i(x) を表す図
であり、図6Bは、この関数を生成するための簡略化した
ハードウェア・ブロックB₁ないし B_L-1を表す図であ
り、図6C及び図6Dは、図6A及び図6Bの双対の場合を説明
する図である。

【図７】図7Aは、３番目の特定の関数 H_i(x) を表す図
であり、図7Bは、この関数を生成するための簡略化した
ハードウェア・ブロックB₁ないし B_L-1を表す図であ
り、図7C及び図7Dは、図7A及び図7Bの双対の場合を説明
する図である。

【図８】図８は、図２により並列に演算を行う処理連鎖
の配置で生成され、図7Bに規定されるハードウェア・ブ
ロックにより具体化された種々の関数H₀(x) 及び H
_i(x) を表す図である。

【図９】図９は、関数f(x)を生成するためのマイクロプ
ログラム化できる構造を表す図である。

【図１０】図10は、場合によっては不連続のある部分的
線形関数f(x)を生成するための神経回路網を表す図であ
る。

【図１１】図11A は、神経回路網の隠された層のニュー
ロンの構造を表す図であり、また図11B は出力ニューロ
ンを表す図である。

【図１２】図12A ないし図12D は、その各々が神経回路
網の隠された層のニューロンに含まれる活性化関数を構
成する１つの可能な関数 A_i(e) を表す図である。

【図１３】図13A ないし図13D は、図12A ないし図12D
の４つの活性化関数 A_i(e) をそれぞれ生成する４つの
構造をそれぞれ表す図である。

【図１４】図14は、図12A ないし図12D に表される活性
化関数 A_i(e) の一つ又は他のもう一つを生成すること
のできる一般的構造を表す図である。

【図１５】図15は、TABLE I （その１）を示す図であ
る。

【図１６】図16は、TABLE I （その２）を示す図であ
る。

【図１７】図17は、TABLE I （その３）を示す図であ
る。

【図１８】図18は、TABLE I （その４）を示す図であ
る。

【図１９】図19は、TABLE II（その１）を示す図であ
る。

【図２０】図20は、TABLE II（その２）を示す図であ
る。

【図２１】図21は、TABLE III-A を示す図である。

【図２２】図22は、TABLE III-B を示す図である。

【図２３】図23は、TABLE III-C を示す図である。

【図２４】図24は、TABLE III-D を示す図である。

【符号の説明】

３, 13, 23, 33, 103 乗算器５, 104, 105, 106 メモリ 11, 21, 31, 101 比較器 12, 22, 32 マルチプレクサ 211, 221, 231, 241 ｅを試験する比較器 212, 222, 232, 242 出力 A_i(e) を供給するマルチプ
レクサ

Claims

【特許請求の範囲】

【請求項１】変数データ(x) を数値的に処理して、所
定の個数(L) の部分(F₀,…,F_L-1)を持ち且つこれらの部
分間は場合によっては不連続な部分的線形関数〔 f(x)
〕を構築する数値処理方法において、該方法は、 − 構築しようとする関数〔 f(x) 〕の部分(F₀,…,F
_L-1)の数(L) と同数の線形副関数〔H₀(x),…,H_L-1(x)〕
を付随的に生成することを含み、それらの副関数のう
ち、最初の線形副関数〔H₀(x) 〕は１つの部分(J₀)をも
ち、それに続く線形副関数〔H₁(x),…,H_L-1(x)〕は第１
の部分(J_i) 及び第２の部分 (J'_i) と称する２つの部
分 (J'_i,J_i) をもち、該２つの部分の端には限界
(r_i) があり、該限界は構築しようとする関数〔 f(x)
〕の隣接する部分の限界にそれぞれ一致するものであ
り、また − 構築しようとする関数〔 f(x) 〕の各部分(F_u) の
限界により定義される各インターバル(I_u) にそれぞれ
在る全副関数のコントリビューションの総和を計算する
ことを含むことを特徴とする数値処理方法。
【請求項２】請求項１に記載の数値処理方法におい
て、１つの部分又は２つの部分をもつ線形副関数〔H₀(x),
…,H_L-1(x)〕の生成は、該線形副関数の数(L) と同数の
付随的に演算する数値処理連鎖(B₀,…,B_L-1)で実行さ
れ、そのうちの最初の処理連鎖(B₀)は勾配(s₀)と縦軸を
截る点の縦座標(t₀)とで定義される純粋に線形な副関数
〔H₀(x) 〕を生成するものであり、その他の全処理連鎖
(B₁,…,B_L-1)は、その各々が、２つの部分 (J'_i,J_i)
をもちそれらそれぞれの勾配 (s'_i,s_i) と縦軸を截る
点の縦座標 (t'_i,t_i) と及び該２つの部分間の限界(r
_i) により定義される線形副関数〔H₁(x),…,H_L-1(x)〕
のうちの１つを生成するものであり、２つの部分間の各限界(r_i) は、構築しようとする関数
の部分(F_u) に対応する同じインデクス(i＝u)をもつイ
ンターバル(I_u) の低い方の端における横座標(x_u) に
それぞれ一致するするものであり、副関数〔H₀(x),…,H_L-1(x)〕のコントリビューションの
総和は、構築しようとする関数〔 f(x) 〕の各特定の部
分(F_u) の勾配(p_u) と縦軸を截る点の縦座標が(q_u)
とがそれぞれ、インデクスが０から上記特定の部分
(F_u) のインデクス(u) までの副関数〔 H_i(x) 〕の上
記第１の部分(J_i) すべての勾配(s_i) の総和に上記第
２の部分の勾配( s'_i) の総和を加えたものとして、及
び、構築しようとする関数〔 f(x) 〕の上記特定の部分
(F_u) のインデクスに１を加えたもの(u＋1)から最後の
部分のインデクスまでのインデクスをもつ副関数〔 H_i
(x) 〕の上記第２の部分 (J'_i) の縦軸を截る点の縦座
標( t'_i) の総和として与えられるものであることを特
徴とする数値処理方法。
【請求項３】請求項２に記載の数値処理方法におい
て、純粋に線形な副関数〔H₀(x) 〕を生成する最初の処理連
鎖(B₀)を除き、それ以外のすべての処理連鎖は２つの部
分をもつ同一の特定のタイプの副関数を生成し、該特定
のタイプというのは、 − 一方の限界(r_i) をもつ上記第１の部分は原点を通
り、該限界のもう一方の上記第２の部分は変数データ
(x) の座標軸に平行であるところの１番目の特定のタイ
プ； − 一方の限界(r_i) をもつ上記第１の部分は任意で、
該限界のもう一方の上記第２の部分は変数データ(x) の
座標軸と重なるところの２番目の特定のタイプ； − 上記第１の部分の一方の限界は変数データ(x) の座
標軸上に限界値(r_i) を持ち、該限界のもう一方の上記
第２の部分は変数データ(x) の座標軸に平行であるとこ
ろの３番目の特定のタイプ；のうちから選定されることを特徴とする数値処理方法。
【請求項４】請求項１ないし３のうちのいずれか１項
に記載の変数データ(x) を処理する方法を実行する手段
を含む数値プロセッサにおいて、該手段は、１つ又は２つの部分をもつ線形副関数〔H
₀(x),…,H_L-1(x)〕を付随的に生成するために複数(L)
個のハードウェアのブロック(B₀, B₁,…,B_L-1)が並列に
搭載され、そのうちの最初のブロック(B₀)は勾配(s₀)と
縦軸を截る点の縦座標(t₀)とで定義される純粋に線形な
副関数〔H₀(x) 〕を生成し、その他の全処理連鎖(B₁,
…,B_L-1)は、その各々が、２つの部分 (J'_i,J_i) をも
ちそれらそれぞれの勾配 (s'_i,s_i) と縦軸を截る点の
縦座標 (t'_i,t_i) と及び該２つの部分間の限界
(r_i) により定義される線形副関数〔H₁(x),…,H
_L-1(x)〕のうちの１つを生成することを特徴とする数値
プロセッサ。
【請求項５】請求項４に記載の数値プロセッサにおい
て、上記厳密に線形な副関数〔H₀(x) 〕を生成する最初のブ
ロック(B₀)は、 − 単一の部分(J₀)の勾配(s₀)及び縦軸を截る点の縦座
標(t₀)を供給する１番目のメモリすなわちバス(5) と、 − 入力として変数(x) 及びメモリすなわちバス(5) か
らの出力を受け取り、また、縦軸を截る点の縦座標の値
(t₀)に、変数(x) を勾配の値(s₀)倍した積を加算するこ
とにより厳密に線形な副関数〔H₀(x) 〕を供給する乗算
器(3) とを含むことを特徴とする数値プロセッサ。
【請求項６】請求項４又は５に記載の数値プロセッサ
において、２つの部分をもつ線形副関数を生成するために並列に搭
載されたブロック(B₁,…,B_L-1)の各々が、 − 生成するべき線形副関数〔H₁(x),…,H_L-1(x)〕の第
１の部分と称する部分の１つの勾配及び縦軸を截る点の
縦座標を供給するための１番目のメモリすなわちバス(1
06) と、 − 第２の部分と称するもう一方の部分の勾配及び縦軸
を截る点の縦座標を供給するための２番目のメモリすな
わちバス(105) と、 − これら２つの部分間の限界値(r_i) を供給するため
のメモリすなわちバス(104) と、 − 入力変数(x) を限界値(r_i) と比較するための比較
器(101) と、 − 比較器(101) からの結果により制御され、勾配値及
び縦軸を截る点の縦座標値の１対を供給するためのマル
チプレクサ(102) と、 − 入力変数(x) 及びマルチプレクサ(102) からの出力
を受け取り、また、各部分の縦軸を截る点の縦座標値に
変数(x) を勾配の値倍した積を加算することにより、生
成するべき線形副関数〔 H_i(x) 〕を出力として供給す
る出力マルチプレクサ(103) とを含むことを特徴とする
数値プロセッサ。
【請求項７】請求項３に記載の方法を実行するための
請求項６に記載の数値プロセッサにおいて、最初のブロック(B₀)以外のすべてのブロック(B₁,…,B
_L-1)の各々は同一であり且つ２つの部分の２対の勾配及
び縦軸を截る点の縦座標のパラメタからの１つ又は２つ
の値を１番目又は２番目のメモリ中の記憶から除外する
ことにより簡略化されたタイプであり、勾配値及び縦軸を截る点の縦座標値に従って特定のタイ
プの副関数〔H₁(x),…,H_L-1(x)〕を生成するために、記
憶されない勾配値は特定の値０に固定され、記憶されな
い縦軸を截る点の縦座標値は特定の値０に固定されるか
又は限界値(r_i) に依存して特定の値に固定されること
を特徴とする数値プロセッサ。
【請求項８】所定の個数(L) の部分(F₀,…,F_i, …,F
_L-1)を持ち且つこれらの部分間は場合によっては不連続
な部分的線形関数〔 f(x) 〕を構築するニューラル数値
プロセッサにおいて、該ニューラル数値プロセッサは、 − 構築しようとする関数〔 f(x) 〕の部分の数から１
を引き算した数に等しい複数(k) 個の隠されたニューロ
ン(HK₁, …, HK_i, …, HK_k) により形成される隠され
たニューロンの層と、 − １つの出力ニューロン(ON)とを有して成り、各隠されたニューロンは、変数(x) と定数(1) とから成
る入力の重み付けをした総和〔 e_i(x) 〕に、２つの部
分をもちその２つの部分間に場合によっては不連続のあ
る線形活性化関数〔 A_i(e_i(x))〕を与え、次に、出力ニューロン(ON)は、求めようとする部分的線
形関数〔f(x)〕を与えるために、あるときは変数入力
(x) と固定入力(1) との直接的な重み付けをした総和
を、又あるときは（ｋ個の）隠されたニューロン (H
K_i) からの出力全部の重み付けをした総和を生成し、
種々の活性化関数〔 A_i(e_i(x))〕の２つの部分間の種
々の限界値(z_i) はそれぞれ、この関数〔f(x)〕の部分
(F_u) 間の限界値(x_u) であり、その数は等しいことを
特徴とするニューラル数値プロセッサ。
【請求項９】請求項８に記載のニューラル数値プロセ
ッサにおいて、 − 各隠されたニューロン(HK₁, …, HK_i, …, HK_k)
は総和ユニット( Σ )を有し、中間関数(e_i(x))を供給
するために、該総和ユニット( Σ )はシナプス係数( C¹
_i) を割り当てられた入力変数(x) の和及びシナプス係
数( C⁰ _i) を割り当てられた固定入力(1) の和を生成
し、また上記各隠されたニューロンは、２つの部分をも
ちその２つの部分間にしきい値すなわち限界値(z_i) が
あり及び場合によっては不連続のある線形関数〔 A_i(e
_i(x))〕を生成するブロック(A_i) を有し、該線形関数
はいわゆる活性化関数で中間関数に与えられるものであ
り、また、 − 出力ニューロン(ON)は総和ユニット( Σ )を有し、
該総和ユニット( Σ )はシナプス係数( d¹ _i) を割り当
てられた入力変数(x) の和を生成し、及びシナプス係数
( d⁰ _i) を割り当てられた固定入力(1) の和を生成し、
更にそれと共に上記総和ユニットは、場合によっては不
連続のある部分的線形関数〔f(x)〕を与えるために、各
々がシナプス係数( d¹ _i) を割り当てられている（ｋ個
の）隠されたニューロンの出力〔 A_i(e_i(x))〕を生成
することを特徴とするニューラル数値プロセッサ。
【請求項１０】請求項９に記載のニューラル数値プロ
セッサにおいて、出力ニューロンの総和ユニット( Σ )
による入力変数(x) 及び固定入力(1) の重み付けをした
総和は、請求項５に記載の数値プロセッサの最初のブロ
ック(B₀)の関数と対比することができることを特徴とす
るニューラル数値プロセッサ。
【請求項１１】請求項10に記載のニューラル数値プロ
セッサにおいて、各隠されたニューロン (HN_i) に対す
る活性化関数〔 A_i(e_i(x))〕の生成は、請求項６又は
７に記載の数値プロセッサの最初のブロック(B₀)以外の
ブロック(B₁,…,B_L-1)の関数に類似の要因と対比するこ
とができることを特徴とするニューラル数値プロセッ
サ。
【請求項１２】請求項11に記載のニューラル数値プロ
セッサにおいて、隠されたニューロンのうちの１つでは、２つの部分をも
つところの線形活性化関数〔 A_i(e_i(x))〕は：中間関
数(e_i(x))が e_i(x) ≧0 のとき A_i(e_i(x))＝0 とな
り；中間関数(e_i(x))が e_i(x) ＜0 のとき A_i(e
_i(x))＝1 となること、及び、隠されたニューロン中でこの活性化関数〔 A_i(e
_i(x))〕を生成するために、ブロック(A_i）はe(x)を０
について試験するブロック(211) 及び入力０及び入力１
を受け取るマルチプレクサ(212) を有し、これは試験ブ
ロック(211) からの結果によって制御され、求めようと
する関数〔 A_i(e_i(x))〕をその出力に供給することを
特徴とするニューラル数値プロセッサ。
【請求項１３】請求項11に記載のニューラル数値プロ
セッサにおいて、隠されたニューロンのうちの１つでは、２つの部分をも
つところの線形活性化関数〔 A_i(e_i(x))〕は：中間関
数(e_i(x))が e_i(x) ≧0 のとき A_i(e_i(x))＝ e
_i(x) となり；中間関数(e_i(x))が e_i(x) ＜0 のとき
A_i(e_i(x))＝0 となること、及び、隠されたニューロン中でこの活性化関数〔 A_i(e
_i(x))〕を生成するために、ブロック(A_i）はe(x)を０
について試験するブロック(221) 及び入力e(x)それ自身
及び入力０を受け取るマルチプレクサ(222) を有し、こ
れは試験ブロック(221) からの結果によって制御され、
求めようとする関数〔 A_i(e_i(x))〕をその出力に供給
することを特徴とするニューラル数値プロセッサ。
【請求項１４】請求項11に記載のニューラル数値プロ
セッサにおいて、隠されたニューロンのうちの１つでは、２つの部分をも
つところの線形活性化関数〔 A_i(e_i(x))〕は：中間関
数(e_i(x))が e_i(x) ≧0 のとき A_i(e_i(x))＝ e
_i(x) となり；中間関数(e_i(x))が e_i(x) ＜0 のとき
A_i(e_i(x))＝1 となること、及び、隠されたニューロン中でこの活性化関数〔 A_i(e
_i(x))〕を生成するために、ブロック(A_i）はe(x)を０
について試験するブロック(231) 及び入力e(x)それ自身
及び入力１を受け取るマルチプレクサ(232) を有し、こ
れは試験ブロック(231) からの結果によって制御され、
求めようとする関数〔 A_i(e_i(x))〕をその出力に供給
することを特徴とするニューラル数値プロセッサ。
【請求項１５】請求項11に記載のニューラル数値プロ
セッサにおいて、隠されたニューロンのうちの１つでは、２つの部分をも
つところの線形活性化関数〔 A_i(e_i(x))〕は：中間関
数(e_i(x))が e_i(x) ≧0 のとき A_i(e_i(x))＝ e
_i(x) となり；中間関数(e_i(x))が e_i(x) ＜0 のとき
A_i(e_i(x))＝−1 となること、及び、隠されたニューロン中でこの活性化関数〔 A_i(e
_i(x))〕を生成するために、ブロック(A_i）はe(x)を０
について試験するブロック(241) 及び入力e(x)それ自身
及び入力−1 を受け取るマルチプレクサ(242) を有し、
これは試験ブロック(241) からの結果によって制御さ
れ、求めようとする関数〔 A_i(e_i(x))〕をその出力に
供給することを特徴とするニューラル数値プロセッサ。
【請求項１６】請求項１に記載の数値処理方法におい
て、 − 場合によっては不連続のある部分的線形関数〔f
(x)〕を構築するために、１つの部分又は２つの部分を
もつ線形関数〔H(x)〕のコントリビューションについて
総和が実行され、それと共に、 − この関数〔f(x)〕の導関数(f')を構築するために、
この１つの部分又は２つの部分をもつ線形関数〔 H
_i(x) 〕の導関数( H'_i) のコントリビューションにつ
いて総和が実行されることを特徴とする数値処理方法。
【請求項１７】請求項４ないし７のうちのいずれか１
項に記載の数値プロセッサにおいて、部分的線形関数f
(x)の導関数(f')を構築するために、該数値プロセッサ
は更に − 並列ブロック構造のブロック(B_i) の各々に制御信
号を与え、この信号に依存して関連のブロックが１つの
部分又は２つの部分をもつ線形関数 ( H_i) かその特定
の関数の導関数( H'_i) かのいずれかを供給するような
制御信号を有し、また、 − 副関数〔 H_i(x) 〕の部分の勾配のうちでこれらの
関数〔 H_i(x) 〕の導関数( H'_i) を構成する勾配(s₀,
s_i, s'_i) のみを、メモリ領域における導関数計算モ
ードで選択するための選択手段を有することを特徴とす
る数値プロセッサ。
【請求項１８】請求項８ないし15のうちのいずれか１
項に記載のニューラル数値プロセッサにおいて、場合によっては不連続のある部分的線形関数〔f(x)〕を
構築するために、該ニューラル数値プロセッサは、隠さ
れたニューロンの活性化関数〔 A_i(e_i(x))〕のコント
リビューションの重み付けをした総和及びしきい値の重
み付けをした総和を含むこと、更にこの関数〔f(x)〕の導関数(f')を構築するために、
該ニューラル数値プロセッサは、これらの活性化関数の
導関数( A'_i) の重み付けをした総和及びしきい値の重
み付けをした総和を含むこと、及び、それと同時に部分的線形関数〔f(x)〕及びその導関数
(f')を構築するために、該ニューラル数値プロセッサは
更に、構築しようとする関数〔f(x)〕か又はその導関数
(f')かのどちらかを制御信号に依存して供給するような
制御信号を含み、該制御信号は、 − 変数入力(x) 及び固定入力(1) と出力ニューロンの
総和ユニット( Σ )との直接接続の場合は微分モードで
総和を求めるこれらの信号の導関数を供給するように行
動し、 − 隠されたニューロン (HN_i) の活性化関数の場合は
活性化関数〔 A_i(e(x))〕の導関数( A'_i) を供給する
ように行動し、 − 出力ニューロン(ON)の入力シナプス係数の場合は関
数〔f(x)〕を計算するのに有用な係数をもう１つのメモ
リから発せられた導関数(f')を計算するのに有用な係数
で置き換えるように行動することを特徴とするニューラ
ル数値プロセッサ。