JPH07248841A - 非線形関数発生装置およびフォーマット変換装置 - Google Patents

Abstract

(57)【要約】 【目的】 ディジタル電子回路における非線形変換処理
を効率的かつ高速に実現することのできる非線形関数発
生装置を提供する。 【構成】 浮動小数点表示された入力値ｘは、指数部が
一定となる領域に平行移動されるために浮動小数点加算
器（１２）により入力値オフセットと加算される。この
浮動小数点加算器の出力に基づいてアドレスデコーダ
（１４）がルックアップテーブル（１１）に対するアド
レスを生成する。ルックアップテーブルには、必要とさ
れる非線形関数の関数値が必要な精度で仮数部データの
みが格納される。ビット拡張回路（１５）はこのルック
アップテーブルから読出された関数値を対応の浮動小数
点表示の数値データに変換する。浮動小数点加算器（１
３）はこのビット拡張回路から与えられた数値データを
元の領域に平行移動させるために出力値オフセットを減
算して浮動小数点表示の非線形関数値を出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は非線形関数を電子回路
により表現する非線形関数発生装置に関し、特に、パタ
ーン認識・分類および信号解析などにおいて用いられる
非線形関数を電子回路により表現する半導体非線形関数
発生装置に関する。より特定的には、神経回路網の神経
細胞の非線形しきい値処理を電子回路により実現するた
めの非線形関数発生装置に関する。

【０００２】

【従来の技術】非線形関数は、後に説明するように、パ
ターン認識および信号解析など種々の情報処理分野にお
いて利用されている。このような非線形関数を利用する
情報処理手法の１つに、ニューラルネットワークを用い
る手法がある。ニューラルネットワークは、生体細胞
（ニューロン）をモデルとして構築されており、そこで
利用される計算処理手法としては種々のものが提案され
ている。このような処理手法に共通に用いられるニュー
ロンモデルの特徴の１つとしてしきい値処理機能が挙げ
られる。このしきい値処理機能は簡単に言えば、入力か
ら出力への非線形変換であり、ニューラルネットワーク
の情報処理において重要な役割を果たすことが知られて
いる。まず、このしきい値処理機能について以下に説明
する。

【０００３】まず、以下の説明で必要となる用語の定義
をする。 Ｗｉｊ：ｊ番目のニューロンからｉ番目のニューロンへ
の結合（シナプス結合）の強度を示す結合荷重値（シナ
プス荷重値）。

【０００４】Ｓｉ：ｉ番目のニューロンの出力。 Ｕｊ：ｊ番目のニューロンへの入力の荷重総和値。膜電
位とも呼ばれる。

【０００５】ｆ（）：ニューロンにおいて膜電位から出
力を生成するために利用される非線形変換関数。

【０００６】図３４は、一般的なニューロンモデルの構
成および動作原理を示す図である。図３４において、ニ
ューロンユニットｉは、他のニューロンユニットｊ、
ｋ、…、ｍからの出力（状態信号）Ｓｊ、Ｓｋ、…、Ｓ
ｍを受ける入力部Ａと、入力部Ａから与えられた信号を
予め定められた規則に従って変換する変換部Ｂ（しきい
値機能に対応する）と、変換部Ｂから与えられた信号を
出力する出力部Ｃとを含む。

【０００７】入力部Ａは、ニューロンユニットｊ、ｋ、
…、ｍに対して所定のシナプス荷重Ｗ（以下、シナプス
荷重を総称的に示す場合、符号Ｗを用いる）を有し、ニ
ューロンユニットの出力信号に対応のシナプス荷重で重
み付けをして変換部Ｂへ伝達する。たとえば、ニューロ
ンユニットｋからの出力信号Ｓｋは、入力部Ａでシナプ
ス荷重値Ｗｉｋを積算されてＷｉｋ・Ｓｋに変換された
後変換部Ｂへ伝達される。

【０００８】変換部Ｂは、入力部Ａから与えられた信号
の総和を求め、この総和がある条件を満足すると発火し
て出力部Ｃへ信号を伝達する。このニューロンユニット
のモデルを生体細胞に対応させると、入力部Ａは樹状突
起に対応し、変換部Ｂは細胞本体に対応し、かつ出力部
Ｃは軸索に対応する。

【０００９】このニューロンモデルにおいて各ニューロ
ンが取り得る出力状態は適用されるモデルにより異な
る。ホップフィールド（Hopfield) モデルまたはボルツ
マンマシン（Boltzmann machine ）においては、ニュー
ロンユニットは２つの状態、すなわちＳｉ＝０（非発火
状態）およびＳｉ＝１（発火状態）をとると仮定され
る。またパーセプトロン（Perceptron）モデルなどにお
いては、ニューロンユニットの出力は一般に、０から１
の範囲の連続値をとると仮定される。

【００１０】一つのニューロンユニットにおける信号の
入出力関係は一般に次式で表される。

【００１１】

【数１】

【００１２】ここで、Θｉは自己結合係数を示し、また
総和Σはｉ番目のニューロンユニットへの入力すべてに
ついて行なわれる。したがって、１つのニューロンユニ
ットの機能は、そのニューロンユニットへの入力すべて
に対して対応のシナプス荷重値との積和演算を行ない、
その結果得られた膜電位Ｕｉをしきい値処理すなわち非
線形変換処理して出力を生成すると解釈される。すなわ
ち、ニューロンユニットは、多入力１出力のしきい値処
理機能を有する演算ユニットである。このニューロンユ
ニットにおける非線形的なしきい値処理がニューラルネ
ットワークが高度かつ柔軟な情報処理機能を実現する理
由の１つであると考えられている。

【００１３】従来のニューラルネットワークで用いられ
る非線形変換の種類は多様であるが、大半のものが飽和
型非線形関数を用いていることを特徴としている。ここ
で、飽和型非線形関数とは、入力ｘに対する非線形変換
の出力ｆ（ｘ）が、この入力ｘの全変域にわたってａ＜
ｆ（ｘ）＜ｂ（ただしａおよびｂは一定値）となる変換
を実現する関数をいう。ニューラルネットワークにおい
て使用される非線形関数としては、単調非減少関数が利
用されており、このような単調非減少関数の典型的な例
として次式で表わされるシグモイド（sigmoid ）関数が
ある。

【００１４】

【数２】

【００１５】ただしＴはネットワークの温度であり、ま
た１／Ｔは関数のスロープとも呼ばれる。

【００１６】図３５に温度Ｔが１の場合のシグモイド関
数の形状を示す。この温度Ｔが大きくなれば、シグモイ
ド関数の立上がりが緩やかとなる。上述のシグモイド関
数の式および図３５に示す形状から明らかなように、シ
グモイド関数（変換）ｆ（ｘ）は、０．０＜ｆ（ｘ）＜
１．０という値域を持つ飽和型非線形関数（変換）であ
る。このシグモイド関数の関数値はごく限られた変域に
おいて大きく変化する。

【００１７】上述のようなニューロンユニットにおける
しきい値処理機能を電子回路を用いて実現する方法は、
これまで種々提案されている。これらの従来の方法は、
大別して、アナログ電子回路を用いるものとディジタル
電子回路を用いるものが存在する。以下に、本発明に関
連するディジタル電子回路を用いるしきい値処理機能の
実現方法について説明する。

【００１８】ディジタル電子回路を用いる非線形変換の
実現手法には、大別して２種類ある。１つは級数（関
数）展開を用いて非線形関数を近似する手法であり、も
う１つはメモリに関数値を格納してメモリをルックアッ
プテーブルとして用いる関数テーブル参照法（ルックア
ップテーブル法）である。まず級数展開を用いる近似手
法について説明する。

【００１９】級数展開を用いる近似手法は、級数展開可
能な非線形関数を近似する手法としては最も汎用的であ
りかつ精度が高い演算手法である。前述のシグモイド関
数ｆ（ｘ）は０の近傍（ｈ）においてたとえば以下のよ
うに近似される。

【００２０】

【数３】

【００２１】この手法の長所は、近似の項数を増加すれ
ば非常に高い精度の近似を実現することができることお
よび入力データの表現形式（整数表示、固定小数点表
示、および浮動小数点表示など）に関わりなく積和演算
機能のみを用いて演算を行なうことができることであ
る。

【００２２】この級数展開を用いる近似手法は、一方に
おいて、演算に必要な処理ステップ数が多いという欠点
がある。たとえば、Ｎ項を用いる近似に必要な演算ステ
ップ数は、各項の値の算出および各項の値の総和（２項
ずつの加算を繰返す）の演算ステップが必要とされるた
め、最低限（２Ｎ＋１）の演算ステップが必要とされ
る。したがって、この近似手法に従って非線形変換回路
を構成した場合、非線形変換処理のために大量のクロッ
クサイクルが必要とされ、高速で変換処理（しきい値変
換処理）を実行することができなくなる。

【００２３】級数展開を用いてシグモイド変換（シグモ
イド関数を用いた出力値の計算）を電子回路により実現
する構成は、たとえば電子情報通信学会技術研究報告、
ＩＣＤ９２−１７、１９９２年、第３９頁ないし第４６
頁において広瀬等が「バックプロパゲーション専用プロ
セッサのアーキテクチャ」において示している。この先
行技術文献においては、シグモイド関数ｆ（Ｕｉ）とし
て次式が用いられる。

【００２４】

【数４】

【００２５】このシグモイド関数ｆ（Ｕｉ）を次式を用
いて近似する。

【００２６】

【数５】

【００２７】ここで、係数Ｂｎはベルヌイ数である。上
述の近似式において膜電位Ｕｉの正負に従って次式に示
すように出力ｆ（Ｕｉ）が決定される。

【００２８】

【数６】

【００２９】級数展開の場合、その近似が実効的に有効
となる変域（入力変数値がとる範囲）は極めて限定され
る。このため、上述のように、変域に従って別々の近似
式が利用される。したがって、１つのシグモイド関数を
近似するために複数の近似式が必要とされ、変域に応じ
て別々の計算を実行する必要があり、計算コストが増大
するという問題が生じる。

【００３０】次にルックアップテーブル法について説明
する。図３６は、ルックアップテーブル法を実現するた
めの構成を概略的に示す図である。図３６において、ル
ックアップテーブル９８２は、メモリで構成され、参照
されるデータをすべて格納する。アドレスデコーダ９８
１は、入力値に必要な加工を施してルックアップテーブ
ル９８２に対するアドレスを生成してルックアップテー
ブル９８２へ与える。ルックアップテーブル９８２のア
ドレス指定された位置から読出されたデータは出力バッ
ファ９８３を介して出力される。

【００３１】非線形変換を入力値に対して実行する場
合、非線形関数値が、入力値に対応する数値をアドレス
として、メモリ内の対応の位置に格納される。アドレス
デコーダ９８１が、この入力値にたとえば下位ビットの
切捨てなどの必要な加工を施してアドレスを生成する。
ルックアップテーブル９８２からは入力値に対応する非
線形関数値が出力され、出力バッファ９８３を介して出
力される。このルックアップテーブル法は、基本的には
メモリからのデータの読出時間で非線形変換処理を行な
うことができるため、先に述べた級数展開に基づく方法
に比べて処理の高速化が容易であるという特徴を持つ。

【００３２】図３７は上述のルックアップテーブル法を
用いる従来のニューラルネットワークの構成を示す図で
ある。図３７に示す構成は、たとえば電子情報通信学会
技術研究報告、ＩＣＤ９０−１２７、１９９０年、第４
９頁ないし第５６頁の柴田らの「高速学習型ニューロン
ＷＳＩのシステム設計」に示されている。

【００３３】図３７においては、４つのニューロンユニ
ット９９０を含むニューラルネットの構成が一例として
示される。ニューロンユニット９９０は、シナプス荷重
値を格納するメモリを含み、入力値に対応のシナプス荷
重値を乗算するシナプス回路９９２と、シナプス回路９
９２の出力の総和を求めて膜電位を算出するニューロン
回路９９１を含む。ニューロンユニット９９０の各々の
ニューロン回路９９２は、時分割入力データバス９９３
を介して変換テーブル９９４の入力部に共通に結合され
る。変換テーブル９９４の出力部は時分割出力データバ
ス９９６を介してニューロンユニット９９０の各々のシ
ナプス回路９９２に結合される。ニューロンユニット９
９０における演算タイミングおよびシナプス回路９９２
に含まれるメモリに対するアドレスを発生するために制
御回路９９７が設けられる。

【００３４】変換テーブル９９４は、しきい値変換処理
に用いられる関数をその入力値をアドレスとして出力値
を格納する。

【００３５】動作時においては、まず時分割出力データ
バス９９６上に下位層のニューロンユニットの出力が順
次伝達される。ニューロンユニット９９０の各々は、制
御回路９９７から制御信号バス９９５を介して与えられ
るアドレス信号および制御信号に従って、この出力デー
タバス９９６上に与えられた出力データに対し積和演算
を実行する。積和演算が完了し、ニューロンユニット９
９０各々が膜電位を算出すると、今度は制御回路９９７
の制御の下に、時分割入力データバス９９３上に順次ニ
ューロンユニット９９０の出力が伝達され、変換テーブ
ル９９４へ与えられる。変換テーブル９９４はこの時分
割入力データバス９９３上に与えられた出力をアドレス
信号として、対応の位置に格納された値を時分割出力デ
ータバス９９６上に伝達する。変換テーブル９９４に
は、前述のごとく変換関数値が格納されている。したが
って高速で時分割入力データバス９９３上に与えられた
膜電位データに従って各ニューロンユニット９９０の出
力が時分割出力データバス９９６上に順次出力される。
この図３７に示すニューラルネットワークにおいてニュ
ーロンユニット９９０が別の層のニューロンユニットを
も表現する場合、この変換テーブル９９４から出力され
たデータは再びデータバス９９６を介して直列に時分割
出力データバス９９６上に伝達される。これにより次の
層における演算が実行される。

【００３６】図３７に示すように、しきい値変換処理に
おいては、変換テーブル９９４は、時分割入力データバ
ス９９３上に与えられた膜電位データをアドレスとして
対応の関数値を出力データバス９９６上に出力してい
る。したがってこの構成の場合、変換テーブル９９４に
対するアドレスの生成が極めて容易であり、この変換テ
ーブル９９４からのデータ読出に必要とされる時間のみ
で非線形変換を実行することができる。

【００３７】

【発明が解決しようとする課題】ルックアップテーブル
法を用いる場合、上述のように高速で非線形変換処理を
実行することができるものの、基本的に必要なデータを
すべてメモリ内に格納しておく必要があり、この変換テ
ーブル９９４の占有面積が大きくなり、集積化に対する
１つの障害となるという欠点が生じる。集積回路を用い
たニューラルネットワークを構築する場合、この変換テ
ーブル９９４を集積回路内に配置するためには、占有面
積の観点から記憶容量をそれ程大きくすることができ
ず、変換データをすべて格納するのは困難であり、この
ため級数展開による方法に比べて変換精度が劣るという
欠点があった。

【００３８】またこのような変換テーブルを利用するル
ックアップテーブル法において、使用される数値データ
の表現形式には様々なものがあり、通常高い演算精度を
必要とする場合には浮動小数点表示された数値データが
用いられる。この浮動小数点表示された数値データに対
してこのルックアップテーブル法を適用する際の問題に
ついて以下に述べる。この問題点を具体的に説明する前
に、数値データの表示形式、すなわち浮動小数点表示お
よび固定小数点表示について説明する。

【００３９】浮動小数点表示の数値は、ＩＥＥＥの正規
化フォーマットで、 （−１）^S ・（１．００＋Ｆ）・２^E と表わされる。ここで、Ｓは符号フラグ、Ｅは指数、お
よびＦは仮数である。仮数Ｆは、Σａ_i ・（１／２）ⁱ
の形で表現される。ここで係数ａ_i は０または１の数値
である。

【００４０】図３８は標準的な３２ビット（単精度）の
浮動小数点数値データの構成を示す図である。図３８に
示すように、ＩＥＥＥのフォーマットにおいては、符号
部１９１は、１ビットの符号フラグで構成され、指数部
１９２は、８ビットで指数Ｅを表現し、仮数部１９３は
２３ビットで仮数Ｆを表現する。

【００４１】図３９は、標準的な１６ビットの固定小数
点数値データの構成を示す図である。図３９に示すよう
に、固定小数点数値データは、符号部２０１を構成する
１ビットの符号フラグと、残りの１５ビットによる仮数
部２０２とから構成される。小数点Ｐの位置は任意であ
る。しかしながらこの小数点Ｐの位置は一旦設定された
後は固定される。今ある数値を具体的に浮動小数点表示
および固定小数点表示両者で表現する。

【００４２】３＝（−１）⁰ ・（１．００＋０．５０）
・２¹ であるため、３２ビット浮動小数点表示において
は、 ３＝０ １０００００００ １０００００００００００
０００００００００００ となる。一方、１６ビット固定小数点表示の場合には、
例えば ３＝００００１１．００００００００００ と表現される。ここで、浮動小数点表示において指数部
の最小値−１２７を“００００００００”に対応させて
おり最大値１２８を“１１１１１１１１”に対応させて
いる。別の表現形式が利用されてもよい。浮動小数点表
示においては、１ビットの符号部、８ビットの指数部、
および２３ビットの仮数部という３つの変数が１つの数
値を表現するために必要とされる。それに対して固定小
数点表示においては、１ビットの符号部と１５ビットの
仮数部という２つの変数が必要とされる。

【００４３】浮動小数点表示の場合、表現することので
きる数値の範囲は広い。３２ビットの場合、指数部は８
ビットで構成されるため、絶対値で２^-127から２¹²⁸ の
範囲となる。この範囲で表現される数値の精度はこの指
数部の値により大きく異なる。今具体的に上に述べたフ
ォーマットを有する３２ビット数値データについて考え
る。指数部の８ビットが一定値Ｅ０の場合に表現するこ
とのできる数値Ｚ０は、 １．００・２^E0≦Ｚ０≦（１．００＋２^-1＋２^-2＋…＋
２^-23 ）・２^E0 である。この値域に含まれる数値の数は２²³であり、表
現精度（レゾリューション）は２^E0／２²³である。すな
わち、この値域においては、２^E0から２^E0+1までの値を
仮数部の２３ビットで均等に分割してこの値域内の数値
を表現していることになる。

【００４４】すなわち、浮動小数点表示の場合、指数部
の値Ｅ０に従ってそのレゾリューションが変化し、この
値Ｅ０が小さければ小さいほどレゾリューションは向上
する。したがって、Ｅ０が小さい数値の場合、適用する
システムが必要とする精度に比べて必要以上に細かく数
値が表現される場合が存在する。また、この浮動小数点
表示においては、指数部の値に応じて数値の表現が変化
するため、数値演算が極めて複雑になる欠点がある（こ
れについては後に再度詳しく説明する）。

【００４５】固定小数点表示の場合、数値の表現方法
は、表現することのできる最大値を決定することにより
一意的に決定される。たとえば１６ビットの場合、最大
値および最小値を±Ｍ０とすると、この最大値Ｍ０と最
小値−Ｍ０の間を１６ビットで均等に分割して数値を表
現することになる。したがってレゾリューションは２・
Ｍ０／２¹⁶＝Ｍ０／２¹⁵となる。この場合、表現するこ
とのできる数値Ｚ０の範囲は（正数の範囲で）、 Ｍ０／２¹⁵≦Ｚ０≦Ｍ０ となる。この固定小数点表示は、表現することのできる
数値の範囲が非常に限定されるという欠点がある反面、
数値は数直線上に規則的に配置され（間隔Ｍ０／２¹⁵を
おいて等間隔に配置される）、算術演算（加算、減算、
乗算、除算）が非常に行ないやすいという長所がある。

【００４６】次に、先に述べたシグモイド関数に対する
ルックアップテーブルを構成する方法について説明す
る。

【００４７】シグモイド関数などの非線形関数を用いた
変換をルックアップテーブルを用いて実現する方法は、
シグモイド関数の飽和特性を利用して実現することがで
きる。すなわち、関数値が大きく変化する範囲を限定
し、この範囲内における関数値を入力変数値をアドレス
としてメモリに記憶し、必要な値をこのメモリから随時
読出して使用する構成とすることによりルックアップテ
ーブルを実現することができる。

【００４８】たとえば、図３５に見られるように、シグ
モイド関数ｆ（ｘ）の関数値が大きく変化する変域は狭
く、ほぼ−８≦ｘ≦８の範囲であり、それ以外の範囲に
おいては、この関数値は０または１と近似することがで
きる。したがってこの−８≦ｘ≦８の範囲の関数値をメ
モリに記憶すればよいことになる。この場合、範囲外の
入力値に対する関数値の誤差は３・１０^-4以下であり、
仮に入力変数値の変域を−１６≦ｘ≦１６とした場合、
関数値の誤差は１・１０^-7以下となる。したがって、変
域を限定しても非線形変換処理に対し大きな影響がない
ことがわかる。このように変域を限定することのできる
のがシグモイド関数などの飽和型非線形関数の特徴であ
る。

【００４９】次にこのルックアップテーブル法における
メモリのアドレスの生成について説明する。まず、固定
小数点表示を用いる場合について説明する。

【００５０】固定小数点表示においては、数値は最大値
と最小値の範囲内で、仮数部のビット数により決定され
る間隔で均等に配置される。したがって、入力変数値そ
のものをアドレスとみなすことができ、先の図３７に示
す変換テーブルにおいても入力データバス上の膜電位デ
ータは固定小数点表示で表現されて変換テーブルへ与え
られている。

【００５１】今、１６ビットの固定小数点表示された数
値を考える。非線形関数の入力値の変域を−８≦ｘ≦８
とし、この範囲１６が１４ビットで表現されているとす
れば（１４ビットの精度）、１６／２¹⁴より、約０．０
００９７６５の間隔で入力値が変化し、２¹⁴（＝１６３
８４）個のアドレスを生成することができる。したがっ
て関数値を１６ビットで表現する場合、１ワード１６ビ
ットとして２⁴ ・２¹⁰ワード（１６Ｋワード）格納する
ことのできるメモリを用いれば非線形変換用のルックア
ップテーブルを実現することができる。仮数部のビット
数を増加すれば、応じてアドレスの数も増加し、変換精
度も向上する。この固定小数点表示を用いる方法は、入
力値を均等に離散化してアドレスとして用いているた
め、アドレスの生成が非常に容易であるという特徴を持
つ。しかしながらアドレス間の入力値に対応する出力値
は、その入力値の両側のアドレスのいずれかに対応する
出力値に丸められることになる。

【００５２】次に浮動小数点表示を用いてルックアップ
テーブルを構成する場合のアドレス生成について説明す
る。浮動小数点表示された入力値からルックアップテー
ブルのアドレスを生成する方法では、上で説明した固定
小数点表示の場合に比べて注意が必要とされる。

【００５３】まず、入力値がどのように表現されるかを
説明する。上で固定小数点表示の場合において説明した
入力値の範囲−８≦ｘ≦８は、浮動小数点表示において
は固定小数点表示の場合のように均等には分割されず、
以下のようになる。 （１） ４≦ｘ≦８ 指数部Ｅ＝２で一定、仮数部の２３ビットでこの範囲を
均等に分割する。 （２） ２≦ｘ≦４ 指数部Ｅ＝１で一定、仮数部の２３ビットでこの範囲を
均等に分割する。 （３） １≦ｘ≦２ 指数部Ｅ＝０で一定、仮数部の２３ビットでこの範囲を
均等に分割する。 （４） ０．５≦ｘ≦１ 指数部Ｅ＝−１で一定、仮数部の２３ビットでこの範囲
を均等に分割する。 （５） ０．２５≦ｘ≦０．５ 指数部Ｅ＝−２で一定、仮数部の２３ビットでこの範囲
を均等に分割する。 （６） ０．１２５≦ｘ≦０．２５ 指数部Ｅ＝−３で一定、仮数部の２３ビットでこの範囲
を均等に分割する。 （７） ０．０６２５≦ｘ≦０．１２５ 指数部Ｅ＝−４で一定、仮数部の２３ビットでこの範囲
を均等に分割する。 （８） …（以下同様に続く） 上に示すように、指数部Ｅの値が一定の領域は、仮数部
の２３ビットで均等に分割されているのが浮動小数点表
示の特徴である。この範囲は２^n-1 ≦ｘ≦２ⁿ（ｎは整
数）である。したがって入力値の絶対値が大きくなれば
なるほどこの範囲の幅が大きくなり、応じてその範囲に
おける数値の間隔も広くなり、精度が粗くなり、逆に入
力値の絶対値が小さくなればなるほど精度は細かくな
る。すなわち、入力値をアドレスとしてそのまま利用し
た場合、入力値の値に応じてその精度が異なり、正確な
変換を行なうことができなくなる。

【００５４】今、１６ビット固定小数点表示の数値に従
ってメモリのアドレスを生成した場合との比較のために
３２ビット浮動小数点表示の数値のうち符号部１ビッ
ト、指数部８ビット、および仮数部９ビットの合計１６
ビットからメモリのアドレスを直接生成することを考え
る。ただし、仮数部の９ビットとしては、上位９ビット
を選択するものとする。入力変数値の範囲を−８≦ｘ≦
８とする。固定小数点表示の場合、この変域を固定小数
点の１６ビットのうち１４ビットで表現する場合、その
精度は先に述べたように約０．０００９７６５である。

【００５５】浮動小数点表示の場合、４≦ｘ≦８の範囲
では、仮数部９ビットでこの範囲の数値が表現されるた
め、４／２⁹ ＝１／２⁷ であり、精度は、約０．００７
８１２５である。０．１２５≦ｘ≦０．２５の範囲で
は、０．１２５／２⁹ であり、精度は約０．０００２４
４１となる。

【００５６】このように浮動小数点表示の場合、数値の
大きいところでは、仮数部の精度はビット数を制限した
ことにより、固定小数点表示の場合よりも精度が悪くな
る。一方、入力変数値の絶対値が小さいところでは、固
定小数点表示の場合よりも精度が向上し、これは入力値
の絶対値が小さければ小さいほど顕著となる。すなわ
ち、浮動小数点表示の数値データから直接アドレスを生
成する場合、メモリの容量の制限により仮数部のビット
数を制限すると、その変域によっては固定小数点表示の
場合よりも精度が悪くなり、高精度であるという浮動小
数点表示の利点を生かすことができなくなるという問題
が生じる。

【００５７】次に、浮動小数点表示の数値データから直
接アドレスを生成する際に、入力値の絶対値が極めて小
さい場合を考える。浮動小数点表示の場合、絶対値２
^-127までの小さな数を表現することができるが、このよ
うな小さな値は現実的には不要である場合が多い。たと
えば、シグモイド関数ｆ（ｘ）が図３５に示す形状を有
する場合、ｘ＝２^-15 とｘ＝２^-16 に対する関数値の差
は約０．０００００３８程度である。このような微小な
値は、応用例にも依存するが特に神経回路網などへの応
用上必要な非線形変換の出力値としては不要である場合
が圧倒的に多い。したがって、浮動小数点表示で表現さ
れた入力値の大半（この例では、２^-15 から２^-127まで
の値）は不必要に精度が細かく、ルックアップテーブル
の入力値として使用することは不要な関数値の増加をも
たらすだけであり、極めて非効率的であると言える。

【００５８】上述のように、浮動小数点表示を用いる演
算系において、非線形関数の入力値をルックアップテー
ブルのメモリのアドレスとして用いる場合には、メモリ
の容量に集積化の観点から制限が生じるため仮数部の精
度が制限されることとなり、入力値の精度に著しい不均
一が生じるとともに、不必要な関数値をメモリ内に格納
するため、メモリの利用効率が低下するとともに、変換
テーブルのデータ格納時に不必要な関数値をもロードす
ることになり、効率の良い非線形変換用ルックアップテ
ーブルを構成することができなくなるという問題が生じ
る。また入力値の変域によっては十分精度を保証するこ
とができなくなり、正確に非線形変換を行なうことがで
きなくなるという問題も生じる。

【００５９】また、応用用途においては浮動小数点表示
の数値データを固定小数点表示の数値データに変換して
処理を行なうかまたは逆に固定小数点表示の数値データ
を浮動小数点表示の数値データに切換えて処理を行なう
方が効率的にまたは高精度に処理を行なうことができる
場合もある。この場合、従来の装置においてはこのよう
な数値データの表現形式を効率的に変換する構成は開示
されていなかった。このような異なる表現形式の数値デ
ータを相互に変換する調整は、たとえばそれぞれ異なる
表現形式の数値データを取扱う複数のプロセッサが共存
するマルチプロセッサシステムなどにおいてこのような
必要性が生じる。

【００６０】それゆえ、この発明の目的は、浮動小数点
表示された数値データを用いる演算系において非線形変
換をルックアップテーブルを用いて効率的に行なうこと
のできる非線形関数発生装置を提供することである。

【００６１】この発明の他の目的は、非線形変換関数の
拡大、縮小および平行移動などの操作を容易に行なう機
能を備える非線形関数発生装置を提供することである。

【００６２】この発明のさらに他の目的は、特にニュー
ラルネットワークにおいて用いられるしきい値変換処理
を高速かつ効率的に行なうことのできる非線形関数発生
装置を提供することである。

【００６３】この発明のさらに他の目的は、数値データ
の表現形式を相互に変換することのできるフォーマット
変換装置を提供することである。

【００６４】この発明のさらに他の目的は、ニューラル
ネットワークにおいて利用されるノイズの発生およびニ
ューラルネットワークの温度の変化を容易に実現するこ
とのできる機能を備える非線形関数発生装置を提供する
ことである。

【００６５】

【課題を解決するための手段】請求項１に係る発明は、
第１の一定の精度を有する変数値域の各変数値に対する
非線形関数の値を、各変数値をアドレスとして格納する
記憶手段を含む。非線形関数値域における非線形関数値
は第２の一定の精度を有する出力値域を形成する。

【００６６】請求項１に係る発明は、さらに、入力変数
値を前記変数値域に含まれるように変換して記憶手段に
対するアドレスを発生する入力変換手段と、記憶手段か
ら読出された出力値を入力変数値に対応する値域および
表示形式の出力値に変換する出力変換手段を備える。

【００６７】請求項２に係る発明は、請求項１の発明に
おいて、変数値域の変数値は浮動小数点表示において同
じ値の指数部を有し、かつ出力値域の出力値は浮動小数
点表示において同じ値の指数部を有する。

【００６８】請求項３の発明は、請求項２において記憶
手段が非線形関数値の浮動小数点表示における仮数部の
値を格納する。

【００６９】請求項４に係る発明は、請求項１に係る発
明における入力変換手段が、その振幅が可変なノイズデ
ータを発生する手段と、このノイズ発生手段からのノイ
ズデータと予め定められたオフセット値とを加算する第
１の加算手段と、この第１の加算手段の出力と入力変数
値とを加算する第２の加算手段と、この第２の加算手段
の出力値に従って記憶手段に対するアドレスを発生する
手段とを備える。

【００７０】請求項５に係る発明は、請求項１に係る発
明の入力変換手段が、入力変数値と予め定められた係数
とを乗算する乗算手段と、この乗算手段の出力と所定の
オフセット値とを加算する加算手段と、この加算手段の
出力に従って記憶手段に対するアドレスを生成するアド
レス発生手段とを備える。

【００７１】請求項６に係る発明は、請求項１ないし５
の発明において、記憶手段が複数の非線形関数各々の関
数値を格納する。

【００７２】請求項７に係る発明は、入力変数値域の所
定の変域および対応の非線形関数値それぞれの浮動小数
点表示における指数部の値が一定となるように平行移動
された非線形関数の関数値の浮動小数点表示における仮
数部の値を入力変数の平行移動後の変数値をアドレスと
して格納するメモリと、浮動小数点表示された入力変数
値を上記平行移動に対応する値だけ平行移動する入力変
換手段と、この入力変換手段の出力値に従ってメモリに
対するアドレスを発生するアドレス発生手段と、メモリ
から読出された非線形関数値を上記一定の指数部の値に
従って浮動小数点表示の出力値に変換する出力変換手段
と、この出力変換手段からの出力値を上記平行移動と逆
方向に平行移動して最終出力値を生成する出力手段とを
備える。

【００７３】請求項８に係る発明は、第１の値域内の固
定小数点表示の入力変数値に少なくとも予め定められた
値の指数部を付加して第２の値域に含まれる浮動小数点
表示の数値データを作成する変換手段と、この変換手段
が作成した数値データから予め定められたオフセット値
を減算する手段とを備える。予め定められた値の指数部
を有する第２の値域が、第１の値域内の数値と１対１対
応で対応する数値を含む。また、減算手段において用い
られる予め定められたオフセット値は第２の値域内の数
値と第１の値域内の対応の数値との差に等しい。

【００７４】請求項９に係る発明は、第１の値域内の浮
動小数点表示された入力変数値に予め定められたオフセ
ット値を浮動小数点加算する加算手段と、この加算手段
の出力値に含まれる仮数部の数値データを抽出する抽出
手段とを備える。オフセット値は第１の値域内の各数値
を第２の値域内に平行移動させたときの移動量を示す。
また第２の値域内の浮動小数点表示された数値は同じ値
の指数部を有する。

【００７５】

【作用】請求項１の発明においては、一定の精度を有す
る変数値域の変数値をアドレスとして対応の非線形関数
値の記憶手段に格納される。非線形関数値の値域はまた
一定の精度を有する。したがって、必要な精度で必要な
関数値のみが記憶手段に格納されるだけであり、効率的
な非線形変換テーブルを形成することができる。また、
入力変換手段は入力変数値を記憶手段に格納された各数
値に対応する変数値域内に含まれるように変換して記憶
手段に対するアドレスを発生しており、出力変換手段は
記憶手段から読出された関数値を入力変数値に対応する
値域および表示形式に変換しており、容易に任意の入力
変数値に対する非線形関数値を生成することができる。

【００７６】請求項２の発明においては、記憶手段に格
納された関数値の変数値域および関数値域それぞれは、
浮動小数点表示における指数部が同じ値を有しており、
非線形関数値を固定された精度で効率的に記憶手段に格
納することができ、浮動小数点表示の数値データに対す
る非線形変換テーブルを効率的に作成することができ
る。

【００７７】請求項３の発明においては、記憶手段は浮
動小数点表示の非線形関数値の仮数部の値のみを格納し
ており、記憶手段に格納する数値データのビット数を低
減することができ、非線形変換テーブルのためのメモリ
容量を低減することができる。

【００７８】請求項４に係る発明においては、入力変換
手段は振幅が可変なノイズデータを発生するノイズ発生
手段を含んでおり、ボルツマンマシンのようなニューロ
ンユニットの出力状態が確率論的に決定されるニューラ
ルネットワークにおいて系のエネルギーが極小値（ロー
カルミニマ）に補獲されるのを防止するためのノイズを
容易に発生することができる。また、このノイズ発生手
段からのノイズデータをその振幅が減衰するように発生
していけば、確率論的にニューロンの出力状態が決定さ
れるニューラルネットワークのしきい値変換処理を容易
に実現することができる。

【００７９】請求項５の発明においては、入力変換手段
が乗算手段を含んでおり、非線形関数の拡大、縮小を容
易に実現することができる。また、ニューラルネットワ
ークのしきい値変換処理に用いた場合、乗算係数を温度
Ｔとすれば、ニューラルネットワークのシステムの温度
を容易に変更することができる。

【００８０】請求項６の発明においては、記憶手段には
複数の非線形関数各々の関数値が格納されており、１つ
の記憶手段で複数の非線形変換処理を実現することがで
き、装置占有面積を低減することができる。

【００８１】請求項７の発明においては、メモリには入
力変数値域の所定の変域および対応の非線形関数値それ
ぞれの浮動小数点表示における指数部の値が一定となる
ように平行移動された非線形関数の各関数値の浮動小数
点表示の仮数部の値が、平行移動後の変数値をアドレス
として格納されており、一定の精度で非線形関数値をメ
モリ内に格納することができ、効率的に非線形変換テー
ブルを形成することができる。また、メモリには仮数部
の値のみが格納されるため、メモリの記憶容量を低減す
ることができる。また入力変換手段および出力変換手段
は、この平行移動に対応するように入力変数値および出
力値を平行移動しているだけであり、容易に入力変数値
および出力値の変換を行なうことができ、複雑な操作を
施すことなく浮動小数点表示された入力変数値の非線形
変換を行なうことができる。

【００８２】請求項８に係る発明においては、入力され
た固定小数点表示の変数値に指数部を付加して第２の値
域に含まれる浮動小数点表示の数値データを作成し、こ
の作成された数値データから所定のオフセット値を減算
して入力変数値の値域内へ戻しており、容易に固定小数
点表示の数値を浮動小数点表示の数値に変換することが
できる。

【００８３】請求項９に係る発明においては、入力され
た浮動小数点表示の変数値にオフセット値を加算した後
仮数部の数値データを抽出している。加算手段により、
入力変数値は指数部が一定となる値域内に移動される。
この指数部の値の一定の領域においては、変数値は仮数
部のビット数により決定される精度で配置される。した
がってこの仮数部の値を抽出することにより固定小数点
表示の数値を得ることができる。

【００８４】

【実施例】

［発明の原理］本発明の具体的実施例について説明する
前に、本発明における非線形変換処理の原理的操作につ
いて説明する。

【００８５】本発明においては、浮動小数点表示の数値
データを用いる演算系において、ルックアップテーブル
を用いた非線形変換回路を効率的に実現する。この非線
形変換回路においては以下に述べるような操作が行なわ
れる。

【００８６】所望の非線形関数ｙ＝ｆ（ｘ）（ｙは出力
値、ｘは入力値を示す）において、浮動小数点表示の入
力値ｘおよび出力値ｙの値にそれぞれオフセット値を加
え、これらの値ｘおよびｙの指数部の値が一定となる領
域に非線形関数を平行移動する。たとえば、図３５に示
すシグモイド関数を例にして、入力値ｘの範囲を−８≦
ｘ≦８とし、出力値ｙの範囲が０≦ｙ≦１の領域を考え
る。入力値ｘの範囲の幅は１６であり、この範囲幅にお
いて指数部の値が一定となるのは１６＝２⁴ より、２⁴
ないし２⁵ の範囲である。すなわち、１６≦ｘ≦３２の
範囲を考えれば、この範囲において指数部の値は一定で
ある。同様に、出力値ｙについても、幅が１であり、１
＝２⁰ より、２⁰ ないし２¹ の領域を考えれば、この範
囲において数値の指数部の値は一定である。したがって
出力値ｙの範囲は１≦ｙ≦２に設定する。すなわち、図
１に示すように、領域ＶがＸ方向に２４だけ平行移動さ
れ、ｙ方向に１だけ平行移動されて領域Ｗが得られる。
メモリには、この図１に示す領域Ｗ内の関数値を格納す
る。メモリに格納する関数値としては、関数値の仮数部
の値のみを必要なビット精度（たとえば１６ビット）で
格納する。メモリのアドレスのビット数は非線形変換処
理の精度に応じて決定される。指数部の値が一定の範囲
においては、浮動小数点表示であっても数値は一定間隔
をおいて配置される。したがって、入力値が一定の精度
で均等に分割配置される。メモリへのアクセスは以下の
ようにして行なわれる。

【００８７】図２に示すように、入力値ｘに対しオフセ
ット値を浮動小数点加算をする。このオフセット値は領
域Ｗと領域Ｖの入力値についての変位量であり、図示の
例では２４である。オフセットされた入力値ｘ′がこの
領域Ｗ内にあれば、このオフセット後の入力値ｘ′の仮
数部から必要な上位ビットを抽出してメモリのアドレス
として利用する。オフセット後の入力値ｘ′の仮数部か
ら取出されるビットの数は非線形変換処理に要求される
精度により決定される。もしオフセット後の入力値ｘ′
が領域Ｗに存在しない場合、このメモリの最下位アドレ
スまたは最上位アドレスをメモリへ与えて対応の関数値
を読出す。たとえば、オフセット後の入力値ｘ′が３２
よりも大きい場合には、関数値１が格納された最上位ア
ドレスが発生される。一方、オフセット後の入力値ｘ′
が１６よりも小さい場合には、関数値０が格納された最
下位アドレスが発生される。

【００８８】メモリから読出された出力値は仮数部の値
のみを有している。この場合、領域Ｗの指数部の値およ
び符号は一定であるため、この一定の符号および指数部
を読出した関数値に付加し、また仮数部には下位ビット
に０を付け加えてビット拡張して浮動小数点表現に修正
する。仮数部に付加される０の数は、メモリに格納され
た関数値のビット数とこの出力値ｙのフォーマットによ
り要求される仮数部のビット数とにより決定される。ビ
ット拡張操作により、図３に示すように、浮動小数点表
示された出力値ｙ′が得られる。この出力値ｙ′は領域
Ｗに含まれており、領域Ｖの対応の値に変換するため
に、図４に示す様にこの出力値ｙ′から出力値オフセッ
ト（１）を減算する。これにより最終の出力値ｙが得ら
れる。

【００８９】本発明の典型的な応用例である神経回路網
回路などにおいて必要とされる非線形変換においては、
１６ビット程度の固定小数点表現程度の精度があれば必
要十分であることが大部分である。ただし、このこと
は、神経回路網回路全体が、固定小数点表示された数値
データを用いて演算を行なえば必要十分であることを意
味しない。非線形変換処理において浮動小数点表現です
べて処理を行なうことは、不必要に精度を高くしている
ことに対応し、また演算処理に時間もかかり、非効率的
である。そこで、上述のように、非線形変換処理のため
の入出力操作は、浮動小数点表示で行なえ、非線形変換
のみは固定小数点表現で扱えることにより、必要十分な
精度で高速で変換処理を行なうことができる。

【００９０】次に、シグモイド関数の値域０≦ｆ（ｘ）
≦１において、実効的に関数値が変化する変域を−８≦
ｘ≦８と設定した場合の精度について考える。この範囲
外の入力値に対して、ｘ≦−８の場合にはｆ（ｘ）＝
０、８≦ｘの場合にはｆ（ｘ）＝１とする。この場合、
変域を制限したことに起因する出力値の打切り誤差は、
約０．０００４以下（約１２ビット精度）であり、誤差
の点からみてこの変域制限は妥当である。

【００９１】この関数の変域および値域を浮動小数点数
値で表現すると、先に説明したように、数値の絶対値が
小さくなるにつれて指数部が変化し、精度が向上する。
しかしながら、極端に高い精度は大半の応用例において
は不必要であり、また演算効率も悪く、前述のごとく、
ほぼ１６ビット程度の精度があれば十分である。したが
って、図１に示すように、この関数の変域および値域を
その指数部が一定となる領域Ｗに平行移動すれば、非線
形関数の表現精度は変域および値域の仮数部の精度のみ
で決定される。

【００９２】平行移動後の領域Ｗにおいては、変域は１
６（＝２⁴ ）≦ｘ≦３２（２⁵ ）に移動し、また値域が
１（＝２⁰ ）≦ｆ（ｘ）≦２（２¹ ）に移動する。変域
および値域いずれにおいても仮数部のみその値が変化
し、指数部の値は一定である。したがって、変域および
値域ともに、仮数部の値のみが線形に変化し、浮動小数
点表現を保ったまま実質的に固定小数点表現が実現され
ている。指数部の値が一定であるため、有意な情報は仮
数部の値のみである。ルックアップテーブルを構成する
場合には、オフセット後の入力値を直接アドレスとし
て、メモリ内に出力値の仮数部の値のみを必要とされる
精度に応じて格納する。入力値および出力値ともに１６
ビットであれば、１６・２¹⁶＝１Ｍビットの記憶容量の
メモリで必要とされる関数値をすべて格納することがで
き、現実的な規模のメモリを用いて非線形変換用のルッ
クアップテーブルを構成することができる。

【００９３】このようなルックアップテーブルを用いる
ことにより、浮動小数点表現を損なうことなく非線形変
換用のテーブルを構成することができる。またこの方法
は、原理的に任意の形状の非線形関数に適用することが
できる。飽和型非線形関数であれば、本発明はすべてに
適用することができる。また、出力値が０および１をと
るステップ関数に対しても本発明は適用することができ
る。

【００９４】また、近年信号解析、画像符号化などの分
野で用いられるウェーブレット（wavelet)変換に用いら
れるマザーウェーブレット（またはアナライジングウェ
ーブレット）と呼ばれる関数、細胞の受容野の光刺激の
応答特性をモデルとするニューロンモデルにおいて用い
られるガボール（Gabor)関数（変換）などに用いられる
局在型非線形関数であっても適用することができる。確
率的パターン分類器などに用いられる荷電粒子のポテン
シャル関数に類似するラジアルベーシスファンクション
（radial basis function)に対しても同様に適用するこ
とができる。すなわち、本発明は、入力値のある有限範
囲内において有意な出力値が生成される任意の関数に対
して適用することができる。

【００９５】［実施例１］図５は、この発明の第１の実
施例である非線形変換回路の構成を示す図である。図５
において、非線形変換回路１は、必要な非線形関数値を
格納するルックアップテーブル１１と、浮動小数点表示
の入力値ｘと所定の入力値オフセットｕとを浮動小数点
加算する浮動小数点加算器１２と、浮動小数点加算器１
２の出力に従ってルックアップテーブル１１に対するア
ドレスを生成するアドレスデコーダ１４と、ルックアッ
プテーブル１１の出力値をビット拡張して所定のフォー
マットの浮動小数点表示のデータを生成するビット拡張
回路１５と、ビット拡張回路１５の出力値と所定の出力
値オフセットｖとを浮動小数点加算（減算）する浮動小
数点加算器１３を含む。

【００９６】ルックアップテーブル１１に格納される非
線形関数値については、予め入出力値に所定のオフセッ
ト値が加えられている。このルックアップテーブル１１
に格納される非線形関数の関数値が実質的に変化する領
域を浮動小数点表示した場合、その指数部はその領域全
体にわたって一定とされている。また同様にその変域も
浮動小数点表示した場合その指数部が変域全体にわたっ
て一定である。以後、オフセット値は簡単のため正の値
を考えるが、負の場合も同様に考えることが可能であ
る。ルックアップテーブル１１を構成するメモリには、
その出力値（関数値）の仮数部の必要な精度を満たす数
のビットが１ワードとして格納される。ワードの数は、
関数の変域に対して要求される精度により決定される。
たとえば、出力値が８ビットの精度（レゾリューション
は１／２⁸ ）を有し、入力値の仮数部の上位１０ビット
に対応するデータ（１０２４ワード）を格納する場合に
は、８ビット・１Ｋワードの記憶容量を有するメモリで
必要な関数値をすべて格納することができる。

【００９７】浮動小数点加算器１２は、入力値ｘに対し
オフセット値を加えて指数部の値が一定の領域への平行
移動の操作を実現する。すなわち、この浮動小数点加算
器１２の加算操作により、非線形関数の関数値が実質的
に変化する変域が指数部一定の領域に変換される。この
変換後の領域に含まれる入力値はその仮数部の値のみが
変化する。すなわち、変換後の領域においては、数値は
一定の間隔を有して線形に変化する。

【００９８】アドレスデコーダ１４は、その構成は後に
詳細に説明するが、浮動小数点加算器１２により変換さ
れた入力値ＸＣの指数部の値をルックアップテーブル１
１に格納されているデータの変域の指数部の値と比較
し、この比較結果に従ってルックアップテーブル１１に
対するアドレスを生成する。比較結果が一致を示す場
合、アドレスデコーダ１４は、浮動小数点加算器１２か
ら与えられた数値データＸＣの仮数部の最上位からルッ
クアップテーブル１１に格納されたワードの数に対応す
る数のビットだけ切出してルックアップテーブル１１に
対するアドレスＡＤを生成する。比較結果が不一致を示
す場合、ルックアップテーブル１１に対するアドレスの
最大値または最小値を出力する。最大アドレス位置には
たとえば最大値の“１”を格納し、最小アドレス位置に
はたとえば最小値の“０”を格納する。浮動小数点加算
器１２の出力する数値の指数部の値とルックアップテー
ブルに格納されているデータの変域の指数部の値の大小
に従ってこの最大アドレスおよび最小アドレスのいずれ
かが選択される。

【００９９】ルックアップテーブル１１から読出された
データ（関数値）は、その関数値を浮動小数点表示した
ときの仮数部のデータのみを含む。また、要求される精
度に応じて仮数部の下位ビットは切捨てられている。ビ
ット拡張回路１５は、このルックアップテーブル１１か
ら読出されたデータに符号データ（フラグ）、指数部デ
ータおよび仮数部の下位ビットを付加して入力値ｘと同
様のフォーマットの浮動小数点表示の関数値を生成す
る。ビット拡張回路１５においてビット拡張される指数
部は、ルックアップテーブル１１にデータ（関数値）を
格納する際に加えられた出力のオフセット値の指数部の
値に等しい。仮数部の下位ビットのビット拡張では、単
に下位ビットにデータ“０”が付加される。符号フラグ
は関数値は全て同じ符号を持ち、一定である。

【０１００】浮動小数点加算器１３は、ビット拡張回路
１５によりビット拡張されたデータからルックアップテ
ーブル１１へ格納されている関数値に加えられていたオ
フセット値を減算する。この浮動小数点加算器１３によ
る浮動小数点減算操作により、ビット拡張回路１５の出
力が、求める非線形関数の真の値に変換される。浮動小
数点加算器１３から最終的な浮動小数点表示の出力値ｙ
が出力される。

【０１０１】浮動小数点加算器１２とアドレスデコーダ
１４の間に設けられているラッチ１６ａ、アドレスデコ
ーダ１４とルックアップテーブル１１の間に設けられて
いるラッチ１６ｂ、およびビット拡張回路１５と浮動小
数点加算器２３の間に設けられているラッチ１６ｃは、
それぞれクロック信号（たとえばシステムクロック）に
同期してラッチ動作を行ない、この非線形変換回路１に
おける処理をパイプライン的に行なうために設けられ
る。パイプライン的に処理を実行することにより、高速
で変換処理を実行することができる。

【０１０２】図６は、図５に示すアドレスデコーダの構
成の一例を示す図である。図６において、アドレスデコ
ーダ１４は、入力値オフセットｕの指数部データｕｅと
浮動小数点加算器１２の出力ＸＣの指数部データＸＣＥ
を比較し、その比較結果に従って大小を示す信号φｇお
よび等しいことを示す信号φｑを出力するコンパレータ
２１と、コンパレータ２１の出力信号φｇおよびφｑと
浮動小数点加算器１２の出力ＸＣの符号部データＸＣＳ
に従ってレジスタファイル２３に格納された最大アドレ
スおよび最小アドレスのいずれを選択するかを示す信号
を生成する選択信号出力回路２２と、コンパレータ２１
の出力信号φｑを選択信号φｓとして受けて浮動小数点
加算器１２の出力ＸＣの仮数部データＸＣＦとレジスタ
ファイル２３から出力されたアドレスの一方を選択する
セレクタ２４を含む。

【０１０３】入力値オフセットｕの指数部データｕｅ
は、浮動小数点加算器１２へ与えられる入力値オフセッ
トｕから生成される。この入力値オフセットｕは外部に
設けられた制御回路（図示せず）から変換動作時に与え
られる構成が用いられてもよく、またこの非線形変換回
路に含まれるレジスタに予め書込まれており、このレジ
スタに格納された入力値オフセットデータが必要に応じ
て図示しない外部のコントローラの制御の下に出力され
る構成が利用されてもよい。この構成は、出力値オフセ
ットｖを発生する場合についても同様である。

【０１０４】コンパレータ２１は、入力値オフセットｕ
の指数部データｕｅが浮動小数点加算器１２の出力ＸＣ
の指数部データＸＣＥと等しい場合には出力信号φｑを
活性状態（“１”）とする。コンパレータ２１は、入力
値オフセットの指数部データｕｅが浮動小数点加算器１
２の出力ＸＣの指数部データＸＣＥよりも大きい場合に
は出力信号φｇを“１”とする。

【０１０５】選択信号出力回路２２は、符号部データＸ
ＣＳが正を示すときコンパレータ２１の出力信号φｇお
よびφｑが入力値オフセットの指数部データｕｅが大き
いことを示すときレジスタファイル２３に対し最小アド
レスを選択する信号を発生する。選択信号出力回路２２
は、またコンパレータ２１の出力信号φｑが等しいこと
を示すときにはレジスタファイル２３の任意の一方のア
ドレスを選択する信号を発生する（本実施例においては
最小アドレスを選択する）。選択信号出力回路２２は、
また、コンパレータ２１の出力信号φｇおよびφｑが入
力値オフセットの指数部データｕｅが小さいことを示す
とき（ともに“０”）、レジスタファイル２３に対し最
大アドレスを選択する信号を発生する（符号部データＸ
ＣＳが正を示すとき）。符号部データＸＣＳが負を示す
ときには上述の大小関係が逆にされた選択信号が発生さ
れる。選択信号出力回路２２に対し符号部データＸＣＳ
を与えるのは、ルックアップテーブル１１に格納される
関数値の変域が負の場合をも考慮しているためである。

【０１０６】セレクタ２４は、コンパレータ２１から発
生される信号φｑ（φｓ）が等しいことを示すとき、浮
動小数点加算器１２から与えられた仮数部データＸＣＦ
を選択してルックアップテーブル１１に対するアドレス
ＡＤを出力する。セレクタ２４は、このコンパレータ２
１の出力信号φｑ（φｓ）が不等を示すときにはレジス
タファイル２３から読出されたアドレスを選択する。こ
こで、たとえば、最大アドレスは（１１…１）であり、
最小アドレスは（００…０）である。

【０１０７】セレクタ２４から出力されるアドレスＡＤ
は、ビット数が入力値ｘの仮数部のビット数よりも少な
くされてもよい（下位ビットの切捨て）。この仮数部の
ビットの切捨ては、初段の浮動小数点加算器１２におい
て実行されてもよく、また図６に示すセレクタ２４にお
いて行なわれてもよい。浮動小数点加算器における仮数
部のビットの切捨ての場合、その入力部において行なわ
れてもよく、またその出力部において行なわれてもよ
い。

【０１０８】図７は、図６に示す選択信号出力回路の構
成の一例を示す図である。図７において、選択信号出力
回路２２は、符号部データＸＣＳを受けるインバータ回
路２２ａと、コンパレータ２１の出力信号φｑを受ける
インバータ２２ｂと、インバータ２２ａおよび２２ｂの
出力とコンパレータ２１の出力信号φｇを受ける３入力
ＡＮＤ回路２２ｃを含む。

【０１０９】符号部データＸＣＳは、負の場合には１で
あり、正の場合には０である。信号φｇが“１”のとき
にはオフセット後の入力変数値の指数部データＸＣＥが
入力値オフセットの指数部データｕｅよりも大きい。こ
のときには等しいことを示す信号φｑは“０”である。
したがって符号部データＸＣＳが正を示す“０”の場合
には、ＡＮＤ回路２２ｃからは“１”の信号が出力さ
れ、レジスタファイル２３に格納された最大アドレスを
選択する。信号φｇおよびφｑがともに“０”の場合に
は、オフセット後の入力変数値の指数部データＸＣＥは
入力値オフセットの指数部データｕｅよりも小さい。こ
の場合には、ＡＮＤ回路２２ｃは“０”を出力し、レジ
スタファイル２３に格納された最小アドレスを選択する
（ただし符号部データＸＣＳが正を示す“０”のと
き）。符号部データＸＣＳが“１”で負を示すときには
インバータ２２ａの出力は“０”となる。

【０１１０】この符号部データＸＣＳの正負に応じてレ
ジスタファイル２３へ伝達される信号の論理を反転する
構成は、たとえば信号φｇを一方入力に受けかつ信号φ
ｑを反転して他方入力に受けるＡＮＤ回路と、このＡＮ
Ｄ回路の出力と符号部データＸＣＳを受ける２入力ＥＸ
ＯＲ回路により実現することができる。ＥＸＯＲ回路は
この場合、符号部データＸＣＳが正を示す“０”のとき
にはバッファとして動作し、符号部データＸＣＳが負を
示す“１”の場合にはインバータ回路として機能する。
したがってこの場合には選択されるアドレスを変更する
ことができる。

【０１１１】図８は、図５に示すビット拡張回路の構成
の一例を示す図である。図８において、ビット拡張回路
１５は、ルックアップテーブル１１に格納されたデータ
（関数値）に加算されているオフセット値の符号部およ
び指数部のデータを格納する指数部レジスタ３１と、仮
数部の下位ビットを拡張するための零発生回路３２を含
む。図８においては、ルックアップテーブル１１からは
１６ビットのデータが出力され、仮数部Ｆが２３ビッ
ト、指数部Ｅが８ビット、および符号部Ｓが１ビットの
３２ビットフォーマットにビット拡張する構成が一例と
して示される。零発生回路３２は、接地電位（論理
“０”に対応）を発生して仮数部Ｆの最下位７ビットを
“０”に設定する。

【０１１２】ビット拡張回路１５においてビット拡張処
理は、一旦、図示しないラッチ回路に指数部レジスタ３
１および零発生回路３２の出力値がルックアップテーブ
ル１１の出力データとともに格納された後に次段のラッ
チ１６ｃへ伝達される構成が利用されてもよい。また単
にデータバス幅を拡張する構成のみが利用されてもよ
い。

【０１１３】指数部レジスタ３１へ与えられるオフセッ
ト値は、外部の図示しないコントローラから与えられて
もよく、また非線形変換回路内に設けられた出力値オフ
セットを格納するレジスタから与えられる構成が利用さ
れてもよい。符号部Ｓのデータが“０”に設定されてい
るのは、関数値域が正の領域に平行移動されているため
である。

【０１１４】ビット拡張回路１５から出力される浮動小
数点表示のデータは、最終的に求める非線形関数値とこ
の関数値をルックアップテーブルに格納するために加え
られたオフセット値とを加算した値を持つ。

【０１１５】図８に示すように、容易にルックアップテ
ーブル１１から読出された関数値を複雑な処理を伴うこ
となく浮動小数点表示の数値データに変換することがで
きる。

【０１１６】図９は図５に示すラッチ回路を利用する処
理の流れを示す図である。図５に示すラッチ１６ａ、１
６ｂおよび１６ｃはたとえばシステムクロックであるク
ロック信号に同期して動作し、与えられたデータをラッ
チし出力している。したがってこの図５に示す非線形変
換回路は４段のパイプラインステージを含む。すなわ
ち、入力値を平行移動するためのオフセット演算を行な
うステージ１と、オフセットされた入力値からアドレス
を発生するステージ２と、発生されたアドレスに従って
ルックアップテーブルから対応の関数値を読出してかつ
ビット拡張を行なうステージ３と、ビット拡張されたデ
ータを再びオフセット処理して最終の求める関数値を生
成するステージ４である。図９においては各ステージに
おいて行なわれる演算をＦＡＤＤ、ＡＤｅｃ、およびＭ
ＥＭで示す。ＦＡＤＤは、浮動小数点加算演算を示す
（これはオフセット値の減算操作も含む）。ＡＤｅｃ
は、ルックアップテーブルに対するアドレスを発生する
ためのアドレスデコード操作である。ＭＥＭはルックア
ップテーブルから対応のデータを読出してビット幅拡張
を行なう操作である。

【０１１７】図９においては、４つの入力値Ｕ１、Ｕ
２、Ｕ３およびＵ４に対する処理の流れを一例として示
している。入力値Ｕ４が与えられると、以後の処理手続
においてはすべてのステージが動作して処理が行なわれ
ており、高速で非線形変換を実行することができる。ま
たこのパイプライン処理においては、各パイプラインス
テージは互いに独立しており、ステージ間にデータの依
存性は存在しない。したがってパイプラインハザードは
生じず、パイプラインに空きが生じることなく高速でパ
イプライン処理を実行することができる。

【０１１８】以上のように、この第１の実施例において
は、非線形関数をその変域および値域の指数部の値が一
定となるように平行移動して関数値をメモリに格納して
いる。したがって、入力変数値をアドレスとしてメモリ
内に関数値を格納してルックアップテーブルを構成する
ことができ、浮動小数点表示を保ったまま実質的に固定
小数点表示と同様のルックアップテーブルを実現するこ
とができ、効率的なルックアップテーブルを得ることが
できる。また、変換処理において行なわれる操作は、入
出力値を関数の平行移動に対応して平行移動する際に必
要とされる浮動小数点加減演算操作のみであり、高速か
つ効率的に非線形変換を実行することができる。また各
段においてラッチを設けることにより、非線形変換をパ
イプライン化することができ、高速で処理を実行するこ
とができる。

【０１１９】［実施例２］図１０は、この発明の第２の
実施例である非線形変換回路の構成を概略的に示す図で
ある。この第２の実施例の非線形変換回路の基本的構成
は図５に示す第１の実施例の構成と同様である。

【０１２０】この図１０に示す第２の実施例の非線形変
換回路の１つの大きな特徴は、ルックアップテーブル８
１のメモリ領域が複数のパーティションに分割され、各
パーティションに異なった非線形関数の関数値が格納さ
れることである。複数の非線形関数各々に対するオフセ
ット値（平行移動量）を生成するために、入力値ｘに対
するオフセット値を発生するためのレジスタファイル８
２およびビット拡張回路８５の出力に対するオフセット
値を発生するためのレジスタファイル８３が設けられ
る。ルックアップテーブル８１に対するアドレスを発生
するアドレスデコーダ８４の構成は、複数の非線形関数
の各々の変域に対応するアドレスを発生するために、そ
の構成は、後に説明するが、第１の実施例のものとは少
し異なる。また同様に、ビット拡張回路８５も、この構
成は後に説明するが、複数の非線形関数の各値域に対応
してビット拡張を行なうために、その構成は第１の実施
例のものと少し異なる。本実施例のおいても簡単のた
め、オフセット値は全て正の値として考えるが、負の値
の場合も全く同様にして考えることが出来る。

【０１２１】レジスタファイル８２および８３は外部か
ら与えられるオフセット値を所定の位置に格納する。動
作時においては外部からの制御信号の下に必要なオフセ
ット値がレジスタファイル８２および８３から読出さ
れ、対応の浮動小数点加算器１２および１３へそれぞれ
与える。このレジスタファイル８２および８３から読出
されたオフセット値の指数部の値はアドレスデコーダ８
４およびビット拡張回路８５へそれぞれ与えられる。

【０１２２】非線形変換処理動作時においては、外部コ
ントローラからの制御信号により非線形関数が指定さ
れ、この指定された非線形関数に対するオフセット値が
発生されて非線形変換処理操作が行なわれる。この非線
形変換処理操作は、実質的に図５に示す第１の実施例の
非線形変換回路のそれと同じである。第２の実施例にお
いては、処理対象となる非線形関数を変更することがで
きる点が第１の実施例と大きく異なっているだけであ
る。

【０１２３】図１１は、ルックアップテーブルに格納さ
れる非線形関数の例を示す図である。図１１において
は、シグモイド関数ｆ（ｘ）とその微分係数ｆ′（ｘ）
を関数のスロープを考慮した形態で示す。シグモイド関
数ｆ（ｘ）は、前述のごとく神経回路網においてニュー
ロンの出力状態を決定するために頻繁に使用される。微
分係数ｆ′（ｘ）は、ニューラルネットワークにおいて
誤差逆伝搬学習時に頻繁に用いられる。この誤差逆伝搬
学習時においては、一般に以下の式に従ってシナプス荷
重値の修正が行なわれる。

【０１２４】

【数７】

【０１２５】ここで、δｉはニューロンｉの伝搬誤差を
示し、ｔｉはニューロンｉの教師信号を示す。係数αお
よびηは慣性係数および学習係数と呼ばれる定数であ
る。また、Ｗｉｊ（ｎ−１）およびΔＷｉｊ（ｎ−１）
は前の学習サイクルにおけるシナプス荷重値および荷重
値修正量を示す。

【０１２６】用いられるシグモイド関数ｆ（ｘ）は、 ｆ（ｘ）＝１．０／（１．０＋ｅｘｐ（−ｘ／Ｔ）） で示される。Ｔはニューラルネットワークの温度と呼ば
れ、関数のスロープは係数１／Ｔで表わされる。温度Ｔ
は、シミュレーティッドアニーリング時において重要な
役割を果たす。

【０１２７】図１１においては、シグモイド関数ｆ
（ｘ）および微分係数ｆ′（ｘ）は変域の幅が２となる
場合には、入力値ｘに対するオフセット値が３となり、
入力変数値Ｘが２ないし４の領域に平行移動される。出
力値Ｙに対しては、スロープ（または温度）に関わりな
く、シグモイド関数ｆ（ｘ）はその値域が０から１であ
り、ルックアップテーブルには、出力値Ｙは１ないし２
の値をとるように平行移動されたデータ（関数値）が格
納される。微分係数ｆ′（ｘ）は、その値域は０ないし
０．２５であり、指数部が一定となる０．２５ないし
０．５の範囲に平行移動される。

【０１２８】図１１に明らかに見られるように、ルック
アップテーブルに格納される非線形関数の形状は任意で
ある。飽和型非線形関数および局在型非線形関数などの
変域および出力値域がともに有限である任意の関数の関
数値をルックアップテーブルに格納することができる。

【０１２９】図１２はルックアップテーブルの構成の一
例を示す図である。図１２においては、ルックアップテ
ーブル８１のメモリ領域は４つのパーティション♯１〜
♯４に分割される。アドレス（００…０）ないし（０１
…１）の領域にパーティション♯３および♯４が配置さ
れ、アドレス（１０…０）ないし（１１…１）の領域に
パーティション♯１および♯２が配置される。アドレス
のビットの数は非線形変換に要求される精度により決定
される。パーティション♯１〜♯４は、同じ〜大きさ
（記憶容量）を有する。たとえば、ルックアップテーブ
ルのメモリとして１６ビット・４Ｋワードのメモリを用
いる場合、パーティション♯１〜♯４の各々は８ビット
・２Ｋワードの構成を有する。したがって、この場合、
関数値は８ビットの精度で格納される。

【０１３０】図１２に示す４分割構成ではなく、メモリ
領域を２分割することもできる。この場合、たとえば、
パーティション♯１および♯３を１つのパーティション
とし、パーティション♯２およびパーティション♯４を
１つのパーティションとして利用することもできる。こ
の構成の場合には、たとえば１６ビット・４Ｋワードの
メモリを２つのパーティションに分割すると、１つのパ
ーティションは８ビット・４Ｋワードの構成となる。

【０１３１】またパーティション♯１および♯２を１つ
のパーティションとして利用しパーティション♯３およ
び♯４を１つのパーティションとして利用することもで
きる。この場合には、１つのパーティションは、１６ビ
ット・４Ｋワードのメモリを用いる場合、１６ビット・
２Ｋワードの構成を備える。

【０１３２】図１３は、図１０に示すアドレスデコーダ
の構成の一例を示す図である。図１３においては、ルッ
クアップテーブル８１が図１２に示すように４つのパー
ティションに分割された場合のアドレスを発生するため
の構成を示す。

【０１３３】図１３において、アドレスデコーダ８４
は、ルックアップテーブル８１に格納された非線形関数
各々に対する入力値オフセットの指数部の値を格納する
オフセット値レジスタファイル１０１と、浮動小数点加
算器１２（図１０参照）から出力される数値データのう
ち指数部データＸＣＥとオフセット値レジスタファイル
１０１から読出された対応の指数部データの大小を比較
し、その比較結果に従って信号φｇおよびφｑを出力す
るコンパレータ２１と、ルックアップテーブルの各パー
ティションの最大アドレスおよび最小アドレスを格納す
るアドレスレジスタファイル１０３と、浮動小数点加算
器１２の出力する数値データの仮数部の上位ビットＸＣ
Ｆをルックアップテーブル内の各パーティションのアド
レスに修正するためのアドレス切換回路１０４と、コン
パレータ２１の出力信号φｇおよびφｑならびに浮動小
数点加算器１２の出力する数値データの符号部データＸ
ＣＳとに従ってアドレスレジスタファイル１０３に格納
されたアドレスを選択するための２ビット選択信号ｓｅ
ｌ［１：０］を生成する選択信号出力回路１０２と、コ
ンパレータ２１の出力する信号φｑを選択信号φｓとし
て受けてアドレス切換回路１０４の出力とアドレスレジ
スタファイル１０３から読出されたアドレスの一方を選
択するセレクタ２４を含む。セレクタ２４からルックア
ップテーブル８１に対するアドレスＡＤが出力される。

【０１３４】オフセット値レジスタファイル１０１は、
外部から与えられる２ビットの領域指定信号ＳＷ［１：
０］に従って外部から与えられるオフセット値（指数部
データ）を所定の領域に格納する。アドレスレジスタフ
ァイル１０３も同様に領域指定信号ＳＷ［１：０］に従
って各パーティションのアドレスの最大アドレスおよび
最小アドレスを示す外部から与えられるオフセット値入
力（アドレスデータ）を格納する。このオフセット値は
前にも述べたようにこの実施例では正の値を考えるが、
これは負の値であってもよく、原理的には変わらない。

【０１３５】アドレス領域は２つの領域に分割されてお
り上位の領域指定信号ＳＷ［１］は上位アドレス領域
（パーティション♯１および♯２の領域）または下位ア
ドレス領域（パーティション♯３および♯４の領域）を
指定する。オフセット値レジスタファイル１０１には、
ルックアップテーブルが１６ビットの精度で関数値を格
納する場合、すなわち２種類の非線形関数の関数値を格
納する場合には２つの入力オフセット値の指数部データ
が格納される。パーティション♯１〜♯４各々に異なる
非線形関数の関数値が格納される場合、それぞれに対応
して合計４つの入力オフセット値の指数部データが格納
される。アドレスレジスタファイル１０３においては、
アドレス領域は２分割されているだけであり、各アドレ
ス領域に対する最大アドレスおよび最小アドレスが格納
される。すなわちアドレスレジスタファイル１０３には
合計４つのアドレスが格納される。これらの４つのアド
レスのうち１つのアドレスが２ビット選択信号ｓｅｌ
［１：０］により選択される。本実施例では、４つのパ
ーティションを用いているため、領域選択信号ＳＷは２
ビットであるが、これはさらに多ビットであってもまた
１ビットであってもよい。

【０１３６】コンパレータ２１は、浮動小数点加算器１
２から与えられる指数部データＸＣＥがオフセット値レ
ジスタファイル１０１から出力されるオフセット値指数
部データよりも大きいときに信号φｇを“１”、両指数
部データが等しいときには信号φｑを“１”とする。指
数部データＸＣＥがレジスタファイル１からの指数部デ
ータよりも小さいときには信号φｇおよびφｑがともに
“０”となる。

【０１３７】選択信号出力回路１０２は、上位の領域指
定信号ＳＷ［１］と浮動小数点加算器１２からの符号部
データ（符号フラグ）ＸＣＳとコンパレータ２１の出力
信号φｇおよびφｑに従って選択信号ｓｅｌ［１：０］
を生成する。符号部データＸＣＳが正を示すとき、以下
のような選択信号を発生する。信号φｇが“１”のとき
には領域指定信号ｓｗが指定する領域の最大アドレスを
選択する。信号φｇが“０”のときには、指数部データ
ＸＣＥの方が小さいため、選択信号出力回路１０２はレ
ジスタファイル１０３における対応の領域の最小アドレ
スを選択するように選択信号ｓｅｌ［１：０］を発生す
る。信号φｑが“１”にあるときには、最大アドレスお
よび最小アドレスいずれが選択されてもよい（セレクタ
２４によりレジスタファイル１０３の出力は無視される
ためである）。

【０１３８】符号部データＸＣＳが負を示す“１”の場
合には、レジスタファイル１０３における対応する領域
の最小アドレスが選択される。

【０１３９】図１４は、選択信号出力回路から出力され
る選択信号とアドレスレジスタファイルに格納されたア
ドレスとの対応関係を示す図である。図１４に示すよう
に、アドレスレジスタファイルにおいては、４つのアド
レスが格納される（図１２に示すルックアップテーブル
の構成に対応している）。ルックアップテーブルのメモ
リ領域のパーティション♯１および♯２に対応して、最
小アドレスとして（１００…０）が格納され、最大アド
レスとして（１１１…１）が格納される。パーティショ
ン♯３および♯４に対しては、最大アドレスとして（０
１１…１）が格納され、最小アドレスとして（０００…
０）が格納される。これら４つのアドレスが選択信号ｓ
ｅｌ［１］およびｓｅｌ［０］により選択される。図１
４には選択信号ｓｅｌ［１］によりパーティションの選
択が行なわれ、選択信号ｓｅｌ［０］により最大アドレ
スおよび最小アドレスの選択を行なう構成が一例として
示される。この選択信号ｓｅｌ［１］およびｓｅｌ
［０］と各アドレスとの対応関係は単に一例であり、別
の対応関係が用いられてもよい。

【０１４０】図１５は、この図１３に示す選択信号出力
回路の具体的構成の一例を示す図である。図１５におい
て、選択信号出力回路１０２は、領域指定信号ＳＷ
［１］を受けるバッファ９１と、符号部データＸＣＳを
受けるインバータ９２と、信号φｇおよびφｑを受ける
ＯＲ回路９３と、インバータ９２の出力とＯＲ回路９３
の出力を受ける２入力ＡＮＤ回路９４を含む。バッファ
９１から選択信号ｓｅｌ［１］が出力され、ＡＮＤ回路
９４から選択信号ｓｅｌ［０］が出力される。図１６に
この図１５に示す選択信号出力回路の論理を一覧にして
示す。

【０１４１】図１６に示すように、符号部データＸＣＳ
の値が一定の場合には、領域指定信号ＳＷ［１］の値に
従って選択信号ｓｅｌ［１］の値が変化し、選択された
領域において、選択信号ｓｅｌ［０］の値に従って最大
アドレスまたは最小アドレスが選択される。

【０１４２】本実施例では、オフセット値が常に正であ
ると仮定されているので、選択信号ｓｅｌ［１］は領域
指定信号ＳＷのみに従って発生される構成が利用されて
いるが、オフセット値が負であるならば、それを考慮し
て選択信号ｓｅｌ［１］を構成する必要がある。原理的
にオフセット値を負にするメリットは少ないと考えられ
るが、負の場合も勿論利用可能である。

【０１４３】なお、図１５に示す選択信号出力回路の構
成は単なる一例であり、オフセット値が加えられた入力
値（変換された入力値）がルックアップテーブルの対応
の非線形関数の変域内にあるか否かおよびこの変換入力
値が変域内のときには数直線においてその変域の右側に
存在するか左側に存在するかを判別する機能を有し、か
つこの判別結果に従って２ビット選択信号ｓｅｌ［１：
０］を発生する構成である限り、いずれの構成でも選択
信号出力回路として利用することができる。また選択信
号出力回路は、ルックアップテーブルの構成に応じてそ
の選択信号ｓｅｌのビット数が増減されてもよい。

【０１４４】図１７は、図１３に示すアドレス切換回路
の構成の一例を示す図である。図１７において、アドレ
ス切換回路１０４は、浮動小数点加算器１２（図１０参
照）から出力された仮数部のデータのうちの必要な数の
上位ビットで構成される仮数部データＸＣＦからルック
アップテーブルに対するアドレスを生成するアドレス形
成器１０４ａおよび１０４ｂと、これらのアドレス形成
器１０４ａおよび１０４ｂの出力の一方を領域指定信号
ＳＷ［１］に応じて選択するセレクタ１０４ｃを含む。
アドレス形成器１０４ａは、仮数部データＸＣＦにさら
にデータ“０”を最上位ビット位置に付加する。アドレ
ス形成器１０４ｂは、仮数部データＸＣＦに対しさらに
最上位ビット位置に“１”を付加する。

【０１４５】ルックアップテーブルのメモリ領域が８ビ
ット・２Ｋワードのパーティションに分割される場合、
仮数部データＸＣＦは１０ビットで構成され、アドレス
形成器１０４ａおよび１０４ｂからは１１ビットのアド
レスが出力される。セレクタ１０４ｃは、領域指定信号
ＳＷ［１］がルックアップテーブルメモリの上位アドレ
ス領域を指定する場合にはアドレス形成器１０４ｂの出
力を選択し、領域指定信号ＳＷ［１］がルックアップテ
ーブルの下位アドレス領域を指定する場合にはアドレス
形成器１０４ａの出力を選択する。より多くの関数各々
に対する関数値がルックアップテーブルに格納されてい
る場合であっても、単に仮数部データのさらに最上位ビ
ット（複数ビットであってもよい）位置に所定のアドレ
スビットを付加することにより容易にルックアップテー
ブルに対し処理対象となる非線形関数に対するアドレス
を形成することができる。

【０１４６】図１８は、アドレス切換回路の他の構成を
示す図である。図１８に示すアドレス切換回路１０４
は、１ビットデータ“１”および“０”の一方を領域指
定信号ＳＷ［１］に従って選択するセレクタ１０４ｄ
と、セレクタ１０４ｄの出力するアドレスビットと仮数
部データＸＣＦとから、このセレクタ１０４ｄの出力を
最上位ビットとするアドレスを生成するアドレス形成器
１０４ｅを含む。この図１８に示す構成の場合、セレク
タ１０４ｄとしては、２つの１ビットデータの一方を選
択するだけでよく、その装置規模を低減することができ
る。アドレス形成器１０４ｅは単なる信号バスであって
もよい。

【０１４７】図１９は、図１０に示すビット拡張回路の
具体的構成の一例を示す図である。図１９において、ビ
ット拡張回路８５は、ルックアップテーブル８１（図１
０参照）から出力される関数値の上位ビットＵＤＢおよ
び下位ビットＬＤＢの一方を選択信号ＳＷ［０］に従っ
て選択するセレクタ１３３と、ルックアップテーブルに
格納された複数の非線形関数各々に対する出力オフセッ
ト値の符号部および指数部のデータを格納する指数部レ
ジスタファイル１３１と、仮数部の下位ビットを拡張す
るための発生器１３２を含む。

【０１４８】指数部レジスタファイル１３１は、（多ビ
ットでもよい）選択信号ＳＷに従って１つの関数に対応
する符号部データおよび指数部データを出力する。図１
２に示すように、ルックアップテーブルのメモリ領域が
４つのパーティションに分割されており、各パーティシ
ョンそれぞれに異なる関数の関数値が格納されている場
合、この指数部レジスタファイル１３１には４つの関数
値に対応する符号部および指数部データが格納される。
これらの種類のデータのうち指数部レジスタファイル１
３１は選択信号ＳＷに従って１つの符号部データおよび
指数部データを出力する。したがって、この指数部レジ
スタファイル１３１に与えられる選択信号ＳＷは２ビッ
トで構成される。指数部レジスタファイル１３１からは
１ビットの符号部データと８ビットの指数部データが出
力される。

【０１４９】ルックアップテーブル８１からは、並列に
２つの非線形関数の関数値が出力される。一方の非線形
関数の関数値は上位ビットＵＤＢで表現され、他方の非
線形関数の関数値は下位ビットデータＬＤＢで表現され
る。セレクタ１３３は、選択信号ＳＷ［０］に従って上
位ビットＵＤＢおよび下位ビットＬＤＢの一方を出力す
る。このセレクタ１３３により、図１２に示す様にルッ
クアップテーブルメモリの同じアドレス領域に２つの関
数値が格納されていても必要な関数値のみを選択するこ
とができる。

【０１５０】零発生器１３２は１５ビットの“０”を発
生し、仮数部の下位ビット位置に付加する。このビット
拡張回路８５からは符号部１ビット、指数部８ビット、
および仮数部２３ビットの３２ビットの浮動小数点表示
された数値データが出力される。このビット拡張回路８
５が出力する数値データは図１０に示すラッチ１６ｃへ
伝達される。このビット拡張領域は、単に指数部レジス
タファイル１３１、セレクタ１３３および零発生器１３
２の出力を伝達する信号線のみであってもよく、またレ
ジスタで構成されてもよく、また３２ビットのバッファ
回路で構成されてもよい。

【０１５１】この図１９に示すビット拡張回路８５か
ら、指数部の値が一定の領域に平行移動された浮動小数
点表示の関数値が出力される。このビット拡張回路８５
の出力する数値データは図１０に示す浮動小数点加算器
１３へ与えられる。図１０に示す浮動小数点加算器１３
は、オフセット値レジスタファイル８３からのオフセッ
ト値をこのビット拡張回路８５の出力する数値データか
ら減算し、最終的に求める浮動小数点表示された関数値
を出力する。図１０に示すオフセット値レジスタファイ
ル８３は、図１９に示す出力レジスタファイル１３１と
同様の構成を備えており、非線形関数それぞれに対応す
る出力オフセット値を格納しており、選択信号に従って
対応のオフセット値（浮動小数点表示されたオフセット
値）を出力する。この図１０に示すオフセット値レジス
タファイル８３へのオフセット値の入力は、図１９に示
す指数部レジスタファイル１３１への符号部データおよ
び指数部データ入力時に並行に実行される。

【０１５２】図１０に示す構成において、ラッチ１６
ａ、１６ｂおよび１６ｃは、第１の実施例の場合と同
様、この非線形変換回路における処理をパイプライン的
に実行するために設けられる。処理の流れは図９に示す
パイプラインステージにおける実行操作の流れと同じで
ある。

【０１５３】以上のように、この第２の実施例において
は、複数の非線形関数の関数値をルックアップテーブル
に格納するように構成したため、１つのルックアップテ
ーブルで複数の非線形変換処理を実行することができ、
非線形変換処理それぞれに対して非線形変換回路を設け
る必要がなく、装置規模を低減することができる。

【０１５４】［実施例３］図２０はこの発明の第３の実
施例である非線形変換回路の構成を概略的に示す図であ
る。図２０に示す非線形変換回路においては、入力値ｘ
に対するオフセット値を生成するために、ノイズデータ
を発生するためのノイズ発生器１４１と、ノイズ発生器
１４１の出力するノイズデータの振幅を変更するバレル
シフタ１４２と、バレルシフタ１４２の出力と入力値オ
フセットの仮数部データとを加算する加算器１４３が新
たに設けられる。加算器１４３の出力が浮動小数点加算
器１２において入力値ｘと浮動小数点加算される。この
浮動小数点加算器１２の出力はラッチ１６ａを介してア
ドレスデコーダへ与えられて第１の実施例または第２の
実施例と同様の変換処理が実行される。この非線形変換
部５００は図５または図１０に示す非線形変換回路と同
じ構成を備える。

【０１５５】ノイズ発生器１４１は、シフトレジスタを
基本とするＭ系列の擬似乱数を発生させる。

【０１５６】バレルシフタ１４２は、たとえば外部から
の桁移動指定信号（これは図示せず）に従って予め定め
られた桁数だけノイズ発生器１４１の出力を右方向にシ
フトさせる。バレルシフタ１４２において桁移動されて
空となった最上位ビット位置にはノイズ発生器１４１の
出力の最上位ビット（符号ビット）が挿入される。すな
わちバレルシフタ１４２は右算術桁移動（算術右シフ
ト）の機能を実現しており、ノイズ発生器１４１の発生
するノイズデータを２^-mで除算している。ここで、ｍは
バレルシフタ１４２における移動桁数である。

【０１５７】加算器１４３はこのバレルシフタ１４２の
出力と入力値オフセットの仮数部データとを加算する。
この加算器１４３の入力される数値はともに仮数部のデ
ータであり、通常の固定小数点表示の加算が実行され
る。この加算器１４３の出力はノイズが重畳された入力
値オフセットの仮数部のデータを示しており、ラッチ１
６ｄにおいて入力値オフセットの符号部および指数部が
付加され、浮動小数点表示の入力値オフセットが生成さ
れる。ラッチ１６ｄにおける浮動小数点表示の入力値オ
フセットの生成操作は、単にラッチ１６ｄの上位ビット
位置に符号部データおよび指数部データを格納するだけ
であり、第１の実施例および第２の実施例のビット拡張
操作と同様の操作である。

【０１５８】ノイズ発生器１４１は、擬似乱数によりノ
イズデータを生成している。ニューラルネットワークに
おいては、たとえば確率分布を用いるボルツマンマシン
などにおいては、学習時にはその振幅が徐々に低減され
るノイズ信号が生成される。このノイズ信号は学習フェ
ーズ（プラスフェーズおよびマイナスフェーズ）の初期
の間隠れ層のニューロンの出力状態をその前のサイクル
の出力状態の影響を受けることなく変更させることを可
能にする。またノイズ信号の振幅が徐々に減少すると、
ニューロンの出力状態が最小値（グローバルミニマム）
にアニールされて固定されることが可能となる。また通
常の想起動作時においても、ニューロンの出力状態が確
率論的に決定される場合、ニューラルネットワークがロ
ーカルミニマムに補獲されるのを防止するためにノイズ
が用いられる。この場合、振幅減衰振動するノイズ信号
がニューロンのしきい値に付加される。入力値にノイズ
データを重畳することによりこの操作が実現される。

【０１５９】この第３の実施例のようなノイズ発生器を
利用することにより、ボルツマンマシンなどの確率分布
に従うニューラルネットワークにおいてしきい値変換処
理部にノイズ発生機能を持たせることができる。またこ
のノイズデータは入力値オフセットの仮数部データと整
数加算されるだけであり、ノイズが加えられた入力デー
タ（ニューロン出力値）を容易に生成することができ
る。ノイズデータの浮動小数点表示も単にラッチ１６ｄ
において入力値オフセットの符号部および指数部データ
を付け加えるだけで実現されており、容易に浮動小数点
表示されたノイズ重畳データを生成することができる。

【０１６０】ノイズ発生器１４１が発生するノイズはシ
ステムクロックなどのクロック信号に同期して発生さ
れ、またラッチ１６ｄもこのシステムクロックのような
クロック信号に同期してラッチ動作を行なっている。し
たがって、このノイズデータの発生、および入力値に対
するノイズを付加してオフセットをかける操作をパイプ
ライン的に実行することができる。バレルシフタ１４２
は、予め定められた桁数だけノイズ発生器１４１の出力
データをシフトさせる。これは外部から１クロックサイ
クル内において複数回連続的に桁移動を行なう構成が利
用されてもよい。時間の経過とともに確実に減衰振動す
るノイズ信号をシミュレートするノイズデータを生成す
ることができる。

【０１６１】図２１は図２０に示すノイズ発生器の構成
の一例を示す図である。図２１において、ノイズ発生器
１４１は、３９段の直列に接続される１ビットレジスタ
１５１−１〜１５１−３９を含むシフトレジスタと、最
終段の１ビットレジスタ１５１−３９の出力と任意の１
ビットレジスタ（図２１においては第４段目の１ビット
レジスタ１５１−４）の出力を受ける２入力ＥＸＯＲ回
路１５２と、ＥＸＯＲ回路１５２の出力と外部から与え
られるノイズの種入力ＮＳの一方を選択するセレクタ１
５３を含む。

【０１６２】セレクタ１５３の出力は初段の１ビットレ
ジスタ１５１−１の入力（Ｄ）へ与えられる。種入力Ｎ
Ｓは３９ビットを有し、初期動作時に１ビットレジスタ
１５１−１〜１５１−３９に１ビットずつ格納される。
１ビットレジスタ１５１−１〜１５１−３９はたとえば
システムクロックであるクロック信号ＣＬＫに同期して
与えられたデータをラッチし、次いで次段の１ビットレ
ジスタへ伝達する。

【０１６３】この図２１に示すノイズ発生器１４１は、
一般にＭ系列の擬似乱数と呼ばれる数値データを出力す
る。Ｍ系列は、「最も長い周期の乱数系列」の意味であ
る。この乱数発生器１４１の動作は、先に示したよう
に、種入力ＮＳが各１ビットレジスタ（シフトレジス
タ）に格納された後、セレクタ１５３をレジスタ１５１
−３９の出力を選択する状態とする。ＥＸＯＲ回路１５
２は、レジスタ１５１−４および１５１−３９の出力の
論理値が同じ場合には“０”の信号を出力し、違う場合
には“１”の信号を出力する。クロック信号ＣＬＫに従
って、このＥＸＯＲ回路１５２の出力はセレクタ１５３
を介して初段の１ビットレジスタ１５１−１にフィード
バックされ、クロックサイクルごとに先のサイクルにお
いてこのノイズ発生器１４１から出力される数値データ
と何ら依存性のない新たな数値データが出力される。ノ
イズ発生器１４１の出力は１ビットレジスタ１５１−１
〜１５１−３９のうち入力値オフセットの仮数部のデー
タのビット数と同じビット数だけ切出されてバレルシフ
タ１４２へ与えられる。

【０１６４】図２２にバレルシフタの動作を模式的に示
す。図２２に示すように、バレルシフタ１４２は、ノイ
ズ発生器１４１からのノイズデータａ０〜ａｎを受け、
所定ビット数図の右方向にシフトさせる。図２２におい
ては、２ビットだけ右方向にシフトさせる動作を一例と
して示す。バレルシフタ１４２のシフト後の最上位ビッ
ト位置部にはノイズ発生器１４１から与えられたノイズ
データの最上位ビットＭＳＢ（符号ビット）が格納され
る。このバレルシフタ１４２の出力の最上位ビットが
“１”のときにはノイズデータが負であり、“０”の場
合には正の数である（２の補数表示の場合）。これによ
り任意のノイズデータから正および負に変化するノイズ
データを生成するとともに、その振幅を変更することが
できる。振幅を徐々に小さくする場合には、このバレル
シフタにおける移動桁数を大きくすればよい。

【０１６５】以上のように、この第３の実施例において
は、入力値オフセットにノイズデータを加算するように
構成したため、簡易な回路構成でノイズが付加された入
力値を生成することができる。特に仮数部のデータを用
いてノイズを加算するため、浮動小数点表示された数値
データに対しても容易にノイズデータを重畳することが
できる。

【０１６６】［実施例４］図２３はこの発明の第４の実
施例である非線形変換回路の構成を示す図である。図２
３において、非線形変換回路は、入力値ｘと関数のスロ
ープ１／Ｔとを乗算する浮動小数点乗算器１６１と、浮
動小数点乗算器１６１の出力をシステムクロックなどの
クロック信号に同期してラッチするラッチ１６ｆと、ラ
ッチ１６ｆの出力を非線形変換する非線形変換部５００
を含む。非線形変換部５００の構成は、先の図５または
図１０に示す構成と同じである。

【０１６７】非線形関数のスロープを示すデータ１／Ｔ
は外部から与えられる。この関数のスロープデータ１／
Ｔは連続的に変更される。これにより、シミュレーティ
ッドアニーリングのような、ボルツマンマシンなどのニ
ューラルネットワークにおいて用いられる操作を実現す
る。浮動小数点乗算器１６１からは、ｔ＝ｘ・（１／
Ｔ）が出力される。非線形変換部５００は、このｔを入
力値として非線形変換を実行する。したがって非線形変
換部５００におけるルックアップテーブルに関数とし
て、 ｆ（ｘ）＝１．０／（１．０＋ｅｘｐ（−ｘ）） が格納されている場合には、以下の２つの処理が実行さ
れている。

【０１６８】ｔ＝ｘ・（１．０／Ｔ） ｆ（ｔ）＝１．０／（１．０＋ｅｘｐ（−ｔ）） 図２４に、この処理操作を示す。温度Ｔが１より大きい
温度Ｔ０のとき、入力値ｘに非線形関数のスロープ１／
Ｔ０を乗算すると、｜ｘ／Ｔ０｜＜｜ｘ｜となり、入力
値オフセットを加算しても、変数ｘ／Ｔ０は指数部一定
の領域内の変数値に変換される。温度Ｔが１より小さな
温度Ｔ１の場合、｜ｘ／Ｔ１｜＞｜ｘ｜となり、入力値
オフセットを加算した場合、指数部一定の領域外にこの
オフセット後の変数値が存在する場合が生じる。しかし
ながら、この場合においても、非線形変換部５００内に
設けられたアドレスデコーダより、最大アドレスまたは
最小アドレスにこの範囲外の変数値は変換される。した
がって、関数のスロープ１／Ｔの値がどのような値であ
っても、第１および第２の実施例において説明した処理
操作と同様にして非線形変換を確実に行なうことができ
る。

【０１６９】この場合、非線形変換部において１つの非
線形関数が格納されていても、図１１に示すように様々
なスロープの非線形関数を用いて非線形変換を行なって
いるのと等価である。したがって、外部から非線形変換
関数のスロープ１／Ｔのデータを与えて、浮動小数点乗
算器１６１において入力値ｘと乗算する構成とすること
により、この関数のスロープ１／Ｔを連続的に変化させ
ることができ、確率分布に基づくボルツマンマシンにお
けるシミュレーティッドアニーリング操作を容易に実現
することができる。

【０１７０】また一般に、入力値ｘにある値ｋを乗算し
て、この乗算結果ｋ・ｘを非線形変換部５００に入力す
る〜操作は、非線形関数の拡大または縮小（入力値に関
して）操作を施しているのと等価である。すなわち関数
Ｆ（ｘ）に対してＦ（ｋ・ｘ）を計算しているのに対応
する（ｋは拡大または縮小を表わすパラメータ）。した
がって、関数Ｆ（ｘ）をルックアップテーブルに格納さ
れた非線形関数とすれば、この関数を拡大または縮小し
た関数を計算していることに対応する。また係数ｋが負
の数であれば、鏡映操作をも合わせて行なうことができ
る。

【０１７１】次に、指数部一定領域に非線形関数を平行
移動するための入力値オフセットＯＦよりも値αだけ小
さい値ＯＦ−αを入力値ｘに加算した場合を考える。

【０１７２】この場合、図２５に示すように、オフセッ
ト後の入力値Ｘは、 Ｘ＝ｘ＋ＯＦ−α＝（ｘ−α）＋ＯＦ と表わされる。したがって、このオフセット後の入力値
Ｘを非線形変換処理すれば、関数値ｆ（ｘ−α）が得ら
れる。これは、図２５に示すように、非線形関数１５０
を入力値に関して正の方向にα平行移動した非線形関数
１５１（破線で示す）を用いた非線形変換処理に対応す
る。すなわち、入力値オフセットＯＦにある定数αを減
算した値を入力値ｘに加算する操作は、入力値の原点を
平行移動する操作、すなわち、関数ｆ（ｘ）を関数ｆ
（ｘ−α）に平行移動する操作に対応する。

【０１７３】この原点の平行移動操作は、図２６に示す
ように、変換部初段の浮動小数点加算器１２において入
力値ｘとオフセット値ＯＦ−αを浮動小数点加算するこ
とにより実現される。オフセット値ＯＦ−αは、レジス
タへの入力値オフセットデータ格納時に予め値αだけ小
さくして格納しておけばよい。

【０１７４】図２７は、この図２３および図２６に示す
構成を組合わせた構成を示す図である。図２７におい
て、浮動小数点乗算器１６１は、入力値ｘと所定の係数
１／ａを浮動小数点乗算する。浮動小数点加算器１６２
は、入力値オフセットＯＦと所定の係数−ｂ／ａの浮動
小数点加算を行なう。ラッチ１６ｆおよび１６ｇは、こ
の浮動小数点乗算器１６１および浮動小数点加算器１６
２の出力動作を同期させるためおよび変換操作のパイプ
ライン化のために設けられる。浮動小数点加算器１２
は、この浮動小数点乗算器１６１および浮動小数点加算
器１６２が生成した出力を浮動小数点加算する。浮動小
数点加算器１２の出力は、ラッチ１６ａへ伝達され、非
線形変換処理が第１または第２の実施例と同様にして実
行される。この図２７に示す構成の場合、ルックアップ
テーブルに格納された非線形変換関数をｆ（ｘ）とする
と、入力値ｘに対して次式に示す出力値ｙが得られる。

【０１７５】 ｙ＝ｆ（ｘ／ａ−ｂ／ａ）＝ｆ（（ｘ−ｂ）／ａ） すなわち、非線形関数ｆ（ｘ）を拡大または縮小して、
また原点をｂ負方向に移動させた操作に対応する（また
は関数ｆ（ｘ）をｂだけ正方向に平行移動させた操作に
対応する）。この図２７に示す構成は、入力値ｘに対す
るウェーブレット変換を計算するために利用することが
できる。ウェーブレット変換では、基本ウェーブレット
（マザーウェーブレット関数またはアナライジングウェ
ーブレット関数）に相似変換と平行移動操作を施して、
様々なスケールのウェーブレットが用いられる。信号ｓ
（ｔ）のウェーブレット変換Ｓ（ａ，ｂ）は以下のよう
に定義される（離散ウェーブレット変換の場合）。

【０１７６】

【数８】

【０１７７】基本ウェーブレットは、平均値が０であり
かつ原点から離れると急激にその振幅が小さくなる形状
を有する典型的な局在型非線形関数である。ウェーブレ
ット関数の一例としては、次式で示されるガウス型ウェ
ーブレットと呼ばれる関数がある。

【０１７８】

【数９】

【０１７９】ウェーブレット変換を用いて時間周波数分
析を行なう場合には、基本的には以下の処理操作が行な
われている。時間軸上で基本ウェーブレットをａ倍に拡
大して基底関数として信号の緩やかな変動を調べる。次
いで基本ウェーブレットを１／ａ縮小（圧縮）して信号
の急激な変動または突発的な変化を検出する。次いでウ
ェーブレットをｂずらして変化の発生時刻を検出する。
このようなウェーブレット変換は、乱流の分析、信号の
解析、画像の符号化およびパターン認識など種々の分野
において利用されている。

【０１８０】なお図２７においては、浮動小数点加算器
１６２を用いて入力値オフセットＯＦと値−ｂ／ａの浮
動小数点加算を行なっている。値−ｂ／ａが固定値であ
り、変化しない場合には、レジスタ回路に予め入力値オ
フセットＯＦとこの値−ｂ／ａとを加算した値を格納し
ておき、非線形変換処理部に含まれる浮動小数点加算器
１２へこの値ＯＦ−ｂ／ａへ直接与える構成が利用され
てもよい。

【０１８１】以上のように、第４の実施例の構成に従え
ば、入力値とある係数の乗算を行なう乗算器を用いたた
め、非線形変換関数の拡大および縮小操作を合わせて実
行することができる。この乗算器へ与える係数データを
関数のスロープを示すデータとすれば、外部からこの関
数のスロープを変更することにより、確率分布に従うボ
ルツマンマシンなどのニューラルネットワークに対して
も適用することができる。

【０１８２】また入力値に対して入力値オフセットの値
をシフトさせることにより、非線形関数の原点の平行移
動の操作を実現することができる。また乗算機能とこの
入力値オフセットのシフト操作とを組合わせることによ
り、ルックアップテーブルにウェーブレット関数を格納
すれば、この非線形変換回路をウェーブレット変換に適
用することができる。

【０１８３】［実施例５］図２８は、この発明の第５の
実施例である非線形変換回路の構成を示す図である。図
２８においては、２つの非線形変換回路１ａおよび１ｂ
がカスケード接続される。非線形変換回路１ａのルック
アップテーブルには非線形関数ｆ（ｘ）の関数値が格納
され、非線形変換回路１ｂのルックアップテーブルには
非線形関数ｇ（ｘ）の関数値が格納される。非線形変換
回路１ａおよび１ｂそれぞれの構成は第１ないし第４の
実施例において説明したものと同様である。非線形変換
回路１ａおよび１ｂそれぞれにおいて複数の非線形関数
の関数値が格納されてもよい。

【０１８４】この図２８に示す構成の場合、入力値ｘに
対し、非線形変換回路１ａから関数値ｆ（ｘ）が出力さ
れ、非線形変換回路１ｂから関数値ｇ（ｆ（ｘ））が出
力される。したがって、連続的に２つの非線形変換を高
速で実行することができる。

【０１８５】なお、第５の実施例において、カスケード
接続される非線形変換回路の数は３以上であってもよ
い。

【０１８６】以上のように、この第５の実施例に従え
ば、複数の非線形変換を連続して高速で実行することが
できる。

【０１８７】［実施例６］ （ａ） 浮動小数点表示から固定小数点表示へのフォー
マット変換 図２９に示すように、固定小数点表示における最大値Ｍ
ａｘと最小値Ｍｉｎの領域［Ｍｉｎ，Ｍａｘ］は、浮動
小数点表示における指数部の値が一定の領域［２^E0，２
^E0+1］の領域に対応させることができる。固定小数点表
示においては、そのレゾリューションは（Ｍａｘ−Ｍｉ
ｎ）／２ⁿ で表わされる。一方、浮動小数点表示におい
ても、この指数部の値が一定の領域においてはレゾリュ
ーションは２^E0／２^m で表わされる。（Ｍａｘ−Ｍｉ
ｎ）＝２^E0でありかつＭ＝Ｎである場合には、浮動小数
点表示の数値を固定小数点表示の数値に１対１に対応さ
せることができる。以下にこの浮動小数点表示の数値を
固定小数点表示の数値に変換する手法について説明す
る。

【０１８８】図３０は、浮動小数点表示を固定小数点表
示に変換するためのフォーマット変換装置の構成を示す
図である。図３０において、フォーマット変換装置は、
浮動小数点表示の入力値ｘと所定の入力値オフセットＯ
Ｆとを浮動小数点加算する浮動小数点加算器１７１と、
浮動小数点加算器１７１の出力から仮数部データを抽出
する仮数部抽出器１７２と、この仮数部抽出器１７２が
抽出した出力データのうちの最上位ビットのみを反転す
る最上位ビット反転器１７３を含む。

【０１８９】浮動小数点加算器１７１は、入力値ｘが含
まれる所定の領域を、指数部の値が一定となる領域に移
動させる機能を備える。この操作は先に説明した非線形
変換装置における関数変域の平行移動操作と同様であ
る。仮数部抽出器１７２は、浮動小数点加算器１７１か
ら与えられた仮数部データのうち必要な数の上位ビット
を抽出する。この仮数部抽出器１７２の操作は、たとえ
ば図８に示すビット拡張回路の操作と反対である。最上
位ビット反転器１７３は、たとえば、仮数部抽出器１７
２の出力のうち最上位ビットに対して設けられるインバ
ータバッファと、残りのビットに対して設けられる非反
転バッファとで構成される。最上位ビット反転器１７３
の出力ｙは入力値ｘを固定小数点表示した数値データで
ある。次にこの図３０に示すフォーマット変換回路の動
作を図３１を参照して説明する。

【０１９０】浮動小数点加算器１７１の操作により、あ
る固定小数点表示の領域（最大値２ ^s 、最小値−２^s の
領域）は、浮動小数点表示において指数部の値Ｅが一定
の領域に変換される。すなわち、固定小数点表示におけ
る原点０は浮動小数点表示の２^E ＋（１／２）・２^E に
平行移動される。浮動小数点表示の数値データは、符号
部を除いて、 ２^E ＋Ｆ・２^E Ｆ＝Σａ_i ・（１／２）ⁱ と表わされる。一方、固定小数点表示の数値データｙ
は、符号部を除くと、

【０１９１】

【数１０】

【０１９２】と表わされる。この固定小数点表示の数値
データに対し、原点の平行移動を考慮すると、次式が得
られる。

【０１９３】

【数１１】

【０１９４】各領域の幅が等しいとき、２・２^S ＝２
^E+1 −２^E よりＥ＝ｓ＋１であるから、上式の括弧の中
は次式で表わすことができる。

【０１９５】

【数１２】

【０１９６】この式から明らかなように、浮動小数点表
示の仮数部のビット数と固定小数点表示の数値データの
ビット数（符号ビットを含む）を同じとしたとき、浮動
小数点表示の仮数部のデータは固定小数点表示の数値を
示していることがわかる。ただし、最上位ビットは、係
数（１／２）が加算されるため、符号ビットｂ_s の値が
反転する。

【０１９７】上の式を用いた説明は、直観的に以下のよ
うに説明することもできる。領域［−２^s ，２^s ］内の
数値のデータは精度が同じであれば、領域［２^E ，２
^E+1 ］内の数値に１対１に対応させることができる。浮
動小数点表示の場合、仮数部の最小値は（０００…０）
であり、最大値が（１１１…１）である。したがって、
浮動小数点表示の数値データの仮数部においては最上位
ビットＭＳＢは、領域［２^E ，２^E ＋（１／２）・
２^E ］においては０であり、残りの領域においては１と
なる。これは、２^E ＋（１／２）・２^E を原点とする２
の補数表示の数値データの最上位ビットを反転したもの
と同じである。したがって、この浮動小数点表示の領域
［２^E ，２^E+1 ］における仮数部の値は対応の固定小数
点表示の領域［−２^s ，２^s ］内の数値を固定小数点表
示したものと等しくなる。固定小数点表示においては
（２の補数表示のとき）、最小値（１００…０）であ
り、最大値が（０１１…１）である。

【０１９８】したがって、図３０に示す構成を利用する
ことにより浮動小数点表示の数値データを固定小数点表
示の数値データに変換することができる。この場合、固
定小数点表示の数値データにおける小数点の位置は、原
点が移動された値により自動的に決定される。すなわ
ち、小数点の位置は仮数部の最上位ビットから第Ｅビッ
ト目である。以下に具体的例を示す。

【０１９９】固定小数点表示の領域［−８，８］は、浮
動小数点表示の領域［１６，３２］に対応させることが
できる。入力値オフセットは２４である。今、入力値ｘ
として３を考える。

【０２００】 ３＝（−１）⁰ ・（１＋（１／２））・２¹ である。この数値３に入力値オフセット２４を加算する
と、 ２７＝（−１）⁰ ・（１＋（１／２）＋（１／２）^-3＋
（１／２）^-4）・２⁴ である。したがって仮数部は、 １０１１００…０ となる。最上位ビットを反転すると、 ００１１．００…０ となり、３の固定小数点表示が得られる。小数点の位置
は１６＝２⁴ より、最上位から第４番目のビットと第５
番目のビットの間である。

【０２０１】以上のように、固定小数点表示の領域を指
数部が一定の浮動小数点表示領域に対応させる平行移動
操作を行なうことにより、容易に浮動小数点表示された
数値データを固定小数点表示された数値データに変換す
ることができる。

【０２０２】（ｂ） 固定小数点表示から浮動小数点表
示への変換 図３２は、固定小数点表示の数値データを浮動小数点表
示の数値データに変換するためのフォーマット変換装置
の構成を示す図である。図３２において、フォーマット
変換装置は、固定小数点表示の数値データｚの最上位ビ
ットのビット値を反転する最上位ビット反転回路１８１
と、最上位ビット反転回路１８１の出力のビット拡張を
行なって浮動小数点表示の数値データを形成するビット
拡張回路１８２と、ビット拡張回路１８２から出力され
る浮動小数点表示された数値データと浮動小数点表示の
入力値オフセット（−ＯＦ）の加算を行なう浮動小数点
加算器１８３を含む。ビット拡張回路１８２は、図１９
に示す構成と同様の構成を備え、符号部データ、および
指数部データ、ならびに必要な仮数部の下位ビットデー
タを付加して浮動小数点表示の数値データを形成する。
仮数部に付加される下位ビットの値は“０”である。浮
動小数点加算器１８３は、ビット拡張回路１８２から出
力された数値データから所定の入力値オフセットＯＦを
減算する。次にこの図３２に示すフォーマット変換回路
の動作を図３３を参照して説明する。

【０２０３】図３３に示すように、領域［−Ｍ０，Ｍ
０］は指数部の値が一定の領域［２^E，２^E+1 ］に対応
する。最上位ビット反転回路１８１は、入力された固定
小数点表示の数値データｚの最上位ビットのビット値を
反転する。これにより浮動小数点表示の仮数部の上位ビ
ットデータが形成される。ビット拡張回路１８２は、領
域［−Ｍ０，Ｍ０］と領域［２^E ，２^E+1 ］との間のオ
フセット値ＯＦに従って最上位ビット反転回路１８１の
出力に符号部データ、指数部データ、および仮数部下位
データを追加する。この動作は図１９に示すビット拡張
回路と同じである。これらの操作により、領域［２^E ，
２^E+1 ］に含まれる浮動小数点表示の数値データが形成
される。このビット拡張回路１８２により形成された浮
動小数点表示の数値データは、図３１に示すフォーマッ
ト変換装置で説明したように、固定小数点表示の数値デ
ータｚに対応する浮動小数点表示の数値データがオフセ
ット（平行移動）された数値データである。したがって
このビット拡張回路１８２の出力する数値データから入
力値オフセットＯＦを減算すれば対応の浮動小数点数値
データｘが得られる。図３２に示す装置のフォーマット
変換操作は図３０に示す装置のフォーマット変換操作と
逆の操作である。以下に固定小数点表示の３を浮動小数
点表示の３に変換する例を示す。

【０２０４】固定小数点表示の３は、 ００１１．０００…０ と表現される。最上位ビットのビット値を反転すると、 １０１１．０００…０ が得られる。これに符号部データおよび指数部データを
付加すると、 （−１）⁰ ・（１＋（１／２）＋（１／２）^-3＋（１／
２）^-4）・２⁴ が得られる。次いでオフセット値２４を減算すると、 （−１）⁰ ・（（１／２）^-3＋（１／２）^-4）・２⁴ ＝（−１）⁰ ・（１＋（１／２））・２¹ が得られる。これは浮動小数点表示した３である。

【０２０５】以上のように、この第６の実施例に従え
ば、容易に数値データの表現形式を変換することがで
き、処理用途に適した数値データを生成して効率的に演
算処理を実行することができる。またそれぞれが異なる
表現形式の数値データを用いて処理動作を行なう複数の
プロセッサが存在するマルチプロセッサシステムにおい
ても相互にデータの表現形式を変換してデータ通信を行
なうことができる。

【０２０６】

【発明の効果】以上のように、この発明に従えば、浮動
小数点表示された数値データを処理するディジタル電子
回路において、極めて高速で効率的かつ汎用性の高い非
線形変換（関数およびフィルタ）機能を実現することが
でき、情報処理および信号処理の分野に対する寄与の極
めて大きい装置を実現することができる。

【０２０７】すなわち、請求項１の発明に従えば、一定
の精度を有する変数値域の変数値をアドレスとして対応
の非線形関数値を記憶手段に格納している。非線形関数
値の値域も一定の精度を有している。したがって、必要
な精度で必要な関数値を記憶手段に格納するだけで非線
形変換用のルックアップテーブルを形成することがで
き、効率的に変換操作を行なうことができるとともに、
記憶容量を低減することができる。

【０２０８】請求項２に係る発明においては、記憶手段
に格納された関数値の変数値域および関数値域それぞれ
は浮動小数点表示における指数部が同じ値を有してお
り、非線形関数値を固定された精度で効率的に記憶手段
に格納することができ、浮動小数点表示の数値データに
対する効率的な非線形変換テーブルを容易に作成するこ
とができる。

【０２０９】請求項３に係る発明に従えば、記憶手段に
は浮動小数点表示の非線形関数値の仮数部の値のみを格
納しているため、記憶手段が格納する数値データのビッ
ト数を低減することができ、非線形変換テーブルのため
のメモリ容量を低減することができ、装置規模を低減す
ることができる。

【０２１０】請求項４に係る発明に従えば、入力変換手
段はノイズ発生手段を含んでおり、確率分布に従うボル
ツマンマシンのようなニューラルネットワークに必要と
されるしきい値変換処理を効率的に行なうことのできる
非線形変換回路を得ることができる。

【０２１１】請求項５に係る発明に従えば、入力変換手
段が乗算手段を含んでおり、非線形関数の拡大および縮
小を容易に実行することができ、ニューラルネットワー
クにおける温度Ｔを連続的に変化させるシミュレーティ
ッドアニーリングを容易に実現することができるととも
に、基本ウェーブレットのスケール変換および移動など
を行なうウェーブレット変換をも容易に実現することの
できる汎用性の高い非線形変換回路を実現することがで
きる。

【０２１２】請求項６に係る発明に従えば、記憶手段に
は複数の非線形変換関数が格納されており、１つの記憶
手段で複数の非線形変換処理を実現することができ、装
置占有面積を大幅に低減することができる。

【０２１３】請求項７に係る発明に従えば、入力変換手
段および出力変換手段は数値データの平行移動のみでメ
モリに対するアドレスの作成およびメモリから読出され
たデータからの最終出力値を形成しており、高速かつ効
率的に非線形変換処理を実現することのできる非線形関
数発生装置を得ることができる。

【０２１４】請求項８に係る発明に従えば、固定小数点
表示の入力変数値を所定の指数部データを付加して浮動
小数点表示の数値データに作成して所定数のオフセット
値の加算を行なって入力変数値に対応する浮動小数点表
示の数値データを作成しているため、容易に数値データ
のフォーマットの変換を行なうことができる。

【０２１５】請求項９に係る発明に従えば、浮動小数点
表示の入力変数値に予め定められたオフセット値を加算
した後、仮数部の数値データを抽出して入力変数値に対
応する固定小数点表示の数値データを生成しているた
め、容易に浮動小数点表示の数値データを固定小数点表
示の数値データに変換することができる。

【図面の簡単な説明】

【図１】本発明の非線形関数発生装置の動作原理を説明
するための図である。

【図２】本発明の非線形関数発生装置の動作原理を説明
するための図である。

【図３】この発明の非線形関数発生装置の動作原理を説
明するための図である。

【図４】この発明の非線形関数発生装置の動作原理を説
明するための図である。

【図５】この発明の第１の実施例である非線形変換回路
の構成を示す図である。

【図６】図５に示すアドレスデコーダの構成を概略的に
示す図である。

【図７】図６に示す選択信号出力回路の構成の一例を示
す図である。

【図８】図５に示すビット拡張回路の構成の一例を示す
図である。

【図９】図５に示す非線形変換回路のパイプライン動作
を説明するための図である。

【図１０】この発明の第２の実施例である非線形変換回
路の構成を示す図である。

【図１１】図１０に示すルックアップテーブルに格納さ
れる非線形関数の形状の一例を示す図である。

【図１２】図１０に示すルックアップテーブルの構成を
概略的に示す図である。

【図１３】図１０に示すアドレスデコーダの構成を概略
的に示す図である。

【図１４】図１３に示すアドレスレジスタファイルの格
納データと選択信号との対応関係を示す図である。

【図１５】図１３に示す選択信号出力回路の構成の一例
を示す図である。

【図１６】図１５に示す選択信号出力回路の入出力信号
の真理値を示す図である。

【図１７】図１３に示すアドレス切換回路の構成を示す
図である。

【図１８】図１３に示すアドレス切換回路の他の構成を
示す図である。

【図１９】図１０に示すビット拡張回路の構成を示す図
である。

【図２０】この発明の第３の実施例である非線形変換回
路の構成を概略的に示す図である。

【図２１】図２０に示すノイズ発生器の構成の一例を示
す図である。

【図２２】図２０に示すバレルシフタの動作を説明する
ための図である。

【図２３】この発明の第４の実施例である非線形変換回
路の構成を概略的に示す図である。

【図２４】図２３に示す非線形変換回路の動作を説明す
るための図である。

【図２５】図２３に示す非線形変換回路の変更例の動作
を説明するための図である。

【図２６】図２５に示す処理操作を実現するための構成
を概略的に示す図である。

【図２７】図２３および図２５に示す構成を組合せた構
成を示す図である。

【図２８】この発明の第５の実施例である非線形変換回
路の構成を概略的に示す図である。

【図２９】この発明の第６の実施例であるフォーマット
変換操作を説明するための図である。

【図３０】浮動小数点表示の数値データを固定小数点表
示データに変換するための装置の構成を示す図である。

【図３１】図３０に示すフォーマット変換装置の動作を
説明するための図である。

【図３２】固定小数点表示の数値データを浮動小数点表
示の数値データに変換するための装置の構成を概略的に
示す図である。

【図３３】図３２に示すフォーマット変換装置の動作を
説明するための図である。

【図３４】ニューラルネットワークにおいて用いられる
ニューロンのモデルを説明するための図である。

【図３５】ニューロンのしきい値変換処理に用いられる
非線形関数の一例を示す図である。

【図３６】従来のルックアップテーブルを説明するため
の図である。

【図３７】ルックアップテーブル方式に従って非線形変
換処理を行なう従来のニューラルネットワークの構成の
一例を示す図である。

【図３８】浮動小数点表示の数値データのフォーマット
を示す図である。

【図３９】固定小数点表示の数値データのフォーマット
を示す図である。

【符号の説明】

１ 非線形変換回路 １１ ルックアップテーブル １２ 浮動小数点加算器 １３ 浮動小数点加算器 １４ アドレスデコーダ １５ ビット拡張回路 １６ａ，１６ｂ，１６ｃ ラッチ ２１ コンパレータ ２２ 選択信号出力回路 ２３ レジスタファイル ２４ セレクタ ８１ ルックアップテーブル ８２ オフセット値レジスタファイル ８３ オフセット値レジスタファイル ８４ アドレスデコーダ ８５ ビット拡張回路 １０１ オフセット値レジスタファイル １０２ 選択信号出力回路 １０３ アドレスレジスタファイル １０４ アドレス切換回路 １３１ 指数部レジスタファイル １３２ 零発生器 １３３ セレクタ １４１ ノイズ発生器 １４２ バレルシフタ １４３ 加算器 ５００ 非線形変換部 １６１ 浮動小数点乗算器 １６２ 浮動小数点加算器 １７１ 浮動小数点加算器 １７２ 仮数部抽出器 １７３ 最上位ビット反転器 １８１ 最上位ビット反転器 １８２ ビット拡張回路 １８３ 浮動小数点加算器

Claims (9)

【特許請求の範囲】
1. 【請求項１】 第１の一定の精度を有する変数値域の各
   変数値に対する非線形関数の値を各変数値をアドレスと
   して格納する記憶手段を備え、前記変数値域に対する前
   記非線形関数の値は第２の一定の精度を有する出力値域
   を構成し、 入力変数値を前記変数値域に含まれるように変換して前
   記記憶手段へのアドレスを発生する入力変換手段と、 前記記憶手段から読出された出力値を前記入力変数値に
   対応する値域および表示形式の出力値に変換する出力変
   換手段とを備える、非線形関数発生装置。
2. 【請求項２】 前記変数値域の変数値は浮動小数点表示
   において同じ値の指数部を有し、かつ前記出力値域の数
   値は浮動小数点表示において同じ値の指数部を有する、
   請求項１記載の非線形関数発生装置。
3. 【請求項３】 前記記憶手段は、前記非線形関数値の浮
   動小数点表示における仮数部の値を格納する、請求項２
   記載の非線形関数発生装置。
4. 【請求項４】 前記入力変換手段は、 振幅が変更可能なノイズデータを発生するノイズ発生手
   段と、 前記ノイズ発生手段の出力と予め定められたオフセット
   値を加算する第１の加算手段と、 前記第１の加算手段の出力値と前記入力変数値とを加算
   する第２の加算手段と、 前記第２の加算手段の出力値に従って前記記憶手段に対
   するアドレスを生成する手段とを備える、請求項１記載
   の非線形関数発生装置。
5. 【請求項５】 前記入力変換手段は、 前記入力変数値と予め定められた係数とを乗算する乗算
   手段と、 前記乗算手段の出力値と所定のオフセット値とを加算す
   る加算手段と、 前記加算手段の出力値に従って前記記憶手段に対するア
   ドレスを生成する手段とを備える、請求項１記載の非線
   形関数発生装置。
6. 【請求項６】 前記記憶手段は複数の非線形関数各々の
   関数値を格納する、請求項１ないし５のいずれかに記載
   の非線形関数発生装置。
7. 【請求項７】 入力変数値域の所定の変域および前記所
   定の変域に対応する非線形関数値域それぞれの値の浮動
   小数点表示における指数部の値が一定となるように平行
   移動された非線形関数の各関数値の浮動小数点表示の仮
   数部の値を平行移動後の入力変数値をアドレスとして格
   納する記憶手段と、 浮動小数点表示された入力変数値を前記平行移動に対応
   する値だけ平行移動する入力変換手段と、 前記入力変換手段の出力値に従って前記記憶手段に対す
   るアドレスを発生するアドレス発生手段と、 前記記憶手段から読出された非線形関数値を前記一定の
   指数部の値に従って浮動小数点表示の出力値に変換する
   出力変換手段と、 前記出力変換手段からの出力値を前記平行移動と逆方向
   に平行移動して最終出力値を生成する出力手段とを備え
   る、非線形関数発生装置。
8. 【請求項８】 第１の値域内の固定小数点表示の入力変
   数値に少なくとも予め定められた値の指数部データを付
   加して第２の値域に含まれる浮動小数点表示の数値デー
   タを作成する変換手段を備え、前記第２の値域は前記第
   １の値域内の数値と１対１対応で対応する数値を含み、 前記変換手段が作成した数値データから予め定められた
   オフセット値を減算する手段を備え、前記オフセット値
   は前記第２の値域内の数値と前記第１の値域内の対応の
   数値との差に等しい、フォーマット変換装置。
9. 【請求項９】 第１の値域内の浮動小数点表示された入
   力変数値に予め定められたオフセット値を加算する加算
   手段と、 前記加算手段の出力値に含まれる浮動小数点表示におけ
   る仮数部の数値データを抽出する抽出手段とを備え、 前記オフセット値は前記第１の値域内の各数値を第２の
   値域内に含まれるように平行移動させたときの移動量を
   示し、前記第２の値域内の浮動小数点表示された数値は
   すべて同じ値の指数部を有する、フォーマット変換装
   置。