JPH04160463A - ニューラルネットワークによる最適化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、従来のニューラルネットワークを用隨 いた計算手段では解決困難な数列計画問題などの最適解
の求解手法に関する。

【従来の技術】

従来、ニューラルネットワークを用いた数理計画問題の
求解方法として、バイオロジカル・サイバネティックス
、゛′ニューラル′″・コンピユーチージョン・オン・
デシジョンズ・イン・オプテイマイゼーション・プロブ
レムス、５２　（１９８５年）第１４１頁から第１５２
頁（ＢｉｏｌｏｇｉｃａｌＣｙｂｅｒｎｅｔｉｃｓ、　
”Ｎｅｕｒａｌ”（、ａｍｐｕｔａｔｉｏｎ　ｏｆＤｅ
ｃｉｓｉｏｎｓ　ｉｎ　Ｏｐｔｉｍｉｚａｔｉｏｎ　Ｐ
ｒｏｂｌｅｍｓ、　５２゜（１９２１６）　ＰＰ１４１
−１５２．以下、引例１という）で述べられているよう
に、極小解探索の求解法があった。 また、最適解探索の手法としては、サイエンス。 オプティマイゼーション・パイ・シミュレーテッド・ア
ニーリング、２２０．４５９８　（１９８３年）第６７
１頁から第６８０頁（ＳＣＩＥＮＣＥ。 Ｏｐｔｉｍｉｚａｔｉｏｎ　ｂｙ　ｓｉｉ＋ｕｌａｔｅ
ｄ　ａｎｎｅａｌｉｎｇ、　　２２０゜４５９ｇ　（１
９８３）　ＰＰ６７１−６８０．以下、引例２という）
に述べられているような模擬徐冷法がある。模擬７字　
　徐冷法で使用される冷却スケジュールは、アイ・イー
・イー・イー、ストカスティック・リラキシエーション
、ギブス・デストリビュージョン、アンド・ザ・ベイジ
アン・レストレージョン・オン・イメージズ、ピー・ニ
ー・エム・アイ６（１９８４年）第７２１頁から第７４
１頁（ＩＥＥＥ。 ５ｔｏｃｈａｓｔｉｃ　　Ｒｅ１ａｘａｔｉｏｎ、　　
Ｇｉｂｂｓ　　Ｄｉｓｔｒｉｂｕｔｉｏｎｓ。 ａｎｄ　ｔｈｅ　Ｂａｙｅｓｉａｎ　Ｒｅ５ｔｏｒａｔ
ｉｏｎ　ｏｆ　Ｉｍａｇｅｓ。 ＰＡＭＩ６　（１９８４）　ＰＰ７２１−７４１、以下
、引例３という）やフィジカル・レビュー・ニー、オプ
ティマル・シミュレーテッド−アニーリング・メソッド
・ベースド・オン・ストカスティック−ダイナミック・
プログラミング、５．３９　（１９８９年）第２６３５
頁から第２６４２頁（ＰＨＹＳＩＣＡＬ　ＲＥＶＩＥｗ
Ａ、　　０ｐｔｉｌｎａｌ　　ｓｉｍｕｌａｔｅｄ−ａ
ｎｎｅａｌｉｎｇ　　ｍｅｔｈｏｄ　　ｂａｓｅｄｏｎ
　　ｓｔｏｃｈａｓｔｉｃ−ｄｙｎａｍｉｃ　ｐｒｏｇ
ｒａｍｍｉｎｇ、５．３９（１９８９）　ＰＰ２６３５
−２６４２、以下、引例４という）で提案されている。 シミュレーションで用いるスピングラス系について、及
び平均場近似法についてはケンブリッジ・ユニバーシテ
ィ・プレス、モデリング・プレイン・ファンクション（
１９８９年）（Ｃａｍｂｒｉｄｇｅ　Ｕｎｉｖｅｒｓｉ
ｔｙ　Ｐｒｅｓｓ、　ＭｏｄｅｌｉｎｇＢｒａｉｎ　Ｆ
ｕｎｃｔｉｏｎ　（１９８９）、以下、引例５という）
で述べられている。スピングラス系における模擬徐冷法
での最適解の推定は、フィジカル・レビュー・レターズ
、クーリング−レート・デイペンデンス・フォー・ザ・
スピン−グラス・グランド−ステート・エネルギー：イ
ンプリケーション・フォー・オプティマイゼーション・
パイ・シミュレーテッド・アニーリング、１１．５６　
（１９８６年）第１１４８頁から第１１５１頁（ＰＨＹ
ＳＩＣＡＬ　ＲＥＶＸＥＶＬＥＴＴＥＲ３，Ｃｏｏｌｉ
ｎｇ−Ｒａｔｅ　Ｄｅｐｅｎｄｅｎｃｅ　ｆｏｒ　ｔｈ
ｅＳｐｉｎ−Ｇｌａｓｓ　Ｇｒｏｕｎｄ−３ｔａｔｅ　
Ｅｎｅｒｇｙ：Ｉｍｐｌｉｃａｔｉｏｎｆｏｒ　Ｏｐｔ
ｉｍｉｚａｔｉｏｎ　ｂｙ　Ｓｉｍｕｌａｔｅｄ　Ａｎ
ｎｅａｌｉｎｇ、　１１゜５６　（１９８６）　ＰＰ１
１４８−１１５１．以下、引例６という）で提案されて
いる。応用分野の一例として取り上げる証券ポートフォ
リオ問題の工学的な定式化は。 ユーレ・ユニバーシティ、ポートフォリオセレクション
（１９５９年）　　（Ｙａｌｅ　Ｕｎｉｖｅｒｓｉｔｙ
。 Ｐｏｒｔｆｏｌｉｏ　５ｅｌｅｃｔｉｏｎ　（１９５９
）、以下、引例７という）にて定義されている。

【発明が解決しようとする課題】

引例１の従来技術は、初期分布に依存した極小解にトラ
ップされると、そこから脱出する手段を持たなかった。 一方、極小解からの脱出を可能とする引例２の模擬徐冷
法を用いた最適解探索は。 計算時間が非常に長くかかるという欠点を有して、　　
いた、また１両手法ともに、制約条件を必ず満足すると
いう保証がなかった。 本発明の目的は、極小解から脱出して最適解にできるだ
け近い解を高速に算出すること、且つまた得られる解を
制約条件を満足する許容解だけに限定すること、さらに
パラメータ調整が容易であり、ネットワークの規模や初
期分布の与え方にかかわらず安定した解が得られ、解を
広い範囲に渡ある。

【課題を解決するための手段】

上記目的を達成するために、第１図（Ｂ）に示したニュ
ーラルネットワークによる最適化装置のフローチャート
において、まず与えられた問題１０５をネットワーク生
成器１０６に入力して、結合荷重生成器１０８でニュー
ラルネットワークの結合荷重を生成し、しきい値生成器
１０９でニューラルネットワークのしきい値を生成し、
出力関数生成器１１０で神経細胞の内部状態から出力を
決定する出力関数を生成する。生成された結合荷重、し
きい値及び出力関数にもとづき、ネットワーク群１０７
において、模擬徐冷平均場近似法を用いるニューラルネ
ットワーク１１１と模擬徐冷法を用いるニューラルネッ
トワーク１１２とを逐次的に組み合わせて実行すること
により、最適解にできるだけ近い分布を高速に計算して
、最終的な解１１３とする情報処理を行なう。

【作用１ ネットワーク生成器１０６において、−例として２次計
画問題が与えられた場合には、２吹項を結合荷重生成器
で結合荷重に変換し、１次項をしきい値生成器でしきい
値に変換し、制約条件を出力関数生成器で出力関数に変
換する。 ニューラルネットワーク群１０７は、第２図に示す相互
結合型ニューラルネットワークで構成され、神経細胞２
０１同志を結合するシナプス２０２はそれぞれが固有の
結合荷重を持つ。各神経細胞２０１は、第３図に示すよ
うに、しきい値と出力関数３０４を有して、重み付き総
入力３０３の値に応じて出力信号３０５を決定する。 そして、各神経細胞の協調的及び競合的な動作により最
適化問題を求解する。 模擬徐冷平均場近似法を用いたニューラルネットワーク
１１１は、決定論的な動作原理によって近似解へ高速に
収束する。模擬徐冷法を用いたニューラルネットワーク
１１２では、確率性の導入により揺らぎを与えて極小解
から最適解への移行を可能にしている。 【実施例】 以下、本発明を実施例により説明する。 第１図（Ａ）に示すようなニューラルネットワークによ
る最適化装置において、問題をキーボード１０３により
入力し、外部メモリ１０４にデータを貯蔵してコンピュ
ータ１０２により演算を実行し、デイスプレィ１０１を
通して演算結果の解を表示する。コンピュータ１０２で
行う最適化計算のフローチャートを第１図（Ｂ）に示す
。第１図（Ｂ）のニューラルネットワーク群１０７とし
ては、相互結合型ニューラルネットワークを使用する。 相互結合型ニューラルネットワークが局所的な極小値を
抜は出し大域的な最小解に到達するためには、エネルギ
ー障壁を乗り越え得るトンネル現象のような操作が必要
である。この課題を克服するために、引例２では、ネッ
トワークの状態遷移に確率性を導入し、さらに物理学と
のアナロジ−から焼き鈍しを組み合わせた手法が考案さ
れた。 この手法は模擬徐冷法（以下、ＳＡ法と略す）と呼ばれ
ている。実施例１では最初に、ＳＡ法にいくつかの工夫
を施したうえで、その性能を調査した。以下、第４図の
ＰＡＤ図に従って、ＳＡ法に関するアルゴリズムを説明
する。ただし、時刻ｔでのｉ番目のニューロンＸ＋（ｔ
）はしきい値ａ１を持ち、ｉ番目のニューロンとｊ番目
のニューロンとの結合荷重をＷ　Ｉ　Ｊとする。 ［ＳＡ法のアルゴリズム］ ブロック４０１：結合荷重Ｗ　Ｉ　Ｊ及びしきい値ａ、
を設定する。 ブロック４０２：各ニューロン（ＸＩ　（０））の初期
状態を設定する。 ブロック４０３：最大反復回数Ｉ　＋＊ａＸを設定しｔ
＝１とする。 ブロック４０４　：　ｔ：ｉｉ；Ｉ□。でなければ演算
を終了する。 ブロック４０５：状態変更量として正規乱数δ１を発生
させる。 ブロック４０６：ニューロンへの入力がδ東だけ変化し
たときの出力状態 （ｘ＋″）を計算する。 ブロック４０７：δＥ＝ｐ（（ｘｔ’　））−ｃ（（ｘ
ｔ（ｔ）））を計算する。 ブロック４０８：温度Ｔ　（ｔ）を設定する。 ブロック４０９：ｑ＝ｅｘｐ（−δＥ／Ｔ（ｔ））を計
算する。 ブロック４１０ニー様乱数η、を発生させる。 ブロック４１１〜４１３； ｑ≦η工ならば （ｘｔ’　）→（ｘｔ（ｔ　＋　１））ｑ〉η、ならば （ｘｔ（ｔ））→（ｘｔ（ｔ　＋　１））とする。 ブロック４１４　：　ｔ＋ｌ→ｔとしてブロック４０４
へ処理を移す。 ＳＡ法では、第５図に示すようなネットワークのエネル
ギー５０１が増大する方向への状態遷移を、温度パラメ
ータＴ　（ｔ）に依存した確率ｑで許容する。この揺ら
ぎの効果５０３の導入１こよって、エネルギー障壁を乗
り越えることが可能になった。さらしこ、温度Ｔ　（ｔ
）を冷却して確率ｑを徐々に減少させていくことにより
、ネットワークの状態はエネルギー関数の極小値５０２
に捕られれずに、最小値５０４に収束することが可能に
なる。冷却スケジュールとしては、引例４でギーマンら
が提案した Ｔ（ｔ）＝Ｔ、／ｌ　ｏ　ｇ（ｔ＋１）　　　　　（１
）Ｔｏ：定数 が、代表的な徐冷法である。 式（１）では、温度は反復計算回数ｔだけにしか依存し
ていない。そこで、温度を時刻ｔのみならずエネルギー
にも依存する関数にして、エネルギーが極小値に陥った
状態のときに大きな揺らぎを与えるようにすれば、最小
値への収束を早めることが可能になる。そのために、最
小値に達するまでの経過時間をコスト関数として、これ
を最小化する温度Ｔ。２．を確率的ダイナミックプログ
ラミング手法により求める。引例４での導出結果は次式
である。 Ｔｏｐｔ”θ／　／　（１／　Ｅ　（（Ｘｔ））’　）
　ｄ　ｘ　　（２）ただし、″は状態に関する偏微分を
表し、θは近似的に定数とみなせる。これが最適冷却法
と呼ばれている徐冷法である。 ニューロンの出力信号は、第６図に示すような離散的に
２値のみを取り得る階段関数６０１ではなく、引例１で
述べられているような、微分利得特性に従うシグモイド
関数６０２ ｆ　（Ｘｓ）　＝　ｔ　ａ　ｎ　ｈ　（Ｘｔ／　Ｕｎ）
　　　　（３）により変換してアナログ変数とした１式
（３）は、ＵＩ、を限りなくＯに近づけていけば２値変
数と等価になる。 本実施例では、ｖ’Ｔ（ｔ）に比例する標準偏差を持つ
正規乱数を変更量といてニューロンの前の内部状態に付
加するというやり方で新しい状態を発生させ、反復計算
回数の増加に連れて変更量を減少させていった。また、
初期内部状態は、ニューロンの中間値を平均値とする正
規乱数とした。これらの工夫を施すことによって、早く
且つ安定した収束が達成できた。 以上で述べてきた確率的な揺らぎを導入したＳＡ法の出
現により、ネットワークの状態がエネルギー関数の最小
解に到達することが理論的には可能になった。しかしな
がら、この方法にも欠点が存在する。それは、最小値へ
の収束までに膨大な数の繰り返し計算を必要とするため
、計算時間が非常に長くかかるということである。 そこで、ＳＡ法で使用されるボルツマン分布ｑ＝ｅｘｐ
（−Ｅ（（Ｘｔ））／Ｔ（ｔ））　　　（４）でのニュ
ーロン状態の平均値を近似計算し、さらに温度を限りな
く零に近付けて行くような手法を採用すれば、短時間で
最小値付近まで達することが可能になると考えられる。 ここで、平均値＜ｘｌ〉は、統計力学とのアナロジ−か
ら平均場近似法を用いて計算する。この近似式において
、温度を零に近付けて行く手法を模擬徐冷平均場近似法
（以下、ＡＭＦＡ法と略す）と呼ぶことにする。以下に
、平均場近似法の導出過程を、引例５に従って簡単に示
す。 相互結合型のニューラルネットワークにおいてエネルギ
ー の最小化は、ボルツマン分布式（４）の最大化に置き換
えられる０式（５）に平均場近似（Ｘｉ）＝ｔａｎｈ　
＜−ａ　Ｅ　（（＜Ｘｓ＞））／　ａ（Ｘｌ＞・（１／
Ｔ（ｔ）））　　　　　　　　　（６）を適用すれば、
（（Ｘ、））は、以下の非線形方程式を満足する。 ただし、ニューロンの取り得る状態はＸＩ”（１゜１）
であり、ニューロン数をＮとしてｉ＝１．・・・。 Ｎである。式（７）でＴ　（ｔ）→Ｏであれば、（（Ｘ
、＞）はボルツマン分布を最大にする（Ｘｔ）と等価に
成る。以下、第７＠のＰＡＤ図に従って、ＡＭＦＡ法に
関するアルゴリズムを説明する。 ［ＡＭＦＡ法のアルゴリズム］ ブロック７０１：結合荷重Ｗ　ｉＪ及びしきい値ａｉを
設定する。 ブロック７０２：各：、、　ニー　０　ン（Ｘｓ　（０
））　（７）初期状態を設定する。 ブロック７０３：最大反復回数Ｉｍａよを設定しｔ＝１
とする。 ブロック７０４　：　ｔ≦Ｉ　ｗａｘでなければ演算を
終了する。 ブロック７０５　：ａｉ度Ｔ　（ｔ）を設定する。 ブロック７０６：　　（７）式に従って（ｘｉ（ｔ））
を計算する。 ブロック７０７：ｔ＋１→ｔとしてブロック７０４へ処
理を移す。 最初に（Ｘ、）の初期状態を設定し１反復法によって式
（７）を満足する（Ｘ、）を解く。このとき、本発明で
は基本的に反復回数の増加に連れて温度パラメータＴ　
（ｔ）を冷却させて行くが。 一定値に設定することも可能である。 ＡＭＦＡ法は高速に良い解を算出するが、しかし近似法
であるため最適解に到達する保証はない。 そこで、ＡＭＦＡ法で得られたネットワークのニューロ
ン状態を初期分布として、新たにＳＡ法を適用すること
によフて解の質の向上が期待できる。 このように、ＡＭＦＡ法の解の質を向上させる目的で開
発した方法を、混合法と呼ぶことにする。 以下、第８図のＰＡＤ図に従って、混合法に関するアル
ゴリズムを説明する。 ［混合法のアルゴリズム］ ブロック８０１：結合荷重Ｗ　Ｉ　Ｊ及びしきい値ａｌ
を設定する。 ブロック８０２：各ニューロン（Ｘｉ　（０））の初期
状態を設定する。 ブロック８０３〜８０７：最大反復回数を設定室して、
ＡＭＦＡ法を実行す る。 ブロック８０８〜８１９ニ ブロック８０３〜８０７の計 算で得られた（Ｘｔ）に対し て、最大反復回数を設定して ＳＡ法を実行する。 混合法では、アルゴリズムにおいてブロック８０３〜８
０７とブロック８０８〜８１９の順番を入れ替える方法
、あるいはこの２つの方法を交互に何度か繰り返す方法
も可能である。 〈実施例１〉 引例５で述べられているスピングラスとは、非強磁性金
属（例えば銅）に少量の磁気原子（例えば鉄）が希薄に
混ざった合金である。この合金の各原子のスピンは、強
磁性的と反強磁性的の２種類の方向を取り得る。そのた
め、各スピンは複雑で非一様な湘互作用をしており、系
のエネルギー状態には多くの極小値が存在する。 スピンｉが他のスピンｊと大きさＷ　ｉ　Ｊで相互作用
している系に外部から磁場ａ、が作用しているとき、こ
の系のエネルギー関数は式（５）となる。 すなわち、スピングラス系は結合荷重がランダムである
神経回路網と等価な系とみなすことが可能である。 以下では、スピングラス系を用いた数値シミュレーショ
ンを通して、ＳＡ法、ＡＭＦＡ法、及び混合法の評価を
行なう。 最初に、ＳＡ法を用いてスピングラス系を最小エネルギ
ー状態へ遷移させることを考える。徐冷の速さとして、
最初に引例３でギーマンらが提案した温度Ｔ　（ｔ　）
　”Ｔｏ／ｌｏｇ　（ｔ　＋　１　）に従う冷却スケジ
ュールを取り上げる。 まず、このスケジュールの冷却の早さを変化させたとき
のエネルギー状態の差異を調査した実験結果について述
べる。ニューロン数Ｎを８００個として数値実験を行な
った結果を第９図に示す。 ただし、縦軸はエネルギーをニューロン数で規格化した
値−Ｅ／Ｎ、横軸は温度Ｔ　（ｔ）としてとっている。 横軸において、引例３の冷却スケジュールに従えば１反
復計算回数ｔが増す程、温度Ｔ（１）は低減することに
なる。具体的な冷却スケジュールとして、折線９０１　
：　ｌ／ｌｏｇ（１００ｔ−９８）、折線９０２　：　
１／ｌｏｇ　（ｔ＋１）と折線９０３　：　１／ｌｏｇ
　（ｔ／１００＋２）の３種類を比較した。なお、これ
らの冷却スケジュールにおいて、反復１回目の温度は全
て約１／ｌｏｇ　２″：１．４４となるように設定して
いる６第９図では、矩形印が反復計算回数が１００回目
、三角印が１０００回目、そして丸印が反復１００００
００００回目示す。１０００回まででは温度の冷却の早
い折線９０１が最も低いエネルギー状態に到達している
が、反復１００００回では折線９０２と折、１１９０１
が逆転した。このとき、折線９０２の温度は折線９０１
の１００回目の温度とほぼ同程度になっている。もし、
反復回数をさらに１〜２桁増やせば、折線９０３と折線
９０２も逆転すると推測できる。つまり、反復回数が少
ないときには、冷却速度の速い方が低いエネルギー状態
に達するが、反復回数が多くなると、冷却のより遅い方
がエネルギー状態が低くなる。 したがって、一定の最大反復回数が設定されたとき、変
数ｔの乗算と加算の係数を調整するという方法により、
低いエネルギーレベルへの到達が可能である。 次に、３種類の冷却スケジュール、反復回数の逆数に比
例する方法（Ｔ　（ｔ）：ｌ／上）、、引例３のギーマ
ンらの方法（Ｔ　（ｔ）　”１／　Ｉ　ｎ　（を十１）
）及び引例４の最適冷却法について数値実験により比較
検討を行なった６反復回数の逆数に比例する方法は、計
算速度を早くするために一般に用いられている冷却スケ
ジュールである。初期分布として２５種類の異なる正規
乱数を与えて。 各徐冷方法に従い算出したエネルギー値の平均及び標準
偏差を第１表に示す。ただし、シミュレーション条件は
、ニューロン数を４００個１反復回数を１００００回と
した。 第　　１　　表 引例６でブレストらは、同様な問題に対して最適解の推
定を行ない、−Ｅ／Ｎ＝０．７５９という平均値を得て
いる。第１表では、この推定された最適値に対する誤差
も併せて掲載している。 平均値について比較すると、最適冷却法が最も低いエネ
ルギー値に到達し、以下はギーマンらの方法、反復回数
の逆数に比例する方法の順でエネルギー値が低かった。 標準偏差に関しては、反復回数に比例する方法が若干大
きいものの、３手法ともほぼ同程度であった。 反復回数の逆数に比例する方法と引例３のギーマンらの
方法の２手法について、適当な初期分布を与えたときの
反復回数に対するエネルギーの変化を第１０図に示す。 ただし、縦軸はエネルギーをニューロン数で規格化した
値−Ｅ／Ｎ、横軸は反復回数ｔである。反復４０回程度
までは明らかに反復回数の逆数に比例する方法による折
線１００２の方が低いエネルギー状態にあるが、反復１
００回以上になると逆転してギーマンらの方法による折
線１００１の方が低くなる。すなわち、反復回数が少な
いときには冷却速度の速い反復回数の逆数に比例する方
法の方が低いエネルギー状態に達するが、反復回数が多
くなると冷却のより遅いギーマンらの方法の方がエネル
ギー状態が低くなる。したがって、計算時間が限定され
ている条件のもとでは反復回数の逆数に比例する方法も
有効になり得るが、しかし十分な回数の反復計算が可能
であればギーマンらの方法を使用した方が良い結果を得
ることができる。故に、以下のＳＡ法の実行時には、冷
却スケジュールとしてギーマンらの方法を主に用いる。 ：、、　ニー　Ｄ　”／数を４００個１１０１．８００
個１１０２と１２００個１１０３にしたときのネットワ
ークの収束状況を、縦軸をニューロン数で規格化した１
つ前の状態とのエネルギーの差の絶対値１ΔＥ／Ｎ　ｌ
　、横軸を反復回数ｔとして第１１図に示す。ただし、
冷却スケジュールは、ギーマンらの方法（Ｔ　（ｔ）　
＝１／ｌｏｇ　（ｔ＋１）　）とした。第１１図より、
いくらかばらついてはいるが、全体的に見るとエネルギ
ーの変化量が低減して収束する傾向は類似していること
が分かる。したがって、スピングラス系の収束の早さは
ニューロン数にあまり依存しないといえるが、いくらか
のばらつきは生じている。 繰返しを無限回行なったときに得られるであろう最適解
に対して、通常のＳＡ法は漸近的な特性を有することが
引例６で指摘されている。冷却スケジュールとして、ギ
ーマンらの方法（Ｔ（ｔ）＝　１／ｌｏｇ　（ｔ　＋　
１）　）による折線１２０１及び最適冷却法による折線
１２０３の２種類に対して、それぞれの漸近特性１２０
２・１２０４を第１２図に示す。ただし、反復回数は１
０００００回、ニューロン数は６２５個とした。縦軸は
エネルギーをニューロン数で規格化した値−Ｅ／Ｎとし
、横軸としては、第１２図（、）では対数関数の逆数１
／ｌｏｇ（ｔ）、第１２図（ｂ）ではべき乗関数の逆数
１／１０°１にとっている。このスケールの取り方から
、両者は質的に異なっていることが分かる。ただし、最
適冷却法を用いた第１２図（ｂ）は反復回数が非常に大
きくなったときに漸近特性の傾きが緩やかになる傾向を
生じた。この原因としては、初期分布の影響、反復計算
過程での一時的な変動などが考えられるが、はっきりと
したことは不明である。 引例６でブレストらは、±１問題（シグモイド関数を用
いない方法）に対してスーパーコンピューターを用いて
最適解を推定し、その結果−Ｅ／Ｎ＝０．７５９＋０．
００４　（８００ニユー０ン）が得られたと述べている
。第１２図（ａ）と（ｂ）は共に最適解として−Ｅ／Ｎ
＝０．７６程度を示しており、ブレストらの求解と同等
な結果が得られたと言える。したがって、漸近特性の横
軸として、本ＳＡ法においてギーマンらの徐冷法では対
数関数の逆数、最適冷却法ではべき乗関数の逆数を用い
て、最適解の推定が可能である。 以下では、今回発明したＡＭＦＡ法を適用して、スピン
グラス系を最小エネルギー状態へ遷移させることを考え
る。ＳＡ法に平均場近似を適用した式（７）には、温度
パラメータＴ　（ｔ）が含まれている。このパラメータ
Ｔ　（ｔ）を定数として与えた場合と徐冷をした場合と
の比較を第１３図に示す。ただし、縦軸はエネルギーを
ニューロン数で規格化した値−Ｅ／Ｎ、横軸は温度Ｔ　
（ｔ）であり、ニューロン数は６２５個とした。一定温
度として６種類の値１３０１〜１３０６を用いたが、ど
の値でも反復１００回以内にほぼ収束し、それ以上繰り
返してもほとんど変化がなかった。その中で最も良かっ
たのはＴ＝０．１　１３０４であった。徐冷の冷却スケ
ジュールとしては、ＳＡ法でのギーマンらの方法Ｔ　（
ｔ）　＝１／ｌｏｇ　（ｔ＋１）をそのまま適用した。 図では、反復回数４００回１３ｏ７から１００００回１
３１１までの変化を示している。４００回目のエネルギ
ー値は、温度を定数Ｔ＝０．０１　１３０１としたとき
の反復１００回目の結果と同程度であまり良くないが、
反復１００００回目では温度を定数Ｔ二０．１に設定し
たときよりも良好な結果が得られている。 したがって、温度を零に向かって徐冷せず一定値に設定
した場合には、非常に高速にある程度良い解が得られる
ことが分かった。しかしながら、多少時間がかかっても
質の良い解を得ることを目的にするならば、徐冷を行な
って温度を零に近づけて行く手法が有効である。 温度の設定として、一定値Ｔ　（ｔ）　＝０．１（反復
１００回）及びＴ　（ｔ）　＝２／ｌｏｇ　（を十１）
（反復回数５０００回）の２手法について、数値実験に
よりいくつかの異なる初期分布を与えて比較検討を行な
った。初期分布として５０種類の異なる正規乱数を与え
て、各徐冷方法に従い算出したエネルギー値の平均及び
標準偏差を第２表に示す。ただし、ニューロン数は４０
０個とした。 第　　２　　表 平均値について比較すると、第１３図と同様な結果であ
り、徐冷したＴ　（ｔ）　＝２／ｌｏｇ　（ｔ＋１）の
方が低いエネルギー値に到達した。推定される最適解の
エネルギー値との誤差に着目すると、Ｔ　（ｔ）＝０．
１を用いたときの約半分になっている。標準偏差に関し
ては、一定値を用いた結果はエネルギー値のばらつきが
大きい。つまり初期分布の与え方にかなり依存している
ことが分かる。一方、徐冷をした場合には、初期分布に
影響されずに同程度のエネルギーレベルに収束している
。これらの結果は、徐冷の有効性を示唆している。 次に、冷却スケジュールＴ　（ｔ　）　＝Ｔ　ｏ　／　
ｌｏｇ（ｔ＋１）の係数Ｔ０を変化させたときに到達す
るエネルギーレベルの違いを、縦軸をエネルギーをニュ
ーロン数で規格化した値−Ｅ／Ｎ、横軸を温度Ｔ　（ｔ
）として第１４図に示す。ただし、反復回数を２０００
回、ニューロン数を６２５個とした。最も良かったのは
、Ｔ０＝２、すなわちＴ（２０００）＝２／ｌｏｇ２０
０１≠０．２６３１４０４としたときである。それより
もＴｏを小さく、すなわち温度を低くした場合１４０１
〜１４０３は結果は急激に悪化し、逆にＴｏを大きくし
た場合１４０５〜１４０７はわずかづつ悪くなるが、そ
の変化は非常に緩やかであるという結、果が得られた。 したがって、Ｔｏは大体２以上に設定すれば良いので、
ＡＭＦＡ法においてこの徐冷法はＴ。に関するパラメー
タ設定が容易であるという利点を持つ。 ニューロン数を４００個１５０１．８００個１５０２と
１２００個１５０３にしたときのネットワークの収束状
況を、縦軸ニューロン数で規格化した１つ前の状態との
エネルギーの差の絶対値１ΔＥ／Ｎ１．横軸を反復回数
ｔとして第１５図に示す。ただし、冷却スケジュールは
Ｔ　（ｔ）　＝２／ｌｏｇ（ｔ＋１）とした。ニューロ
ン数が異なってもエネルギー差が収束する速さはほぼ同
一であり、ＳＡ法での結果である第１１図と比較すると
ばらつきは非常に小さい。この相違の原因は。 ＳＡ法には確率的な揺らぎが導入されているのに対して
、ＡＭＦＡ法では確率性を使用せず決定論的に収束させ
ているためであろう。したがって、本手法はネットワー
クの規模に依存せずに、安定した解が期待できる。 ＡＭＦＡ法もＳＡ法と同様に漸近性を有していることが
分かった。その特性を縦軸をエネルギーをニューロン数
で規格化した値−Ｅ／Ｎとして第１６図に示す、ただし
、冷却スケジュールはＴ（ｔ）＝２／ｌｏｇ　（ｔｌｌ
）とし、反復回数は１０００００回とした。横軸にはべ
き乗関数の逆数を使用しており、同様な傾向を示した第
１２図（ｂ）が１／ｌ”・１の依存性を持っていたのに
対して、本手法では１　／　ｔｌｌ−５の依存性を持つ
。また、計算の初期段階でかなり低いレベルのエネルギ
ー状態にまで到達しており、それ以降の反復回数の増加
に対してエネルギーの変化は非常に僅かづつであった。 第１６図から最適解を推定すると、−Ｅ／Ｎ＝、＝０．
７４程度になっている。この値はＳＡ法で求めた一Ｅ／
Ｎ＝０．７６に及ぼすＡＭＦＡ法が近似的であることの
限界を示しているものの、その誤差は約２．６％と非常
に小さい。故に、漸近特性の横軸としてべき乗関数の逆
数を用いて、最適解の近似的な推定が可能である。また
、実際の最適化計算においては、計算の高速性を考慮す
ればこの誤差はほとんど問題にならないと言える。 混合法を用いてスピングラス系の数値シミュレーション
を行なった。最初のＡＭＦＡ法の段階では、冷却スケジ
ュールとしてＴ　（ｔ）　＝１／ｌｏｇ（ｔｌｌ）（反
復５０００回）を用いる。そして、次の段階のＳＡ法で
の冷却スケジュールとしては、反復回数の逆数に比例す
る方法（Ｔ　（ｔ）＝１／ｌ、反復１０００回）を使用
した。ギーマンらの方法（Ｔ　（ｔ）＝１／ｉｎ　（ｔ
ｌｌ））及び最適冷却法についても試みたが、ＡＭＦＡ
法で到達した状態から逆にエネルギーレベルが上がって
しまった。これは、冷却が遅いので大きな揺らぎを与え
過ぎることになり、系の状態をむしろ乱してしまったこ
とが一因として考えられる。ニューロン数を８００個と
したときに、混合法（ＡＭＦＡ：Ｔ　（ｔ）＝１７を反
復４００００回、ＳＡ：Ｔ（ｔ）＝１／Ｔ　　反復１０
００回）で計算した結果は、−Ｅ／Ｎ＝０．７５２５　
（誤差　０．８６％）であった。なお、誤差は引例６で
推定されている最小エネルギー状態−Ｅ／Ｎ＝０．７５
９に対する値である。そして、引例６で実際にＳＡ法に
よりかなりの時間をかけて計算されている最小値は、−
Ｅ／Ｎ＝０．７５１２　（誤差　１．０３％）までであ
り１本手法ではそれを越える値を算出したおＳＡ法（Ｔ
　（ｔ）　＝１／ｌｏｇ　（ｔｌｌ）　、反復１０００
０回）、ＡＭＦＡ法（Ｔ　（ｔ）＝２／ｌｏｇ（ｔｌｌ
）、反復５０００回）と混合法（ＡＭＦＡ：　Ｔ　（ｔ
）＝１／ｌｏｇ　（ｔｌｌ）反復５０００回、ＳＡ：　
１／を反復１０００回）において、いくつかの初期乱数
分布を与えて計算したときのエネルギーの分布を、縦軸
を出現頻度の割合、横軸をエネルギーをニューロン数で
規格化した値−Ｅ／Ｎとして第１７図（ａ）（ｂ）（ｃ
）にそれぞれ示す。ただし、ニューロン数は４００個と
し、初期分布としてＳＡ法は２５種類、ＡＭＦＡ法と混
合法は５０種類の正規乱数を用いた。最もエネルギーレ
ベルが低かったのは混合法であり、ＡＭＦＡ法はそれよ
りも少し上がり、ＳＡ法は高い状態であった。なお、混
合法の最終的なエネルギー値の平均は−Ｅ／Ｎ＝−０．
７３０２　（誤差＝３．８％）であった。したがって、
混合法が最も低いエネルギーレベルに到達可能だと言え
る。 エネルギー値の標準偏差は、ＳＡ法は ０．０１９５．ＡＭＦＡ法は０．００６４、混合法は０
．００４１となっている。ＳＡ法は最もばらつきが大き
かった。ＡＭＦＡ法は、ＳＡ法のように確率性を使用し
ていないためエネルギー値のばらつきは小さかった。混
合法はＳＡ法を使用してはいるものの、ＡＭＦＡ法でか
なり最適解の近くに接近しているため、ばらつく余地は
あまりないと思われる。つまり、ＡＭＦＡ法と混合法は
、初期分布の値にかかわらず、安定したエネルギー状態
が得られる。 ＳＡ法（Ｔ　（ｔ）　＝ｌ／ｌｏｇ　（ｔｌｌ）　）と
ＡＭＦＡ法（Ｔ　（ｔ）　＝２／ｌｏｇ　（ｔｌｌ）　
）との反復初期段階での収束の違いを、縦軸をエネルギ
ーをニューロン数で規格化した値−Ｅ／Ｎ、横軸を反復
回数ｔとして第１８図に示す。ＳＡ法による折線１８０
２と比較してＡＭＦＡ法による折線１８０１は非常に収
束が速く、反復回数１０回（計算時間：　０．２ｓｅｃ
）　１８０３程度で、ＳＡ法の反復１００００回（計算
時間：　１９８ｓｅｃ）のエネルギーと同等のレベルに
達している。つまり、計算時間は約千倍の早さになって
おり、非常に高速である。 次に、収束したネットワークのニューロン状態の差異を
調べるために、以下の式で定義される規格化ハミング距
離を導入した。 規格化ハミング距離−Ｈ／Ｎをニューロン状態の分布状
況の目安として横軸にとり、縦軸の規格化エネルギー−
Ｅ、　／　Ｎと対応とさせて第１９図に示す。ただし、
各冷却スケジュール毎にそれぞれ最初に収束した分布を
基準として選び、規格化ハミング距離を計算した。第１
９図（ａ）はＳＡ法（Ｔ　（ｔ）　＝１／ｌｏｇ　（ｔ
＋１）　、反復１００００回）、（ｂ）はＡＭＦＡ法（
Ｔ（ｔ）＝２／ｌｏｇ　（ｔ＋１）　、反復５０００回
）、そして（ｃ）は混合法（ＡＭＦＡ：Ｔ　（ｔ）＝１
／ｌｏｇ　（ｔ　＋　１）　、反復５０００回、ＳＡ：
　１／を反復１０００回）である。初期分布として、Ｓ
Ａ法は２５種類、ＡＭＦＡ法と混合法は５０種類の正規
乱数を用いた。 第１９図では、同程度のエネルギーに対して規格化ハミ
ング距離の異なる状態がいくつも存在し、スピングラス
系に存在するローカルミニマの複雑さを見ることができ
る。各冷却スケジュールでの規格化ハミング距離の標準
偏差を求めると、ＳＡ法は０．１１６９、ＡＭＦＡ法は
０．１５８４、混合法は０．１９７４であった。ＳＡ法
よりもＡＭＦＡ法の方がばらつきの大きい理由は、ＳＡ
法では異なる初期分布を与えても最適解に向かって揺ら
ぎの効果で同じような状態に近付けていくのに対して、
ＡＭＦＡ法では初期分布により確定的に解の分布が決定
されるためであろう。そして混合法では、ＡＭＦＡ法に
よって大きくばらついた状態を初期値としてＳＡ法を実
行するため、ＳＡ法を単独で実行した場合とは逆に、揺
らぎによってむしろ標準偏差が大きくなってしまう。し
たがって、連想記憶に適用する場合を考えると、多くの
ローカルミニマが同程度のエネルギーレベルに存在する
ので、あまり干渉を受けずに多くの情報を記憶できると
いう点で、ＳＡ法よりＡＭＦＡ法、ＡＭＦＡより混合法
が非常に有効である。 最後に、計算機の演算方法としてスカラー演算とベクト
ル演算とを用いたときの計算時間を、ＳＡ法（Ｔ　（ｔ
）　＝１／ｌｏｇ　（ｔ＋１）　）とＡＭＦＡ法（Ｔ　
（ｔ）　＝２／ｌｏｇ　（ｔ＋１）　）の２手法に関し
てニューロン数を変化させて比較した。その結果を、縦
軸を計算時間、横軸をニューロン数Ｎとして第２０図（
ａ）と（ｂ）に示す。 ただし、反復回数は両手法共に５０００回とする。 第２０図（ａ）のスカラー演算による折線２００１と第
２０図（ｂ）のスカラー演算による折線２００３とを比
較して、両手法の演算時間はほぼ同じであることが分か
った。また、第２０図（ａ）のベクトル演算による折線
２００２と第２０図（ｂ）のベクトル演算による折線２
００４とは、ともにスカラー演算よりも高速化されてい
る。特にＡＭＦＡ法は、計算時間がＳＡ法の約半分にな
っているので、よりベクトル化の有効性が高いと言える
。 したがって、ＡＭＦＡ法は、スカラー演算に対しては同
じ計算時間、またベクトル演算に対してはより高い加速
率で、ＳＡ法よりも低いエネルギー状態に到達するとい
う優位性が確認できた。 〈実施例２〉 相互結合型のニューラルネットワークを用いて数理計画
法の制約条件付き最適化問題を解くというこれまでに提
案された試みは、目的関数が２次形式で表現可能な２次
計画法であり、また変数が２値に限定された０−１問題
であることが多い。 そして線形な制約条件は、目的関数の中に加算する形式
で組み込んでいる。こうした解法にはいく　゛つかの欠
点が存在する。まず、この最適化の目標は目的関数の最
小化であるため、必ずしも制約条件が満足されるわけで
はない。また、解は離散値に制限されてしまう。 目的関数を２次形式で表現できる組合せ最適化問題の１
つとして、証券ポートフォリオ問題が挙げられる。ポー
トフォリオ問題とは、リスク最小で且つ収益最大となる
銘柄の組み合わせを選択する最適化問題である。この問
題に対して、１つ１つの銘柄を検証して行く方法では計
算量の爆発を生じる。そこで、ある銘柄を選ぶか選ばな
いかを相互結合している各ニューロンの発火と沈静とに
対応させ、そのネットワークを適切なエネルギー関数が
最小化するように動作させることにより、最適な銘柄組
み合わせの求解が可能となる６以下では、ニューロコン
ピユーテイングが応用可能な分野の１つとして証券ポー
トフォリオ問題を取り上げる。 具体的な定式化を引例７のマーコビッツに従って行なう
。まず株価Ｐｓ（ｔ）が与えられていると仮定する。た
だし、銘柄ｉ＝１．・・・・・・、Ｎ、時刻ｔ＝１．・
・・・・・、Ｔである。このとき、変動率をｒｔ（ｔ）
＝（ｐ五（ｔ＋１）−ｐｔ（ｔ））／ｐｔ（ｔ）　　　
　　（９）と定義する。この変動率ｒｉ　（ｔ）を用い
れば、その平均を用いて収益、また共分散を用いてリス
クが定義できる。 さらに、制約条件として選択する銘柄数をｎ銘柄に限定
する。 収益とリスク、そして選択する銘柄数を考慮すれば、目
的関数とするエネルギーは次式となる。 ｉ＝ま ただし、ｘ＊＝　（ｏ、ｉ）　であり、Ａ、Ｂ、Ｃは定
数である。式（１３）において、Ｃｎ２は（ｘｔ）に依
存しないので、 とする０式（１４）を、相互結合型ネットワークのエネ
ルギー関数 Ｎ １＝１ と対応付ければ、次式の関係が成立する。 公知の事実として、ネットワークの結合荷重の対角項す
なわち自己フィードバックが零（Ｗ目”Ｏ）のときには
、ニューロンの状態は中途半端な活性値を取らずに２値
に分かれやすくなり、また収束が早く且つ安定すること
が知られている。しかしながら、ポートフォリオ問題で
は、一般に結合荷重の対角項は零ではない。そこで、ニ
ューロンの取り得る状態が（０，１）のとき、Ｘ　ｔ　
Ｘ　ｔ　＝Ｘ、（ｉ＝１．・・・、Ｎ）の性質を利用し
て、エネルギー関数式（１５）を以下のように変形すれ
ば。 自己フィードバック項を零に変換できる。 ｉ＝１　ｊ＝１ ただし ５０銘柄の株価データに対し、式（１７）のエネルギー
関数に基づいてＳＡ法（Ｔ　（ｔ）＝１／ｌｏｇ（ｔ＋
１））を反復５００回で実行した結果を第３表に示す。 条件は、定数をＡ＝１．Ｃ＝５とし、選択銘柄数ｎを５
個とした。 第　　３　　表 一方、５銘柄の組合せをランダムに１００００回選択し
たときの平均リスクは５４．５　（標準偏差　１７．０
）、平均収益は１．８６（標準偏差０．６７）であった
。したがって、第３表の結果はリスクが小さく収益の大
きな銘柄の組合せが選択されていることが分かる。 反復回数１０００００回で計算したときの漸近特性を第
２１図に示す。縦軸としてエネルギーをニューロン数で
規格化した値−Ｅ／Ｎ、横軸としてｌ　／　ｔ　ｆｉ、
５を用いた。ポートフォリオ問題では、エネルギーの上
限値が漸近特性２１ｏ２を成していると見られる。この
漸近特性から最適解を推定すると、−Ｅ／Ｎ４２．４７
３であった。反復回数５００回では、エネルギーは、−
Ｅ／Ｎ＝２．４７２であり、はぼ最適解に達していると
いえる。 ＡＭＦＡ法において、ニューロンの内部状態が（−１，
１）型である場合を仮定する。（０，１）形式のニュー
ロンＸ、と（−１，１）形式の二ニーロン■、との関係
式 ％式％（１９） を、式（１４）に代入すれば、 ｉ＝１　ｊ＝１ 一Σ（Ｂａｔ＋２ｃｎ）　Ｘｔ ｉ＝１ ｉ＝１　ｊ＝１ ｉ＝１　ｊ＝１ （Ｂ　ａ　＋＋２　ｃ　ｎ）／　２）　Ｖｔ式（２ｏ）
で、第３項目と第４項目は定数項なので省略可能である
。相互結合型ネットワークのエネルギー関数式（１５）
と対応付けると、が成立する。 自己フィードバック項を零とするためには、Ｘ５Ｘｒ＝
１　（ｉ＝１．　・＝ｇ　Ｎ）という性質を利用してエ
ネルギー関数式（１５）を以下のように変形すれば良い
。 ｉ＝ま ただし た。 ５０銘柄の株価データに対し、式（２２）のエネルギー
関数に基づいてＡＭＦＡ法（Ｔ（ｔ）＝１０／ｌ）を反
復１００回で実行した結果を第４表に示す。計算条件は
ＳＡ法と同様に、Ａ＝１゜Ｃ＝５．ｎ＝５とした。 第　　４　　表 冷却スケジュールとしてＴ　（ｔ　）　＝　Ｔｏ／ｌｏ
ｇ　（ｔ＋１）を用いると、反復５００回以内に状態が
安定せず収束しきれなかった。これはポートフォリオ問
題のネットワークが比較的に早く最小値付近に達すると
いう性質を持っているので、それに対してＴ　（ｔ　）
　＝Ｔ　ｅ　／　ｌｏｇ　（ｔ　＋　１　）の冷却速度
が遅すぎるということが１つの理由として考えられる。 そこで、代わりにＴ　（ｔ）＝１０／ｌを冷却スケジュ
ールとして採用したところ、反復１００回以内でほぼ完
全に収束した。 ５銘柄の組合せをランダムに１００００回選択したとき
の平均リスク５４．５　（標準偏差１７．０）及び平均
収益１．８６（標準偏差　０．６７）と比較して、第４
表ではＳＡ法を使用したときと同程度にリスクが小さく
収益の大きな銘柄の組合せが選択されている。また、Ｓ
Ａ法と同じ番号の銘柄がいくつか選択されている。 銘柄数の制約を式（１３）のようにエネルギー関数の中
で加算として組み込む方式では、必ずしもその制約条件
が満足されるとは限らない。数値シミュレーションを行
なったときに、パラメーター値の変化に依存して、制約
条件として指定した銘柄数よりも実際に選択された銘柄
数が多過ぎたりあるいは少な過ぎたりする解が、しばし
ば８現した。そこで、解を選択銘柄数の制約条件式（１
２）を必ず満足する許容解に限定するために、ニューロ
ンの出力信号を決定する出力関数をシグモイド変換の代
わりに次式で与えるようにした。 Ｘ１＝　ｎ　ｃｏｓ”θ、 ｊ＝１ ｊ＝ま ただし、θ１は変数とする。式（２４）を出力関数とす
れば、制約条件式（１２）は必ず満足される。以下では
、式（２４）を出力関数とするニューラルネットワーク
の種別を制約組込型と呼ぶことにする。 これまでは、ニューロコンピユーテイングによる最適化
を０−１問題として解いて来た。しかしながら、証券ポ
ートフォリオ問題においては単にどの銘柄を選択するか
だけではなく、どの程度の配分比率にするかということ
を求める方がより実際的である。制約組込型ＳＡ法では
、ニューロンの状態変換式（２４）の使用により、ニュ
ーロンの出力状態としてＯと１との間の中間値が許可さ
れている。そこで、比率を求めるためにｎ＝１に設定す
ることによって、配分比率としての求解が可能である。 ５０銘柄の株価データに対して、制約組込型ＳＡ法を用
いて冷却スケジュールＴ　（ｔ）　＝Ｔ０／ｌで反復５
００回としたときの配分比率の求解結果を、上位５銘柄
について第５表に示す。ただし、計算条件はＳＡ法と同
様にＡ＝１とし、結合荷重としきい値は式（１６）でＣ
＝０として設定した。また、結合荷重の対角項は零に設
定している。 第　　５　　表 ＳＡ法での結果である第３表と比較して、共通する銘柄
番号がいくつか選択されており、同等な解が得られてい
るといえる。 次に、・制約組込型ＳＡ法を用いてＯ−１問題の求解を
行なう。そのためｌこは、ニューロンの出力状態が中途
半端な値を取らずに（０，１）に分かれるようにしなけ
ればならない。そこで、エネルギー関数式（１７）にエ
ントロピー項を付加した。 Ｎ ただし、Ｄは定数である。 ５０銘柄の株価データに対し、式（２５）のエネルギー
関数に基づいて制約組込型ＳＡ法を実行した結果を第６
表に示す。ただし、選択銘柄数を５銘柄、反復回数を５
００回とし、他の計算条件は配分比率での求解と同一に
設定した。ただし、式（２５）に基づく計算では収束性
が悪かった。 そこで２反復計算の初期段階ではニューロンを一様に発
火させるために反復１２５回まではＤ＝−５、そしてそ
れ以後はＤ＝５と符号を反転する工夫を取り入れて、収
束性の改善を図った。 第　　６　　表 配分比率での求解結果であると第５表と比べると、共通
する銘柄が存在し、極端に異なった銘柄の組合せは選択
されていない。また、５銘柄の組合せをランダムに１０
０００回選択したときの平均リスク５４．５　（標準偏
差　１７．０）及び平均収益１．８６（標準偏差　０．
６７）と比較して、リスクが小さく収益の大きな銘柄の
組合せが選ばれたといえる。しかしながら、ＳＡ法とＡ
ＭＦＡ法での求解結果である第３表及び第４表のリスク
及び収益と比べると、解の質が若干落ちていることがう
かがわれる。 検証する全銘柄数が５０銘柄と比較的に小規模で収束が
早かったために、ＳＡ法とＡＭＦＡ法との計算速度の差
異は顕在化しなかった。しかじながら、ネットワークを
大規模に拡張した場合には。 高速なＡＭＦＡ法の有効性が発揮されると推測できる。 以上述べてきた結果から、選択銘柄数の制約が自動的に
満足される手法とＡＭＦＡ法とを組合せれば、質の良い
解を高速に得る手法として最も適するであろうと推察で
きる。 〔発明の効果〕 本発明によれば、最適化問題に対して従来のニューラル
ネットワーク手法よりも良質な解を高速に得ることがで
きる。また、得られる解を制約条件を満足する許容解に
限定することが可能になった。さらに、数理計画問題の
１例として取り上げた証券ポートフォリオ問題において
、配分比率での求解を可能とする。また本発明は、連想
記憶へ適用した場合に、干渉の少ない記憶が実現できる
。

【図面の簡単な説明】

第１図（Ａ）は本発明のニューラルネットワークによる
最適化装置のシステム構成図、第１図（Ｂ）はコンピュ
ータ１０２でニューラルネットワークにより最適化計算
するフローチャート、第２図は相互結合型ニューラルネ
ットワークの構成図、第３図はニューロンの機能図、第
４図はアルゴリズムのＰＡＤ図、第５図はエネルギー分
布の概念図、第６図は出力関数の特性、第７図と第８図
はアルゴリズムのＰＡＤ図、第９図〜２１図はシミュレ
ーションの結果を示す図である。

Claims (14)

【特許請求の範囲】
1. １．２値論理に従い、多入力１出力であるニューロンが
   ある結合荷重を持つシナプスを介して相互に結合してい
   る構造のニューラルネットワークのエネルギーを最小化
   する問題をそれに等価な確率分布の最大化の間題に置き
   換える処理と、該確率分布に対するニューロンの出力状
   態の平均を数値計算することなく解析的に求める処理と
   、さらに確率分布のばらつきの大きさに関係したパラメ
   ータである温度を限りなく零に近付けたときに確率分布
   の最大化を達成する模擬徐冷平均場近似法を適用する処
   理と、ニューロンに揺らぎを与えながら温度を徐冷して
   行き確率分布の最大化を達成する模擬徐冷法を適用する
   処理と、該２種類の適用する処理を逐次的に組合せて高
   速に質の良い解を得る処理とからなることを特徴とする
   ニューラルネットワークによる最適化方法。
2. ２．発火すべき神経細胞の数の条件を必ず満足し、同時
   に神経細胞の中間的な内部状態を許容するような各神経
   細胞の出力信号を計算することを特徴とするニューラル
   ネットワークによる最適化方法。
3. ３．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記模擬徐冷法を適用す
   る処理は、反復計算回数の変化に応じてネットワーク全
   体の状態の指標であるエネルギーが漸近的に変化するこ
   とを利用して最適解を推定する処理からなるニューラル
   ネットワークによる最適化方法。
4. ４．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記模擬徐冷法を適用す
   る処理は、温度パラメータの変数である反復回数に対し
   て乗算操作と加算操作のどちらか一方あるいは両方を行
   なうことにより、低いエネルギーレベルへの到達を可能
   とするニューラルネットワークによる最適化方法。
5. ５．特許請求の範囲第３項記載のニューラルネットワー
   クによる最適化方法において、上記最適解を推定する処
   理は、反復計算回数のべき乗の逆数に応じた漸近特性を
   利用する手段と、反復計算回数の対数の逆数に応じた漸
   近特性を利用する手段とを用いるニューラルネットワー
   クによる最適化方法。
6. ６．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記模擬徐冷平均場近似
   法を適用する処理は、エネルギーが反復計算回数のべき
   乗の逆数に応じて漸近的に変化することを利用して近似
   的な最適解を推定する処理からなるニューラルネットワ
   ークによる最適化方法。
7. ７．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記模擬徐冷平均場近似
   法を適用する処理は、温度パラメータを定数に設定する
   処理と、反復回数の増加に応じて温度パラメータを徐々
   に冷却していく処理とを含むニューラルネットワークに
   よる最適化方法。
8. ８．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記模擬徐冷平均場近似
   法を適用する処理は、ニューロンの初期内部状態として
   正規乱数を設定する方法と、一様乱数を設定する方法と
   を含むニューラルネットワークによる最適化方法。
9. ９．特許請求の範囲第１項記載のニューラルネットワー
   クによる最適化方法において、上記２種類の適用する処
   理を逐次的に組合せて高速に質の良い解を得る処理は、
   ２番目のニューラルネットワークを用いて最適解探索を
   開始するときに、前のニューラルネットワークの最終温
   度を初期温度とする処理と、新たに高い温度に設定を変
   更する処理とを含むニューラルネットワークによる最適
   化方法。
10. １０．特許請求の範囲第１項記載のニューラルネットワ
    ークによる最適化方法において、上記２種類の適用する
    処理を逐次的に組合せて高速に質の良い解を得る処理は
    、２種類の処理の切替えを判定する処理を含むものであ
    り、その判定条件は、反復１回前とのエネルギー差が充
    分に小さくなる条件と、反復１回前とのニューロンの状
    態の変化が充分に小さくなる条件と、あらかじめ設定し
    た最大反復回数に達する条件とを含むニューラルネット
    ワークによる最適化方法。
11. １１．特許請求の範囲第２項記載のニューラルネットワ
    ークによる最適化方法は、エントロピー項を目的関数に
    付加することにより、連続変数であるニューロンの内部
    状態を２値の離散値に収束させる処理を含むニューラル
    ネットワークによる最適化方法。
12. １２．特許請求の範囲第２項記載のニューラルネットワ
    ークによる最適化方法は、特許請求の範囲第１項記載の
    ニューラルネットワークによる最適化方法において、上
    記２種類の適用する処理を逐次的に組合せて高速に質の
    良い解を得る処理は従い計算する処理と、特許請求の範
    囲第１項記載のニューラルネットワークによる最適化方
    法において、上記模擬徐冷法に従い計算する処理と、特
    許請求の範囲第１項記載のニューラルネットワークによ
    る最適化方法において、上記模擬徐冷平均場近似法に従
    い計算する処理とを含むニューラルネットワークによる
    最適化方法。
13. １３．特許請求の範囲第１項記載のニューラルネットワ
    ークによる最適化方法において、上記模擬徐冷平均場近
    似法は、結合荷重の対角項を零に置換することによって
    収束性を安定させるための、ニューロンの結合荷重及び
    しきい値の変換処理を含むニューラルネットワークによ
    る最適化方法。
14. １４．特許請求の範囲第１１項記載の連続変数であるニ
    ューロンの内部状態を２値の離散値に収束させる処理は
    反復計算の初期段階では目的関数内でエントロピー項の
    符号を反対に設定して全てのニューロンを一様に少し発
    火させ、その後の反復計算ではエントロピー項の符号を
    反転させることにより、初期分布に依存せずに完全な発
    火状態と沈静状態のどちらかに早く収束させる処理を含
    むニューラルネットワークによる最適化方法。