JPH0883260A - 自己組織化装置 - Google Patents

Abstract

(57)【要約】 【目的】問題領域に応じたニューラルネットワーク構造
の効率的な学習方法および高速なニューラルネットワー
クを実現するための信号伝播法を提供する。 【構成】ｎ次元メッシュ状近傍接続された各セル１は、
入力制御部、出力制御部、演算処理部、内部状態記憶部
を備え、各セル１は近傍のセルの内部状態に応じて自己
の内部状態を変更して自己組織化を行う。ニューロンセ
ル４の出力をグリアセル３を媒体として伝播しポテンシ
ャルの場を形成し、ニューロンセル４、探索セル５、発
芽セル６からの発芽はこのポテンシャルの大きな方向に
確率的に行ない問題領域に応じたニューラルネットワー
ク構造の効率的な学習を可能とする。また、探索セル５
の入出力の信号伝播経路を根の方向レジスタ、発芽方向
レジスタの値に応じて設定することにより信号を高速に
伝播する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
構造の自己組織化装置に関し、特に近傍接続をもつセル
群によるネットワーク構造の自己組織化装置に関する。

【０００２】

【従来の技術】従来、この種のニューラルネットワーク
学習方式は、ニューラルネットワークの構造を自己組織
化するために用いられている。従来のニューラルネット
ワーク学習方式の一例として、人工知能学会研究会資料
JSAI Thechninal Report SIG-PPAI-9401-6(4/9)32〜40
頁の論文「ＣＡＭブレイン計画：セルオートマトンを用
いて電子的な速度で成長進化する１０臆個ニューロンか
ら成る人工頭脳の遺伝的プログラミング（The "CAM-Bra
in" Project: The Genetic Programming of a Billion
Neuron Artificial Brain which Grows/Evolves at Ele
ctronic Speed ina Cellular Automata Machine）」が
知られている。

【０００３】上記資料に記載された学習方式は、２次元
または３次元のセルオートマシンを用いる。各セルは状
態遷移表のルールに基づき近傍のセルの状態と自分の状
態に応じて次の状態を変更する。ニューラルネットワー
クの構造は遺伝子（外部から与えられる信号系列）とし
てコーディングされておりニューロンの出力端セル、入
力端セルの状態をこの遺伝子のパタンで駆動することに
より、セルオートマトンは状態を変え、ニューロンか
ら、軸索、樹状突起が伸び、ニューラルネットワーク構
造の自己組織化が行われる。軸索、樹状突起がどのよう
に伸びるかは、あらかじめ用意された遺伝子のパタンよ
って完全に決る。でき上がったニューラルネットワーク
の構造をニューラルネットワークとして機能させるため
には、自己組織化のときに用いた状態遷移表を、別のも
のに切替える。その後はニューラルネットワークとして
機能させた時の性能を評価し、その評価の高かった遺伝
子を遺伝的アルゴリズムＧＡ（Genetic Algorithm）に
よって変更することにより、より良いニューラルネット
ワーク構造を得る。

【０００４】

【発明が解決しようとする課題】この従来のニューラル
ネットワーク学習方式は、ニューラルネットワーク構造
を得るために、 １．遺伝子パタンのコーディング、 ２．上記遺伝子を用いたニューラルネットワーク構造の
自己組織化、 ３．出来上がったニューラルネットワーク機能の評価、 ４．ＧＡによる遺伝子パタンの変更 のステップを、十分な機能が得られるまで繰り返す必要
がある。上記ステップ２においては、予め遺伝子のパタ
ンにコーディングされているニューラルネットワークの
構造が自己組織化されるだけで、ニューラルネットワー
クを用いようとする問題領域（例えばパターン認識、情
報処理等）に適応するような合目的な自己組織化は行わ
れない。また、ステップ３においては、出来上がったニ
ューラルネットワーク構造の機能が評価される。ここで
は、問題領域に応じた評価を行わなければならないが、
複雑なシステムにおいては、その評価に多くの時間を要
する。評価の高かったニューラルネットワーク構造を発
現した遺伝子のパタンに対して、ステップ４においてＧ
Ａのオペレーションが適用される。

【０００５】以上のように、従来の方法においては、必
要な機能が得られるまでには遺伝子のパタンを何世代に
もわたって修正しなければならない、また大規模で複雑
なニューラルネットワークにおいてはその機能の評価に
要する時間はその規模に応じて長くなるため、大規模な
ニューラルネットワークの学習は困難である、という問
題があった。

【０００６】また、従来のニューラルネットワーク学習
方式では、各セルはセルオートマトンとして実現するた
め、情報伝播速度は１回の状態更新（１クロック）につ
き、最大で１セル分の距離であった。ニューラルネット
ワーク構造の自己組織化により、一旦ニューロン間に結
合ができた場合にも、信号の伝播は１クロック当り１セ
ル分のため、高速なニューラルネットワークの実現が困
難であった。

【０００７】本発明の目的は、問題領域に応じたニュー
ラルネットワーク構造の効率的な学習方法および高速な
ニューラルネットワークを実現するための信号伝播法を
提供することにある。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明においては、入力制御部、出力制御部、演算
処理部、内部状態記憶部を備えたセルを、前記入出力制
御部を介して複数個接続するとともに、各セルは近傍の
セルの内部状態に応じて自己の内部状態を変更して自己
組織化を行うニューラルネットワーク構造の自己組織化
装置において、各セルは、その状態に応じて、４つの異
なるセルとして機能するようにした。すなわち、セルタ
イプとしては、（ａ）ニューラルネットワーク構造の自
己組織化の場として機能するグリアセル、（ｂ）ニュー
ロン本体の機能を受け持つニューロンセル、（ｃ）前記
ニューロンセルを根とする木構造の構成要素で、前記ニ
ューロンセルとシナプスセル間の情報伝播経路として機
能する探索セル、（ｄ）異なるニューロンセルを根とす
る前記木構造間で情報を伝達し、重みつき結合の機能を
受け持つシナプスセル、を設定した。そして、ニューロ
ンセルおよび探索セルは、隣接するグリアセルに対して
発芽要求を出し、グリアセルは、前記発芽要求に応じて
探索セルに状態を変えるようにした。以上の各動作は、
セル内の演算処理部の制御に基づいて行われる。

【０００９】

【作用】グリアセルの場の中で、ニューロンセルから探
索セルが伸びて木構造が形成され、異なるニューロンの
木構造間はシナプスセルを介して結合される。こうして
ニューラルネットワークが効率的に自己組織化される。

【００１０】

【実施例】次に本発明の実施例について図面を参照して
説明する。図１は、本発明の一実施例を示す全体構成図
である。図１では、簡単のため２次元のメッシュ状に接
続されたセルの例を示しているが、一般に多次元の場合
でも以下の説明は同様である。

【００１１】セルにはグリアセル３、ニューロンセル
４、探索セル５、発芽セル６、シナプスセル７のタイプ
があり、セルのタイプに応じて機能が異なる。各セルは
タイプに応じた内部状態を持つ。また各セルはノイマン
（neumann）近傍のセルの内部状態を参照することがで
きる。各セルは、自分の状態及び近傍のセルの内部状態
に応じて自分のセルのタイプや内部状態を変化させる。

【００１２】図２はセルと近傍のセルとの接続を説明す
る図である。各セルは上下左右（２次元の場合）のセル
との接続のためにそれぞれ４対（３次元の場合は６対）
の入力ポート２１と出力ポート２２を持つ。１つのセル
の入力ポートと他のセルの出力ポートとは複数の接続線
で接続されるが、図２においては簡略のため１本の接続
線で示している。

【００１３】図３はセル２の一般的な構成を説明するブ
ロック図である。セル２は入力制御部２３、演算処理部
２４、出力制御部２５、内部状態記憶部２６、セルタイ
プ記憶部２７を備えている。演算処理部２４は、例えば
マイクロプロセッサ及びメモリ、あるいはプログラムに
より機能を変えることができるＦＰＧＡ（フィールドプ
ログラマブルゲートアレイ）等によって構成されるが、
その他の構成であってもよい。セルタイプ記憶部２７に
はセルのタイプ（グリア、ニューロン、探索、発芽、シ
ナプスのうちの１つ）が記憶されている。セルは全て図
３に示す同じ構造であるが、演算処理部２４の動作はセ
ルのタイプに応じて異なり、その動作プログラムは演算
処理部２内のメモリに格納されている。すなわち、セル
２は、セルタイプに応じて、ニューロンセル４、探索セ
ル５、発芽セル６、シナプスセル７、またはグリアセル
３として機能する。

【００１４】ニューロンセル４は、近傍の探索セル５を
介して他のニューロンセル４からの出力を受け取り、活
性度、出力を変更するという具合に、ニューロン本体の
機能を受け持つ。探索セル５は、ニューロンセル４と発
芽セル６、シナプスセル７間の情報の伝播経路として機
能する。発芽セル６はニューロンセル４を根として探索
セル５が作る木構造の先端部分である。シナプスセル７
は異なるニューロンセル３を根とする探索セル５、発芽
セル６の間で情報を伝達し、重みつき結合の機能を受け
持つ。

【００１５】グリアセル３は、ニューラルネットワーク
の機能そのものには関与しないが、ニューラルネットワ
ークの構造を自己組織化するための場として機能する。
図４はグリアセル３の機能を説明するブロック図であ
る。グリアセル３はその内部状態記憶部３６に近傍カウ
ンタ３６１、Δｐレジスタ３６２、ポテンシャルｐレジ
スタ３６３を有する。近傍カウンタ３６１はグリアセル
３の近傍のセルの数を保持し、ポテンシャルｐレジスタ
３６３はそのグリアセル３自身のポテンシャルの値を保
持している。演算処理部３４は、近傍セルのポテンシャ
ルの値を合計し、その合計値を近傍セルの数で除して近
傍セルのポテンシャルの平均値を出し、その平均値とグ
リアセル３自身のポテンシャルとの差をΔｐとしてΔｐ
レジスタ３６２に格納する。またΔｐレジスタ３６２の
値とポテンシャルｐレジスタ３６３の値を用いてポテン
シャルｐレジスタ３６３の値を変更する。

【００１６】ニューロンセル４、探索セル５、発芽セル
６は隣接するグリアセル３のポテンシャルの値に従って
発芽の方向を決め隣接するグリアセル３へ確率的に（あ
る確率で）発芽要求を発行する。発芽要求を確率的に発
行するのは、発芽要求の確率を変化させて自己組織化の
速度を制御できるようにするためである。発芽セル６は
探索セル５の先端に形成され、探索セル５より高い確率
で発芽要求を発行する。発芽セル６は、本発明の必須の
要件ではないが、実施例のように発芽セル６を設けると
木構造は探索セル５の先端部分からより高い確率で成長
するようになるから効率良く自己組織化を行うことがで
きる。

【００１７】近傍セルのポテンシャルの値はそのセルの
タイプによって異なる。グリアセル３の場合はポテンシ
ャルｐレジスタ３６３の値、ニューロンセル４の場合は
出力値、探索セル５の場合は零、発芽セル６の場合はそ
の発芽セル６の根のニューロンセル６の出力値である。
なお図４および次に説明する図５においてはセルタイプ
記憶部に対するデータ信号線および制御信号線を省略し
ている。

【００１８】グリアセル３のポテンシャルｐレジスタ３
６３の値は近傍のセルのポテンシャルに応じて変化し、
２次元（または３次元）メッシュ状に接続された、セル
の配列上にポテンシャルの場を作る。出力の大きなニュ
ーロンセル４、出力の大きなニューロンセル４を根に持
つ発芽セル６を中心に広がるポテンシャルの場ができ
る。ニューロンセル４、探索セル５、発芽セル６はこの
ポテンシャルの値の大きい方向に確率的に発芽要求を出
す。そのため、出力の大きなニューロンセル４を根とす
る探索セル５、発芽セル６が接近して存在する確率が高
くなる。異なるニューロンセル４を根とする探索セル
５、発芽セル６を近傍に持つグリアセル３はシナプスセ
ル７に状態を変え、異なるニューロンセル４間に信号伝
播の経路ができる。

【００１９】図５は探索セル５の入出力信号の交換機能
を説明するブロック図である。内部状態記憶部５６に根
の方向レジスタ５６１、発芽方向レジスタ５６２を持
つ。探索セル５は２つ以上の探索セル５または発芽セル
６と隣接している。１つは根となるニューロンセル４へ
至る探索セル５で、残りはこのセルから発芽した探索セ
ル５または発芽セル６である。根の方向レジスタ５６１
には根へ至る探索セル５の方向、発芽方向レジスタ５６
２にはこのセルから発芽した探索セル５、発芽セル６の
方向を格納する。入力制御部５３は根の方向レジスタ５
６１の値に応じて、隣接する探索セル５の出力を選択し
取り込む。また、出力制御部５５は、発芽方向レジスタ
５６２の値に応じてこのセルから発芽した探索セル５、
発芽セル６へ取り込んだ値を出力する。このとき演算処
理部５４は入力制御部５３と出力制御部５５とを直結す
る経路を形成する。通常のセルオートマトンでは１回の
状態更新（１クロック）につき１セル分しか情報を伝播
することができないが、以上のように入力ポート５１か
ら出力ポート５２への信号伝播経路を根の方向レジスタ
５６１、発芽方向レジスタ５６２の値に応じて設定する
ことにより、入力側と出力側が直結されるので、入力制
御部５３のマルチプレクサＭＵＸと出力制御部５５のゲ
ートの遅延時間だけで、信号を高速で伝播することが可
能になる。

【００２０】図６ないし図９はニューラルネットワーク
構造の自己組織化が進んでいく様子を示したものであ
る。図６は、自己組織化の初期状態で、ニューロンセル
４とグリアセル３のみがある。図７は、自己組織化開始
直後の状態を示し、２つのニューロンセル４に隣接した
グリアセル３が発芽セル６、探索セル５になっている。
図８は図７から更に自己組織化が進んだ状態を示し、ニ
ューロンセル４を根とした木構造が成長しているが、ま
だ、シナプスセル７はなく、２つのニューロンセル４間
には信号経路はまだない。図９は、図８から更に進んだ
状態を示し、二つのニューロンセル４を根とする木構造
の間にシナプスセル７ができ、２つのニューロンセル４
間に信号伝達経路ができたところである。これから更に
自己組織化が進むと図１のニューラルネットワーク構造
になる。

【００２１】図１０はグリアセルの動作を示すフローチ
ャート、図１１はニューロンセル、探索セル、発芽セル
の動作を示すフローチャートである。

【００２２】図１０を用いてグリアセルの動作を説明す
ると、まずグリアセル近傍のポテンシャルの平均ＡＶを
求める（ステップ１０１）。これは既に説明したよう
に、図４において、演算処理部３４は近傍のセルのポテ
ンシャルを合計してその数で除して平均値ＡＶを算出す
る。そして平均値からグリアセル自体のポテンシャルＰ
を減じてΔｐを求め（１０２）、そのΔｐをα（０＜α
＜１）倍して元のポテンシャルＰに加算して新たなポテ
ンシャル値Ｐを求める（１０３）。

【００２３】次にグリアセルの近傍のニューロンセル、
発芽セル、探索セルの数ｎをみて（ステップ１０４）、
近傍セルの数が１個であってグリアセルに発芽要求があ
れば（ステップ１０５）、セルタイプをグリアセルから
発芽セルに確率的に変更する（ステップ１０６）。この
動作は、たとえば図７においてニューロンセル４に隣接
するグリアセル３が発芽セル６に変る動作である。

【００２４】ステップ１０４において、近傍のセルの数
が２個であれば、この２個のセルが異なるニューロンを
根としているかどうかみて（１０７）、そうであればセ
ルタイプをグリアセルからシナプスセルに変更する（１
０８）。この動作は、たとえば図９においてシナプスセ
ル７ができる動作である。

【００２５】以上の場合以外はグリアセルはセルタイプ
を変更させず、上記動作が繰り返される。

【００２６】次に図１１を用いてニューロンセル、探索
セル、発芽セルの動作について説明すると、まず近傍の
グリアセルのポテンシャルをそれぞれチェックして最大
のポテンシャルをもつグリアセルの方向Ｄを求める（ス
テップ２０１）。そしてＤ方向にあるグリアセルに対し
て確率的に発芽要求を発行する。この動作はたとえば図
７に示すような発芽セル６ができる動作である。グリア
セル３のポテンシャルは上述したように図１０のステッ
プ１０１〜１０３に示すように決定され、ニューロンセ
ル４や発芽セル６の周りのグリアセル３のポテンシャル
が比較的高くなるので、まずニューロンセル４や発芽セ
ル６の周りのグリアセル３が発芽セル６に変っていく。

【００２７】次にＤ方向のグリアセルが発芽セルに変化
したかどうかをチェックして（ステップ２０３）、変化
した場合は発芽方向レジスタ（図５）に方向Ｄを登録す
る。発芽方向レジスタは探索セルの構成部分として既に
説明したが、ニューロンセル、発芽セルも発芽方向レジ
スタを備えている。次に、ステップ２０５において、そ
のセルが発芽セルかどうかみて発芽セルであれば、セル
タイプを変更して探索セルに状態変更する。

【００２８】以上のようにすれば、ニューロンセルの出
力をグリアセルを媒体として伝播しポテンシャルの場を
形成し、ニューロンセルからの探索セルの発芽はこのポ
テンシャルの大きな方向に行うこととしたため、出力の
大きなニューロン間に接続ができる確率が高くなり、問
題領域に応じたニューラルネットワーク構造の効率的な
学習が可能となる。また、探索セルの入出力の信号伝播
経路を根の方向レジスタ、発芽方向レジスタの値に応じ
て設定することにより、高速なニューラルネットワーク
を実現するための信号伝播が可能となる。

【発明の効果】以上説明したように、本発明によれば、
自己組織化の場として機能するグリアセルを用いること
により、問題領域に応じたニューラルネットワーク構造
の効率的な学習方法を提供することができる。

【図面の簡単な説明】

【図１】本発明によるニューラルネットワーク学習方式
の全体構成のブロック図である。

【図２】近傍のセルとの接続を説明する図である。

【図３】セルの一般的な構成を説明するブロック図であ
る。

【図４】グリアセルの機能を説明するブロック図であ
る。

【図５】探索セルの入出力信号の交換機能を説明するブ
ロック図である。

【図６】自己組織化の初期状態を示す図である。

【図７】自己組織化開始直後の状態図である。

【図８】自己組織化の中間状態を示す図である。

【図９】シナプスができた直後の状態を示す図である。

【図１０】グリアセルの動作を説明するフローチャート
である。

【図１１】ニューロンセル、探索セル、発芽セルの動作
を説明するフローチャートである。

【符号の説明】

１ メッシュ状近傍接続セル（プロセッサ）群 ２ セル ２１ 入力ポート ２２ 出力ポート ２３ 入出力制御部 ２４ 演算処理部 ２５ 出力制御部 ２６ 内部状態記憶部 ２７ セルタイプ記憶部 ３ グリアセル ３３ グリアセルの入力制御 ３４ グリアセルの演算処理部 ３５ グリアセルの出力制御部 ３６ グリアセルの内部状態記憶部 ３６１ 近傍カウンタ ３６２ Δｐレジスタ ３６３ ポテンシャルｐレジスタ ３７ グリアセルのセルタイプ記憶部 ４ ニューロンセル ５ 探索セル ５１ 探索セルの入力ポート ５２ 探索セルの出力ポート ５３ 探索セルの入力制御部 ５４ 探索セルの演算処理部 ５５ 探索セルの出力制御部 ５６ 探索セルの内部状態記憶部 ５６１ 根の方向レジスタ ５６２ 発芽方向レジスタ ５７ 探索セルのセルタイプ記憶部 ６ 発芽セル ７ シナプスセル

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力制御部、出力制御部、演算処理部、
   内部状態記憶部を備えたセルを、前記入出力制御部を介
   して複数個接続するとともに、各セルは近傍のセルの内
   部状態に応じて自己の内部状態を変更して自己組織化を
   行うニューラルネットワーク構造の自己組織化装置にお
   いて、 前記演算処理部は、各セルを、その状態に応じて、
   （ａ）ニューラルネットワーク構造の自己組織化の場と
   して機能するグリアセル、（ｂ）ニューロン本体の機能
   を受け持つニューロンセル、（ｃ）前記ニューロンセル
   を根とする木構造の構成要素で、前記ニューロンセルと
   シナプスセル間の情報伝播経路として機能する探索セ
   ル、（ｄ）異なるニューロンセルを根とする前記木構造
   間で情報を伝達し、重みつき結合の機能を受け持つシナ
   プスセル、として機能させ、 前記ニューロンセルおよび前記探索セルは、隣接する前
   記グリアセルに対して発芽要求を出し、前記グリアセル
   は、前記発芽要求に応じて探索セルに状態を変えること
   を特徴とする自己組織化装置。
2. 【請求項２】 請求項１の自己組織化装置において、前
   記演算処理部は、前記セルを、上記（ａ）ないし（ｄ）
   に加えて、（ｅ）探索セルの先端部分に形成され、探索
   セルより高い確率で発芽要求を出す発芽セルとして機能
   させることができる自己組織化装置。
3. 【請求項３】 請求項２の自己組織化装置において、前
   記グリアセルは、ポテンシャルレジスタを持ち、前記ポ
   テンシャルレジスタの値は近傍の前記セルのポテンシャ
   ルに応じて変化し、各セルが２次元または３次元のメッ
   シュ状に接続されたメッシュ状配列上にポテンシャルの
   場を作り、前記ニューロンセル、前記探索セル、前記発
   芽セルは前記ポテンシャルの値の大きい方向に確率的に
   前記発芽要求を出すことを特徴とする自己組織化装置。
4. 【請求項４】 請求項１ないし３のいずれか１項に記載
   の自己組織化装置において、前記探索セルは根の方向レ
   ジスタ、発芽方向のレジスタを持ち、前記入出力制御部
   は前記根の方向レジスタおよび前記発芽方向レジスタの
   値に応じて入出力ポートを選択し、前記演算処理部は前
   記入力制御部と前記出力制御部とを直結する信号伝播経
   路を形成することを特徴とする自己組織化装置。