JPH10505694A

JPH10505694A - ニューラルネットワークにおける入力量の準備処理方法および準備処理装置

Info

Publication number: JPH10505694A
Application number: JP8509816A
Authority: JP
Inventors: シュテルツィングフォルクマール; トレスプフォルカー; マシュランカイェルク
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1994-09-15
Filing date: 1995-09-13
Publication date: 1998-06-02
Also published as: EP0782729B1; WO1996008776A1; EP0782729A1; DE59502360D1; US6212508B1

Abstract

(57)【要約】本発明は、ニューラルネットワークにおける入力量の準備処理方法および準備処理装置に関する。この場合、ニユーラルネットワークの入力量から時系列が形成され、該時系列はインターバルに分割される。それらのインターバルの幅は、そのインターバルおよびその中に含まれている測定量がどの程度過去に遡っているかに応じて定められる。その際にインターバル幅は、過去へ遡れば遡るほど広くなるよう選定される。鐘状の関数を用いた畳込みにより、インターバル中に含まれているそれらの測定量全体から、ニューラルネットワークのための代表的な入力値が形成される。このようにして得られたすべての入力量は、訓練および運用にあたりネットワークへ同時に供給される。このようにして簡単に、フィードフォワードネットワークに対し記憶力が実現される。適用事例としては、たとえばそれぞれ著しく異なる時定数をもつ化学的プロセスが考えられる。

Description

【発明の詳細な説明】ニューラルネットワークにおける入力量の準備処理方法および準備処理装置本発明は、著しく異なる時定数をもつダイナミックプロセスのニューラルモデリングのための方法に関する。ニューラルネットワークは多様な技術分野で採用されている。複雑な技術的関係および不十分な情報から判定を下そうとするような状況ではいずれにおいても、ニューラルネットワークは格別優れたものとして適していることが判明している。１つまたは複数の出力量を形成するため、ニューラルネットワークへたとえば１つまたは複数の入力量が供給される。この目的でこの種のネットワークはまずはじめに特有の適用事例に合わせて訓練され、次に汎化され、その後、訓練データとは異なる別のデータセットを用いて妥当性が検査される。ニューラルネットワークが多くの適用事例に対し格別優れたものとして適している理由は、ニューラルネットワークは汎用的に訓練可能であることによる。しかしながら、ニューラルネットワークの利用に付随してしばしば生じる問題点は、ニューラルネットワークの入力量の個数が多すぎてしまうことがよく起こり、つまりはニューラルネットワークがそのような適用事例に関して不必要に複雑になってしまう点にある。殊に、過度に大きいニューラルネットワークであると訓練中、汎化データにおいて所要パフォーマンスが得られない。したがって訓練においては、この問題構造の代わりに適用事例を暗記させることが多い。このため実践では、可能な入力量の個数を必要なものにできるかぎり制限することが望ましく、つまりは求めるべき出力量に対し最も大きな作用をもつ入力量に制限することが望ましい。また実践においては、様々な時点で発生する入力量をニューラルネットワークへ供給することになるというような問題点も生じる可能性があり、そのような入力量の一部分は時間や日付に関して互いに離れたものである。このような事例のためには、たとえば再帰的ニューラルネットワークが使用される。このようなネットワークは内部的に各ニューロン間でフィードバックパスを有しており、これによって各ニューロンは発生した入力量に関する一種の記憶力を構築することができる。しかし、いっそう単純な処理を行わせる理由で、殊にいっそう容易に訓練可能であることから、使用フィールドにおいてフィードフォワードネットワークが望ましく思われることが多い。工業的なプロセスにおいて、殊に生化学的なプロセスにおいては、それぞれ著しく異なる時定数をもつ種々の部分プロセスがしばしばいっしょに作用する。化学反応は一瞬のうちに行われることが多い。微生物による物質の分解や合成および細菌類ないし真菌類の成長と死亡の場合には、しばしば時間単位または日付単位の時定数が生じる。殊に、帰還路および一時蓄積器を有する物質循環路の存在するシステムでは、時定数が何時間や何日もの範囲で生じる。様々な速さで進行する部分プロセスを別個に処理するのは不可能であることが多い。つまりたとえば、汚水処理において個別に進行するプロセス間では密な結合が生じる。しかも、別個のニューラルモデリングに対する前提として個々のプロセス”間”の測定値を得ることはできないか、あるいは多大なコストをかけてしか得られない。このことは殊に、浄水プラントで汚水処理を行う際に進行する生化学的なプロセスにおいてあてはまる。ニューラルネットワークによる該当するプロセス情報の選択と関連して入力データを適切に表現することは、種々異なる時定数の同時動作をニューラル的にモデリングできるようにするための前提条件である。著しく急速に進行する部分プロセスをニューラル的にモデリングできるようにするためには、著しく高いサンプリングレートでデータを得なければならず、他方、緩慢に進行するプロセスをモデリングするためには、相応にかなり前まで過去に遡る範囲にわたってデータを入力値としてフィードフォワードネットワークへ加えなければならない。この方式の有する欠点とは、僅かな個数の測定量であってもニューラルネットワークはすでにかなりの個数の入力量をもつことであり、つまりはかなりの量の適応可能なパラメータをもつことである。任意のパラメータの個数がそのように多いと、ネットワークはデータに相応しいものよりも過度に複雑になり、”過剰適応（Overfitting）”の傾向をもつことになる/HFZ1/, /HFZ2/。したがってニューラルネットワークはたしかに、訓練に用いられる各データポイントにおいてはデータをきわめて良好に近似することができる。訓練に用いられない”汎化データ”においては、過度に多い適応可能なパラメータをもつネットワークの性能は劣ったものとなる。著しく異なる時定数を有するプロセスをニューラルモデリングするための別の可能性として、再帰的ニューラルネットワーク（ＲＮＮ）が挙げられる。ニューラルネットワークで実現されるフィードバックゆえに、ＲＮＮは過去のデータの情報を蓄積し、したがって長い時定数ないしフィードバックを有するプロセスをモデリングすることができる。ＲＮＮの欠点は、たとえば逆伝播のような簡単な学習プロセスを用いることができず、その代わりにたとえばリアルタイムの再帰的学習（Real Time Recurrent Learning，RT RL）や逆伝播スルータイム（Backpropagation Through Time，BPTT）のような特別な学習プロセスを使用しなければならないことである。殊にデータポイントの個数が多い場合、ＲＮＮを訓練するのは困難であり、数値的に不安定な傾向にある/Ster/。上述の従来技術には、種々異なるニューラルネットワークやその技術が詳細に説明されている。該当する他の従来技術は知られていない。本発明の課題は、ニューラルネットワークにおいて時間に伴って発生する入力量の個数を著しく低減できるようにした方法および装置を提供することにある。その際にたとえば本発明による方法および本発明による装置によって、フィードフォワードニューラルネットワークに対しいわば記憶力を実現させるように構成すべできある。しかも本発明による方法が、種々異なる時定数をもつ化学的プロセスでは免れない特別な要求にも適合するよう構成すべきである。この課題は、請求項１の特徴を備えた方法および請求項１３の特徴を備えた制御装置により解決される。従属請求項には本発明の有利な実施形態が示されている。本発明による方法の格別な利点は、それによってプロセスデータを著しく長い期間にわたり遡って考慮できることである。これは著しく長い期間にわたって遡った測定値に対し著しく大きい測定インターバルを利用し、畳み込みよってそのインターバルから適切な平均値を形成することによって可能となる。畳み込み曲線およびインターバルの大きさを適切に選定することにより、個々の入力値を考慮するにあたり時間に関して所定の抑圧を取り込むことができる。これはたとえば、かなり前に遡った測定値は著しく長いインターバルにわたり平坦な鐘状曲線を用いて畳み込むことにより可能となる。有利なことに本発明による方法によれば、時間に依存する入力量を精確に考慮するために、種々異なるインターバルの大きさが採用される。それらのインターバルは過去に向かうにつれていっそう大きくなり、その際にたとえば有利であるのは、同じ幅をもつ種々のインターバルグループを形成することもできることである。有利なことに本発明による方法によれば、互いにオーバラップし合うようにインターバルが選定される。その理由は、そのようにすることでニューラルネットワークのすべての入力量を求めるために、時系列中の各値が利用されるからである。この場合、時系列中の個々の値の重み付けは、たとえば個々のインターバルのオーバラップ範囲が大きくなればなるほどいっそう均一化される。有利であるのは、インターバル内で時系列を畳み込む鐘状曲線の幅を、その大きさがインターバルの幅に相応するように選定することである。それというのはこのようにすることで、実践においてインターバル内で捕捉された値に相応する適切な畳み込み結果が得られるかである。有利なことに本発明による方法によれば、ニューラルネットワークの入力データが種々異なる時定数をもつプロセスの時系列として形成され、その時系列のインターバル分割においてそれらの時定数が考慮され、その際にインターバル幅がその時定数ないし複数の宛異数の倍数に対応するように構成されている。このようにすることで、監視すべきないし制御すべきプロセスの時間特性を本発明による方法によってきわめて精確に近似できるようになる。有利には、本発明による方法はフィードフォワードニューラルネットワークを用いることで実行される。それというのはこれは記憶力をもたないからであり、本発明による方法によれば過去については、それらのネットワークに対する記憶力を補うかたちで考慮される。ニューラルネットワークを迅速かついっそう良好に訓練できるようにするため、ネットワークの入力量を所定の範囲に正規化するのが有利である。また有利には、本発明による方法はネットワークの訓練においてもその運用においても使用される。なぜならば、そのようにすることによってのみ、学習した動作により実践においても所望の結果が得られるようになるからである。格別有利には本発明による方法により、種々異なる時定数をもつ化学的プロセスが制御され、これによりたとえば浄水プラントの入力データを得ることができる。なぜならば浄水プラントでは、急速に変化する時定数のほかに７２時間までの時定数が役割を果たすことが多いからである。さらに有利には、本発明による装置には測定センサ、このセンサの測定値を記憶するメモリ、たとえば本発明による方法に従って測定値を準備処理するプリプロセッサ、ならびにニューラルネットワークが設けられており、このニューラルネットワークは形成された入力データを評価し、それらのデータからエフェクタへ供給される値が形成され、それによって化学的プロセスが制御される。このようにして、著しく簡単な制御技術的装置構成が実現される。次に、図面を参照しながら本発明について詳細に説明する。図１は、本発明による方法の概略を示す図である。図２は、本発明による方法に従って時系列からの測定値を処理する実例を示す図である。図３は、種々異なる幅のインターバルを用いた場合の効果を示す図である。図４は、本発明による装置の１つの例を示す図である。図５は、本発明による方法に従って作動する汚水処理装置のブロック回路図である。図１には、本発明による方法を表すものとしてブロック図が示されている。殊にここにはニューラルネットワークＮＮ（Ｚ^t）が示されている。さらに、かなり前まで過去に遡るニューラルネットワークにおける入力値ｙ^t,ｙ^t-1...の時系列が書き込まれている。このニューラルネットワークには入力量Ｚ₁₁〜Ｚ₃₂が供給される。したがって未来に位置する入力値ｙ^t+1は出力量として予測すべきものである。図示されている時系列ｙはたとえばそれぞれ異なる時点で離散的に検出された測定値発生器の測定値であり、この測定値発生器はニューラルネットワークに対する入力量を検出するものである。この実例に示されているように、最初の４つの測定値Ｚ₁₁〜Ｚ₁₄はニューラルネットワークへダイレクトに転送され、したがって目下の入力量に対する必要量を殊に強く考慮することができる。過去に向かってさらに遡る値については、たとえばインターバル１２と１３が規定されている。これらのインターバルに対し、たとえばこの場合には９つの入力量のインターバル幅が選定されている。インターバル１２はたとえば鐘状曲線Ｇ２で畳み込まれ、これによって畳み込みの結果、最大値として測定値Ｚ₂₂が生じるようになる。この値は、インターバル１２内に存在するすべての入力量を表すものとしてニューラルネットワークへ転送される。このプロセスは、ニューラルネットワークに対し入力量Ｚ₂₁およびＺ₂₃を探すのと同様にして行われる。ここで注意しなければならないのは、個々のインターバル１２および１３はオーバラップしていることである。有利にはこのオーバラップは、ニューラルネットワークの入力量を形成するための時系列における各々の測定値を考慮できるよう、あらかじめ設定される。さらに図１に示されているように、インターバルの幅は過去に向かうにつれて増大する。つまり、測定値ないし時系列中で捕捉された入力量が過去に遡れば遡るほど、インターバルの幅が広くなるよう選択され、このことによってそれらの値に関するただ１つの統計的な表現だけを捉えることができるようになる。畳み込みに用いられる鐘状曲線の幅がインターバルの幅にほぼ対応するものとすれば、インターバルＧ４はたとえば１９個の測定値の幅を有することになる。ニューラルモデルの開発にあたりフレキシビリティを高め、さらに学習プロセスの安定性を向上させるため、本発明による方法においてはフィードフォワードニューラルネットワークを利用することにする。本発明による方法の基本的な着想は、著しく小さい時定数をもつ部分プロセスのためにしかすぐ前の過去からの精確な値を必要としないことにある。著しく長い時定数をもつプロセスの場合には、一般にｉ番目の測定値とｉ＋１番目の測定値との間の差は意味をもたない。したがって、比較的長い期間にわたって平均化された少数の値を利用することができる。この基本的な着想から以下のような方法が得られる。一連の入力データは、比較的大きい時間遅延された”ウィンドウ”と比較的小さい時間遅延された”ウィンドウ”から成るハイアラーキにより表現される。この目的で、本来の時系列はたとえばガウス特性曲線を用いることで種々異なる変量に応じて畳み込まれる。著しく大きい変量を有する部分プロセスのためのデータを表現するために、大きい変量のガウス特性曲線で畳み込まれた時系列が相応に大きい時間値の分だけシフトされる。したがって長い時定数にもかかわらず僅かな入力量によって、ニューラルネットワークに対しすべての実質的な情報を表すことができる。これと同時に、小さい変量のガウス特性曲線で畳み込まれ小さい値だけシフトされた時系列によって、小さい時定数をもつ部分プロセスの進行を十分に精確に表現することができる。著しく急速に進行するプロセスは、畳み込まれていない時系列とすぐ前の値をそのまま用いることで表現できる。時系列ｙ^t，ｙ^t-1．．．ｙ^t-N からこの時系列における次の値ｙt+1をニューラルネットワークにより予測するものとする。この目的で、を形成する。ここで、 i=1,...,M: ガウス特性曲線の幅 j=1,...,K_i: 遅延 K_i<=N/Δ_i: 各ｉに対し与えられる値の個数である。 i=1のときたとえば以下が選定される： σ_i=0，Δ_i=1，K_i=4 i=2のときたとえば以下が選定される： σ_i=10，Δ_i=10，K_i=3 この場合、相応に比較的大きい平均化が行われる。そして要素ｚ_i,jをもつマトリックスＺを形成し、このマトリックスはニューラルネットワークの入力を表すものである。したがってニューラルネットワークＮＮの予測を以下のように記述できる：ｙ^t+1＝ＮＮ（Ｚ^t）この場合、畳み込みのためのガウス特性曲線の利用は、時系列の”平滑化”を実現させる１つの可能性にすぎない。システムおよびシステム内に存在する時定数の情報によって、畳み込みのためのガウス特性曲線の変量および時間シフトの大きさを適切に選定できるようになり、さらにニューラルネットワークに対し僅かな入力で重要な情報を与えることができるようになる。有利には、ニューラル処理の前に入力量ｚ_i,jのスケーリングが行われる。このスケーリングによって学習の速度が上がり、著しく小さい入力量に属するパラメータの適応化の際の”過剰制御”が阻止される。本来のデータ列のほかに、訓練にあたり大きく時間シフトされ大きな変量のガウス特性曲線で畳み込まれた入力量をまずはじめにアクティブにすることで、きわめて良好なモデリングが可能である。”いっそう弱く”畳み込まれ僅かにしか時間シフトされない入力値をアクティブにすることによって、ニューラルネットワークに対し段階的に付加的な情報が与えられる。すべての入力量Ｚ_i,jを用いてニューラルネットワークの訓練が行われた後、入力量に対するネットワーク出力の感度が検査される。感度分析/ReZi/に基づき、プロセスのモデリングにとって重要な入力量Ｚ_i,jがニューラルネットワークによって選択される。そしてそれらの入力量だけがネットワークの訓練に用いられる。ネットワークパラメータの個数ならびに複雑さをこのように制限することによって、プロセスをきわめて良好にモデリングすることができる。たとえば、大きさに関して著しく分散したネットワークパラメータは消去される。なぜならば、それらはネットワークス出力に対し重要な寄与をもたらすものではないからである。図１において殊に注目しなければならないのは、出力量ｙ^t+1を求めるために、すべての値つまりＺ₁₁〜Ｚ₃₂のすべてが同じ時点でニューラルネットワークへ導かれることである。本発明による方法は畳み込みによって過去の値も考慮しているので、有利なことにフィードフォワードニューラルネットワークであっても記憶力が実現される。したがって、フィードフォワードニューラルネットワークにとって記憶力をもたないというこのネットワークの欠点が除かれ、この場合、簡単に訓練することができるというフィードフォワードネットワークの利点はそのまま保持される。さらに注目しなければならないのは、本発明による手順によれば個々のインターバル内に位置する値を複数のインターバルに対応づけることができることであり、したがってその値に対しそれぞれ異なる畳み込み関数により畳み込みを行うことができる。図２には、３つのダイアグラムＤ１〜Ｄ３に基づきニューラルネットワークの入力量が示されており、これらはそれぞれ異なる幅の鐘状曲線で畳み込まれる。Ｄ１には、たとえば入力量１０と２０が本来の状態で示されている。Ｄ２の場合、Ｄ１におけるこれらの値に対し、たとえば図１のＧ１で示されているような狭い幅の鐘状曲線で畳込みが行われ、これにより少し前に遡る過去からの入力量に対する尺度を得ることができる。畳み込み結果１００はＤ１の入力１０を表し、畳み込み結果２００はＤ１の入力２０を表している。Ｄ３には、Ｄ１の入力に対したとえば図１のＧ４で示したような比較的広い幅の畳み込み関数で処理した様子が示されている。この場合、畳み込み結果１０００はＤ１の値１０に対応し、畳み込み結果２０００はＤ１の値２０に対応する。それぞれ異なるこれらのダイアグラムからはっきりとわかることは、Ｄ１からＤ３へ経過する間に個々の値がしだいに平均化されていき、移行部分が互いに連続的に整合されることである。殊にＤ３には、１０００と２０００が互いにほぼ滑らかに移行していることが良好に示されている。Ｄ３のかたちによる時系列の畳込みによって殊に考慮されるのは、フィードフォワードニューラルネットワークは記憶力をもっておらず、かなり過去まで遡る値をその種のネットワークのための入力量として考慮しなければならないことである。たとえばそれらの値の畳込みのために、大きな変量のガウス特性曲線が用いられる。畳み込み関数の幅としてつまりたとえばガウス特性曲線の変量として、あるプロセスにおける既知の時定数の倍数を用い、それによってニューラルネットワークの上記ような入力量を導出するならば、本発明による方法によって格別優れた結果が得られる。それというのは、このことによって重要な入力量に対するフィルタリング作用が得られるからである。図３には、ニューラルネットワークの学習特性曲線が示されている。右側に向かって学習サイクの回数がプロットされ、上方に向かってエラーがプロットされている。この場合、ＴＲで訓練曲線の経過特性が示されており、ＧＥＮで汎化曲線の経過特性が、ＶＡＬで妥当性曲線の経過特性がそれぞれ示されている。ここにはっきりと示されていることは、約２２のところで３つの曲線すべてが著しく下降し始めていることである。この時点は、現在の入力量だけでなくプロセスの時定数を用いて畳み込まれた過去からの入力量もネットワークへ与えられた時点を正確に表している。ここでわかるように、３つの領域すべてにおいてエラーの劇的な低減が生じている。図４には、化学的プロセスのための本発明による制御装置の１つの実例が示されている。詳細にはこの制御装置ＳＴＲには、センサＳＥＮＳ、メモリＭＥＭ、プリプロセッサＰＲＰ、エフェクタＥＦＦが設けられている。センサは接続ラインＶ４００を介してメモリＭＥＭと接続されており、このメモリは接続ラインＶ３００を介してプリプロセッサＰＲＰと接続されている。プリプロセッサはそのデータを、接続ラインＶ２００を介してニューラルネットワークＮＮへ転送する。ニューラルネットワークはそれらのデータから、エフェクタを用いて化学的プロセスを変化させるための出力量を発生させ、それらのデータを接続ラインＶ１００を介してエフェクタへ転送する。本発明によるこの制御装置のメモリには、離散的な時点でセンサから送出されたデータが格納される。プリプロセッサはそれらのデータから、複数のインターバルにおいてかなり遡ったセンサの測定結果の値をまとめることで、ニューラルネットワークＮＮのための入力量を形成する。ここで上記のインターバルの幅は、それらの測定値が過去に遡れば遡るほど広がるように選定される。次にプリプロセッサによって、釣り鐘状の特性または別のガウス関数により対象とするインターバルの畳込みを実行し、その結果からインターバル全体に対する代表値が獲得する。この値はインターバルにおける残りの値を代表する入力量として、たとえば別のインターバル領域から本発明に従って抽出された別の値とともに、あるいはメモリからニューラルネットワークへと転送される別の値とともに、ニューラルネットワークＮＮへ供給される。このニューラルネットワークＮＮは化学的プロセスのために特別に訓練されたものであり、接続ラインＶ２００を介して得られたそれらの入力量を、化学的プロセスに作用を与えることのできる入力量を形成するために評価する。この目的でたとえばエフェクタＥＦＦが設けられている。たとえば浄水プラントにおいてセンサにより下水の燐酸塩含有量が検出され、下水中に存在する燐酸塩を沈降させることになる沈降剤がエフェクタによって調量される。この場合に殊に望ましいのは、反応残留物が残らないよう沈降剤を化学量論的なバランスで与えることである。図５には化学的プロセスのための実例として、本発明による方法ないし本発明による制御装置によって制御可能な浄水プラントが示されている。下水中に含まれている燐酸塩を除去するために、一般的に３価の金属イオンを有する沈降剤が作用物質として用いられる。以下の差分方程式によって、たとえば浄水プラントにおける活性汚泥槽の下水中に含まれている燐酸塩の除去を簡単に表すことができる：この場合、Ｑは貫流する下水量を表し、Ｖは槽の容積を、ＣＰは下水中の燐酸塩濃度を表す。ニューラルネットワークの訓練のために、たとえば実際の浄水プラントに基づき求められた実践データを用いることができる。図５には実例として、燐酸塩除去のシーケンスが示されている。沈降剤添加後に後処理澄明槽ＮＫＢ内に沈積した活性スラッジ混合物／沈降スラッジ混合物自体は、燐酸塩によって沈降する特性を有している。これは活性汚泥法において活性汚泥槽へ活性化されて戻される。その沈降作用はたとえば約３日と推定され、そのことからこのシステム内で役割を果たす大きな時定数であると識別できる。したがってたとえば本発明による方法のための時系列における値を、３日間すなわち７２時間によって畳み込むことができる。この沈降特性によって、沈降剤の消費が低減される。活性汚泥槽および後処理除濁槽における下水の平均的滞留期間は、たとえば約８時間である。燐酸塩の沈降はたいてい用いられている同時沈降において生じるが、これは１分の何分の１かのことである。このように様々な時定数が同時に作用することをニューラルモデリングできるようにするためには、入力データを適切に表す必要がある。ニューラルネットワークのための入力データはたとえば下水量ｑｚｕ、燐酸塩濃度ｃｐｚｕ、燐酸塩の量ＭＬＰ、沈降剤の量ＣＦＭｚｕのような変量である。各入力データはたとえば、比較的大きい時間遅延されたウィンドウと比較的小さい時間遅延されたウィンドウから成るハイアラーキによって表される。平滑化するために本来の時系列がまずはじめに、それぞれ異なる大きさの変量たとえば２４時間、８時間、２時間のガウス特性曲線によって畳み込まれる。次に、畳み込まれた時系列は、時系列におけるすべての代表値を同時にニューラルネットワークへ供給できるようにするため、畳み込まれていない時系列に対し一定の期間だけずらされる。続いて、それらの時系列はたとえばインターバル［−１，１］に合わせてスケーリングされる。そのようにして導出された入力量により過去の平均化された測定値が表現され、システムに内在する種々の時定数にも係わらずニューラルネットワークに対しそのシステムのモデリングを行うことができる。燐酸塩除去の問題のためにニューラルネットワークはたとえば推計学的学習により訓練され、その際、学習レートは重み付け変化の変量によって決まる。実験結果により示されているようなこの問題においては、ラジアル基底関数（ＲＢＦ）を有するモデルはその汎化能力に関して多層パーセプトロン（ＭＬＰ）よりも劣っている。有利には最良のモデリングはＭＬＰを用いて達成でき、これはまずはじめに入力データの線形の写像が訓練されたものである。この目的で有利であるのは、これをここではδ＝２４時間、δ＝８時間、δ＝２時間で畳み込まれ互いにアクティブにされて時間シフトされたネットワーク入力量によって訓練し、その際にそれらに属する重み付けをそれぞれ収束するまで訓練することである。その後、たとえばネットワークの複雑性を基地の方式によって低減する。これには隠れ層において高度に相関したノードの融合、関係の少ない入力量の消去、大きさに関して強く分散した重み付けの除去が含まれる。このようなネットワークの最適化によりたとえば重み付けの７５％を取り除くことができ、妥当性集合における汎化能力を著しく高めることができる。本発明による方法の評価によれば、燐酸塩沈降において進行するプロセスを格別良好にモデリングできることが示された。また、このネットワークによって雨天、燐酸塩の急激な変化、乾燥した天候に対し本来のデータに基づききわめて良好な汎化能力が達成される。とりわけ有利であるのは、活性汚泥槽の流出口における燐酸塩の濃度を表すネットワーク出力に対する高度な汎化能力である。そしてこの個所において、同時沈降に際して沈降剤が添加される。たとえば燐酸塩濃度というネットワーク入力量は、この場合には下水の伝導性や濁りのような相関され容易に測定可能な代替量と置き換えられる。

【手続補正書】特許法第１８４条の８第１項【提出日】１９９６年９月４日【補正内容】したがってニューラルネットワークはたしかに、訓練に用いられる各データポイントにおいてはデータをきわめて良好に近似することができる。訓練に用いられない”汎化データ”においては、過度に多い適応可能なパラメータをもつネットワークの性能は劣ったものとなる。著しく異なる時定数を有するプロセスをニューラルモデリングするための別の可能性として、再帰的ニューラルネットワーク（ＲＮＮ）が挙げられる。ニューラルネットワークで実現されるフィードバックゆえに、ＲＮＮは過去のデータの情報を蓄積し、したがって長い時定数ないしフィードバックを有するプロセスをモデリングすることができる。ＲＮＮの欠点は、たとえば逆伝播のような簡単な学習プロセスを用いることができず、その代わりにたとえばリアルタイムの再帰的学習（Real Time Recurrent Learning，RT RL）や逆伝播スルータイム（Backpropagation Through Time，BPTT）のような特別な学習プロセスを使用しなければならないことである。殊にデータポイントの個数が多い場合、ＲＮＮを訓練するのは困難であり、数値的に不安定な傾向にある/ster/。国際公開ＷＯ−Ａ−９４／１７４８９号から、訓練モードにおいて準備処理パラメータおよび時間遅れがが定められるようにした逆伝播ネットワークが公知である。そして動作モードでは、動作データが準備処理パラメータといっしょに処理され、定められた時間遅れによって入力データとしてシステムに供給される。この種のネットワークは、入力データが種々異なるタイムスケールに基づくような適用用事例に殊に適している。雑誌 IEEE EXPERT，Bd．8，No.2，01.04.1993，p.44-P.53のJ.A．LeonardおよびM.A．Kramerによる"Diagnosing dynamic faluts using modular neuralnets "により、モジュラーネットワークにおけるダイナミックな誤りの一般的な診断構成が知られている。この場合にはたとえば入力データの時間的な側面は、新たな入力データセットが加えられるたびに最も古いデータセットが除かれ、次にシステムにより新たな計算が実行されることによって考慮される。これにより、そのつどシステムにより考慮される入力データセットの個数は限度内に抑えられる。したがってここで挙げた従来技術の場合には、システムにおける過去を考慮する可能性が制限される。さらにそこでは種々異なる技術について詳細に説明されている。これに関しそのほかの従来技術は知られていない。本発明の課題は、ニューラルネットワークにおいて時間に伴って発生する入力量の個数を著しく低減できるようにした方法および装置を提供することにある。請求の範囲１．ニューラルネットワークの入力量を準備処理する方法において、ａ）入力量を離散的な時点で求めることにより、該入力量の一群の値から１つの時系列を形成し、ｂ）該時系列から少なくとも第１のインターバルを、インターバル内に存在する値が過去に遡れば遡るほどインターバルの幅が広がるよう選定することで境界づけ、ｃ）前記第１のインターバルにより境界づけられた第１の部分時系列を、平均値形成のためほぼ鐘状特性曲線の関数を用いて畳み込み、畳込み結果における第１の最大値を形成し、ｄ）前記第１の部分時系列を代表する前記第１の最大値を、時系列内にあるが前記第１のインターバル外に存在する他の入力値と実質的に同時にニューラルネットワークへ供給することを特徴とする、ニューラルネットワークの入力量を準備処理する方法。２．複数のインターバルを境界づけ、この種のインターバルグループにおける少なくともそれぞれ２つの順次連続するインターバルは同じ幅を有し、１つのインターバルグループにおける個々のインターバル幅を定めるために請求項１と同様のプロセスを行う、請求項１記載の方法。３．隣り合う２つのインターバルのインターバル境界を、それらのインターバルが時系列における少なくとも１つの値を共有するように選定する、請求項１または２記載の方法。 11．訓練のため第１のステップにおいて、時系列からの畳み込まれていない値をニューラルネットワークへ供給し、第２のステップにおいて、過去からの時系列の値の畳込みにより生じた入力量を用いて訓練を行う、請求項１〜１０のいずれか１項記載の方法。 12．浄水プラントにおける測定値から少なくとも１つの時系列を形成する、請求項１〜１１のいずれか１項記載の方法。 13．化学的プロセスのための制御装置において、ａ）第１の測定値を捕捉するための少なくとも１つのセンサと、ｂ）該測定値を記憶するための少なくとも１つのメモリと、ｃ）該メモリに記憶された測定値のためのプロセッサと、ｄ）フィードフォワードニューラルネットワークと、ｅ）化学的プロセスに作用を与えるための少なくとも１つのエフェクタとが設けられており、ｆ）前記メモリに、規則的な時間間隔で測定された一群の測定値から形成された時系列が格納されており、該時系列はプリプロセッサへ供給され、該プリプロセッサにより複数の測定値が１つのインターバルとしてまとめられ、インターバル内に存在する測定値が過去へ遡れば遡るほどインターバルの幅が大きくなるよう選定され、該インターバルから鐘状の特性曲線による畳込みによって個々の値が導出され、それらの個々の値はメモリに記憶されている時系列の別の値といっしよにニューラルネットワークへ供給され、それらの値からニューラルネットワークにより化学的プロセスのための制御量が形成され、該制御量は前記エフェクタへ転送されることを特徴とする、化学的プロセスのための制御装置。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＵＳ

Claims

【特許請求の範囲】１．ニューラルネットワークの入力量を準備処理する方法において、ａ）入力量を離散的な時点で求めることにより、該入力量の一群の値から１つの時系列を形成し、ｂ）該時系列から少なくとも第１のインターバルを、インターバル内に存在する値が過去に遡れば遡るほどインターバルの幅が広がるよう選定することで境界づけ、ｃ）前記第１のインターバルにより境界づけられた第１の部分時系列を、平均値形成のためほぼ鐘状特性曲線の関数を用いて畳み込み、畳込み結果における第１の最大値を形成し、ｄ）前記第１の部分時系列を代表する前記第１の最大値を、時系列内にあるが前記第１のインターバル外に存在する他の入力値と実質的に同時にニューラルネットワークへ供給することを特徴とする、ニューラルネットワークの入力量を準備処理する方法。２．複数のインターバルを境界づけ、この種のインターバルグループにおける少なくともそれぞれ２つの順次連続するものは同じ幅を有し、１つのインターバルグループにおける個々のインターバル幅を定めるために請求項１と同様のプロセスを行う、請求項１記載の方法。３．隣り合う２つのインターバルのインターバル境界を、それらのインターバルが時系列における少なくとも１つの値を共有するように選定する、請求項１または２記載の方法。４．鐘状特性曲線の幅は、それにより畳み込まれる個々のインターバルと実質的に同じ幅を有する、請求項１〜３のいずれか１項記載の方法。５．鐘状特性曲線としてガウス分布を採用する、請求項１〜４のいずれか１項記載の方法。６．インターバル幅の大きさにおいて標準偏差を有する、請求項４または５記載の方法。７．少なくとも１つの既知の時定数を有するシステムから入力値を導出し、時定数の大きさまたはその倍数の少なくとも１つのインターバル幅を選定する、請求項１〜６のいずれか１項記載の方法。８．前記入力値をフィードフォワードニューラルネットワークへ供給する、請求項１〜７のいずれか１項記載の方法。９．時系列の値を一定のインターバルに合わせて正規化する、請求項１〜８のいずれか１項記載の方法。 10．ニューラルネットワークの訓練においても運用においても用いる、請求項１〜９のいずれか１項記載の方法。 11．訓練のため第１のステップにおいて、時系列からの畳み込まれていない値をニューラルネットワークへ供給し、第２のステップにおいて、過去からの時系列の値の畳込みにより生じた入力量を用いて訓練を行う、請求項１〜１０のいずれか１項記載の方法。 12．浄水プラントにおける測定値から少なくとも１つの時系列を形成する、請求項１〜１１のいずれか１項記載の方法。 13．化学的プロセスのための制御装置において、ａ）第１の測定値を捕捉するための少なくとも１つのセンサと、ｂ）該測定値を記憶するための少なくとも１つのメモリと、ｃ）該メモリに記憶された測定値のためのプロセッサと、ｄ）フィードフォワードニューラルネットワークと、ｅ）化学的プロセスに作用を与えるための少なくとも１つのエフェクタとが設けられており、ｆ）前記メモリに測定値の時系列が格納されており、該時系列はプリプロセッサへ供給され、該プリプロセッサにより複数の測定値が１つのインターバルとしてまとめられ、該インターバルから鐘状の特性曲線による畳込みによって個々の値が導出され、それらの個々の値はメモリに記憶されている時系列の別の値といっしょにニューラルネットワークへ供給され、それらの値からニューラルネットワークにより化学的プロセスのための制御量が形成され、該制御量は前記エフェクタへ転送されることを特徴とする、化学的プロセスのための制御装置。