WO2003079285A2 - Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur - Google Patents

Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur Download PDF

Info

Publication number
WO2003079285A2
WO2003079285A2 PCT/DE2003/000756 DE0300756W WO03079285A2 WO 2003079285 A2 WO2003079285 A2 WO 2003079285A2 DE 0300756 W DE0300756 W DE 0300756W WO 03079285 A2 WO03079285 A2 WO 03079285A2
Authority
WO
WIPO (PCT)
Prior art keywords
substructure
neural
dynamic
behavior
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2003/000756
Other languages
English (en)
French (fr)
Other versions
WO2003079285A3 (de
Inventor
Christoph Tietz
Hans-Georg Zimmermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of WO2003079285A2 publication Critical patent/WO2003079285A2/de
Publication of WO2003079285A3 publication Critical patent/WO2003079285A3/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to a neural structure and a method and an arrangement as well as a computer program with program code means and a computer program product for weighting input variables for a neural structure.
  • a neural structure for example a neural network, to describe and model a dynamic process and its process behavior.
  • a dynamic process is described by a state transition description, which is not visible to an observer of the dynamic process, and an initial equation, which describes observable quantities of the technical ' dynamic process.
  • the dynamic process 200 or a dynamic system 200, in which the dynamic process runs, is subject to the influence of an external input variable u of a predeterminable dimension, an input variable u * t at a time t being designated u * t:
  • a state transition of the inner state s * t of the dynamic process is caused and the state of the dynamic process changes into a subsequent state s - ⁇ + i at a subsequent time t + 1 ,
  • f (.) denotes a general mapping rule
  • An output variable y ⁇ observable by an observer of the dynamic system 200 at a time t depends on the input variable * t and the internal state s - ⁇ -
  • the output variable yj- (yj- e 9 ⁇ n ) is predeterminable dimension n.
  • g (.) denotes a general mapping rule.
  • a neural structure of interconnected computing elements in the form of a neural network of interconnected neurons is used in [1].
  • the connections between the neurons of the neural network are weighted.
  • the weights of the neural network are summarized in a parameter vector v.
  • an internal state of a dynamic system which is subject to a dynamic process, depends on the input variable u- ⁇ and the internal state of the previous time s- ⁇ and the parameter vector v according to the following rule:
  • NN denotes a mapping rule specified by the neural network.
  • the dynamic system can also be:
  • TDRNN time delay recurrent neural network
  • the known TDRNN is shown in FIG. 5 as a neural network 500 which is developed over a finite number of times (shown 5 times: t-4, t-3, t-2, t-1, t).
  • the neural network 500 shown in FIG. 5 has an input layer 501 with five partial input layers 521, 522,
  • Input computing element i.e. Input neurons are connected via variable connections to neurons with a predefinable number of hidden layers 505 (5 hidden layers shown).
  • Neurons of a first 531, a second 532, a third 533, a fourth 534 and a fifth 535 hidden layer are each connected to neurons of the first 521, the second 522, the third 523, the fourth 524 and the fifth 525 partial input layer.
  • the connections between the first 531, the second 532, the third 533, the fourth 534 and the fifth 535 hidden layer with the first 521, the second 522, the third 523, the fourth 524 and the fifth 525 partial input layer are respectively equal.
  • the weights of all connections are each contained in a first connection matrix Bi.
  • the neurons of the first hidden layer 531 with their outputs are inputs of neurons of the second hidden layer 532 according to a structure given by a second connection matrix A ] _.
  • the neurons of the second hidden layer 532 are connected with their outputs
  • the outputs of the neurons of the third hidden layer 533 are connected to inputs of neurons of the fourth hidden layer 534 according to a structure given by the second connection matrix A] _.
  • the fourth hidden layer 534 neurons are with theirs
  • “internal” states or “internal” system states s -4 st- 3, s t-2 s t- l r and st represents a dynamic process described by the TDRNN at five successive times t-4, t-3, t-2, t-1 and t.
  • the information in the indices in the respective layers indicates the time t-4, t-3, t-2, t-1 and t, to which the signals that can be tapped or fed at the outputs of the respective layer relate ( u -4, u -3, u t-2 ' u tl' u t ) •
  • An output layer 520 has five partial output layers, a first partial output layer 541, a second partial output layer 542, a third partial output layer 543, a fourth partial output layer 544 and a fifth partial output layer
  • Neurons of the first partial output layer 541 are measured in accordance with an output connection matrix C ] _
  • Neurons of the second partial output layer 542 are e- if necessary according to the structure given by the output connection matrix C] _ with neurons of the second hidden one
  • Neurons of the third partial output layer 543 are connected to neurons of the third hidden layer 533 in accordance with the output connection matrix C] _.
  • Neurons of the fourth partial output layer 544 are connected to neurons of the fourth hidden layer 534 according to the output connection matrix C] _.
  • Neurons of the fifth partial output layer 545 are connected to neurons of the fifth hidden layer 535 in accordance with the output connection matrix C] _.
  • the output variables for a point in time t-4, t-3, t-2, t-1, t can be tapped at the neurons of the partial output layers 541, 542, 543, 544 and 545 (yt-4 * Yt-3 r Yt- 2>Yt-l> Yt) ⁇
  • connection matrices in a neural network have the same values at any given time is referred to as the principle of the so-called shared weights.
  • TDRNN Time Delay Recurrent Neural Network
  • the TDRNN is trained with the training data record.
  • An overview of various training methods can also be found in [1]. It should be emphasized at this point that only the output variables yt-4 r Yt-3 r • • • Yt can be seen at times t-4, t-3, ..., t of the dynamic system 200.
  • T is a number of times taken into account.
  • TDRNN Time Delay Recurrent Neural Network
  • Fig.la from [5] shows a basic structure on which the further developments known from [5] are based.
  • the basic structure is a neural network developed over three times t, t + 1, t + 2.
  • It has an input layer which contains a predeterminable number of input neurons, to which input variables ut can be applied at predeterminable times t, that is to say time series values described below with predefined time steps.
  • the input neurons are connected via variable connections to neurons with a predefinable number of hidden layers (3 hidden layers shown).
  • Neurons of a first hidden layer are connected to neurons of the first input layer.
  • connection between the first hidden layer and the first input layer has weights which are contained in a first connection matrix B.
  • the neurons of the first hidden layer are connected with their outputs to inputs of neurons of a second hidden layer according to a structure given by a second connection matrix A.
  • the outputs of the neurons of the second hidden layer are connected to inputs of neurons of a third hidden layer in accordance with a structure given by the second connection matrix A.
  • s st + i and st + 2 is d-described dynamic process at three successive points in time t, represents t + 1 and t + 2.
  • the details in the indices in the respective layers each indicate the time t, t + 1, t + 2, to which the signals (u- ⁇ ) which can be tapped or supplied at the outputs of the respective layer relate.
  • An output layer 120 has two sub-output layers, a first sub-output layer and a second sub-output layer. Neurons of the first partial output layer are connected to neurons of the first hidden layer in accordance with a structure given by an output connection matrix C. the. Neurons of the second partial output layer are also connected to neurons of the second hidden layer in accordance with the structure given by the output connection matrix C.
  • the output variables can be tapped at a time t + 1, t + 2 from the neurons of the partial output layers (yt + l / yt + 2 )
  • ECRNN Error Correction Recurrent Neural Networks
  • the invention is therefore based on the object of specifying a neural structure as well as a method or an arrangement or a corresponding computer program with program code means or a corresponding computer program product which differentiates, in particular a time-variant, dynamic differentiation of influencing variables of a dynamic one Systems enables.
  • the mapping behavior of which each describe a dynamic behavior of the system the first neural substructure being adapted such that its first mapping behavior describes a forward behavior of the dynamic system
  • the second neural substructure is adapted such that its second mapping behavior describes a backward behavior of the dynamic system:
  • Deviations between first input variables of the first neuronal substructure and second output variables of the second neuronal substructure are determined, which deviations represent a measure for a weighting of the influencing variables.
  • the arrangement for analyzing influencing variables of a dynamic system has a first and a second neural substructure, the mapping behavior of which describes a dynamic behavior of the system,
  • the first neural substructure is adapted such that its first mapping behavior describes a forward behavior of the dynamic system
  • the second neuronal substructure is adapted such that its second mapping behavior describes a backward behavior of the dynamic system
  • the first and the second neural substructure are coupled to one another in such a way that deviations between first input variables of the first neuronal substructure and second output variables of the second neuronal substructure are determined, which deviations represent a measure of a weighting of the influencing variables.
  • the neural structure has a first and a second neural substructure, the mapping behavior of which each describe a dynamic behavior of a dynamic system,
  • the first neural substructure being adapted such that its first mapping behavior describes a forward behavior of the dynamic system
  • the second neural substructure is adapted such that its second mapping behavior describes a backward behavior of the dynamic system
  • the first and the second neural substructure being coupled to one another in such a way that deviations between first input variables of the first neuronal substructure and second output variables of the second neuronal substructure are determined.
  • the invention clearly represents a structural one
  • Dynamic systems are usually formulated as cause-and-effect relationships (cf. comments on Fig. 2, relationships (1) to (3)), which are represented by the neuronal structures known from [1], [2] or [5] can. These cause-effect relationships are expressed in these neural structures in that an information flow generated in these neural structures moves forward in time, i.e. from the past to the future. This is called forward behavior.
  • causes of input variables ut at previous times (t- 2), (t-1), ... lead to (noticeable) effects in output variables yt at time (t or t + 1).
  • the input variables ut are mapped to the output variables yt by the neural cause-effect structure.
  • the invention extends these neural cause-effect structures with a neural substructure which carries out an effect-cause analysis and thus prepares a causal synthesis.
  • the two structures are linked by comparing actual causes with modeled causes, which are generated using the effect-cause structure, and deriving the relevance of individual external influencing factors.
  • a particular advantage of the invention is that the invention enables analysis and dynamic consideration of influencing variables of a dynamic system based on their temporal relevance ("Dynamic Feature Selection").
  • the computer program with program code means is set up to carry out all steps according to the inventive method when the program is executed on a computer.
  • the computer program product with program code means stored on a machine-readable carrier is set up to carry out all steps according to the inventive method when the program is executed on a computer.
  • the described software solutions can also be implemented decentrally or distributed, i.e. that parts of the computer program or parts of the computer program product - also as independent partial solutions - run on different (distributed) computers or are executed by them or are stored on different storage media.
  • the invention or any further development described below can also be implemented by a computer program product which has a storage medium on which the computer program with program code means which carries out the invention or further development is stored.
  • the first and / or the second neural substructure is or are a neural network developed over several points in time, for example a TDRNN, or neural networks unfolded over several points in time, in which one or in which a temporal dimension of the described one dynamic system is developed as a spatial dimension.
  • the first are used to implement automatic, time-variant and dynamic weighting of the influencing variables
  • Input variables of the first neural substructure are weighted using the deviations.
  • the invention is particularly suitable for determining the dynamics of a dynamic process on which the system is based.
  • the dynamics result from the first output variables of the first neural substructure.
  • Chemical processes are usually highly complex or highly complex dynamic processes and are influenced by many physical variables. Accordingly, the invention is particularly suitable for determining and analyzing the dynamics of a dynamic process, such as in a chemical reactor. This analysis can then be used to monitor or control the dynamic process, in particular a chemical process.
  • the invention is particularly suitable for predicting a state of the dynamic system.
  • the forecast is created using the first output variables of the first substructure.
  • the invention has a measuring arrangement for recording physical signals, for example an electrocardio gram (EKG), by means of which the dynamic system, in this case a human circulation, is described. These physical signals, the EKG signals, are then fed to the first neuronal substructure for analyzing the system.
  • EKG electrocardio gram
  • first neural substructure and the second neural substructure can be coupled such that further deviations can be formed between first output variables of the first neuronal substructure and second input variables of the second neuronal substructure.
  • the first and / or second neural substructure is / are designed as an error correction recurrent neural network (ECRNN). Fundamentals of such ECRNN are described in [6] and can be built into the neural substructures accordingly.
  • ECRNN error correction recurrent neural network
  • FIG. 2 shows a sketch of a general description of a dynamic system
  • FIG. 3 shows a sketch of a neural arrangement with an integrated error correction mechanism according to a second exemplary embodiment (note: corresponds to slide pta_5 / 20);
  • FIG. 4 shows a sketch of a chemical reactor, from which quantities are measured, which are processed further with the arrangements according to the first exemplary embodiment
  • FIG. 5 shows a sketch of an arrangement of a TDRNN, which is unfolded over time with a finite number of states (note: from old application 99pl348);
  • FIG. 6 shows a sketch of a further development of a TDRNN suitable for the “overshooting” (note: corresponds to slide pta_5 / 7),
  • Figure 7 is a sketch of an ECRNN with basic functional relationships (note: corresponds to slide pta_5 / 10).
  • FIG. 8 shows a sketch of a neural arrangement with an integrated error correction mechanism according to a second
  • Exemplary embodiment (note: corresponds to film pta 5/22).
  • chemical reactor 4 shows a chemical reactor 400 which is filled with a chemical substance 401.
  • the chemical reactor 400 comprises a stirrer 402 with which the chemical substance 401 is stirred. Further chemical substances 403 flowing into the chemical reactor 400 react for a predeterminable period in the chemical reactor 400 with the chemical substance 401 already contained in the chemical reactor 400. A substance 404 flowing out of the reactor 400 is transferred from the chemical reactor 400 derived an output.
  • the stirrer 402 is connected via a line to a control unit 405, with which a stirring frequency of the stirrer 402 can be set via a control signal 406.
  • a measuring device 407 is also provided, with which concentrations of chemical substances contained in chemical substance 401 are measured.
  • Measurement signals 408 are fed to a computer 409, in which
  • Computer 409 is digitized via an input / output interface 410 and an analog / digital converter 411 and stored in a memory 412.
  • a processor 413 like the memory 412, is connected to the analog / digital converter 411 via a bus 414.
  • the calculator 409 is also on the
  • Input / output interface 410 connected to the controller 405 of the stirrer 402 and thus the computer 409 controls the stirring frequency of the stirrer 402.
  • the computer 409 is also connected via the input / output interface 410 to a keyboard 415, a computer mouse 416 and a screen 417.
  • appropriately programmed software is stored in the memory. 412, which enables the functionality described below.
  • the chemical reactor 400 represents a dynamic, technical system 200 and is subject to a dynamic process on which the dynamic system is based.
  • This chemical process is highly complex and exhibits extremely dynamic process behavior, which is influenced by a large number of influencing variables with changing relevance.
  • the chemical reactor 400 is described by means of a status description.
  • the input variable u is composed of an indication of the temperature prevailing in the chemical reactor 400, the pressure prevailing in the chemical reactor 400, the stirring frequency set at the time t and a large number of other variables influencing the process behavior.
  • the input variable is therefore a high-dimensional vector.
  • the aim of the modeling of the chemical reactor 400 described in the following is to determine the dynamic development of the substance concentrations, in order to enable efficient generation of a predefinable target substance to be produced as the outflowing substance 404.
  • FIG. 1b 130 and 1c 160 For a simple understanding of the principles underlying the neural networks FIGS. 1b 130 and 1c 160, a basic neural structure 100 is shown in FIG.
  • the neural networks 130, 160 shown in FIGS. 1b and 1c are formed.
  • the neural networks 130 (Consistency Approach), 160 (Forecast Appraoch) shown in FIGS. 1b and 1c are all can be used alternatively. Each fulfills the task described above ("Dynamic Feature Selection") equally.
  • the symbols used in the representation correspond to the generally customary symbolism in the representation of neural structures, as already used in the above network descriptions.
  • FIG. 1 a shows the neural basic structure 100 with a first neural substructure 101, the first mapping behavior of which describes a forward behavior 103 of the dynamic process or system.
  • First input variables 111 are mapped to first output variables 112 by the first neural substructure 101.
  • the neural basic structure 100 has a second neural substructure 102, the second mapping behavior of which describes a backward behavior 104 of the dynamic system. Second input variables 113 are mapped to second output variables 114 by the second neural substructure 101.
  • the substructures 101, 102 are coupled to one another in such a way that deviations 120 between the first input variables 111 of the first neuronal structure 101 and the second output variables 114 of the second neuronal structure 102 can be determined.
  • weights 121 are determined with which the first input variables 111 supplied to the first substructure 101 are weighted.
  • 1b shows a neural network 130 based on the neural basic structure 100 according to the consistency appraoch.
  • the neural network 130 has a first neural substructure 131 and a second neural substructure 132, each of which over several points in time t, here (t-3) to (t + 3) at the first 131 or (t) to (t- 3) in the second neural substructure 132, are unfolded recurrent networks.
  • the two neural networks 131, 132 each have an input neuron layer 133 and 134, a hidden neuron layer 135 and 136, and an output neuron layer 137 and 138, respectively.
  • the input neuron layers 133 and 134 are each connected to the hidden layers 135 and 136 via connections weighted with connection matrices B and E, respectively.
  • connection matrices A and F weighted connections are in turn connected by connection matrices A and F weighted connections.
  • the output neuron layers 137 and 138 are each connected to the hidden layers 135 and 136 via connections weighted with connection matrices C and G, respectively.
  • ATU an intermediate layer of neurons 140, wweellcchhee wwiitthh eeiinneerr GGee ⁇ weighting at weighted states, / _. generated, fed This intermediate neuron layer 140 is connected to the hidden layer 135 via connections weighted with connection matrices D.
  • the output neuron layer 138 of the second substructure 132 is further connected to the input neuron layer 133 of the first substructure 131 via connections weighted with connection matrices H.
  • the neuron links are designed in such a way that a forward-looking information flow 141, represented by states st-3, ⁇ t-2 / s tl ' s t etc., is generated in the hidden layer 135 of the first substructure 131.
  • Substructure 132 generates a backward-directed information flow 142, represented by states rt, r * t_ ⁇ , rt-2 ' r t-3.
  • the neural network 130 described is based on the following relationships:
  • a method based on a back-propagation method, as described in [1], is used for training the neural network 130 described above.
  • T is a number of times taken into account.
  • the cost function is modified to:
  • T t lf, g, F, G y t - y t ): upper minimum output error, u ⁇ - U): lower minimum input error.
  • the difference states u t - u?) Formed in the output layer 138 of the second substructure 132 are components of the cost function (10).
  • Training data for the training according to (5) are obtained from the chemical reactor 400 in the following way.
  • Concentrations are measured using the measuring device 407 for predetermined input variables and fed to the computer 409, digitized there and grouped as time series values in a memory together with the corresponding input variables which correspond to the measured variables.
  • the training data are fed to the neural network 130 and the connection weights and also the weight at are adapted in the process.
  • the neural network 130 trained in accordance with the training method described above is used to determine chemical variables in the chemical reactor 400 in such a way that forecast variables yt + i yt + 2 yt + 3 n for an input variable at a time t-1 and an input variable at a time t e ner
  • control means 405 for controlling the stirrer 402 or also an inflow control device 430 for controlling the inflow of further chemical substances 403 in the chemical reactor 400 can be used (see Fig. 4).
  • Forecast Approach (Fig.lc, 160) 1c shows the alternative neural structure 160 based on the neural basic structure 100 according to the forecast approach.
  • This neural network 160 is based on the following relationships:
  • the structure of the neural network 160 according to the forecast approach is identical to that of the consistency approach 130.
  • Two neural networks 131 and 132 developed over several points in time, one with a forward-looking 141 and one with a backward-looking 142 information flow, are about a "difference states" Layer 138, a weighting neuron 139 and a weighting layer 140 are linked to one another.
  • the training of the neural network 160 and the use of the neural network 160 in the application are carried out in accordance with the neural network 130.
  • FIG. 3 shows a neural structure 300 in which the error described in [6] in the neural structure from FIG. Correction mechanism (ECRNN) was integrated (ECRNN Forecast Approach).
  • ERNN Correction mechanism
  • the neural structure 300 is used for a rental price forecast as described below.
  • the input variable u * t is made up of annual average information about a rental price, housing space, inflation and an unemployment rate, as well as other economic factors that influence a rental price.
  • the input variable is a high-dimensional vector.
  • a time series of the input variables which consist of several successive vectors, knows time steps of one year each.
  • the aim of the modeling described below is to forecast a rental price for the following three years with respect to a current point in time t.
  • the neural structure 300 in FIG. 3 shows the neural structure 160 expanded by the error correction mechanism (ECRNN) based on the neural basic structure 100 according to the forecast approach.
  • ERNN error correction mechanism
  • This neural network 300 is based on the following relationships:
  • the structure of the neural network 300 according to the ECRNN Forecast Approach is identical to that of the Forecast Approach 160 and the Consistency Approach 130.
  • the training of the neural network 300 is carried out in accordance with the neural networks 130 and 161. Further procedures for training the neural network described above are described in [4].
  • FIG. 8 shows an alternative neuronal ERCNN structure based on the neuronal structure in FIG. 3.
  • This alternative neural structure like the neural structures described in the exemplary embodiments, contain the inventive principles for dynamic feature selection, so that the above explanations apply accordingly.
  • the arrangements described in the first exemplary embodiment can also be used to determine the dynamics of an electronic Cardio-grams (EKG) can be used. This enables indicators that indicate an increased risk of heart attack to be determined at an early stage. A time series from ECG values measured on a patient is used as the input variable.
  • EKG electronic Cardio-grams
  • the arrangement described in the second exemplary embodiment can also be used for forecasting macroeconomic dynamics, such as, for example, an exchange rate trend, or other economic indicators, such as, for example, a stock exchange price.
  • macroeconomic dynamics such as, for example, an exchange rate trend, or other economic indicators, such as, for example, a stock exchange price.
  • an input variable is formed from time series of relevant macroeconomic or economic indicators, such as interest rates, currencies or inflation rates.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft eine neuronale Struktur zur Modellierung eines dynamischen Systems, deren Struktur eine automatische zeitvariante Gewichtung von Einflussgrößen des Systems ermöglicht. Dazu weist die neuronale Struktur eine erste neuronale Teilstruktur auf, deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt, und eine zweite neuronale Teilstruktur auf, deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt. Die Teilstrukturen sind derart miteinander gekoppelt, dass Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Struktur und zweiten Ausgangsgrößen der zweiten neuronalen Struktur ermittelbar sind, unter Verwendung welcher die Gewichtung realisierbar ist.

Description

Beschreibung
Verfahren und Anordnung sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Gewichtung von Eingangsgrößen für eine neuronale Struktur sowie neuronale Struktur
Die Erfindung betrifft eine neuronale Struktur sowie ein Verfahren und eine Anordnung sowie ein Computerprogramm mit Pro- grammcode-Mitteln und ein Computerprogramm-Produkt zur Gewichtung von Eingangsgrößen für eine neuronale Struktur.
Aus [1] ist es bekannt, zur Beschreibung und Modellierung eines dynamischen Prozesses und dessen Prozessverhaltens eine neuronale Struktur, beispielsweise ein neuronales Netz, einzusetzen.
Allgemein wird ein dynamischer Prozess durch eine Zustands- übergangsbeschreibung, die für einen Beobachter des dynami- sehen Prozesses nicht sichtbar ist, und eine Ausgangsgleichung, die beobachtbare Größen des technischen' dynamischen Prozesses beschreibt, beschrieben.
Ein solches Prozessverhalten eines dynamischen Prozesses ist in Fig.2 dargestellt.
Der dynamische Prozess 200 bzw. ein dynamisches System 200, in dem der dynamische Prozess abläuft, unterliegt dem Einfluß einer externen Eingangsgröße u vorgebbarer Dimension, wobei eine Eingangsgröße u*t zu einem Zeitpunkt t mit u*t bezeichnet wird:
ut e 5R1,
wobei mit 1 eine natürliche Zahl bezeichnet wird. Die Eingangsgröße u*t zu einem Zeitpunkt t verursacht eine
Veränderung des dynamischen Prozesses.
Ein innerer Zustand s*t ( s*t e 9ϊm ) vorgebbarer Dimension m zu einem Zeitpunkt t ist für einen Beobachter des dynamischen Systems 200 nicht beobachtbar.
In Abhängigkeit vom inneren Zustand s*t und der Eingangsgröße u-t wird ein Zustandsübergang des inneren Zustandes s*t des dy- namischen Prozesses verursacht und der Zustand des dynamischen Prozesses geht über in einen Folgezustand s-^+i zu einem folgenden Zeitpunkt t+1.
Dabei gilt:
st +1 = f(st'ut)- (1)
wobei mit f(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.
Eine von einem Beobachter des dynamischen Systems 200 beobachtbare Ausgangsgröße y^ zu einem Zeitpunkt t hängt ab von der Eingangsgröße *t sowie dem inneren Zustand s-^-
Die Ausgangsgröße y-j- ( yj- e 9ϊn ) ist vorgebbarer Dimension n.
Die Abhängigkeit der Ausgangsgröße y von der Eingangsgröße u*t und dem inneren Zustand s-^ des dynamischen Prozesses ist durch folgende allgemeine Vorschrift gegeben:
Yt = g(st)' * (2)
wobei mit g(.) eine allgemeine Abbildungsvorschrift bezeichnet wird. Zur Beschreibung des dynamischen Systems 200 wird in [1] eine neuronale Struktur aus miteinander verbundenen Rechenelemente in Form eines neuronalen Netzes miteinander verbundener Neuronen eingesetzt. Die Verbindungen zwischen den Neuronen des neuronalen Netzes sind gewichtet. Die Gewichte des neuronalen Netzes sind in einem- Parametervektor v zusammengefaßt.
Somit hängt ein innerer Zustand eines dynamischen Systems, welches einem dynamischen Prozeß unterliegt, gemäß folgender Vorschrift von der Eingangsgröße u-^ und dem inneren Zustand des vorangegangenen Zeitpunktes s-^ und dem Parametervektor v ab:
st +l = NNv, st,ut), (3)
wobei mit NN ( . ) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.
Diese Beschreibung des dynamischen Systems 200 gemäß Bezie- hung (3) wird auch als "Forecast Approach" bezeichnet.
Alternativ dazu lässt sich das dynamische System auch durch:
st = f(st_ι, ut) (1Λ)
mit
st = NN(v, st_ι, ut) (3 )
beschreiben, was als "Consistency Approach" bezeichnet wird. "Forecast Appraoch" und "Consistency Appraoch" führen zu geringfügigen strukturellen Unterschieden in den jeweiligen Netzstrukturen, sind aber gleichwertige, alternativ verwendbare Beschreibungsformen für dynamische Systeme. Aus [2] ist eine weitere neuronale Struktur zur Beschreibung des dynamischen Systems 200, ein als Time Delay Recurrent Neural Network (TDRNN) bezeichnetes neuronales Netz, bekannt.
Das bekannte TDRNN ist in Fig.5 als ein über eine endliche Anzahl von Zeitpunkten (dargestellt 5 Zeitpunkte: t-4, t-3, t-2, t-1, t) entfaltetes neuronales Netz 500 dargestellt.
Das in Fig.5 dargestellte neuronale Netz 500 weist eine Ein- gangsschicht 501 mit fünf Teileingangsschichten 521, 522,
523, 524 und 525 auf, die jeweils eine vorgebbare Anzahl Ein- gangs-Rechenelemente enthalten, denen Eingangsgrößen u -4 , u -3 , -2 r ut-i und u*t zu vorgebbaren Zeitpunkten t-4, t- 3, t-2, t-1 und t, d.h. im weiteren beschriebene Zeitreihen- werte mit vorgegebenen Zeitschritten, anlegbar sind.
Eingangs-Rechenele ente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 505 (dargestellt 5 verdeckte Schichten) verbunden.
Dabei sind Neuronen einer ersten 531, einer zweiten 532, einer dritten 533, einer vierten 534 und einer fünften 535 versteckten Schicht jeweils mit Neuronen der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht verbunden.
Die Verbindungen zwischen der ersten 531, der zweiten 532, der dritten 533, der vierten 534 und der fünften 535 ver- steckten Schicht mit jeweils der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht sind jeweils gleich. Die Gewichte aller Verbindungen sind jeweils in einer ersten Verbindungsmatrix Bi enthalten.
Ferner sind die Neuronen der ersten versteckten Schicht 531 mit ihren Ausgängen mit Eingängen von Neuronen der zweiten versteckten Schicht 532 gemäß einer durch eine zweite Verbindungsmatrix A]_ gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 532 sind mit ihren Ausgängen mit
Eingängen von Neuronen der dritten versteckten Schicht 533 gemäß einer durch die zweite Verbindungsmatrix A]_ gegebene
Struktur verbunden. Die Neuronen der dritten versteckten Schicht 533 sind mit ihren Ausgängen mit Eingängen von Neuronen der vierten versteckten Schicht 534 gemäß einer durch die zweite Verbindungsmatrix A]_ gegebene Struktur verbunden. Die Neuronen der vierten versteckten Schicht 534 sind mit ihren
Ausgängen mit Eingängen von Neuronen der fünften versteckten Schicht 535 gemäß einer durch die zweite Verbindungsmatrix A]_ gegebene Struktur verbunden.
In den versteckten Schichten, der ersten versteckten Schicht 531, der zweiten versteckten Schicht 532, der dritten versteckten Schicht 533, der vierten versteckten Schicht 534 und der fünften versteckten Schicht 535 werden jeweils "innere" Zustände oder "innere" Systemzustände s -4 st-3, st-2 st-l r und st eines durch das TDRNN beschriebenen dynamischen Prozesses an fünf aufeinanderfolgenden Zeitpunkten t-4, t-3, t-2, t-1 und t repräsentiert.
Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t-4, t-3, t-2, t-1 und t an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale beziehen (u -4, u -3, ut-2' ut-l' ut) •
Eine Ausgangsschicht 520 weist fünf Teilausgangsschichten, eine erste Teilausgangsschicht 541, eine zweite Teilausgangsschicht 542, eine dritte Teilausgangsschicht 543, eine vierte Teilausgangsschicht 544 sowie eine fünfte Teilausgangsschicht
545 auf. Neuronen der ersten Teilausgangsschicht 541 sind ge- maß einer durch eine Ausgangs-Verbindungsmatrix C]_ gegebenen
Struktur mit Neuronen der ersten versteckten Schicht 531 verbunden. Neuronen der zweiten Teilausgangsschicht 542 sind e- benfalls gemäß der durch die Ausgangs-Verbindungsmatrix C]_ gegebenen Struktur mit Neuronen der zweiten versteckten
Schicht 532 verbunden. Neuronen der dritten Teilausgangsschicht 543 sind gemäß der Ausgangs-Verbindungsmatrix C]_ mit Neuronen der dritten versteckten Schicht 533 verbunden. Neuronen der vierten Teilausgangsschicht 544 sind gemäß der Ausgangs-Verbindungsmatrix C]_ mit Neuronen der vierten versteckten Schicht 534 verbunden. Neuronen der fünften Teilausgangsschicht 545 sind gemäß der Ausgangs-Verbindungsmatrix C]_ mit Neuronen der fünften versteckten Schicht 535 verbunden. An den Neuronen der Teilausgangsschichten 541, 542, 543, 544 und 545 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t-4, t-3, t-2, t-1, t abgreifbar (yt-4* Yt-3 r Yt-2 > Yt-l> Yt) ■
Der Grundsatz, daß äquivalente Verbindungsmatrizen in einem neuronalen Netz zu einem jeweiligen Zeitpunkt die gleichen Werte aufweisen, wird als Prinzip der sogenannten geteilten Gewichtswerte (Shared Weights) bezeichnet.
Die aus [2] bekannte und als Time Delay Recurrent Neural Network (TDRNN) bezeichnete Anordnung wird in einer Trainingsphase derart trainiert, daß zu einer Eingangsgröße ut jeweils eine Zielgröße yt an einem realen dynamischen System ermittelt wird. Das Tupel (Eingangsgröße, ermittelte Zielgröße) wird als Trainingsdatum bezeichnet. Eine Vielzahl solcher Trainingsdaten bilden einen Trainingsdatensatz.
Dabei weisen zeitlich aufeinanderfolgende Tupel (ut-4 ,y^_.)
(ut-3 r Y - 3 ) ' (ut-2 '^ _2) der Zeitpunkte (t-4, t-3, t-3, ...) des Trainingsdatensatzes jeweils einen vorgegeben Zeitschritt auf.
Mit dem Trainingsdatensatz wird das TDRNN trainiert. Eine Ü- bersicht über verschiedene Trainingsverfahren ist ebenfalls in [1] zu finden. Es ist an dieser Stelle zu betonen, daß lediglich die Ausgangsgrößen yt-4 r Yt-3 r • • • Yt zu Zeitpunkten t-4, t-3, ..., t des dynamischen Systems 200 erkennbar sind. Die "inneren" Systemzustände s -4** st-3 •■••>• st sind nicht beobachtbar.
In der Trainingsphase wird üblicherweise folgende Kostenfunktion E minimiert:
Figure imgf000009_0001
wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeichnet wird.
Aus [5] und [6] sind Weiterentwicklungen der aus [2] bekannten und als Time Delay Recurrent Neural Network (TDRNN) bezeichneten neuronalen Struktur bekannt.
Die Weiterentwicklungen aus [5] sind insbesondere geeignet zur Ermittlung zukünftiger Zustände eines dynamischen Prozesses, was als "overshooting" bezeichnet wird.
Fig.la aus [5] zeigt eine Grundstruktur, die den aus [5] bekannten Weiterentwicklungen zugrunde liegt.
Die Grundstruktur ist ein über drei Zeitpunkte t, t+1, t+2 entfaltetes neuronales Netz.
Sie weist eine Eingangsschicht auf, die eine vorgebbare An- zahl von Eingangsneuronen enthält, denen Eingangsgrößen ut zu vorgebbaren Zeitpunkten t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind. Die Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten (dargestellt 3 verdeckte Schichten) verbunden.
Dabei sind Neuronen einer ersten versteckten Schicht mit Neuronen der ersten Eingangsschicht verbunden.
Die Verbindung zwischen der ersten versteckten Schicht mit der ersten Eingangsschicht weist Gewichte auf, die in einer ersten Verbindungsmatrix B enthalten sind.
Ferner sind die Neuronen der ersten versteckten Schicht mit ihren Ausgängen mit Eingängen von Neuronen einer zweiten versteckten Schicht gemäß einer durch eine zweite Verbindungs- matrix A gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht sind mit ihren Ausgängen mit Eingängen von Neuronen einer dritten versteckten Schicht gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden.
In den versteckten Schichten, der ersten versteckten Schicht, der zweiten versteckten Schicht und der dritten versteckten Schicht werden jeweils "innere" Zustände oder "innere" Systemzustände s , st+i und st+2 des beschriebenen dynamischen Prozesses an drei aufeinanderfolgenden Zeitpunkten t, t+1 und t+2 repräsentiert.
Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t, t+1, t+2 an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale (u-^) beziehen.
Eine Ausgangsschicht 120 weist zwei Teilausgangsschichten, eine erste Teilausgangsschicht und eine zweite Teilausgangs- schicht, auf. Neuronen der ersten Teilausgangsschicht sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der ersten versteckten Schicht verbun- den. Neuronen der zweiten Teilausgangsschicht sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der zweiten versteckten Schicht verbunden.
An den Neuronen der Teilausgangsschichten sind die Ausgangsgrößen für jeweils einen Zeitpunkt t+1, t+2 abgreifbar (yt+l/ yt+2) •
Eine weitere Weiterentwicklung dieser Grundstruktur aus [5] ist in Fig.6 dargestellt.
Weiterentwicklungen der TDRNN-Struktur aus [6], sogenannte Error-Correction-Recurrent-Neural-Networks ECRNN) , betreffen einen strukturell bedingten Fehler-Korrektur-Mechanismus, welcher als struktureller Bestandteil in eine neuronale Struktur integriert ist. Fig.7 zeigt eine grundlegende Struktur mit entsprechenden funktionalen Beziehungen eines ECRNN.
In [3] ist ferner ein Überblick über Grundlagen neuronaler
Netze und die Anwendungsmöglichkeiten neuronaler Netze im Bereich der Ökonomie zu finden.
In vielen Fällen hängen dynamische Prozesse bzw. dynamische Systeme ab von einer großen Zahl von externen Einflussgrößen, das heißt die externe Eingangsgröße u ist von sehr hoher Dimension. Dies trifft insbesondere auf dynamische Systeme im Bereich der Ökonomie zu.
Zu einem betrachteten Zeitpunkt t ist jedoch typischerweise nur ein Teil der Einflussgrößen von ut relevant, was sich auch im Laufe der Zeit ändern kann.
Bei der Beschreibung solcher dynamischen Systeme unter Ver- wendung neuronaler Strukturen werden demzufolge folgende Fragestellungen aufgeworfen: Welches sind die tatsächlich relevanten externen Einflussgrößen und wie verschiebt sich ihr Einfluss auf das dynamische System im Laufe der Zeit?
Diese zeitvariante bzw. dynamische Differenzierung von wichtigen und weniger wichtigen Einflussgrößen kann durch die o- bigen, bekannten neuronalen Strukturen nicht gewährleistet werden. Sich zeitlich ändernde Wichtigkeiten von Einflussgrößen werden bei diesen neuronalen Strukturen nicht berücksich- tigt.
Bei den im obigen beschriebenen neuronalen Strukturen werden alle Einflussgrößen statisch als gleich wichtig erachtet. Weniger wichtig erachtete Einflussgrößen können nur komplett aus der neuronalen Struktur entfernt werden und bleiben damit gänzlich, auch in zeitlicher Hinsicht, unberücksichtigt.
Somit liegt der Erfindung die Aufgabe zugrunde, eine neuronale Struktur sowie ein Verfahren oder eine Anordnung oder ein entsprechendes Computerprogramm mit Programmcode-Mitteln oder ein entsprechendes Computerprogramm-Produkt anzugeben, welche oder welches eine Differenzierung, insbesondere eine zeitvariante, dynamische Differenzierung, von Einflussgrößen eines dynamischen Systems ermöglicht.
Diese Aufgabe wird durch die neuronale Struktur sowie das Verfahren und die Anordnung sowie durch das Computerprogramm mit Programmcode-Mitteln und das Computerprogramm-Produkt zur Gewichtung von Eingangsgrößen für eine neuronale Struktur mit den Merkmalen gemäß dem jeweiligen unabhängigen Patentanspruch gelöst.
Bei dem Verfahren zur Analyse von Einflussgrößen eines dynamischen Systems unter Verwendung einer ersten und einer zwei- ten neuronalen Teilstruktur, deren Abbildungsverhalten jeweils ein dynamisches Verhalten des Systems beschreiben, - wobei die erste neuronale Teilstruktur derart angepasst ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt,
- wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt, werden:
Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teilstruktur ermittelt, welche Abweichungen ein Maß für eine Gewichtung der Einflussgrößen darstellen.
Die Anordnung zur Analyse von Einflussgrößen eines dynamischen Systems weist eine erste und eine zweite neuronale Teilstruktur auf, deren Abbildungsverhalten jeweils ein dynamisches Verhalten des Systems beschreiben,
- wobei die erste neuronale Teilstruktur derart angepasst ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt, - wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt, wobei die erste und die zweite neuronale Teilstruktur derart miteinander gekoppelt sind, dass Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teilstruktur ermittelt werden, welche Abweichungen ein Maß für eine Gewichtung der Einflussgrößen darstellen.
Die neuronale Struktur weist eine erste und eine zweite neuronale Teilstruktur auf, deren Abbildungsverhalten jeweils ein dynamisches Verhalten eines dynamischen Systems beschreiben,
- wobei die erste neuronale Teilstruktur derart angepasst ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt, - wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt,
- wobei die erste und die zweite neuronale Teilstruktur der- art miteinander gekoppelt sind, dass Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teilstruktur ermittelt werden.
Anschaulich gesehen stellt die Erfindung eine strukturelle
Erweiterung (vgl. Fig. la) einer bekannten neuronalen Struktur dar.
Dynamische Systeme werden üblicherweise als ürsache- Wirkungszusammenhänge (vgl. Ausführungen zu Fig.2, Beziehungen (1) bis (3)) formuliert, welche durch die aus [1], [2] o- der [5] bekannten neuronalen Strukturen abgebildet werden können. Diese Ursache-Wirkungszusammenhänge finden in diesen neuronalen Strukturen darin Ausdruck, dass ein bei diesen neuronalen Strukturen erzeugter Informationsfluss zeitlich vorwärts, d.h. von der Vergangenheit in die Zukunft, gerichtet ist. Solches wird als Vorwärtsverhalten bezeichnet. Ursachen in Eingangsgrößen ut zu vorangegangenen Zeitpunkten (t- 2) , (t-1) , ... führen zu (bemerkbaren) Wirkungen in Ausgangs- großen yt zum Zeitpunkt (t bzw. t+1) . Dabei werden die Eingangsgrößen ut durch die neuronale Ursachen-Wirkungs-Struktur auf die Ausgangsgrößen yt abgebildet.
Die Erfindung erweitert diese neuronalen Ursache-Wirkungs- Strukturen mit einer neuronalen Teilstruktur, welche eine Wirkungs-Ursachenanalyse durchführt und damit eine kausale Synthese vorbereitet.
Bei dieser (Wirkungs-Ursache-) Erweiterungsstruktur bzw. Wir- kungs-Ursache-Struktur wird ein zeitlich rückwärts gerichteter Informationsfluss, d-. h. ein von der- Zukunft in die Vergangenheit gerichteter Informationsfluss, erzeugt. Solches wird als Rückwärtsverhalten bezeichnet. Wirkungen in Ausgangsgrößen yt zum Zeitpunkt (t) "führen" bzw. haben ihre Ursachen in Eingangsgrößen t zum Zeitpunkt (t-1), (t-2), ... . Dabei werden in umgekehrter Weise zur Ursachen-Wirkungs- Struktur Ausgangsgrößen y (als Eingangsgrößen der Erweiterungsstruktur) auf die Eingangsgrößen ut (als Ausgangsgrößen der Erweiterungsstruktur) abgebildet.
Gekoppelt werden die beiden Strukturen dadurch, dass tatsäch- liehe Ursachen mit modellierten Ursachen, welche mittels der Wirkungs-Ursache-Struktur erzeugt werden, verglichen werden und daraus die Relevanz einzelner externer Einflussgrößen abgeleitet werden.
Ein besonderer Vorteil der Erfindung besteht darin, dass durch die Erfindung eine Analyse und darauf aufbauende dynamische Berücksichtigung von Einflussgrößen eines dynamischen Systems nach ihrer zeitlichen Relevanz möglich ist ("Dynamic Feature Selection").
Das Computerprogramm mit Programmcode-Mitteln ist eingerichtet, um alle Schritte gemäß dem erfindungsgemäßen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Das Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln ist eingerichtet, um alle Schritte gemäß dem erfindungsgemäßen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Die Anordnung sowie das Computerprogramm mit Programmcode- Mitteln, eingerichtet um alle Schritte gemäß dem erfinderischen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird, sowie das Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln, eingerichtet um alle Schritte gemäß dem erfinderischen Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird, sind insbesondere geeignet zur Durchführung des erfindungsgemäßen Verfahrens oder einer seiner nachfolgend erläuterten Weiterbildungen.
Dabei können die beschriebenen Softwarelösungen auch dezentral bzw. verteilt realisiert sein, d.h. dass Teile des Computerprogramms oder Teile des Computerprogramm-Produkts - auch als eigenständige Teillösungen - auf verschiedenen (ver- teilten) Computern ablaufen bzw. von diesen ausgeführt werden oder auf verschiedenen Speichermedien gespeichert sind.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Die im weiteren beschriebenen Weiterbildungen beziehen sich sowohl auf das Verfahren als auch auf die Anordnung, die neuronale Struktur, das Computerprogramm mit Programmcode- Mitteln und das Computerprogramm-Produkt.
Die Erfindung und die im weiteren beschriebenen Weiterbildungen können sowohl in Software als auch in Hardware, beispielsweise unter Verwendung einer speziellen elektrischen Schaltung, realisiert werden.
Ferner ist eine Realisierung der Erfindung oder einer im weiteren beschriebenen Weiterbildung möglich durch ein computerlesbares Speichermedium, auf welchem das Computerprogramm mit Programmcode-Mitteln gespeichert ist, welches die Erfindung oder Weiterbildung ausführt.
Auch kann die Erfindung oder jede im weiteren beschriebene Weiterbildung durch ein Computerprogrammerzeugnis realisiert sein, welches ein Speichermedium aufweist, auf welchem das Computerprogramm mit Programmcode-Mitteln gespeichert ist, welches die Erfindung oder Weiterbildung ausführt. Bei einer Weiterbildung ist bzw. sind die erste und/oder die zweite neuronale Teilstruktur ein über mehrere Zeitpunkte entfaltetes neuronales Netz, beispielsweise eine TDRNN, bzw. über mehrere Zeitpunkte entfaltete neuronale Netze, bei wel- ehern bzw. bei welchen eine zeitliche Dimension des beschriebenen dynamischen Systems als räumliche Dimension entwickelt wird.
Zur Realisierung einer automatischen, zeitvarianten und dy- namischen Gewichtung der Einflussgrößen werden die ersten
Eingangsgrößen der ersten neuronalen Teilstruktur unter Verwendung der Abweichungen gewichtet.
Die Erfindung eignet sich insbesondere zur Ermittlung einer Dynamik eines dynamischen Prozesses, welcher dem System zugrunde liegt. Dabei ergibt sich die Dynamik -aus ersten Ausgangsgrößen der ersten neuronalen Teilstruktur. Je höher die Dynamik des Prozesses und die Anzahl der Einflussgroßen auf das dynamische System sind, d.h. je komplexer das dynamische System ist, desto vorteilhafter erweist sich die Erfindung, da durch diese unterschiedliche, sich schnell ändernde Relevanzen von Einflussgrößen berücksichtigt werden können.
Chemische Prozesse sind in der Regel hoch komplex bzw. hoch komplexe dynamische Prozesse und werden durch viele physikalische Größen beeinflusst. Demzufolge eignet sich die Erfindung insbesondere zur Ermittlung und Analyse der Dynamik eines dynamischen Prozesses, wie in einem chemischen Reaktor. Weiterführend kann dann diese Analyse zu einer Überwachung oder Steuerung des dynamischen Prozesses, insbesondere eines chemischen Prozesses, eingesetzt werden.
Entsprechendes gilt für ökonomische oder makroökonomische Prozesse bzw. Systeme, welche sich insbesondere durch eine sehr hohe Zahl von Einflussgrößen auszeichnen, welche sich darüber hinaus sehr dynamisch in ihrer Relevanz ändern. Somit ist die Erfindung insbesondere dazu einsetzbar, um die Dynamik solcher Systeme zu analysieren.
Darüber hinaus eignet sich die Erfindung insbesondere zu ei- ner Prognose eines Zustands des dynamischen Systems. Die
Prognose wird dabei unter Verwendung der ersten Ausgangsgrößen der ersten Teilstruktur erstellt.
Bei einer Weiterbildung weist die Erfindung eine Messanord- nung auf zur Erfassung physikalischer Signale auf, beispielweise ein Elekro-Kardio-Gramm (EKG) , mit denen das dynamische System, in diesem Fall einen menschlichen Kreislauf, beschrieben wird. Zur Analyse des Systems werden dann diese physikalischen Signale, die EKG-Signale, der ersten neurona- len Teilstruktur zugeführt.
Außerdem können die erste neuronale Teilstruktur und die zweite neuronale Teilstruktur derart gekoppelt sein, dass weitere Abweichungen zwischen ersten Ausgangsgrößen der ers- ten neuronalen Teilstruktur und zweiten Eingangsgrößen der zweiten neuronalen Teilstruktur bildbar sind.
Darüber hinaus kann es sinnvoll sein, dass die erste und/oder zweite neuronale Teilstruktur als Error-Correction-Recurrent- Neural-Network (ECRNN) ausgestalten ist/sind. Grundlagen solcher ECRNN sind in [6] beschrieben und können entsprechend in die neuronalen Teilstrukturen eingebaut werden.
Ausführungsbeispiele der Erfindung sind in Figuren darge- stellt und werden im weiteren näher erläutert.
Es zeigen
Figuren la bis lc Skizze einer Grundstruktur einer neuronalen Anordnung und Skizzen einer Anordnung und einer alternativen Anordnung gemäß einem ersten Ausführungs- beispiel (An . : la neu, lb/c entspreche Folie pta_5/14 bzw. 18) ;
Figur 2 eine Skizze einer allgemeinen Beschreibung eines dy- namischen Systems (Anm. : aus alter Anmeldung
99pl348) ;
Figur 3 eine Skizze einer neuronalen Anordnung mit integriertem Error-Correction-Mechanismus gemäß einem zweiten Ausführungsbeispiel (Anm. : entspricht Folie pta_5/20) ;
Figur 4 eine Skizze eines chemischen Reaktors, von dem Größen gemessen werden, welche mit den Anordnungen gemäß dem ersten Ausführungsbeispiel weiterverarbeitet werden
(Anm. : aus alter Anmeldung 99pl34) ;
Figur 5 eine Skizze einer Anordnung eines TDRNN, welche mit endlich vielen Zuständen über die Zeit entfaltet ist (Anm.: aus alter Anmeldung 99pl348);
Figur 6 eine Skizze einer zum "overshooting" geeigneten Weiterbildung eines TDRNN (Anm. : entspricht Folie pta_5/7) ,
Figur 7 eine Skizze eines ECRNN mit grundlegenden funktionalen Beziehungen (Anm.: entspricht Folie pta_5/10).
Figur 8 eine Skizze einer neuronalen Anordnung mit integrier- tem Error-Correction-Mechanismus gemäß einem zweiten
Ausführungsbeispiel (Anm. : entspricht Folie pta 5/22) .
Erstes Ausführungsbeispiel: Chemischer Reaktor Fig.4 zeigt einen chemischen Reaktor 400, der mit einer chemischen Substanz 401 gefüllt ist. Der chemische Reaktor 400 umfaßt einen Rührer 402, mit dem die chemische Substanz 401 gerührt wird. In den chemischen Reaktor 400 einfließende wei- tere chemische Substanzen 403 reagieren während eines vorgebbaren Zeitraums in dem chemischen Reaktor 400 mit der in dem chemischen Reaktor 400 bereits enthaltenen chemischen Substanz 401. Eine aus dem Reaktor 400 ausfließende Substanz 404 wird aus dem chemischen Reaktor 400 über einen Ausgang abge- leitet.
Der Rührer 402 ist über eine Leitung mit einer Steuereinheit 405 verbunden, mit der über ein Steuersignal 406 eine Rührfrequenz des Rührers 402 einstellbar ist.
Ferner ist ein Meßgerät 407 vorgesehen, mit dem Konzentrationen von in der chemischen Substanz 401 enthaltenen chemischen Stoffe gemessen werden.
Meßsignale 408 werden einem Rechner 409 zugeführt, in dem
Rechner 409 über eine Eingangs-/Ausgangsschnittstelle 410 und einem Analog/Digital-Wandler 411 digitalisiert und in einem Speicher 412 gespeichert. Ein Prozessor 413 ist ebenso wie der Speicher 412 über einen Bus 414 mit dem Analog/Digital- Wandler 411 verbunden. Der Rechner 409 ist ferner über die
Eingangs-/Ausgangsschnittstelle 410 mit der Steuerung 405 des Rührers 402 verbunden und somit steuert der Rechner 409 die Rührfrequenz des Rührers 402.
Der Rechner 409 ist ferner über die Eingangs-/Ausgangs- schnittstelle 410 mit einer Tastatur 415, einer Computermaus 416 sowie einem Bildschirm 417 verbunden. Darüber hinaus ist in dem Speicher.412 entsprechend programmierte Software gespeichert, welche die nachfolgende beschrieben Funktionalität ermöglicht. Der chemische Reaktor 400 stellt ein dynamisches, technisches System 200 dar und unterliegt einem dem dynamischen System zugrunde liegenden dynamischen Prozess.
Dieser chemische Prozess ist hoch komplex und weist ein äußerst dynamisches Prozessverhaltern auf, welches von einer Vielzahl von Einflussgrößen mit sich ändernder Relevanz be- einflusst wird.
Der chemische Reaktor 400 wird mittels einer Zustandsbe- schreibung beschrieben. Die Eingangsgröße u setzt sich in diesem Fall zusammen aus einer Angabe über die Temperatur, die in dem chemischen Reaktor 400 herrscht, dem in dem chemischen Reaktor 400 herrschenden Druck, der zu dem Zeitpunkt t eingestellten Rührfrequenz und einer Vielzahl weiterer Einflussgrößen auf das Prozessverhalten. Somit ist die Eingangsgröße ein hochdimensionaler Vektor.
Ziel der im weiteren beschriebenen Modellierung des chemi- sehen Reaktors 400 ist die Bestimmung der dynamischen Entwicklung der Stoffkonzentrationen, um somit eine effiziente Erzeugung eines zu produzierenden vorgebbaren Zielstoffes als ausfließende Substanz 404 zu ermöglichen.
Dies erfolgt unter Verwendung der im weiteren beschriebenen und in den Fig. la bis Fig. lc dargestellten Anordnungen bzw. neuronalen Netzen.
Zum einfacheren Verständnis der den neuronalen Netzen Fig. lb 130 und Fig. lc 160 zugrunde liegenden Prinzipien ist in Fig. la eine neuronale Grundstruktur 100 dargestellt.
Ausgehend von dieser Grundstruktur 100 werden die in Fig. lb und Fig. lc dargestellten neuronalen Netze 130, 160 gebildet.
Dabei sind die in Fig. lb und Fig. lc dargestellten neuronale Netze 130 (Consistency Approach), 160 (Forecast Appraoch) al- ternativ zueinander einsetzbar. Jedes erfüllt die oben beschrieben Aufgabe ("Dynamic Feature Selection") gleichermaßen.
Die bei der Darstellung verwendeten Symbole entsprechen der allgemein üblichen Symbolik bei der Darstellung von neuronalen Strukturen, wie auch schon bei obigen Netzbeschreibungen verwendet .
Fig. la zeigt die neuronale Grundstruktur 100 mit einer ersten neuronalen Teilstruktur 101, deren erstes Abbildungsverhalten ein Vorwärtsverhalten 103 des dynamischen Prozesses bzw. Systems beschreibt. Erste Eingangsgrößen 111 werden durch die erste neuronale Teilstruktur 101 auf erste Ausgangsgrößen 112 abgebildet.
Ferner weist die neuronale Grundstruktur 100 eine zweite neuronale Teilstruktur 102 auf, deren zweites Abbildungsverhalten ein Rückwärtsverhalten 104 des dynamischen Systems be- schreibt. Zweite Eingangsgrößen 113 werden durch die zweite neuronale Teilstruktur 101 auf zweite Ausgangsgrößen 114 abgebildet.
Die Teilstrukturen 101, 102 sind derart miteinander gekop- pelt, dass Abweichungen 120 zwischen den ersten Eingangsgrößen 111 der ersten neuronalen Struktur 101 und den zweiten Ausgangsgrößen 114 der zweiten neuronalen Struktur 102 ermittelbar sind.
Unter Verwendung der Abweichungen 120 werden Gewichte 121 ermittelt, mit welchen die der ersten Teilstruktur 101 zugeführten ersten Eingangsgrößen 111 gewichtet werden.
Anschaulich gesehen stellen diese Gewichtungen einen Filter für die ersten Eingangsgrößen 111 der ersten Teilstruktur 101 dar. Consistency Approach (Fig.lb, 130)
Fig. lb zeigt ein neuronales Netz 130 basierend auf der neuronalen Grundstruktur 100 gemäß dem Consistency Appraoch.
Das neuronale Netz 130 weist eine erste neuronale Teilstruktur 131 sowie eine zweite neuronale Teilstruktur 132 auf, welche jeweils über mehrere Zeitpunkte t, hier (t-3) bis (t+3) bei der ersten 131 bzw. (t) bis (t-3) bei der zweiten neuronalen Teilstruktur 132, entfaltete rekurrente Netze sind.
Die beiden neuronalen Netze 131, 132 weisen selbst jeweils eine Eingangsneuronenschicht 133 bzw. 134, eine versteckte Neuronenschicht 135 bzw. 136 sowie eine Ausgangsneuronen- schicht 137 bzw. 138 auf.
Die Eingangsneuronenschichten 133 und 134 sind jeweils über mit Verbinduήgsmatrizen B bzw. E gewichtete Verbindungen mit den versteckten Schichten 135 und 136 verbunden.
Die Neuronen der versteckten Schichten 135 und 136 sind ihrerseits über mit- Verbindungsmatrizen A bzw. F gewichtete Verbindungen verbunden.
Die Ausgangsneuronenschichten 137 und 138 sind jeweils über mit Verbindungsmatrizen C bzw. G gewichtete Verbindungen mit den versteckten Schichten 135 und 136 verbunden.
Zwischen der Eingangsneuronenschicht 133 der ersten Teilstruktur 131 und der versteckten Neuronenschicht 135 der ersten Teilstruktur 131 ist eine Zwischenneuronenschicht 140, wweellcchhee mmiitt eeiinneerr GGee¬wichtung at gewichtete Zustände atu, , /_. erzeugt, eingezogen Diese Zwischenneuronenschicht 140 ist über mit Verbindungsmatrizen D gewichtete Verbindungen mit der versteckten Schicht 135 verbunden.
Die Ausgangsneuronenschicht 138 der zweiten Teilstruktur 132 ist ferner über mit Verbindungsmatrizen H gewichtete Verbindungen mit der Eingangsneuronenschicht 133 der ersten Teilstruktur 131 verbunden.
In dieser Ausgangschicht 138 werden Zustände, sogenannte Differenzzustände u.*- - Ut) ut-l ~ ut-l^' ut-2 ~~ ut-2^ unc u, _o - u?_3) (in quadrierter Form, Index d: gemessener Zustand u, Index t+/-i: Zeitschritt [i: natürliche Zahl]) gebildet.
Diese Differenzzustände der Ausgangsschicht 138 werden jeweils über eine mit einem Gewichtungsfaktor (-α) gewichtete Verbindung in einem Gewichtungsneuron 139 zusammengeführt.
Die dort erzeugte Gewichtung at wird jeweils über mit einer
Identitätsmatrix Id gewichteten Verbindung in die Neuronen der Gewichtungsschicht 140 eingespeist, wodurch dort die gewichteten Zustände atu, ,_ . erzeugt werden.
Dadurch wird erreicht, dass die dem neuronalen Netz 130 zugeführten Eingangsgrößen automatisch, dynamisch und entsprechend ihrer Relevanz gewichtet werden.
Die Neuronenverknüpfungen sind derart ausgestaltet, dass in der versteckten Schicht 135 der ersten Teilstruktur 131 ein vorwärtsgerichteter Informationsfluss 141, repräsentiert durch Zustände st-3 , ≤t-2 / st-l ' st usw., erzeugt wird. Diese
Zustände erstrecken sich bis zum Zeitpunkt (t+3) , was als "overshooting" aus [5] bekannt ist.
Entsprechend wird in der versteckten Schicht 136 der zweiten Teilstruktur 132 ein rückwärtsgerichteter Informationsfluss 142, repräsentiert durch Zustände rt , r*t_ι , rt-2 ' rt-3 erzeugt.
Dem beschriebenen neuronalen Netz 130 liegen dabei folgende Beziehungen zugrunde:
st = f t-i' atut j; yt = g(st)^ ( 5 )
rt = Hr +l'*yt); ut = G(rt)' (6) wobei F(.), G(.) eine allgemeine Abbildungsvorschrift und inneren Zustandes rt innere Systemzustände bezeichnen
-α∑(ut-i-u^_i)2 at = e i (Aktivitätsfilter) (7
Für ein Training des oben beschriebenen neuronalen Netzes 130 wird ein Verfahren auf der Basis eines Back-Propagation- Verfahrens, wie es in [1] beschrieben ist, verwendet.
Bei dem aus [1] bekannten Verfahren wird in der Trainingsphase folgende Kostenfunktion E minimiert:
Figure imgf000025_0001
wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeichnet wird.
Für das neuronale Netz 130 wird die Kostenfunktion modifiziert zu:
E = ^ Σ (yt ~ y?j + - utf → rnin , (10)
T t=l f,g,F,G yt - yt): oberer minimaler Outputfehler, u^ - U ): unterer minimaler Inputfehler. Besonderes ist hervorzuheben, dass die in der Ausgangsschicht 138 der zweiten Teilstruktur 132 gebildeten Differenzzustände ut - u?) Bestandteile der Kostenfunktion (10) sind. Die beim
Training angestrebte Minimierung der Kostenfunktion (10) führt anschaulich gesehen dazu, dass dadurch "Ursachen" von "Wirkungen" der Dynamik des abgebildeten dynamischen Systems gelernt werden.
Trainingsdaten für das Training nach (5) werden auf folgende Weise aus dem chemischen Reaktor 400 gewonnen.
Es werden mit dem Meßgerät 407 zu vorgegebenen Eingangsgrößen Konzentrationen gemessen und dem Rechner 409 zugeführt, dort digitalisiert und als Zeitreihenwerte in einem Speicher ge- meinsam mit den entsprechenden Eingangsgrößen, die zu den gemessenen Größen korrespondieren, gruppiert.
Im Training werden die Trainingsdaten dem neuronalen Netz 130 zugeführt und dabei die Verbindungsgewichte und auch die Ge- wichtung at angepasst.
Das gemäß dem oben beschriebenen Trainingsverfahren trainierte neuronale Netz 130 wird zur Ermittlung chemischer Größen im chemischen Reaktor 400 eingesetzt derart, daß für eine Eingangsgröße zu einem Zeitpunkt t-1 und eine Eingangsgröße zu einem Zeitpunkt t Prognosegrößen yt+i yt+2 yt+3 n e ner
Anwendungsphase von dem neuronalen Netz ermittelt werden, die anschließend als Steuergrößen nach einer eventuellen Aufbereitung der ermittelten Größen als Steuergrößen 420, 421 dem Steuerungsmittel 405 zur Steuerung des Rührers 402 oder auch einer Zuflusssteuereinrichtung 430 zur Steuerung des Zuflusses weiterer chemischer Substanzen 403 in dem chemischen Reaktor 400 verwendet werden (vgl. Fig.4) .
Forecast Approach (Fig.lc, 160) Fig. lc zeigt die alternative neuronale Struktur 160 basierend auf der neuronalen Grundstruktur 100 gemäß dem Forecast Approach.
Diesem neuronalen Netz 160 liegen folgende Beziehungen zugrunde:
st+ι = f(st' atutJ; y = g(st)' ( 5 λ )
rt_ι = FJrt, y ); ut = G(rt), (6^
-α∑(ut-i-u^_i)2 at = e i . ( l )
Der Aufbau des neuronalen Netzes 160 nach dem Forecast Appro- ach ist identisch mit der des Consistency Approach 130. Zwei über mehrere Zeitpunkte entfaltete neuronale Netze 131 und 132, eines mit einem vorwärtsgerichteten 141 und eines mit einem rückwärtsgerichteten 142 Informationsfluss, sind über eine "Differenzzustände-Schicht" 138, einem Gewichtungsneuron 139 und einer Gewichtungsschicht 140 miteinander verknüpft.
Unterschiede zwischen beiden Netzen 130 und 160 ergeben sich nur in den Bezeichnungen und vereinzelten Verknüpfungen von Zuständen, was aber die Funktionalität und den beiden Netzen zugrundeliegenden grundsätzlichen Ansatz nicht beeinträchtigt bzw. nicht verändert.
Das Training des neuronalen Netzes 160 sowie die Benutzung des neuronalen Netzes 160 in der Anwendung werden entspre- chend dem neuronalen Netz 130 durchgeführt.
2. Ausführungsbeispiel: Mietpreisprognose
Fig.3 zeigt eine neuronale Struktur 300, bei welcher in die neuronale Struktur aus Fig. lc der in [6] beschriebene Error- Korrektion-Mechanismus (ECRNN) integriert wurde (ECRNN Forecast Approach) .
Anzumerken ist, dass der Error-Korrektion-Mechanismus glei- chermaßen in den Consistency Approach integriert werden kann.
Die neuronale Struktur 300 wird wie nachfolgend beschrieben für eine Mietpreisprognose verwendet.
Die Eingangsgröße u*t setzt sich in diesem Fall zusammen aus jährliche Durchschnittsangaben über einen Mietpreis, einem Wohnraumangebot, einer Inflation und einer Arbeitslosenrate sowie weiteren ökonomischen Faktoren, die einen Mietpreis beeinflussen.
Auch in diesem Fall ist die Eingangsgröße ein hochdimensiona- ler Vektor. Eine Zeitreihe der Eingangsgrößen, welche aus mehreren zeitlich aufeinanderfolgenden Vektoren bestehen, weißt Zeitschritte von jeweils einem Jahr auf.
Ziel der im weiteren beschriebenen Modellierung ist die Prognose eines Mietpreises für die folgenden drei Jahre bezüglich eines aktuellen Zeitpunkts t.
ECRNN Forecast Approach (Fig.3, 300)
Die neuronale Struktur 300 in Fig.3 zeigt die um den Error- Correktion-Mechanismus (ECRNN) erweiterte neuronale Struktur 160 basierend auf der neuronalen Grundstruktur 100 gemäß dem Forecast Approach.
Diesem neuronalen Netz 300 liegen folgende Beziehungen zugrunde:
s-t+i = f|st, atuj, yt - y j; yt = t) ' (5 > Λ ) rt_ι = FJrt, y ,ut - u£); ut = G(rt), (6 )
Figure imgf000029_0001
Der Aufbau des neuronalen Netzes 300 nach dem ECRNN Forecast Approach ist identisch mit denen des Forecast Approach 160 und des Consistency Approach 130. Zwei über mehrere Zeitpunkte entfaltete neuronale Netze 131 und 132, eines mit einem vorwärtsgerichteten 141 und eines mit einem rückwärtsgerich- teten 142 Informationsfluss, sind über eine "Differenzzustän- de-Schicht" 138, einem Gewichtungsneuron 139 und einer Gewichtungsschicht 140 miteinander verknüpft.
Unterschiede zu den beiden Netzen 130 und 160 ergeben sich nur in den Error-Correction-Neuronen, was aber die Funktionalität und den den Netzen zugrundeliegenden grundsätzlichen Ansatz nicht beeinträchtigt bzw. nicht verändert.
Das Training des neuronalen Netzes 300 wird entsprechend den neuronalen Netzen 130 und 161 durchgeführt. Weitere Vorgehensweisen für das Training des oben beschriebenen neuronalen Netzes ist in [4] beschrieben.
Im weiteren werden einige Alternativen zu den oben beschriebenen Ausführungsbeispielen aufgezeigt.
Fig.8 zeigt eine alternative neuronale ERCNN-Struktur auf Basis der neuronalen Struktur in Fig.3. Diese alternative neu- ronale Struktur beinhalten wie die im Rahmen der Ausführungsbeispiele beschrieben neuronalen Strukturen die erfinderischen Prinzipien zur Dynamic Feature Selection, so dass obige Ausführungen dazu entsprechend gelten.
Die in dem ersten Ausführungsbeispiel beschriebenen Anordnungen kann auch für die Ermittlung einer Dynamik eines Elektro- Kardio-Gramms (EKG) eingesetzt werden. Damit lassen sich frühzeitig Indikatoren, die auf ein erhöhtes Herzinfarktrisiko hinweisen, bestimmen. Als Eingangsgröße wird eine Zeitreihe aus an einem Patienten gemessenen EKG-Werten verwendet.
Die in dem zweiten Ausführungsbeispiel beschriebene Anordnung kann auch für die Prognose einer makroökonomischer Dynamik, wie beispielsweise eines Wechselkursverlaufs, oder anderen ökonomischer Kennzahlen, wie beispielsweise eines Börsenkur- ses, eingesetzt werden. Bei einer derartigen Prognose wird eine Eingangsgröße aus Zeitreihen relevanter makroökonomischer bzw. ökonomischer Kennzahlen, wie beispielsweise Zinsen, Währungen oder Inflationsraten, gebildet.
Mögliche Realisierungen der oben beschriebenen Ausführungsbeispiele können mit dem Programm SENN, Version 2.3 durchgeführt werden.
In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, Second Edition, ISBN 0-13-273350-1, S. 732-789, 1999.
[2] David E. Rumelhart et al . , Parallel Distributed Processing, Explorations in the Microstructure of Cognition, Vol. 1: Foundations, A Bradford Book, The MIT Press, Cambrigde, Massachusetts, London, England, 1987
[3] H. Rehkugler und H. G. Zimmermann, Neuronale Netze in der Ökonomie, Grundlagen und finanzwirtschaftliche Anwendungen, Verlag Franz Vahlen München, ISBN 3-8006-1871-0, S. 3-90, 1994.
[4] WO00/08599.
[5] WO00/55809.
[6] Zimmermann H.G., Neuneier R. , Grothmann R. , Modelling of Dynamic Systems by Error-Correction-Neural-Networks, in Soofe and Cao (Eds.), Forecasting Financial Data, Kluwer Verlag, ISBN 0792376803, 2002.

Claims

Patentansprüche
1. Verfahren zur Analyse von Einflussgrößen eines dynamischen Systems unter Verwendung einer ersten und einer zweiten neu- ronalen Teilstruktur, deren Abbildungsverhalten jeweils ein dynamisches Verhalten des Systems beschreiben, - wobei die erste neuronale Teilstruktur derart angepasst ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt, - wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt, a) bei dem Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teilstruktur ermittelt werden, welche Abweichungen ein Maß für eine Gewichtung der Einflussgrößen darstellt.
2. Verfahren nach Anspruch 1, bei dem die erste und/oder die zweite neuronale Teilstruktur ein über mehrere Zeitpunkte entfaltetes neuronales Netz ist/über mehrere Zeitpunkte entfaltete neuronale Netze sind.
3. Verfahren nach einem der vorangehenden Ansprüche, bei dem die ersten Eingangsgrößen der ersten neuronalen Teilstruktur unter Verwendung der Abweichungen gewichtet werden.
4. Verfahren nach einem der vorangehenden Ansprüche, eingesetzt zur Ermittlung einer Dynamik eines dynamischen Prozesses, welcher dem System zugrunde liegt, derart, dass erste Ausgangsgrößen der ersten Teilstruktur die Dynamik beschreiben.
5. Verfahren nach einem der vorangehenden Ansprüche, eingesetzt zu einer Prognose eines Zustands des dynamischen Systems, derart, dass die Prognose unter Verwendung erster Ausgangsgrößen der ersten Teilstruktur erstellt wird.
6. Anordnung zur Analyse von Einflussgrößen eines dynamischen Systems unter Verwendung einer ersten und einer zweiten neuronalen Teilstruktur, deren Abbildungsverhalten jeweils ein dynamisches Verhalten des Systems beschreiben,
- wobei die erste neuronale Teilstruktur derart angepasst ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt,
- wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärtsverhalten des dynamischen Systems beschreibt, wobei die erste und die zweite neuronale Teilstruktur derart miteinander gekoppelt sind, dass Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teilstruktur ermittelt werden, welche Abweichung ein Maß für eine Gewichtung der Einflussgrößen darstellen.
7. Anordnung nach Anspruch 6, mit einer Meßanordnung zur Erfassung physikalischer Signale, mit denen das dynamische System beschrieben wird.
8. Anordnung nach Anspruch 6 oder 7, eingesetzt zur Ermittlung einer Dynamik eines dynamischen Prozesses, welcher dem dynamischen System zugrunde liegt, insbesondere eines chemischen Prozesses in einem chemischen Reaktor.
9. Anordnung nach Anspruch 6 oder 7, eingesetzt zur Ermittlung einer Dynamik eines Elekro-Kardio- Gramms .
10. Anordnung nach Anspruch 6 oder 7, eingesetzt zur Ermittlung einer ökonomischer oder makroökono- mischer Dynamik bei einem ökonomischen oder makroökonomischen System.
11. Anordnung nach einem der Ansprüche 6 bis 10, eingesetzt zur Überwachung und/oder Steuerung des dynamischen Systems, wobei erste Ausgangsgrößen der ersten neuronalen Teilstruktur als Überwachungsgrößen und/oder als Steuergrößen einsetzbar sind.
12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte gemäß Anspruch 1 durchzuführen, wenn das Programm auf einem Computer oder Teile des Programms auf mehreren Com- putern ausgeführt wird bzw. werden.
13. Computerprogramm mit Programmcode-Mitteln gemäß Anspruch 12, die auf einem oder mehreren computerlesbaren Datenträger gespeichert sind.
14. Computerprogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln, um alle Schritte gemäß Anspruch 1 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
15. Neuronale Struktur mit einer ersten und einer zweiten neuronalen Teilstruktur, deren Abbildungsverhalten jeweils ein dynamisches Verhalten eines dynamischen Systems beschreiben, - wobei die erste neuronale Teilstruktur derart angepasst • ist, dass deren erstes Abbildungsverhalten ein Vorwärtsverhalten des dynamischen Systems beschreibt, - wobei die zweite neuronale Teilstruktur derart angepasst ist, dass deren zweites Abbildungsverhalten ein Rückwärts- verhalten des dynamischen Systems beschreibt, wobei die erste und die zweite neuronale Teilstruktur derart miteinander gekoppelt sind, dass Abweichungen zwischen ersten Eingangsgrößen der ersten neuronalen Teilstruktur und zweiten Ausgangsgrößen der zweiten neuronalen Teil- Struktur ermittelt werden.
16, Neuronale Struktur nach Anspruch 15, bei der die erste neuronale Teilstruktur und die zweite neuronale Teilstruktur derart gekoppelt sind, dass weitere Abweichungen zwischen ersten Ausgangsgrößen der ersten neuronalen Teilstruktur und zweiten Eingangsgrößen der zweiten neu- ronalen Teilstruktur bildbar sind.
17. Neuronale Struktur nach Anspruch 15 oder 16, bei der die ersten und/oder zweite neuronale Teilstruktur als Error-Correction-Recurrent-Neural-Network (ECRNN) ausgestal- ten ist/sind.
PCT/DE2003/000756 2002-03-20 2003-03-10 Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur Ceased WO2003079285A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10212408 2002-03-20
DE10212408.6 2002-03-20

Publications (2)

Publication Number Publication Date
WO2003079285A2 true WO2003079285A2 (de) 2003-09-25
WO2003079285A3 WO2003079285A3 (de) 2004-09-10

Family

ID=27815812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2003/000756 Ceased WO2003079285A2 (de) 2002-03-20 2003-03-10 Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur

Country Status (1)

Country Link
WO (1) WO2003079285A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012113634A1 (de) * 2011-02-24 2012-08-30 Siemens Aktiengesellschaft Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
CN117035101A (zh) * 2023-07-20 2023-11-10 常州大学 基于自治神经元多涡卷吸引子控制方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5402519A (en) * 1990-11-26 1995-03-28 Hitachi, Ltd. Neural network system adapted for non-linear processing
JP3070643B2 (ja) * 1992-10-23 2000-07-31 株式会社デンソー ニューラルネット型追加学習装置
US6493691B1 (en) * 1998-08-07 2002-12-10 Siemens Ag Assembly of interconnected computing elements, method for computer-assisted determination of a dynamics which is the base of a dynamic process, and method for computer-assisted training of an assembly of interconnected elements

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012113634A1 (de) * 2011-02-24 2012-08-30 Siemens Aktiengesellschaft Verfahren zum rechnergestützten lernen eines rekurrenten neuronalen netzes zur modellierung eines dynamischen systems
CN117035101A (zh) * 2023-07-20 2023-11-10 常州大学 基于自治神经元多涡卷吸引子控制方法及系统
CN117035101B (zh) * 2023-07-20 2024-02-13 常州大学 基于自治神经元多涡卷吸引子控制方法及系统

Also Published As

Publication number Publication date
WO2003079285A3 (de) 2004-09-10

Similar Documents

Publication Publication Date Title
EP2112568B1 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
EP1145192B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
EP3970113B1 (de) Bestimmung eines verschleissgrades eines werkzeugs
WO2000008599A2 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
DE102007026314A1 (de) Verfahren zur Steuerung und/oder Regelung eines Brennstoffzellensystems
EP2433185B1 (de) Vorrichtung und verfahren zum bearbeiten einer prozesssimulationsdatenbasis eines prozesses
EP1252566B1 (de) Anordnung miteinander verbundener rechenelemente und verfahren zur rechnergestützten ermittlung eines zweiten zustands eines systems in einem ersten zustandsraum aus einem ersten zustand des systems in dem ersten zustandsraum
DE19734947A1 (de) Verfahren zur Steuerung von Prozeßvorgängen
EP1055180B1 (de) Verfahren und anordnung zum entwurf eines technischen systems
EP1627263B1 (de) Verfahren sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur ermittlung eines zukünftigen systemverhaltens eines dynamischen systems
DE102006058423A1 (de) Verfahren und Systeme zur vorhersagenden Modellierung unter Nutzung eines Modellkollektivs
EP0978052B1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
DE69328596T2 (de) Optimierung eines Neuralnetzwerks mit Vorwärtskopplung
WO2003079285A2 (de) Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur
EP1145190B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
EP4605762A1 (de) Verfahren zur erkennung von parallelschaltungen in stromversorgungseinrichtungen
EP1114398A2 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
DE102020106857A1 (de) Mikroskopiesystem und verfahren zum verarbeiten von mikroskopbildern
EP1196828B1 (de) Verfahren und anordnung zur vorverarbeitung
EP1190383B1 (de) Verfahren zur rechnergestützten ermittlung einer zugehörigkeit einer vorgegebenen eingangsgrösse zu einem cluster
EP1194890B1 (de) Anordnung und verfahren sowie computerprogramm-erzeugnis und computerlesbares speichermedium zur rechnergestützten kompensation eines ungleichgewichtszustands eines technischen systems
DE19742902A1 (de) Verfahren zur Planung und Durchführung von Versuchen
DE102021205097A1 (de) Computerimplementiertes Verfahren und System zur Bestimmung einer Kostenfunktion
WO2021105114A1 (de) Verfahren zum bestimmen eines stationären modells eines technischen systems
DE102021205098A1 (de) Computerimplementiertes Verfahren und System zur Bestimmung einer Kostenfunktion

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP