Verfahren zur rechnergestutzten Steuerung und/oder Regelung eines technischen Systems
Die Erfindung betrifft ein Verfahren zur rechnergestutzten Steuerung und/oder Regelung eines technischen Systems sowie ein entsprechendes Computerprogrammprodukt.
Heutzutage weisen technische Systeme oftmals eine hohe Kom¬ plexität auf, d.h. sie werden durch Zustande mit einer Viel¬ zahl von Zustandsvariablen beschrieben. Die Zustandsvariablen sind hierbei insbesondere messbare Zustandsgroßen des techni¬ schen Systems, wie z.B. physikalische Großen, wie Druck, Tem¬ peratur, Leistung und dgl . Bei der Steuerung von komplexen technischen Systemen werden oftmals rechnergestutzte Verfahren eingesetzt, welche das dynamische zeitliche Verhalten des technischen Systems unter Berücksichtigung vorbestimmter Kriterien optimieren. Beispiele solcher Verfahren sind Lernverfahren, wie hinlänglich aus dem Stand der Technik bekannte bestärkende Lernverfahren (Reinforcement Learning, siehe Do¬ kument [2]) . Diese Verfahren optimieren das dynamische Verhalten eines technischen Systems durch Bestimmung von geeigneten, am technischen System durchzuführenden Aktionen, wobei diese Aktionen Veränderungen von bestimmten Stellgroßen am technischen System, wie z.B. Veränderung von Ventilstellungen, Erhöhung von Drucken und dgl., umfassen. Jede Aktion wird hierbei in geeigneter Weise durch Belohnung und Bestra¬ fung, beispielsweise unter Einbeziehung einer Kostenfunktion, bewertet, wodurch ein optimales dynamisches Verhalten des technischen Systems erzielt werden kann.
Bei den oben beschriebenen Standardverfahren zur Steuerung bzw. Optimierung des dynamischen Verhaltens von technischen Systemen besteht das Problem, dass solche Verfahren nur im begrenzten Umfang für Zustande mit einer Vielzahl von Zustandsvariablen (d.h. in einem hochdimensionalen Zustands- raum) eingesetzt werden können.
Aus dem Stand der Technik sind sog. Verfahren zu "Feature- Selection" bekannt, mit der Zustandsraume reduziert werden können. Dabei wird jedoch in der Regel nur eine Auswahl der relevanten Zustandsvariablen und nicht eine Verringerung der Dimension des Zustandsraums auf der Basis aller Variablen durchgeführt. Zudem sind diese Verfahren statisch und fuhren keine explizite Betrachtung und Identifizierung des dynamischen Verhaltens des technischen Systems durch.
Aufgabe der Erfindung ist es deshalb, ein Verfahren zur rechnergestutzten Steuerung und/oder Regelung eines technischen Systems zu schaffen, bei dem an sich bekannte Lern- und Opti¬ mierungsverfahren nach einer geeigneten Reduzierung des Zu- Standsraums der Zustande eingesetzt werden können.
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge¬ lost. Weiterbildungen der Erfindung sind in den abhangigen Ansprüchen definiert.
Dem erfindungsgemaßen Verfahren wird eine Charakterisierung des technischen Systems für mehrere Zeitpunkte durch jeweili¬ ge Zustande mit einer Mehrzahl von Zustandsvariablen in einem ersten Zustandsraum zugrunde gelegt. Die Zustande im ersten Zustandsraum werden dabei mit einem rekurrenten neuronalen Netz umfassend eine Eingangsschicht, eine rekurrente ver¬ steckte Schicht und eine Ausgangsschicht mit Hilfe von be¬ kannten Zustanden als Trainingsdaten modelliert, wobei: i) die Eingangsschicht und die Ausgangsschicht jeweils durch die Zustande in dem ersten Zustandsraum für die mehreren
Zeitpunkte gebildet werden; ii) die rekurrente versteckte Schicht durch versteckte Zu¬ stande mit einer Mehrzahl von versteckten Zustandsvariablen in einem zweiten Zustandsraum mit einer zweiten Di- mension gebildet wird, wobei die zweite Dimension niedri¬ ger als die erste Dimension ist.
Schließlich wird ein Lern- und/oder Optimierungsverfahren zur Steuerung und/oder Regelung des technischen Systems bei Ausfuhrung von Aktionen am technischen System durchgeführt, wobei dieses Lern- bzw. Optimierungsverfahren nunmehr die ver- steckten Zustande im zweiten Zustandsraum verwendet.
Da die Dimension des zweiten Zustandsraums vermindert ist, können somit Lern- und/oder Optimierungsverfahren eingesetzt werden, welche in dem ursprunglichen ersten Zustandsraum auf- grund seiner hohen Dimensionen nicht einsetzbar sind. Die Erfindung schafft somit ein Verfahren, mit dem sehr flexibel an sich bekannte Lern- und/oder Optimierungsverfahren auch für hoch komplexe technische Systeme verwendet werden können. Das erfindungsgemaße Verfahren stellt hierbei eine effiziente Möglichkeit der Dimensionsreduzierung des Zustandsraums dar, wobei die hohe Qualität der Identifikation des technischen Systems mit Hilfe rekurrenter neuronaler Netze dazu genutzt wird, um die Entwicklung des Systems mit minimaler Dimension des Zustandsraums abzubilden bzw. zu modellieren. Im Gegen- satz zu bereits existierenden Verfahren mit vergleichbarer
Zielsetzung wird eine explizite Identifizierung und Modellie¬ rung der Dynamik durchgeführt. Insbesondere ermöglicht die Verwendung rekurrenter neuronaler Netze auch eine Modellierung nicht-linearer Dynamiken. Das Verfahren wurde von den Erfindern bereits erfolgreich in einem Verfahren zur Steuerung einer Gasturbine eingesetzt.
Das erfindungsgemaße Verfahren weist insbesondere den Vorteil auf, dass auch technische Systeme mit nicht-linearer Dynamik gesteuert bzw. geregelt werden können. Ferner kann in dem er- findungsgemaßen Verfahren ein rekurrentes neuronales Netz mit einer nicht-linearen Aktivierungsfunktion eingesetzt werden.
Wie bereits oben erwähnt, werden erfindungsgemaß bekannte Lern- und/oder Optimierungsverfahren in einem über ein rekurrentes neuronales Netz ermittelten Zustandsraum verminderter Dimension eingesetzt. Diese Lern- und/Optimierungsverfahren können beispielsweise bestärkende Lernverfahren sein, welche
hinlänglich aus dem Stand der Technik bekannt sind und be¬ reits im Vorangegangenen erwähnt wurden.
Um die Dimension des Zustandsraums weitestmöglich bei gleich- zeitig ausreichender Vorhersagequalitat zu minimieren, wird in einer Ausfuhrungsform des erfindungsgemaßen Verfahrens die zweite Dimension des zweiten Zustandsraums schrittweise so lange herabgesetzt, wie die Abweichung zwischen mit dem re¬ kurrenten neuronalen Netz bestimmten Zustanden und den be- kannten Zustanden der Trainingsdaten kleiner als ein vorbestimmter Schwellenwert ist. Auf diese Weise wird ein minima¬ ler Zustandsraum geschaffen, der eine dateneffiziente Anwendung von bekannten Lernverfahren ermöglicht.
Das erfindungsgemaße rekurrente neuronale Netz ist vorzugs¬ weise derart ausgestaltet, dass jeder Zustand des technischen Systems zu einem jeweiligen Zeitpunkt in der Eingangsschicht über einen versteckten Zustand der versteckten Schicht zu dem jeweiligen Zeitpunkt mit einem Zustand des technischen Sys- tems in der Ausgangsschicht zu einem dem jeweiligen Zeitpunkt nachfolgenden Zeitpunkt gekoppelt ist. Das rekurrente neuro¬ nale Netz stellt hierbei vorzugsweise ein Netz mit dynamisch konsistenter zeitlicher Entfaltung unter Berücksichtigung zukunftiger Zustande dar (im Englischen bezeichnet als "Network with Dynamically Consistent Overshooting" ) . Bei solchen Net¬ zen werden die eigenen Vorhersagen des Netzwerks als Ersatz für unbekannte zukunftige Eingaben im Netzwerk verwendet.
Zur Modellierung der Zustande des ersten Zustandsraums mit dem rekurrenten neuronalen Netz kann insbesondere ein
Backpropagation-Verfahren eingesetzt werden, insbesondere das in der Druckschrift [1] beschriebene Verfahren.
In einer bevorzugten Ausfuhrungsform wird das zur Minimierung des Zustandsraums verwendete rekurrente neuronale Netz durch folgende Gleichungen repräsentiert:
sτ = tanh(^^r_1 + Bxτ + θ)
ιτ+\ = CY
ΣΣ(xτ -4)2 → min t τ A,B,C,Θ
wobei der Wertebereich von τ eine vorbestimmte Anzahl m von Zeitschritten vor dem Zeitpunkt t und eine vorbestimmte An¬ zahl n von Zeitschritten nach dem Zeitpunkt t umfasst;
wobei t G {m,...,T — n} , wobei T die Anzahl an Zeitpunkten, für welche Trainingsdaten vorliegen;
wobei %τ den durch das rekurrente neuronale Netz bestimmten Zustand des ersten Zustandsraums zum Zeitpunkt τ repräsen¬ tiert;
wobei Λrrd den bekannten Zustand zum Zeitpunkt τ gemäß den
Trainingsdaten repräsentiert;
wobei ^z den versteckten Zustand zum Zeitpunkt τ der ver¬ steckten Schicht des rekurrenten neuronalen Netzes repräsentiert;
wobei A, B, C zu bestimmende Matrizen und θ ein zu bestimmen¬ der Bias sind.
Wie bereits oben erwähnt, kann die Erfindung für beliebige technische Systeme eingesetzt werden, welche durch entspre- chende Zustande beschrieben werden. Ein Anwendungsfall ist beispielsweise eine Turbine, insbesondere eine Gasturbine.
Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner ein Computerprogrammprodukt mit einem auf einem ma-
schinenlesbaren Trager gespeicherten Programmcode zur Durchfuhrung des erfindungsgemaßen Verfahrens, wenn das Programm auf einem Rechner ablauft.
Ausfuhrungsbeispiele der Erfindung werden nachfolgend anhand der beigefugten Figur detailliert beschrieben.
Es zeigt:
Fig. 1 eine schematische Darstellung eines rekurrenten neuronalen Netzes, welches in einer Ausfuhrungsform der Erfindung zur Reduzierung der Dimension des ersten Zustandsraums verwendet wird.
In der nachfolgend beschriebenen Ausfuhrungsform der Erfindung wird eine Verminderung der Dimension eines ersten Zustandsraums mit Hilfe eines neuronalen Netzes erreicht. Der erste Zustandsraum ist hierbei charakterisiert durch eine Di¬ mension, welche durch die Anzahl der Zustandsvariablen der Zustande xt des technischen Systems zu jeweiligen Zeitpunkten t charakterisiert ist. Der Zustand xt ist somit ein Zustands- vektor mit Eintragen von Zustandsvariablen eines technischen Systems, wobei Werte der Zustandsvariablen gemessen werden können. Ist das technische System beispielsweise eine Gastur- bine, umfassen die Zustandsvariablen insbesondere Großen wie den Gasdruck, die Gastemperatur, Brennkammerbeschleunigungen und dgl . Die Dimension des ersten Zustandsraums ist dabei meistens hochdimensional und oftmals für bekannte Lernverfah¬ ren zu groß. Deshalb ist es Ziel der Erfindung, die Dimension des Zustandsraums zu minimieren, um bekannte Lernverfahren verwenden zu können. Dies wird in der hier beschriebenen Ausfuhrungsform mit dem rekurrenten neuronalen Netz gemäß Fig. 1 erreicht .
Das Netz der Fig. 1 umfasst eine Eingangsschicht I, welche zu einem betrachteten Zeitpunkt t aus dem entsprechenden hochdi- mensionalen Zustand xt und vergangenen Zustanden xt-i, xt-2, xt_3 usw. gebildet ist. Die Zustande der Eingangsschicht sind
über eine Matrix B mit versteckten Zustanden einer versteckten Schicht H sowie eine Bias θ gekoppelt, wobei einem Zu¬ stand Xt zu einem Zeitpunkt t ein entsprechender versteckter Zustand st zum gleichen Zeitpunkt in der versteckten Schicht H zugeordnet ist. Um eine Reduzierung des ersten Zustands- raums zu erreichen, ist die Dimension des Zustandsraums der versteckten Zustande St, der gemäß den Ansprüchen als zweiter Zustandsraum bezeichnet wird, geringer als die Dimension des ersten Zustandsraums. Die versteckte Schicht H ist hierbei eine rekurrente Schicht, bei der ein versteckter Zustand St zu einem Zeitpunkt t über eine Matrix A und dem Bias θ mit dem Zustand st+i zum nachfolgenden Zeitpunkt gekoppelt ist. Die einzelnen versteckten Zustande st der Schicht H sind wie¬ derum mit einer Ausgangsschicht O verbunden, welche - analog zur Eingangsschicht I - durch Zustande xt des technischen
Systems repräsentiert wird. Hierbei ist ein versteckter Zu¬ stand St zu einem jeweiligen Zeitpunkt t mit dem Zustand xt+i zum nächsten Zeitpunkt t+1 über eine Matrix C gekoppelt.
Das in Fig. 1 gezeigte rekurrente neuronale Netz wird mit Trainingsdaten umfassend bekannte Zustande des technischen Systems trainiert, so dass mit dem Netz das dynamische zeit¬ liche Verhalten des entsprechenden technischen Systems modelliert wird. Das rekurrente Netz gemäß Fig. 1 stellt dabei ein Netz mit dynamischer konsistenter zeitlicher Entfaltung unter Berücksichtigung zukunftiger Zustande dar, was im Englischen als "Network with Dynamically Consistent Overshooting" be¬ zeichnet wird. Dies bedeutet, dass in dem Netz zu einem Zeit¬ punkt t nicht nur Zustande xt, xt-i,..., usw. in der Vergangen- heit, sondern auch zukunftige Zustande xt+i, xt+2/-/ usw. be¬ rücksichtigt werden, wobei die eigenen Vorhersagen des Netzes in der Ausgangsschicht, d.h. in Fig. 1 die Zustande xt+i, xt+2 und xt+3 wiederum als Eingaben in dem Netz verwendet werden. Dies ist in Fig. 1 durch gestrichelte Linien angedeutet, wel- che die Zustande der Ausgangsschicht O mit entsprechenden Zu¬ standen der versteckten Schicht H koppelt. In dem rekurrenten neuronalen Netz gemäß Fig. 1 werden somit die Zustande xτ des Systems selbst vorhergesagt. Auf diese Weise kann die Dynamik
des zugrunde liegenden technischen Systems modelliert werden. Mathematisch wird das Netz der Fig. 1 durch die folgenden Gleichungen repräsentiert:
sτ= tanh(^^r_1 + Bxτ + θ)
Die Gleichungen betreffen das rekurrente neuronale Netz zu einem Zeitpunkt t, wobei zu einem Zeitpunkt t ein Wertebe¬ reich von Zeitpunkten τ berücksichtigt wird, wobei der Werte¬ bereich von τ eine vorbestimmte Anzahl m von Zeitschritten vor dem Zeitpunkt t und eine vorbestimmte Anzahl n von Zeit¬ punkten nach dem Zeitpunkt (dem sog. Overshooting Part) um- fasst .
Es gilt hierbei
te{m,...,T-n}
wobei T die Anzahl an Zeitpunkten repräsentiert, für welche Trainingsdaten, d.h. bekannte Zustande des technischen Sys- tems, vorliegen.
Gemäß den obigen Gleichungen werden als Parameter des neuronalen Netzes die Matrizen A, B, C sowie der Bias θ bestimmt, wobei diese Parameter derart gewählt werden, dass der quadra- tische Fehler zwischen durch das Netz bestimmten Zustanden xτ und den entsprechenden bekannten Zustanden xτ d gemäß den Trainingsdaten minimal ist.
Nach der Modellierung des technischen Systems mit dem rekur- renten neuronalen Netz werden die hieraus erhaltenen Zustande st der versteckten Schicht dazu verwendet, um auf diese Zu-
Stande ein entsprechendes Lern- und/oder Optimierungsverfahren zur Steuerung und/oder Regelung des technischen Systems bei Ausfuhrung von Aktionen am technischen System anzuwenden. Da die Dimension der Zustande in der versteckten Schicht H geringer als die Dimension des ersten Zustandsraums ist, kön¬ nen hierbei auch Lernverfahren eingesetzt werden, welche im ursprunglichen ersten Zustandsraum aufgrund der zu großen Dimension nicht verwendbar sind. Das Verfahren der Erfindung ermöglicht somit eine effektive Reduzierung des Zustands- raums, um eine Vielzahl von bekannten Lern- oder Optimierungsverfahren zur Modellierung des dynamischen Verhaltens des technischen Systems einsetzen zu können. In einer bevorzugten Variante wird hierbei bei der Modellierung der Zustande des ersten Zustandsraums mit dem rekurrenten neuronalen Netz sukzessive die Dimension der versteckten Zustande solange vermindert, wie eine Abweichung der mit dem rekurrenten Netz bestimmten Zustande in der Ausgangsschicht zu den be¬ kannten Zustanden gemäß den Trainingsdaten geringer als ein vorbestimmter Schwellenwert ist. Auf diese Weise kann die bestmögliche Verminderung der Dimension des Zustandsraums er¬ reicht werden.
Als Lern- bzw. Optimierungsverfahren kann beispielsweise ein beliebiges aus dem Stand der Technik bekanntes Verfahren zum bestärkenden Lernen (sog. Reinforcement Learning) eingesetzt werden. Diese Lernverfahren ermöglichen das Lernen von in dem technischen System durchzuführenden Aktionen unter Berücksichtigung von Belohnung bzw. Bestrafung, um hierdurch das dynamische Verhalten des technischen Systems zu optimieren.
Literaturverzeichnis :
[1] D.E. Rumelhart, G.E. Hinton, and R. J. Williams, "Learn- ing internal representations by error propagation" , in Parallel Distributed Processing: Explorations in The
Microstructure of Cognition, D.E. Rumelhart and J. L. M. et al., Eds. Cambridge: MIT Press, 1986, vol. 1, pp. 318-362
[2] Leslie Pack Kaelbling; Michael L. Littman; Andrew W.
Moore, Reinforcement Learning: A Survey, Journal of Ar- tificial Intelligence Research 4 (1996) pp. 237-285