DE69132003T2

DE69132003T2 - Fuzzy-Inferenz-basiertes System und darin enthaltenes neuronales Netzwerk

Info

Publication number: DE69132003T2
Application number: DE69132003T
Authority: DE
Inventors: Noboru Abe; Haruki Inoue; Minoru Koide; Kenichi Nakamura; Keiji Oshima; Masakazu Yahiro
Original assignee: Hitachi Engineering Co Ltd Ibaraki; Hitachi Ltd
Current assignee: Hitachi Ltd; Hitachi Industry and Control Solutions Co Ltd
Priority date: 1990-11-26
Filing date: 1991-11-26
Publication date: 2000-11-16
Anticipated expiration: 2011-11-27
Also published as: US5402519A; EP0488150A2; KR100243353B1; EP0488150B1; DE69132003D1; EP0488150A3; KR920010489A

Description

HINTERGRUND DER ERFINDUNG

Die Erfindung betrifft ein neuronales Netzwerksystem und ein Verfahren zum Erschließen von Zieldaten aus Eingangsdaten mittels eines neuronalen Netzwerks, wie es in den Ansprüchen 1 und 11 dargelegt ist.

BESCHREIBUNG DER EINSCHLÄGIGEN TECHNIK

Ein neuronales Netzwerk kann Mustererkennung eines Bilds oder einer Stimme durch Lernen von Bezugsmustern in einem Informationsverarbeitungssystem ohne Verwendung eines komplizierten Algorithmus ausführen. Beim Einlernen eines neuronalen Netzwerksystems werden, wenn ein zu lernendes Informationsmuster eingegeben wird, die Kopplungen zwischen Neuronen im neuronalen Netzwerk auf solche Weise korrigiert, dass die Abweichung zwischen einem aus dem neuronalen Netzwerksystem abgerufenen Ausgangsmuster und einem Lerninformationsmuster minimiert wird. Durch Wiederholen dieser Verarbeitung wird jedes Neuron im neuronalen Netzwerk so eingestellt, dass es eine spezifizierte Operation ausführt. Die Konfiguration und der Betrieb eines derartigen neuronalen Netzwerks sind z. B. in "Algorithm of Pattern Recognition and Learning" von Yoshinori Kamisaka und Kazuhiko Ozeki, veröffentlicht von Bunichi Sougou Shuppan Co., Ltd., beschrieben.
Eines der wichtigen Probleme beim Anwenden eines neuronalen Netzwerks auf eine tatsächliche Vorrichtung besteht darin, die Merkmale verschiedener Typen von Eingangslerninformationsmustern zu lernen und für Adaptionsfähigkeit auch für ein unbekanntes Eingangsinformationsmuster zu sorgen, das zu den Lerninformationsmustern analog oder homogen ist.
Selbst für das Muster desselben Worts hängt z. B. die Dauer der Aussprache des Worts von der Aussprache oder einem Sprecher ab, und die Eingabe von Sprachdaten in das neuronale Netzwerk muss unterschiedlich konzipiert werden. Als Maßnahme hierfür offenbart JP-A-2-98770 ein neuronales Netzwerksystem, bei dem Variationen hinsichtlich der Dauer unbekannter Sprachdaten dynamisch entlang der Zeitachse normiert werden, um dasselbe Wort zu erkennen.
Andererseits offenbart JP-A-O&sub1;-241667 ein Lernsystem für ein mehrschichtiges neuronales Netzwerk, das in eindeutiger Weise durch nichtlineare Verarbeitung eines Eingangsinformationsmusters mittels eines Normalverteilungsfilters auf dieses Eingangsinformationsmuster reagiert.
Bei den oben genannten bekannten Systemen wird für viele Eingangsinformationen, wie Sprach- oder Bildsignale, die homogen sind und starke Korrelation zeigen, ein zufriedenstellendes Ergebnis erzielt. Diese Systeme zeigen sich jedoch dann als nachteilig, und sie stoßen auf Schwierigkeiten, wenn ein neuronales Netzwerk auf eine Prozesssteuerung oder bei einer Diagnose angewandt wird, bei der verschiedene Typen von Prozessgrößen Eingangsinformationsmuster bilden, und zwar hinsichtlich häufiger Vibrationen oder Schwingungen, wie sie beim Lernen auftreten, was es häufig unmöglich macht, stabile Konvergenz zu gewährleisten.
Z. B. bilden bei der Vorhersage für die Verschmutzung in einem Straßentunnel die Anzahl fahrender Fahrzeuge und der natürliche Wind, die zueinander ziemlich heterogen sind, einen Teil des Eingangsinformationsmusters. Die Erstere hat eine Einheit [Fahrzeuge/5 Minuten] im Bereich von 0 bis 200, und der Letztere [m/s] im Bereich von -5 bis +5. Der Effekt der ersteren auf die Verschmutzung ist derart nichtlinear, dass im Bereich von 0 bis 10 [Fahrzeuge/5 Minuten] im Wesentlichen kein Effekt besteht, der Effekt ziemlich auffällig wird und sich linearer Form annähert, wenn der Bereich von 30 bis 70 [Fahrzeuge/5 Minuten] vorliegt, und die Auswirkung auf die Verschmutzung im Bereich von mehr als 70 [Fahrzeuge/ 5 Minuten] wieder abnimmt. Außerdem ist die Nichtlinearität für große Lastwagen, die große Mengen an Abgasen ausstoßen, übermäßig hoch. Der letztere zeigt andererseits eine ziemlich gleichmäßige Auswirkung auf die Verschmutzung, und er liegt in einem kleinen Bereich.
Wenn die Eingangsinformation verschiedene Dynamikbereiche und beträchtliche undefinierte oder nichtlineare Elemente aufweist, wie oben beschrieben, erschwert es die Anwendung einer Anzahl von Eingangsinformationen in direkter Weise bei einem neuronalen Netzwerk, die Merkmale jeder Information zu entnehmen und daher den Lernvorgang zu konvergieren.
Ferner sind die Aufgaben begrenzt, für die Information auf nichtlineare Weise durch ein spezielles Filter verarbeitet werden kann, wie beim Stand der Technik. In vielen Fällen steht keine feste Maßnahme zur Merkmalsentnahme zur Verfügung.
Ferner erfordert eine Prozesssteuerung oder dergleichen eine Umsetzung des abgerufenen Ausgangssignals eines neuronalen Netzwerks von einem scharfen Wert in eine kontinuierliche Größe. Daher ist die Quantisierung schwierig, wenn ein nichtlineares Element deutlich auffällt.
Ein anderes wichtiges Problem beim Anwenden eines neuronalen Netzwerks auf eine tatsächliche Vorrichtung besteht in der Tatsache, dass viel Zeit dazu erforderlich ist, beim Lernen und beim Abrufen das Produkt und eine nichtlineare Funktion zu berechnen. Eine Lösung zu diesem Problem ist in JP-A-1- 201764 offenbart. Gemäß dieser Offenbarung wird der nächste Zustand (Ausgangswert) des nächsten Neurons durch Berechnung der Produkte aus den Zuständen (Ausgangswerte) mehrerer Neuronen und mehreren Kopplungskoeffizienten (Gewichte von Synapsen) und durch nichtlineare Berechnung auf Grundlage der Gesamtsumme dieser Produkte bestimmt. Für diesen Prozess erfolgte der Vorschlag, die Geschwindigkeit der nichtlinearen Berechnung dadurch zu erhöhen, dass die Berechnunghinsichtlich der Neuronen parallel erfolgt.
Eine Lösung zu diesem Problem von einem anderen Gesichtspunkt her, wie in JP-A-64-82133 offenbart, schlägt ein Verfahren zum Verbessern des Lernvermögens eines neuronalen Netzwerks durch erneutes Initialisieren der beim Lernprozess gesperrten Neuronen vor.
Jedoch zeigen die oben beschriebenen herkömmlichen Systeme immer noch Nachteile, die ungelöst sind, nämlich dahingehend, dass es dem neuronalen Netzwerk nicht gelingt, für die betroffenen Probleme optimiert zu werden, und dass die Anwendung bei einem Objekt, das einen riesigen Umfang an Berechnungen oder Echtzeitverarbeitung benötigt, schwierig ist. Dies erschwert es, die herkömmlichen Systeme auf die Vorhersage, Diagnose oder Steuerung eines Prozesses oder dergleichen anzuwenden, die einen sehr großen Lernumfang oder einen Abrufprozess benötigen.
Noch ein anderes wichtiges Problem, auf das man beim Anwenden eines neuronalen Netzwerks auf eine tatsächliche Vorrichtung trifft, besteht darin, dass es häufig unmöglich ist, Konvergenz beim Lernen und hohe Abrufgeschwindigkeit zu gewährleisten.
Ein typisches neuronales Netzwerk, wie es in jüngerer Zeit durch viele Literaturstellen eingeführt wurde, verfügt über eine mehrschichtige Struktur mit einer Eingangsschicht, einer Ausgangsschicht und einer (versteckten) Zwischenschicht, wobei alle Neuronen benachbarter Schichten durch Synapsen verbunden sind. Das Lernverfahren wird als "Lernverfahren mit Fehlerausbreitung in Rückwärtsrichtung" bezeichnet, und es ist dergestalt, dass ein gelerntes Informationsmuster in das neuronale Netzwerk eingegeben wird und der Kopplungskoeffizient (Synapsengewicht) so eingestellt wird, dass die Abweichung vom Idealwert des Ausgangsinformationsmusters, d. h. gegenüber dem Lerninformationsmuster, minimal ist.
Bei Abschluss des Lernvorgangs ist das Gewicht jeder Synapse fixiert. Die Ausgangsinformation des Prozesses kann z. B. auch für ein unbekanntes Eingangsinformationsmuster erhalten werden, das sich vom Lerninformationsmuster unterscheidet. Diese Technik eines neuronalen Netzwerks ist z. B. in "Algorithm of Pattern Recognition and Learning", wie oben genannt, im Einzelnen beschrieben. Auch ist eine spezielle Schaltungskonfiguration eines neuronalen Netzwerks z. B. in JP-A-1-201764 offenbart.
Eine vergleichsweise effektive Anwendung eines neuronalen Netzwerks, wie des oben beschriebenen, findet sich bei der Vorhersage von Wertpapierpreisen und der Mustererkennung. In diesem Fall werden Merkmale eines gegebenen Ereignisses, d. h. die chronologische Änderung von Wertpapierpreisen oder eine Bildverteilung zur Vorhersage und Erkennung gelernt. Eine Anwendung eines neuronalen Netzwerks auf Prozesssteuerung und für verschiedene Diagnosen erfordert jedoch die Handhabung einer großen Anzahl von Parametern und Stellgliedern, so dass dann, wenn diese unverändert als Eingangs/Ausgangs-Information eines neuronalen Netzwerks verwendet werden, es in vielen Fällen praktisch unmöglich ist, für Konvergenz beim Lernvorgang oder für hohe Geschwindigkeit beim Abrufen zu sorgen. Tatsächlich steckt ein neuronales Netzwerk voller großer Schwierigkeiten, wenn es um die Anwendung bei komplizierten Problemen geht.
Die oben genannten Probleme im Stand der Technik werden unter Verwendung der Mustererkennung von Zahlen, wie in den Fig. 49A und 49B dargestellt, als Beispiel erläutert. Das in Fig. 49A dargestellte neuronale Netzwerk erhält als Eingangsinformationsmuster ein in 64 Segmente unterteiltes Bild, und es hat entsprechend 64 Neuronen in der Eingangsschicht. Der Zwischenschicht sind 20 Neuronen zugeordnet. Bei diesem neuronalen Netzwerk konvergiert, wie es sich aus einem Vergleich mit Fig. 49B ergibt, der Lernvorgang innerhalb kurzer Zeit mit höherer Abrufgenauigkeit. Eine erhöhte Anzahl von Neuronen verringert jedoch die Abrufgeschwindigkeit.
Beim in Fig. 49B dargestellten neuronalen Netzwerk wird dagegen dasselbe Bild in 16 Segmente als Eingangsinformationsmuster unterteilt, und es enthält 16 Neuronen in der Eingangsschicht, 10 Neuronen in der Zwischenschicht und 10 Neuronen in der Ausgangsschicht. Bei diesem neuronalen Netzwerk erhöht, im Vergleich zu dem, das in Fig. 49A dargestellt ist, die kleinere Anzahl von Neuronen die Abrufgeschwindigkeit, obwohl die Lernkonvergenz und die Abrufgenauigkeit verringert sind. Anders gesagt, wird bei einer Zunahme der Gesamtanzahl von Neuronen die Berechnung der Produktsumme übermäßig aufwendig, so dass die Verarbeitungsgeschwindigkeit fällt.
Auch sind, da eine verringerte Anzahl von Neuronen zu weniger verarbeiteten Elementen führt, die Lernkonvergenz und die Abrufgenauigkeit nachteilig beeinflusst.
Auf diese Weise verbergen sich im Stand der Technik einander widersprechende Probleme der Verarbeitungsgeschwindigkeit und der Genauigkeit, was ihre Anwendung auf die Lösung tatsächlicher Probleme mittels eines neuronalen Netzwerks erschwert.
Beim Versuch, diese Probleme im Stand der Technik zu beseitigen, erfolgten verschiedene Vorschläge. Z. B. offenbart JP- A-64-82133 ein Verfahren zum Verbessern der Genauigkeit um mehrere Prozentpunkte durch Initialisieren von Neuronen, die im Lernprozess gesperrt waren, um ein neues Lernen zu ermöglichen. Auch schlägt JP-A-1-248268 ein Verfahren zum Verbessern der Ausbreitungsverarbeitungsgeschwindigkeit in einem neuronalen Netzwerk durch mehrere parallele Berechnungsschaltungen und Pipelineverarbeitung vor.
Keiner dieser Vorschläge, die entweder den Wirkungsgrad oder die Geschwindigkeit auf Grundlage üblicher Informationsverarbeitungstechniken verbessern, sorgt für eine substanzielle Lösung der Probleme verbesserter Verarbeitungsgeschwindigkeit und höherer Genauigkeit.
Ein Forschungsvorhaben, bei dem das Gehirn als Anordnung von Untersystemen angenommen wird, zielt auf das Analysieren des Inhalts der Untersystem ab, um die wesentliche Art des Gehirns zu erfassen. Es wird davon ausgegangen, dass diese Bemühungen zur Optimierung mittels Minimierung der Netzwerckonfiguration beim Nachbilden des Gehirns durch ein neuronales Netzwerk beitragen. Unter diesen Umständen wurde jedoch kein wirkungsvolles Verfahren zur Segmentierung von Untersystemen vorgeschlagen.

ZUSAMMENFASSUNG DER ERFINDUNG

Die Erfindung wurde angesichts der oben genannten Probleme entwickelt, und daher liegt ihr die Aufgabe zugrunde, ein System und ein Verfahren zum Erschließen von Zieldaten aus Eingangsdaten mittels eines neuronalen Netzwerks, wie es in den Ansprüchen 1 und 11 dargelegt ist, zu schaffen.
Gemäß einer ersten Ausführungsform des Systems und des Verfahrens gemäß der Erfindung erfolgt die Verarbeitung in einem neuronalen Netzwerk nicht entsprechend den Absolutwerten eingegebener Information, wie bei einem linearen Modell, sondern durch Entnahme von Merkmalsgrößen derselben, und sie beruhen auf der Idee, dass nicht jeder Eingangswert in eine Neuroneneingangsschicht mit derselben Dimension (Dimensionseinheit) gehandhabt werden muss. Daher geht die Erfindung dahin, dass selbst dann, wenn die Eingangsinformation verschiedene Bereiche aufweist und starke Nichtlinearität und viele unbestimmte Elemente enthält, ein Lernen/Abrufen unter Verwendung qualitativer Werte möglich ist, die durch Fuzzy- Zugehörigkeitsfunktionen hergeleitet wurden, um für spezielle qualitative Ausdrücke als Eingangsinformation in das neuronale Netzwerk zu sorgen, wenn die Beziehung zwischen Eingangswerten und dem abgerufenen Ergebnis in gewissem Ausmaß erfasst werden kann und auf qualitative Weise ausgedrückt werden kann.
Auch kann selbst dann, wenn die abgerufene Information eines neuronalen Netzwerks ein stark nichtlineares Element enthält, ein quantifizierter Wert dadurch bestimmt werden, dass das aus dem neuronalen Netzwerk abgerufene Ergebnis entfuzzifiziert wird, solange die Beziehung zwischen dem hergeleiteten Wert und dem quantifizierten Wert in gewissem Umfang bekannt ist, und zwar angesichts der Tatsache, dass das abgerufene Ergebnis einer qualitativen Bewertung entspricht.
Wie oben erläutert, ist ein Lernen/Abrufen bei einem neuronalen Netzwerk möglich, das in geeigneter Weise auf verschiedene Typen von Eigenschaften eines Prozesses reagieren kann, wenn das System und das Verfahren gemäß der Erfindung auf verschiedene Informationen bei der Prozessdiagnose und der Prozesssteuerung angewandt werden, wofür bisher keine Anwendungsfähigkeit angenommen wurden, wobei die Anwendung entsprechend der Art jeder Information erfolgt. Ferner erfolgt die Nichtlinearitätsverarbeitung auf Grundlage des Konzepts eines Fuzzysatzes, und demgemäß kann die Erfindung bei nichtlinearer Verarbeitung angewandt werden, wenn die Beziehung zwischen der Eingangsinformation und abgerufener Information in gewissem Ausmaß aus Erfahrungswerten und Versuchen vorbestimmt ist, was dazu führt, dass der Anwendungsbereich erweitert ist.
Auch ist bei einem neuronalen Netzwerksystem, das Fuzzybewertung von Eingangsinformation sowie Quantifizierung eines abgerufenen Ergebnis kombiniert, die Inferenzregel bei herkömmlicher Fuzzyinferenz durch das spezielle neuronale Netzwerk ersetzbar. Im Ergebnis kann die Abstimmzeit verkürzt werden und die Genauigkeit kann im Vergleich mit herkömmlicher Fuzzyinferenz verbessert werden.
Gemäß einer zweiten Ausführungsform des Systems und des Verfahrens gemäß der Erfindung beruht ein in Vorwärtsrichtung arbeitendes neuronales Netzwerk auf der Eigenschaft, dass um so mehr scheintote Zustände von Synapsen/Neuronen auftreten, je ausreichender das Lernen erfolgt, was es erschwert, die scheintoten Synapsen/Neuronen in ihrer unmittelbaren Form wieder funktionsfähig zu machen. Genauer gesagt, wird ein neuronales Netzwerk dadurch optimiert, dass sowohl Synapsen mit einem Absolutwert des Synapsengewichts unter einem vorbestimmten Wert nahe null als auch Neuronen mit allen davon abgetrennten Synapsen getrennt werden. So ist es möglich, redundante Produktberechnung und die Berechnung nichtlinearer Funktionswerte beim Lernen und Abrufen zu beseitigen, was die Verarbeitungsfunktion verbessert.
Gemäß einer dritten Erscheinungsform eines Systems und eines Verfahrens gemäß der Erfindung ist ein neuronales Netzwerksystem auf Grundlage der Technik geschaffen, dass ein tatsächliches System auf den Gebieten der Industrie und der Informationstechnik in einem begrenzten Bereich der Eingabeinformation und des Gewichtungskoeffizienten ausreichend wirkungsvoll arbeitet, weswegen die Berechnung der Produkte und der nichtlinearen Funktion, die viel Zeit benötigt, durch Begrenzen des in einem neuronalen Netzwerk verwendeten Zahlenraums auf einen vorbestimmten Bereich begrenzt wird. Im Ergebnis werden mehrere Eingangswerte xi (i = 1 bis n) für Neuronen in einer Eingangsschicht in einen vorbestimmten Bereich normiert, so dass die Berechnungsergebnisse und die Synapsengewichte in Neuronen von einer Eingangs- bis zu einer Ausgangsschicht auf einen vorbestimmten Bereich eingestellt werden. Demgemäß sind die erforderlichen Berechnungsergebnisse, wie das Produkt, der Quotient, der Energieverbrauch und dergleichen vorab in Tabellen registriert, und demgemäß können diese Berechnungsvorgänge durch einen unmittelbaren Bezugnahmeprozess auf die Tabellen dadurch ersetzt werden, dass eine Adressierung entsprechend einer Eingangsinformation erfolgt, so dass die Geschwindigkeit des großen Umfangs von Berechnungsprozessen beim Lernen und Abrufen beachtlich verbessert werden kann.
Ferner erfolgt die Verarbeitung in einem neuronalen Netzwerk nicht auf Grundlage der Absolutwerte der Eingangsinformation, wie bei einem linearen Modell, sondern durch Entnehmen von zugehörigen Merkmalsgrößen. Die Normierung jedes Eingangswerts xi (i = 1 bis n) für die Neuronen der Eingangsschicht wird daher nicht notwendigerweise in derselben Dimension (Einheitsdimension) erweitert oder verringert. Dieser Faktor ist insbesondere bei der Diagnose und der Steuerung eines Prozesses von Nutzen, wobei es sich um ein Anwen dungsobjekt für die Erfindung handelt, und eine Normierung, die lineare und nichtlineare Verarbeitung verschiedener Eingangsinformationen enthält, erlaubt ein Lernen/Abrufen mit hoher Geschwindigkeit und hoher Genauigkeit.
Gemäß einer vierten Erscheinungsform eines Systems und eines Verfahrens gemäß der Erfindung ist die Segmentierungseinheit eines neuronalen Netzwerks klar auf Grundlage der Erfahrungen eines qualitativen Wirkungsnetzwerks hinsichtlich Eingangsinformation und abgerufener Zielinformation definiert. Da Unternetze mit kausalen Beziehungen akkumuliert werden, wird die Netzwerkkonfiguration optimiert, ... um dadurch die Verarbeitungsgeschwindigkeit und die Genauigkeit gleichzeitig zu verbessern.
Auch werden Synapsenverbindung von Neuronen, die nicht miteinander korreliert sind, d. h. scheintote Synapsen aus dem neuronalen Netzwerk ausgeschlossen. Alle für den Lernvorgang im neuronalen Netzwerk redundanten Operationen können daher beseitigt werden, was ein Konvergieren des Lernvorgangs innerhalb einer kurzen Zeitdauer ermöglicht.
Ferner erleichtert ein Prozesssteuerungssystem, das ein optimiertes neuronales Netzwerk verwendet, das sich so verhält, als würde ein qualitatives Wirkungsnetzwerk für den Prozess für qualitative Inferenz transplantiert, die Konstruktion eines Steuerungssystems, und durch dasselbe werden hochgenaue Vorhersage und Echtzeitverarbeitung in demselben realisiert.
Das optimierte neuronale Netzwerk und die Lernfunktion desselben gemäß dem System und dem Verfahren der Erfindung, die die herkömmliche Fuzzytheorie mit hoher Genauigkeit ersetzen können, beseitigen die Definition der Inferenzregel und das Abstimmen von Mitgliedsfunktionen vollständig, die sich bei Anwendungen der Fuzzytheorie auf komplizierte Prozesse als Flaschenhals erwiesen haben.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockdiagramm, das die allgemeine Konfiguration eines neuronalen Netzwerksystems gemäß einem ersten Ausführungsbeispiels des Systems und des Verfahrens gemäß der Erfindung zeigt;
Fig. 2 ist ein Blockdiagramm, das einen in Fig. 1 dargestellten Fuzzyabschnitt für qualitative Auswertung zeigt;
Fig. 3 ist ein Diagramm zum Erläutern von Zugehörigkeitsfunktionen im Fuzzyabschnitt sowie einer zugehörigen Operation.
Fig. 4 ist ein Diagramm zum Erläutern von Operationen eines in Vorwärtsrichtung wirkenden neuronalen Netzwerks und eines in Fig. 1 dargestellten Quantifizierabschnitts;
Fig. 5 ist ein Blockdiagramm, das eine Konfiguration einer ersten Modifizierung des Abschnitts des neuronalen Netzwerks zeigt;
Fig. 6 ist ein Diagramm zum schematischen Erläutern eines in Fig. 1 dargestellten neuronalen Netzwerks;
Fig. 7 ist ein Flussdiagramm, das eine Funktion eines in Fig. 5 dargestellten Entnahmeabschnitts zeigt, um funktionsmäßig scheintote Synapsen/Neuronen aus dem neuronalen Netzwerk herauszunehmen;
Fig. 8 ist ein Diagramm, das die Zustände eines neuronalen Netzwerks vor und nach der Herausnahme scheintoter Synapsen/ Neuronen zeigt;
Fig. 9 ist ein Flussdiagramm, das eine Operation des Entnahmeabschnitts beim Abrufen einer Information aus dem neuronalen Netzwerk zeigt;
Fig. 10 ist ein Blockdiagramm, das eine Konfiguration der zweiten Modifizierung des in Fig. 1 dargestellten neuronalen Netzwerkabschnitts zeigt;
Fig. 11 ist ein Blockdiagramm, das eine Konfiguration eines in Fig. 10 dargestellten Informationsnormierungsabschnitts zeigt;
Fig. 12 ist ein Diagramm zum Erläutern einer Operation des Informationsnormierungsabschnitts mit linearer Charakteristik;
Fig. 13 ist ein Diagramm zum Erläutern einer Operation des Informationsnormierungsabschnitts mit nichtlinearer Charakteristik;
Fig. 14 ist ein Blockdiagramm, das detailliert die Konfiguration des neuralen Netzwerkabschnitts gemäß dem zweiten Ausführungsbeispiel zeigt;
Fig. 15 ist ein Diagramm zum Erläutern des neuronalen Netzwerkabschnitts gemäß der zweiten Modifizierung;
Fig. 16A und 16B sind Diagramme, die eine Produktwert- bzw. eine Funktionswerttabelle zeigen;
Fig. 17A und 17B sind Diagramme, die spezielle Beispiele der Produktwert- bzw. der Funktionswerttabelle zeigen;
Fig. 18 ist ein Flussdiagramm zum Erläutern eines Abrufvorgangs im neuronalen Netzwerksystem, das den neuronalen Netzwerkabschnitt gemäß der zweiten Modifizierung enthält;
Fig. 19 ist ein Diagramm zum Erläutern des Effekts eines neuronalen Netzwerksystems, das den neuronalen Netzwerkabschnitt gemäß der zweiten Modifizierung enthält;
Fig. 20 ist ein Blockdiagramm, das eine Konfiguration der dritten Modifizierung des neuronalen Netzwerkabschnitts zeigt;
Fig. 21 ist ein Blockdiagramm, das eine Konfiguration der vierten Modifizierung des neuronalen Netzwerkabschnitts zeigt;
Fig. 22 ist ein Funktionsblockdiagramm, das die Konfiguration der vierten Modifizierung des neuronalen Netzwerkabschnitts zeigt;
Fig. 23 ist ein Flussdiagramm, das eine grundlegende Definitionsverarbeitung eines neuronalen Netzwerks und ein qualitatives Wirkungsnetzwerk zeigt;
Fig. 24A, 24B und 24C sind Diagramme, die jeweilige Definitionsdateien des qualitativen Wirkungsnetzwerks in Fig. 23 zeigen;
Fig. 25A und 25B sind Diagramme, die Beispiele für jeweilige Definitionsdateien im neuronalen Netzwerk, wie in Fig. 23 verwendet, zeigen;
Fig. 26 ist ein detailliertes Flussdiagramm zum Definieren von Synapsenverbindungen in Fig. 23;
Fig. 27 ist ein Diagramm, das Definitionsdateien für die im Flussdiagramm der Fig. 26 verwendeten Synapsenverbindungen zeigt;
Fig. 28 ist ein Diagramm zum Erläutern von Synapsenverbindungen in einem herkömmlichen neuronalen Netzwerk, im Vergleich zu denen bei der Erfindung;
Fig. 29 ist ein Diagramm zum Erläutern des Konzepts von Fuzzyinferenz im Vergleich mit demjenigen einer neuronalen Netzwerkinferenz;
Fig. 30 ist ein Diagramm zum Erläutern des Grundkonzepts zum Erzeugen eines neuronalen Netzwerks gemäß der Erfindung aus einem qualitativen Wirkungsnetzwerk;
Fig. 31 ist ein Blockdiagramm, das eine Konfiguration der ersten Modifizierung eines neuronalen Netzwerksystems gemäß dem System und dem Verfahren gemäß der Erfindung zeigt;
Fig. 32 ist ein Blockdiagramm, das eine Konfiguration der zweiten Modifizierung eines neuronalen Netzwerksystems gemäß dem System und dem Verfahren gemäß der Erfindung zeigt;
Fig. 33A, 33B und 33C sind Diagramme, die jeweilige Mitgliedsfunktionen für qualitative Auswertung von Information zeigen, die in ein neuronales Netzwerksystem gemäß einer zweiten Ausführungsform eingegeben wird;
Fig. 34 ist ein Blockdiagramm, das eine Konfiguration des neuronalen Netzwerksystems gemäß einem dritten Ausführungsbeispiel des Systems und des Verfahrens gemäß der Erfindung zeigt;
Fig. 35 ist ein Blockdiagramm, das eine Konfiguration des neuronalen Netzwerksystems gemäß einem vierten Ausführungsbeispiels des Systems und des Verfahrens gemäß der Erfindung zeigt;
Fig. 36 ist ein Diagramm zum Erläutern von Eingangs/Ausgangs-Information bei einem Verschmutzungsvorhersagesystem;
Fig. 37 ist ein Blockdiagramm, das eine Konfiguration eines neuronalen Netzwerksystems gemäß dem Verfahren und System gemäß der Erfindung zeigt, das bei einem Verschmutzungsvorhersagesystem angewandt ist;
Fig. 38 ist ein Diagramm, das ein Modell eines Tunnelbelüftungsprozesses zeigt;
Fig. 39 ist ein Diagramm, das Korrelationen zwischen einem gemessenen Wert und einem durch mehrstufige Fuzzyschlussfolgerung vorhergesagten Wert zeigt;
Fig. 40 ist ein Diagramm, das eine zeitabhängige Charakteristik für die Korrelation zwischen dem gemessenen Wert und dem vorhergesagten Wert zeigt;
Fig. 41 ist ein Diagramm zum Erläutern einer Operation eines in Fig. 37 dargestellten Quantifizierungsabschnitts;
Fig. 42 ist ein Diagramm zum Erläutern des Effekts eines neuronalen Netzwerksystems gemäß dem System und dem Verfahren gemäß der Erfindung; das bei einem Verschmutzungsvorhersagesystem angewandt ist;
Fig. 43 ist ein Blockdiagramm, das eine Konfiguration eines neuronalen Netzwerksystems gemäß dem System und dem Verfahren gemäß der Erfindung zeigt, das bei einer Prozesssteuerung angewandt ist;
Fig. 44 ist ein Diagramm, das ein qualitatives Wirkungsnetzwerk für ein Tunnelbelüftungssystem als Prozesssteuerung zeigt;
Fig. 45A, 45B und 45C sind Diagramme, die jeweilige Definitionsdateien des qualitativen Wirkungsnetzwerks für das Tunnelbelüftungssystem zeigen;
Fig. 46A, 46B, 46C-1 und 46C-2 sind Diagramme, die jeweilige Definitionsdateien des neuronalen Netzwerks für das Tunnelbelüftungssystem zeigen;
Fig. 47 ist ein Blockdiagramm, das eine Konfiguration eines neuronalen Netzwerks gemäß dem System und dem Verfahren gemäß der Erfindung in Anwendung auf das Tunnelbelüftungssystem zeigt;
Fig. 48 ist ein Diagramm zum Erläutern einer Operation der in Fig. 45 dargestellten Prozesssteuerung und
Fig. 49A und 49B sind Diagramme zum Erläutern jeweiliger herkömmlicher neuronaler Netzwerke.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE

Nun wird ein neuronales Netzwerksystem gemäß dem System und dem Verfahren gemäß der Erfindung als Expertensystem unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
Als erstes wird ein neuronales Netzwerksystem gemäß einem Ausführungsbeispiel des Systems und des Verfahrens gemäß der Erfindung erläutert. Die Fig. 1 bis 4 sind Diagramme zum Erläutern des Ausführungsbeispiels der Erfindung. Im Blockdiagramm der Fig. 1 ist eine allgemeine Konfiguration des erfindungsgemäßen neuronalen Netzwerksystems dargestellt. Das System 1 beinhaltet einen Fuzzyabschnitt 2 zum qualitativen Auswerten eines Musters X gelernter/unbekannter Information, die durch eine Eingabeeinheit 31 eingegeben wird, ein neuronales Vorwärtsnetzwerk 6, einen Fuzzyabschnitt 4 zum qualitativen Auswerten eines Lerninformationsmusters d(X), einen Gewichtkorrekturabschnitt 7 zum Korrigieren von Gewichten von Synapsenverbindungen durch Rückwärtsausbreitung einer Abweichung, einen Quantifizierungsabschnitt 3 zum Umsetzen eines Ausgangssignals des neuronalen Netzwerks 6 in einen quantifizierten Wert, eine Ausgangseinheit 32 zum Ausgeben des Ergebnisses z. B. durch Anzeigen desselben, und einen Steuerungsabschnitt 8 zum Steuern von Operationen der jeweiligen Abschnitte. Die Abschnitte 6, 7 und 8 bilden einen neuronalen Netzwerkabschnitt 5. Die Fuzzyabschnitte 2, 4, der Korrekturabschnitt 7, der Steuerungsabschnitt 8 und das Netzwerk 6 bilden eine Lerneinheit, während der Fuzzyabschnitt 2, das Netzwerk 6, der Steuerungsabschnitt 8 und der Quantifizierungsabschnitt 3 eine Abrufeinheit bilden.
Beim vorliegenden Ausführungsbeispiel beinhaltet das neuronale Netzwerk 6 eine Eingangsschicht zum Eingeben von Information, eine Ausgangsschicht zum Ausgeben des Endergebnisses, mindestens eine zwischen die Eingangs- und die Ausgangsschicht eingefügte Zwischenschicht, eine Anzahl von Neuronen und Synapsen mit Gewichtungskoeffizienten für die Verbindung zwischen Neuronen benachbarter Schichten. Die Eingangsinformation wird durch die Fuzzyabschnitte 2 und 4 unter Verwendung von Fuzzy-Zugehörigkeitsfunktionen, die entsprechend empirischem Wissen vorbestimmt wurden und in einem Dynamikbereich normiert wurden, einer qualitativen Bewertung unterzogen und dann in die Eingangsschicht des neuronalen Netzwerks 6 eingegeben. Der Ausgangswert des neuronalen Netzwerks 6, der als qualitative Auswertung von empirisch vorbestimmten Fuzzy-Zugehörigkeitsfunktionen angese hen wird, wird durch den Quantifizierungsabschnitt quantifiziert.
Fig. 2 zeigt eine Konfiguration des Fuzzyabschnitts 2, die ähnlich der des Abschnitts 4 ist. Dieser Abschnitt 2 beinhaltet einen Adaptionsfähigkeit-Verarbeitungsabschnitt 21 (21-1, ..., 21-n) zum qualitativen Bewerten von Information X ( = x&sub1;, x&sub2;, ..., xn) als Muster gelernter/unbekannter Information, wie sie in den Abschnitt 2 eingegeben wird, und zum Ausgeben von drei Auswertungsergebnissen für jedes Element der Information X.
Fig. 3 ist ein Diagramm zum Erläutern einer Operation des Adaptionsfähigkeit-Verarbeitungsabschnitts 21. Wie es im Diagramm dargestellt ist, sind im Abschnitt 21 Zugehörigkeitsfunktionen vorab eingespeichert, die jeweils drei Typen qualitativer Auswertungsergebnisse wie z. B. S (small - klein), M (medium = mittel) und L (large = groß) entsprechen, z. B. auf Grundlage empirischer Information aus Erfahrungen und Versuchen. Jedes Element xi (i = 1, 2, ..., n) der Eingangsinformation wird unter Verwendung der Kurven der drei Typen von Zugehörigkeitsfunktionen ausgewertet, und es wird dadurch in die unten angegebenen drei Auswertungsergebnisse umgesetzt:
us(xi) = xiS
(uS repräsentiert eine Adaptionsfähigkeitsfunktion für den Auswertungstyp S)
uM(xi) = xiM
uL(xi) - xiL
In das neuronale Netzwerk 6 wird ein Muster X' dieser qualitativen Auswertungen eingegeben.
Andererseits wird das Lerninformationsmuster d(X) durch den Fuzzyabschnitt 4 als Muster d'(X) der qualitativen Auswertungen in drei Auswertungstypen für jeweilige Elemente des Informationsmusters d(X) umgesetzt.
Fig. 4 zeigt schematisch eine Konfiguration des neuronalen Vorwärtsnetzwerks 6 und des Quantifizierungsabschnitts 3. Obwohl im Diagramm ein dreischichtiges Vorwärtsnetzwerkmodell veranschaulicht ist, ist die Erfindung auch auf ein Netzwerk mit Mehrschichtstruktur mit vier oder mehr Schichten anwendbar.
Das in Fig. 6 dargestellte neuronale Netzwerk 6 beinhaltet n Neuronen x (x&sub1;, x&sub2;, ..., xn) einer Eingangsschicht, m Neuronen y (y&sub1;, y&sub2;... ym) einer (versteckten) Zwischenschicht, 1 Neuronen z (z&sub1;, z&sub2;, ..., z&sub1;) einer Ausgangsschicht, Synapsen zum Verbinden der Neuronen zwischen der Eingangs- und der Zwischenschicht mit Gewichten Wij (i = 1 bis n; j = 1 bis m) sowie Synapsen zum Verbinden der Neuronen zwischen der Zwischenschicht und der Ausgangsschicht mit Gewichten Vjk (j = 1 bis m; k = 1 bis 1). Die Gewichte Wij und Vjk liegen im Bereich von -1,0 bis 1,0. Jedes Neuron verfügt über räumlich aditive und nichtlineare Eigenschaften, und es unterliegt der später beschriebenen Verarbeitung (Abrufoperation).
Der Korrekturabschnitt 5, der mit der Ausgangsinformation X' und d'(X) von den Fuzzyabschnitten 2 und 4 sowie aus dem neuronalen Netzwerk 6 abgerufener Ausgangsinformation h'(X) versorgt wird, korrigiert das Gewicht von Synapsen im neuronalen Netzwerk 6 auf solche Weise, dass die Differenz zwischen den Ausgangswerten h'(X) und d'(X) minimiert oder unter einem vorbestimmten Wert verringert wird.
Das auf die oben beschriebene Weise konfigurierte System 1 führt den unten erläuterten Lernvorgang aus, wenn das Auswertungsmuster X' ( = x1S, x1M, x1L, x2S, x2M, x2L, ···) zum gelernten Informationsmuster X sowie das Auswertungsmuster d'(X) zum entsprechenden Lerninformationsmuster d(X) gegeben sind.
Schritt (1) Es wird der Ausgangswert jedes Neurons in der Zwischenschicht berechnet:
- Der Ausgangswert jedes Neurons der Zwischenschicht wird berechnet. Genauer gesagt, erfolgt, nachdem das Produkt jedes Elements des ausgewerteten Musters d'(X) zum gelernten Informationsmuster als jeder Eingangswert und dem Gewicht Wij jeder Synapse jedes Neurons berechnet wurde und die Gesamtsumme der Produkte für jedes Neuron bestimmt wurde, eine Berechnung des Werts einer nichtlinearen Funktion (der Wert einer Sigmoidfunktion im betrachteten Fall) für die Gesamtsumme für jedes Neuron ausgeführt, um dadurch Ausgangswerte der Neuronen in der Zwischenschicht zu bestimmen.
mit y: Ausgangswerte der Neuronen der Zwischenschicht,
: Sigmoidfunktion
(S) = 1/(1 + e-S) (2)
Schritt (2) Es werden die Ausgangswerte der Neuronen der Ausgangsschicht berechnet:
- Es wird das Produkt aus dem Ausgangswert jedes Neurons in der Zwischenschicht, wie im obigen Schritt (1) bestimmt, und dem Gewicht Vjk berechnet, woraufhin die Gesamtsumme der Produkte für jedes Neuron berechnet wird. Ferner wird der Wert einer nichtlinearen Funktion (Sigmoidfunktion) für die Gesamtsumme berechnet, um die Ausgangswerte der Neuronen in der Ausgangsschicht zu bestimmen:
Hinsichtlich des durch die obigen Schritte (1) und (2) erhaltenen Satzes von Ausgangswerten zk des neuronalen Netzwerks, d. h. des abgerufenen Informationsmusters h'(X), erfolgt der unten beschriebene Lernprozess durch den in Fig. 1 dargestellten Korrekturabschnitt 7, um dadurch das Synapsengewicht zu korrigieren. Durch Wiederholen der Gewichtungskorrekturvorgänge erfolgt das Lernen im neuronalen Netzwerk 6.
Schritt (3) Berechnen des Korrekturwerts für jedes Synapsengewicht:
- Die Korrekturwerte 2k(X) und ij(X) für jedes Synapsengewicht, das die Abweichung zwischen dem Muster d'(X) der Auswertungsergebnisse zur bekannten Lerninformation und dem im obigen Schritt (2) erhaltenen abgerufenen Informationsmuster h'(X) minimiert, werden berechnet:
wobei α(X) der Wichtigkeitsgrad betreffend die Annäherung des Ausgangsinformationsmusters ist, d. h. ein Vektor h'(X) hinsichtlich eines Eingangsinformationsmusters, d. h. ein Vektor X', wobei es sich um bekannte Einzelinformation handelt, und fj(X) eine von m und n abhängige Funktion ist, die wie folgt gegeben ist:
Schritt (4) Korrektur des Gewichts:
- Die Synapsengewichte vjkold wijold werden unter Verwendung des Ergebnisses im Schritt (3) auf neue Gewichte vjknew, wijnew korrigiert:
wobei X die Anzahl der Elemente des ausgewerteten Musters ist und Δ die Differenzbreite als bekannte Einzelinformation ist.
Wie oben erläutert, werden beim erfindungsgemäßen neuronalen Netzwerksystem ein gelerntes Informationsmuster und ein Lerninformationsmusters qualitativ ausgewertet, und der Wert jedes Elements wird durch Zugehörigkeitsfunktionen im Bereich von 0 bis 1 normiert. Im Ergebnis wird die Kongruenz der Korrelationsbeziehung zwischen dem gelernten Informa tionsmuster und dem Lerninformationsmuster verbessert, um dadurch stabiles Lernen mit hoher Geschwindigkeit zu ermöglichen.
Nach dem Abschließen des Lernvorgangs durch die oben angegebene Prozedur liegen die Gewichte der Synapsen fest. Das neuronale Netzwerk mit den festgelegten Gewichten kann auf ein als Abrufeinheit verwendetes System übertragen werden. Im Ergebnis kann die Abrufeinheit selbst bei unbekannter Eingangsinformation eine genaue Entscheidung treffen. Die Operation der Abrufeinheit ist identisch mit der in den obigen Schritten (1) und (2) beschriebenen. Genauer gesagt, wird für jedes Neuron die Gesamtsumme der Produkte aus den qualitativen Auswertungen der Eingangsinformation und den Synapsengewichten berechnet, und dann werden Werte der Sigmoidfunktion für die Neuronen bestimmt, um dadurch Ausgangswerte der Neuronen der Zwischenschicht zu erhalten. Als nächstes werden die Ausgangswerte der Neuronen der Ausgangsschicht, d. h. das Abrufergebnis, aus den Ausgangswerten der Neuronen der Zwischenschicht und den Synapsengewichten der Neuronen der Ausgangsschicht erzeugt.
Die Abrufeinheit besteht aus dem Fuzzyabschnitt 2 zum Eingeben eines unbekannten Informationsmusters X ( = x&sub1;, x&sub2;, ..., xi, ..., xN) und zum Ausgeben eines qualitativen Bewertungsmusters X', dem neuronalen Netzwerk 6 zum Aufnehmen des vom Abschnitt 2 ausgegebenen qualitiven Bewertungsmusters X' und zum Ausgeben eines Auswertungsmusters h'(X) für das Abrufobjekt, dem Quantifizierungsabschnitt 3 zum Eingeben des Auswertungsmusters h'(X) und zum Umsetzen desselben in einen quantifizierten Wert und zum Ausgeben desselben, und dem Steuerungsabschnitt 8. Von diesen Bestandteilen führen der Abschnitt 2 und das neuronale Netzwerk 6 dieselbe Operation wie die Lerneinheit aus, und sie werden nicht erneut beschrieben.
Fig. 4 ist ein Diagramm zum Erläutern einer Operation des Quantifizierungsabschnitts 3. In diesem Fall sind sieben Typen von Bewertungen, nämlich
als Wert für jedes Neuron in der Ausgangsschicht definiert, d. h. als qualitative Bewertung des Ausgangswerts des Netzwerks 6. Es werden sieben Typen qualitativer Bewertungskurven bereitgestellt, wobei die Ordinate eine Adaptionsfähigkeit im Bereich von 0,0 bis 1,0 repräsentiert und die Abszisse den Wert des abgerufenen Objekts H (-HMAX bis +HMAX) auf Grundlage empirischer Information repräsentiert. Die Anzahl der Neuronen in der Ausgangsschicht des Netzwerks 6 ist beim vorliegenden Ausführungsbeispiel 7, und sie entspricht den qualitativen Bewertungen NL, NM, NS, ZO, PS, PM und PL. Entsprechend dem Abrufergebnis vom Netzwerk 6 wird die Bewertungskurve jeder Zugehörigkeitsfunktion durch den Ausgabewert jedes Neurons beschnitten, um dadurch den Schwerpunkt des schraffierten Bereichs zu bestimmen. Ein diesem Schwerpunkt entsprechender Wert H wird als Abrufergebnis h(X) ausgegeben.
Wenn ein Abrufvorgang mittels der Abrufeinheit, wie oben beschrieben, erfolgt, wird die Eingangsinformation qualitativ bewertet und normiert, bevor sie in das neuronale Netzwerk 6 eingegeben wird, damit das Abrufergebnis vom Netzwerk 6 als qualitatives Bewertungsmuster gehandhabt werden kann. Es ist möglich, dieses Abrufausgangsergebnis durch Entfuzzifizieren mittels vorbestimmter Zugehörigkeitsfunktionen zu quantifi zieren.
Beim System und beim Verfahren gemäß der Erfindung, die auf die oben beschriebene Weise konfiguriert sind, wird Eingangsinformation durch einen Fuzzysatz qualitativ bewertet und als Eingangsinformation in das neuronale Netzwerk verwendet. Daher kann sogar Eingangsinformation, die eine starke Nichtlinearität oder viele unbestimmte Eigenschaften enthält, genau bewertet werden. Außerdem kann, da die Bewertung in einen vorbestimmten Bereich normiert wird, selbst Eingangsinformation verschiedener Arten auf stabile Weise und mit hoher Genauigkeit einem Lernen/Abrufen- unterzogen werden.
Auch im Hinblick auf die Tatsache, dass die Ausgangsinformation des neuronalen Netzwerks als qualitatives Bewertungsmusters eines Abrufobjekts gehandhabt wird und unter Verwendung empirisch bestimmter Zugehörigkeitsfunktionen quantifiziert wird, um einen Ausgangswert zu erhalten, kann das Lernen/Abrufen mit hoher Stabilität und Genauigkeit ausgeführt werden.
Ferner kann durch Kombinieren der oben genannten Vorteile die Inferenzregel eines herkömmlichen Fuzzyinferenzsystems durch die Abrufeinheit des neuronalen Netzwerks ersetzt werden, und daher kann im Vergleich mit dem herkömmlichen Fuzzysystem die Abstimmzeit verkürzt und die Genauigkeit des Inferenzvorgangs verbessert werden.
Ferner wird Informationsverarbeitung durch ein neuronales Netzwerk, die bisher nur bei sehr begrenzten Objekten angewandt werden konnte, in weitem Umfang als Maßnahme zum Überwinden allgemeiner Probleme anwendbar.
Eine erste Modifizierung des neuronalen Netzwerkabschnitts 5 des neuronalen Netzwerksystems 1 gemäß dem System und dem Verfahren der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.
In einem neuronalen Netzwerk mit einer Eingangsschicht zum Eingeben von Information, einer Ausgangsschicht zum Ausgeben eines Endergebnisses, mindestens einer Zwischenschicht, die zwischen die Eingangs- und die Ausgangsschicht eingefügt ist, einer Anzahl von Neuronen in jeder Schicht sowie Synapsen mit Gewichtungskoeffizienten zum Verbinden der Neuronen, wird eine Synapse aus dem neuronalen Netzwerk herausgenommen, wenn der Absolutwert des Gewichtungskoeffizienten dieser Synapse unter einen vorbestimmten Wert verringert ist.
Bei diesem Ausführungsbeispiel sind Komponenten des Netzwerkabschnitts 5, die mit solchen in Fig. 1 identisch sind, jeweils mit denselben Bezugszahlen gekennzeichnet, und sie werden nicht erneut im Einzelnen beschrieben.
Fig. 5 ist ein Blockdiagramm, das eine Konfiguration des neuronalen Netzwerkabschnitts 5 zeigt, der scheintote Synapsen/Neuronen aus dem neuronalen Netzwerk 6 herausnehmen kann, um die Berechnungsgeschwindigkeit zu verbessern. Der Abschnitt 5 beinhaltet ein neuronales Netzwerk 6, einen Gewichtkorrekturabschnitt 7, einen Abschnitt 9 zum Herausnehmen scheintoter Synapsen/Neuronen und einen Steuerungsabschnitt 8.
In diesem Netzwerkabschnitt 5 werden dem Korrekturabschnitt 7 ein qualitatives Auswertungsmuster x' als Lerninformationsmuster und ein qualitatives Bewertungsmuster d'(x) als bekanntes Lerninformationsmuster, das dem Muster x' entspricht, geliefert. Der Abschnitt 7 berechnet das Gewicht jeder Synapse auf solche Weise neu, und stellt es ein, dass das Ausgangsergebnis des neuronalen Netzwerks 6 für den Ein gangswert x', d. h. die Abweichung zwischen dem abgerufenen Informationsmuster h'(x) und dem Muster d'(x) minimiert ist. Dieser Prozess wird wiederholt, und nachdem die Korrektur des Synapsengewichts abgeschlossen ist, wird der Entnahmeabschnitt 9 initialisiert, um scheintote Synapsen/Neuronen herauszunehmen. Der Steuerungsabschnitt 8 steuert die oben beschriebenen Prozesse.
Fig. 6 zeigt schematisch die Konfiguration des neuronalen Netzwerks 6. Obwohl ein Netzwerkmodell mit drei Schichten dargestellt ist, ist die Erfindung mit gleicher Wirkung bei einem mehrschichtigen Netzwerk mit vier oder mehr Schichten anwendbar. Der Lernprozess des neuronalen Netzwerks 6 ist ähnlich dem oben beschriebenen und wird nicht erneut erläutert.
Nach Abschluss des Lernvorgangs in den oben beschriebenen Schritten (1) bis (4) wird das korrigierte Gewicht jeder Synapse auf die unten erläuterte Weise durch den Entnahmeabschnitt 9 bestimmt, so dass scheintote Synapsen/Neuronen aus dem neuronalen Netzwerk 6 herausgenommen werden. Die Herausnahme der scheintoten Synapsen/Neuronen kann durch ein Verfahren erfolgen, bei dem der Operationsablauf für die scheintoten Synapsen/Neuronen durch die Steuerungseinheit 8 oder dergleichen beim Abruf/Lern-Prozess weggelassen wird.
Fig. 7 zeigt einen Ablauf der Prozedur zum Herausnehmen scheintoter Synapsen/Neuronen durch den Entnahmeabschnitt 9. Scheintote Synapsen zwischen der Eingangs- und der Zwischenschicht werden in Schritten 702 bis 712 herausgenommen, solche zwischen der Zwischen- und der Ausgangsschicht in Schritten 714 bis 724, scheintote Neuronen in der Zwischenschicht in Schritten 726 bis 732 und solche in der Ausgangsschicht in Schritten 734 bis 740:
Fig. 8 ist ein Diagramm zum Erläutern des Betriebs des Entnahmeabschnitts 9. Bevor der Abschnitt 9 arbeitet, werden alle Neuronen mit Synapsen verbunden, wie es im oberen Teil des Diagramms dargestellt ist. Es sei angenommen, dass die zum Bestimmen von scheintot verwendete Konstante α als 0,013 gegeben ist. Nach der Operation ist die Bedingung für scheintot durch solche Synapsen erfüllt, die die folgenden Gewichtungen aufweisen:
Daher werden die Synapsen herausgenommen. Im Ergebnis wird auch das Neuron yj+1 in der Zwischenschicht scheintot. Dem gemäß wird das Neuron yj+1 zusammen mit den Ausgangssynapsen vj+1 k (k = 1 bis m) herausgenommen.
Wie oben beschrieben, wird das neuronale Netzwerk 6 dadurch optimiert, dass scheintote Synapsen/Neuronen bei Abschluss des Lernvorgangs herausgenommen werden, mit dem Ergebnis, dass die Anzahl von Berechnungen der Produkte von Neuronenausgangswerten und Synapsengewichten beim Abrufvorgang verringert wird, um dadurch höhere Geschwindigkeit zu erzielen.
Das Vorstehende ist eine Beschreibung zu einem Verfahren zum Optimieren eines neuronalen Netzwerks unmittelbar nach einem Lernvorgang. Demgegenüber sei ein Fall betrachtet, bei dem die Gewichte der Synapsen auf ihren Wert fixiert werden, nachdem der Lernvorgang abgeschlossen ist und ein neuronales Netzwerk mit den festgelegten Synapsen auf ein tatsächliches System für einen Abrufvorgang übertragen wird. "Abrufen" bedeutet hierbei eine Operation des neuronalen Netzwerks im tatsächlichen System. Der Abrufvorgang ist derselbe wie derjenige, der in den obigen Schritten (1) und (2) beschrieben ist. Genauer gesagt, wird die Gesamtsumme der Produkte aus Elementen eines Auswertungsmusters als Eingangsinformation und Synapsengewichten berechnet, und dann wird ein Wert der Sigmoidfunktion für die Gesamtsumme berechnet, um einen Ausgangswert jedes Neurons der Zwischenschicht zu bestimmen. Im nächsten Schritt werden die Neuronenausgangswerte der Ausgangsschicht, d. h. das Abrufergebnis, aus den Neuronenausgangswerten der Zwischenschicht und den Synapsengewichten der Neuronen der Ausgangsschicht erhalten.
Obwohl im oben beschriebenen Fall scheintote Synapsen/Neuronen nach Abschluss des Lernvorgangs herausgenommen werden, können sie stattdessen während des Lernprozesses herausgenommen werden.
Fig. 9 ist ein Flussdiagramm zum Erläutern des Betriebs des neuronalen Netzwerksystems, wenn die Erfindung für den Abrufvorgang bei einem neuronalen Netzwerk 6 angewandt wird, aus dem scheintote Synapsen/Neuronen noch nicht herausgenommen sind. Berechnungen werden für scheintote Synapsen von Neuronen zwischen der Eingangs- und der Zwischenschicht in Schritten 902 bis 912 weggelassen, und solche für scheintote Synapsen von Neuronen zwischen der Zwischen- und der Ausgangsschicht werden in Schritten 914 bis 924 weggelassen. Im Ergebnis kann durch das vorliegende Verfahren selbst bei einem nicht optimierten neuronalen Netzwerk ein Abrufvorgang mit hoher Geschwindigkeit realisiert werden.
Nun erfolgt unter Bezugnahme auf die Fig. 10 bis 18 eine Erläuterung zur zweiten Modifizierung des neuronalen Netzwerkabschnitts 5 des erfindungsgemäßen neuronalen Netzwerksystems.
Gemäß diesem Ausführungsbeispiel ist in einem neuronalen Netzwerk mit einer Eingangsschicht zum Eingeben von Information, einer Ausgangsschicht zum Ausgeben eines Endergebnisses, mindestens einer zwischen die Eingangs- und die Ausgangsschicht eingefügten Zwischenschicht, mehreren in jeder Schicht angeordneten Neuronen sowie Synapsen mit Gewichtungskoeffizienten zum Verbinden der Neuronen zwischen benachbarten Schichten ein Abschnitt zum Normieren der Eingangsinformation in einen vorbestimmten Bereich und zum Eingeben der normierten Information in die Eingangsschicht vorhanden, wobei der Dynamikbereich des Neuronenausgangswerts bestimmt werden kann.
Fig. 10 zeigt eine Konfiguration des neuronalen Netzwerkabschnitts 5, bei der die Erfindung angewandt ist. Ein Eingangsinformation-Normierungsabschnitt dient zum Normieren eines Informationsauswertungsmusters x' für den Lernvorgang.
Ein mit hoher Geschwindigkeit arbeitendes neuronales Netzwerk 6', der Gewichtungskorrekturabschnitt 7 mit Fehlerausbreitung in Rückwärtsrichtung und der Steuerungsabschnitt 8, mit Ausnahme eines Speichers 10 im Abschnitt 5, entsprechen den entsprechenden Bauteilen in Fig. 5. Bei dieser Konfiguration werden die Gewichte der Synapsen im mit hoher Geschwindigkeit arbeitenden neuronalen Netzwerk 6' unter Verwendung des Lerninformation-Auswertungsmusters d'(X) für das Muster x' bestimmt.
Fig. 11 zeigt eine Konfiguration des Normierungsabschnitts 11, der n Informationsnormierungseinheiten- (11-1, ..., 11-n) zum Normieren von Eingangsdaten x'i (i = 1, 2, ..., n) in einen digitalen Wert mit b Bits enthält. Die Eingangsdaten x'i sind entweder analog oder digital. Nachfolgend erfolgt eine Erläuterung zum Normierungsvorgang für Eingangsdaten x'i mit a Bits.
Fig. 12 ist ein Umsetzdiagramm betreffend die Umsetzung der Eingangsdaten x'i im Bereich von 0 bis (2a - 1) in den Bereich von 0 bis (2b - 1) durch lineare Verarbeitung. Es sei angenommen, dass a > b gilt, nämlich a = 12 und b = 8. Dabei kann der Bereich von 0 bis (2¹² - 1 = 4.095) linear in den Bereich von 0 bis (2&sup8; - 1 = 255) umgesetzt werden. Im Ergebnis werden die Eingangsdaten x'i mit verschiedenen Bereichen vollständig auf x"i mit einem Bereich von b Bits oder weniger normiert.
Fig. 13 zeigt ein Beispiel des Normierungsabschnitts 11 für den Fall einer Eingangsinformation x'i mit unbestimmten Elementen und nichtlinearen Eigenschaften. In diesem Fall wird das Konzept eines Fuzzysatzes eingeführt und es werden drei Typen qualitativer Auswertungen xiL, xiM und xiS mit einem Bereich von (2b - 1) für die Eingangsdaten x% ausgegeben. Im Diagramm repräsentiert die Abszisse den Bereich von 0 bis (2a - 1) von xi, und die Ordinate repräsentiert den Bereich von 0 bis (2b - 1) von x'i. Typen qualitativer Bewertungen sind als Zugehörigkeitsfunktionen vom Grad S (niedrig), M (mittel) und L (hoch) definiert. Im Ergebnis werden Eingangsdaten x'i mit a Bits in Daten x"iS (niedriger Grad), x"iM (mittlerer Grad) oder x"iL (hoher Grad) umgesetzt. Gemäß diesem Verfahren sind stabile Lern- und Abrufvorgänge selbst dann ermöglicht, wenn die Eingangsinformation ziemlich unbestimmte Elemente und starke nichtlineare Eigenschaften aufweist.
Fig. 16A zeigt eine vorab im Speicher 10 eingespeicherte zweidimensionale Produktwertetabelle 10-1 als Fall, bei dem ein Produktwert von (b+c) Bits aus der Produktwertetabelle von (0 bis (2b - 1)) x (0 bis (2c - 1)) entsprechend einer Adresse, die ein Synapsengewicht und einen Eingangsdatenwert enthält, herausgesucht wird.
Fig. 16B zeigt eine vorab in den Speicher 10 eingespeicherte Sigmoidfunktionstabelle 10-2. Der Bereich S der Sigmoidfunktion ist auf (-P · 2b+c) bis (P · 2b+c) beschränkt, wenn die Maximalanzahl von Neuronen in der Zwischenschicht/Ausgangsschicht mit P angenommen wird. Im Ergebnis ist es möglich, wie es in Fig. 16B dargestellt ist, ein Berechnungsergebnis entsprechend der Gesamtsumme von Produktwerten als Adresse auszulesen, wenn die Funktionswerttabelle 10-2, in der Funktionswerte vorab festgelegt sind, in den Speicher 10 eingespeichert ist. Demgemäß kann die Berechnung für eine nichtlineare Funktion (Sigmoidfunktion) weggelassen werden.
Fig. 14 ist ein Blockdiagramm, das eine Konfiguration des neuronalen Hochgeschwindigkeitsnetzwerks 6' zeigt, das durch parallele Verarbeitung mit Synchronisiersignalen auf höhere Geschwindigkeit abzielt. Das Netzwerk 6' beinhaltet einen Suchabschnitt 63 zum Aufsuchen eines Werts des Produkts ei nes Ausgangswerts eines Neurons oder eines Eingangswerts mit einem Synapsengewicht aus dem Speicher 10 entsprechend dem Ausgangswert oder dem Eingangswert und dem Synapsengewicht, einen Gesamtsumme-Berechnungsabschnitt 62, einen Suchabschnitt 61 zum Heraussuchen eines Sigmoidfunktionswerts aus dem Speicher 10 entsprechend einer Gesamtsumme von Produktwerten.
Fig. 15 zeigt eine detaillierte Konfiguration eines Teils des neuronalen Netzwerks 6'. In der Fig. 15 ist die Konfiguration des Netzwerks 6' als Beispiel zum Gewährleisten der Kopplung zwischen Neuronen yi bis yn der -Zwischenschichten und der Ausgangsneuronen 21 dargestellt.
Der Abschnitt 63, der mit dem Ausgangswert y&sub1; eines Neurons in der Zwischenschicht und dem Synapsenwert w&sub1;&sub1; versorgt wird, bestimmt das Produkt y&sub1; · w&sub1;&sub1; ohne jede Produktberechnung unter Bezugnahme auf die oben genannte Produktwertetabelle 10-1. Der Gesamtsumme-Berechnungsabschnitt 52 wird mit den Ausgangswerten aller Neuronen der Zwischenschicht versorgt, und er gibt die zugehörige Gesamtsumme aus. Der Suchabschnitt 61 dient zum Bestimmen des Werts der Sigmoidfunktion ohne jede nichtlineare Berechnung unter Bezugnahme auf die oben genannte Sigmoidfunktionswertetabelle 10-2.
Die Abrufzeit TParallel des neuronalen Netzwerks 6' ist wie folgt gegeben:
Tparallel = t&sub1; (Verarbeitungszeit für den Eingangswert x Synapsengewicht) + t&sub2; (Verarbeitungszeit für die Gesamtsumme) + t&sub3; (Verarbeitungszeit für die Sigmoidfunktion) + t&sub4; (Verarbeitungszeit für den Ausgangswert eines Neurons in der Zwischenschicht x Synapsengewichtkoeffizient) + t&sub5; (Verarbeitungszeit für die Gesamtsumme) + t&sub6; (Verarbeitungszeit für die Sigmoidfunktion) - ta + m x tadd + ta + 1 · tadd + ta
- 1.004 (us)
1 (ms).
So kann eine Verarbeitungszeit erzielt werden, die ein Tausendstel derjenigen beim herkömmlichen System ist.
Fig. 18 ist ein Flussdiagramm zum Erläutern des Abrufvorgangs beim in Fig. 10 dargestellten neuronalen Netzwerk 6'. Die Ausgangswerte der Neuronen in der Zwischenschicht werden in Schritten 1802 bis 1814 bestimmt, und die Ausgangswerte der Neuronen in der Ausgangsschicht, d. h. die Ausgangswerte des neuronalen Hochgeschwindigkeitsnetzwerks 6' werden in Schritten 1816 bis 1826 bestimmt. Wichtige Schritte in diesem Prozess sind 1806, 1812, 1820 und 1826. Da die Schritte 1806 und 1820 dieselbe Operation wie die Schritte 1812 bzw. 1826 ausführen, wird nachfolgend der Prozess der Schritte 1806 und 1812 erläutert.

(Schritt 1806)

Das Produkt aus einem durch Normieren von Information erhaltenen Eingangswert x"i (b Bits) und einem Synapsengewicht wij (c Bits) wird als x"i x wij bestimmt. Im Stand der Technik ist der Bereich der Eingangswerte x'i unbestimmt, und daher existierte keine andere Möglichkeit, als nur tatsächlich die Produktberechnung auszuführen. Gemäß der Erfindung wird jedoch der Wert x'i durch den Normierungsabschnitt 11 durch auf b Bits normiert, und daher wird das Berechnungsergebnis unmittelbar durch durch Suchen der vorab im Speicher 10 abgespeicherten Produktwertetabelle 10-1 entsprechend den b Bits und den c Bits als Adresse erhalten.

(Schritt 1812)

Der Sigmoidfunktionswert für die Gesamtsumme der oben bestimmten Produkte wird berechnet:
(S) = 1/(1+e-S)
Oben ist ein Beispiel in Zusammenhang mit einer allgemeinen Formel für das Produkt und Funktionswerte beschrieben. Es erfolgt eine zusätzliche Erläuterung unter Verwendung spezieller Zahlenwerte.
Die Fig. 16A und 16B zeigen ein Beispiel, bei dem die Bitzahlen b und c jeweils 11 sind und ein effektiver Bereich von -1.000 bis 1.000 eingestellt wird.
In der Produktwertetabelle 10-1 der Fig. 16A repräsentiert die Ordinate den Neuronenausgangswerte von -1.000 bis 1.000, und die Abszisse repräsentiert das Synapsengewicht von -1.000 bis 1.000, wobei ein jeweiliger Produktwert in jeder Spalte eingespeichert ist. Wenn z. B. der Ausgangswert eines Neurons 998 und das Synapsengewicht 999 ist, wird unmittelbar 997.002 als Produktwert herausgesucht.
Die Sigmoidfunktionstabelle 10-2 der Fig. 16B ist eine eindimensionale Tabelle, und in dieser Tabelle 10-2 sind soviele Speicherbereiche festgelegt, wie sie dem Produkt aus dem Synapsengewichtungsbereich, dem Bereich von Neuronenausgangswerten und dem Maximalwert P der Anzahl von Neuronen in jeder Schicht eines neuronalen Objektnetzwerks 6' entsprechen. Da die Maximalanzahl der Neuronen bei diesem Beispiel 10 ist, stehen -10.000.000 bis 10.000.000 Bereiche zur Verfügung. Wenn angenommen wird, dass ein Wert S ist, ist in den Speicherbereich Folgendes eingespeichert:
Der Wert 5 wird durch 1.000.000 geteilt, um eine Dimensionseinstellung zu bewerkstelligen, und er wird mit 1.000 multipliziert, um den Bereich des neuronalen Objektnetzwerks 6' auf -1.000 bis 1.000 einzustellen.
Auf diese Weise werden, durch Anordnen der Tabellen 10-1 und 10-2 im Speicher 10, die Berechnungen für die Produkte und die Werte der nichtlinearen Funktion, die im Stand der Technik beträchtliche Zeit verbrauchten, weggelassen.
Das Ausmaß der Geschwindigkeitszunahme bei der oben beschriebenen zweiten Modifizierung wird unter Bezugnahme auf die Abrufzeit quantitativ abgeschätzt. Als Voraussetzung zur Abschätzung sei Folgendes angenommen:
ta = 1 (us): Zeiteinheit bei der Adressensuche
tadd = 5 (us): Zeiteinheit bei der Summenberechnung
tm = 50 (us): Zeiteinheit bei der Produkt/Quotient-Berechnung
Die Anzahl der Berechnungen und die Verarbeitungszeit für jede Prozedur sind dergestalt, wie es in Fig. 19 dargestellt ist.
Auch sei angenommen, dass die Anzahlen n, m und 1 von Neuronen in den jeweiligen Schichten eines neuronalen Netzwerks n = m = 1 = 100 sind. Dann ist die Abrufzeiteinheit beim Stand der Technik wie folgt gegeben:
Im Gegensatz hierzu ist die Abrufzeit bei einem neuronalen Netzwerk gemäß der Erfindung wie folgt gegeben:
Daraus ist erkennbar, dass die Verarbeitungszeit bei der Erfindung ein Fünfzehntel derjenigen ist, die beim Stand der Technik erforderlich ist.
Fig. 20 ist ein Blockdiagramm, das eine Konfiguration der dritten Modifizierung des neuronalen Netzwerkabschnitts 5 in Kombination mit der zweiten Modifizierung zeigt.
Der Abschnitt 5 beinhaltet einen Normierungsabschnitt 11, ein neuronales Hochgeschwindigkeitsnetzwerk 6', einen Speicher 10, einen Steuerungsabschnitt 8 und einen Entnahmeabschnitt 9 für scheintote Synapsen/Neuronen. Da diese Modifizierung gleichzeitig über die Funktion der zweiten Modifizierung verfügt, um Doppeleffekte zu erzielen, wird eine noch höhere Geschwindigkeit einer Lerneinheit erzielt. Die Erfindung, die auf die oben beschriebene Weise konfiguriert ist, ist so ausgebildet, dass sie ein neuronales Netzwerk dadurch optimiert, dass redundante, scheintote Synapsen/Neuronen, die nicht zum Abrufvorgang beitragen, durch den Entnahmeabschnitt 9 herausgenommen werden.
Auch ermöglicht es der Normierungsabschnitt 11, die Berechnung des Produkts aus einem Neuronenausgangssignal und einem Synapsengewicht sowie diejenige der nichtlinearen Funktion (Sigmoidfunktion) durch den obigen Adressensuchprozess zu ersetzen. Im Ergebnis ist die Geschwindigkeit des Lern- und Abrufvorgangs im neuronalen Netzwerk beachtlich erhöht. Dies führt seinerseits zum Vorteil, dass das neuronale Netzwerk auch bei Echtzeitsteuerung und einer Diagnose eines Prozesses, abweichend vom Stand der Technik, anwendbar ist. Wenn dieser Effekt berücksichtigt wird, kann ausgesagt werden, dass die Funktion qualitativer Bewertung erhalten blieb, während die Normierungsfunktion aus dem in Fig. 1 dargestellten Abschnitt 2 weggelassen wurde.
Ferner wird eine noch höhere Geschwindigkeit, erzielt, wenn die Adressensuche synchron und parallel für jede Schicht ausgeführt wird.
Nun wird das vierte Ausführungsbeispiel des neuronalen Netzwerkabschnitts 5 des erfindungsgemäßen neuronalen Netzwerksystems 1 unter Bezugnahme auf die Fig. 21 bis 26 erläutert.
Dieses Ausführungsbeispiel wird unter Berücksichtigung der Eigenschaften eines Objekts, das beschrieben wird, angegeben. Einige Prozesse (die auf einem natürlichen Ereignis beruhen können, oder auch nicht) verfügen über eine direkte Wirkungsbeziehung, was jedoch bei anderen nicht der Fall ist, zwischen mehreren quantitativen und qualitativen Prozessdaten, die abhängig vom Verhalten des Prozesses variiert. Genauer gesagt, sind nicht alle durch gegebene Daten ausgedrückte Ereignisse in einem Prozess organisch verbunden, sondern die Gesamtbewegung ist durch eine Ansammlung kausaler Beziehungen zwischen Ereignissen bestimmt. Beim System und beim Verfahren gemäß der Erfindung ist eine "kausale Beziehung" als Tatsache dahingehend definiert, dass ein Ereignis in einem gegebenen Prozessschritt ein unmittelbarer Grund für ein anderes Ereignis in einem Folgeschritt ist, wobei die Ereignisse die Beziehung von Ursache (oder eines Teils davon) und Wirkung (oder eines Teils davon) aufweisen.
Gemäß dem vorliegenden Ausführungsbeispiel wird als Grundkonfiguration ein neuronales Unternetzwerk 7-2 mit einer Einheit als direkter qualitativer kausaler Beziehung zwischen Ereignissen verwendet, die in der Aussage eines Objekts als Variable gehandhabt werden (nachfolgend als "Unternetzwerk" bezeichnet). Durch Zusammenfassen von Unternetzwerken werden qualitativ bedeutungslose Verbindungen beseitigt, und es wird ein optimiertes neuronales Netzwerk aufgebaut. Anders gesagt, wird gemäß dem vorliegenden Ausführungsbeispiel eine qualitative kausale Beziehung zwischen variablen, d. h. direkt gekoppelten Neuronen auf Grundlage eines qualitativen Wirkungsnetzwerks definiert, wodurch für ein Aussageverfahren eines qualitativen Modells gesorgt ist. Diese Definition wird sequenziell auf Neuronen jeder Schicht erstreckt, um dadurch das neuronale Netzwerk aufzubauen. Im Ergebnis handhabt das Verfahren zum Lernen im neuronalen Netzwerk gemäß dem vorliegenden Ausführungsbeispiel nur die Verarbeitung zwischen Neuronen, deren Kopplung durch die anfängliche qualitative kausale Beziehung definiert ist, und das zugehörige Abrufverfahren steht in. Zusammenhang mit der Verarbeitung nur zwischen den Neuronen, die durch die qualitative kausale Beziehung verbunden sind.
Fig. 22 ist ein Diagramm, das eine Funktionskonfiguration des neuronalen Netzwerkabschnitts 5 gemäß dem vorliegenden Ausführungsbeispiel zum effektiven Lernen und Abrufen, wie bei einem Expertensystem angewandt, zeigt. Dieses System beinhaltet einen neuronalen Netzwerkabschnitt 5 mit einem Steuerungsabschnitt 8 zum Berechnen oder zum Steuern von Vorgängen entsprechend einem Programm sowie einem Speicher 10' zum Speichern eines Programms und Daten, eine Mensch-Maschine-Einheit 27 zum Anzeigen des Verarbeitungsergebnisses und einer Spezifizierungseingabe von einer Bedienperson, ei ne Eingabeeinheit 25 zum Eingeben von Eingangsdaten oder Lerndaten zum Lernen sowie eine Ausgabeeinheit 26 zum Ausgeben abgerufener Daten. Der Netzwerkabschnitt 5 beinhaltet einen Festlegeabschnitt 12 zum Festlegen eines neuronalen Netzwerks 6", ein neuronales Netzwerk 6" zum Ausführen des Lern- oder Abrufvorgangs, den Speicher 10' zum Speichern von Parametern des festgelegten oder durch Lernen erhaltenen neuronalen Netzwerks sowie den Steuerungsabschnitt 8 zum Steuern dieser Einheiten und Abschnitten auf direkte Weise oder über Schnittstellen 19-1 und 19-2.
Fig. 21 ist ein Blockdiagramm, das eine Konfiguration des neuronalen Netzwerkabschnitts 5 zeigt. Das neuronale Netzwerk 6" berechnet, wenn ein Auswertungsmuster x' aus gelernter Information durch den Steuerungsabschnitt 8 in es eingegeben wird, einen Wert der nichtlinearen Funktion für die Gesamtsumme der Produktwerte der Ausgangswerte von Neuronen und Synapsengewichten für jedes Neuron, und es gibt ein Ausgangswertmuster h'(x) aus. Der Abschnitt 5 beinhaltet einen Gewichtungskorrekturabschnitt 7 zum Korrigieren jedes Synapsengewichts auf solche Weise, dass die Abweichung zwischen einem bekannten Lerninformation-Auswertungsmuster d'(x) und dem Ausgangswertmuster h'(x) minimiert wird.
Im auf diese Weise konfigurierten Netzwerkabschnitt 5 bestimmt die Definition des neuronalen Netzwerks die Verbindung der Synapsen im neuronalen Netzwerk, wie es im unteren Teil der Fig. 30 dargestellt ist, auf Grundlage des qualitativen Wirkungsnetzwerks, wie es im oberen Teil der Fig. 30 dargestellt ist. "Qualitatives Wirkungsnetzwerk" bedeutet hier, dass die Kopplung von Eingangsinformation auf Ausgangsinformation auf hierarchische Weise in einem Prozessmodell oder dergleichen auf Grundlage der qualitativen kausalen Beziehung zwischen mehreren Ereignisse repräsentierenden Informationen beschrieben wird (was durch Variable für die Aussage wiedergegeben werden kann). Ein qualitatives Wirkungsnetzwerk wie dieses kann, obwohl die quantitative Wiedergabe desselben durch Gleichungen oder dergleichen schwierig ist, als Modell im Fall qualitativer Inferenz durch eine empirische oder Fuzzyregel für ein Objekt verwendet werden, für das die Eingangs/Ausgangs-Wirkungsbeziehung in gewissem Grad bekannt ist. Ein tatsächliches Beispiel dieses Modells ist im Einzelnen in JP-A-1-243102 beschrieben.
Das im oberen Teil der Fig. 30 dargestellte qualitative Wirkungsnetzwerk besteht aus einer ersten bis dritten Schicht, und ein ein Ereignis (Information) repräsentierender Variablensatz ist durch Zahlen ((1)) bis ((7)) beschrieben. Eingangsinformation in das Wirkungsnetzwerk entspricht Eingangsvariablen ((1)) bis ((4)) der ersten Schicht, der Ausgangsinformation des Netzwerks in die Ausgangsvariable ((7)) der dritten Schicht sowie den Variablen ((5)) und ((6)) der zweiten Schicht in die Ausgangsvariable der ersten Schicht. In Fig. 30 kennzeichnen die Zahlen mit # im Teil oben links der variablen Seriennummern der Variablen für jede Schicht. Hinsichtlich der qualitativen kausalen Beziehung zwischen Variablen repräsentieren die Variablen ((1)), ((2)) und ((5)) ein logisches Produkt (UND), die Variablen ((3)), ((4)) und ((6)) repräsentieren ein logisches Produkt (UND), und die Variablen ((5)), ((6)) und ((7)) repräsentieren eine Kombination (COMB).
Das neuronale Netzwerk 6" ist dergestalt, dass in einer dreischichtigen Struktur mit einer Eingangs-, einer Zwischen- und einer Ausgangsschicht, wie es im oberen Teil der Fig. 30 dargestellt ist, die Neuronen ((1)) bis ((7)) so definiert sind, dass sie den Variablen ((1)) bis ((7)) des qualitativen Wirkungsnetzwerks entsprechen, wobei nur solche Neuronen, die miteinander verbundenen Variablen des Wirkungsnetzwerks entsprechen, durch gewichtete Synapsen a bis f verbunden sind. Infolgedessen sind die Neuronen ((1)) und ((2)) der Eingangsschicht über die Synapsen a und b mit dem Neuron ((5)) in der Zwischenschicht verbunden, um dadurch ein einzelnes Unternetzwerk zu bilden. Auch sind die Neuronen ((3)) und ((4)) über die Synapsen c und d mit dem Neuron ((6)) der Zwischenschicht verbunden, um dadurch ein anderes Unternetzwerk zu bilden. Die Neuronen ((5)) und ((6)) der Zwischenschicht sind mit dem Neuron ((7)) der Ausgangsschicht verbunden, um so ein anderes Unternetzwerk zu bilden. Auf diese Weise ist das neuronale Netzwerk auf solche Weise definiert, dass mehrere Unternetzwerke in derselben Schicht parallel unabhängig voneinander angeordnet und in Reihe mit den Unternetzwerken in einer anderen Schicht verbunden sind. Dieses System ist demgemäß auf dieselbe Weise wie dann konfiguriert, wenn ein Wirkungsnetzwerk auf Projektionsweise in ein neuronales Netzwerk übertragen wird.
Als nächstes erfolgt eine Erläuterung zu den Verarbeitungsschritten des Festlegeabschnitts 12 zum Festlegen (Aufbauen) eines neuronalen Netzwerks aus dem in Fig. 30 dargestellten qualitativen Wirkungsnetzwerk.
Schritt 2302: Es wird eine Variable eines qualitativen Wirkungsnetzwerks definiert. In diesem Schritt werden alle Variablennummern (unter Zuordnung von Seriennummern von der Eingangsseite) des qualitativen Wirkungsnetzwerks, Variablennamen und dergleichen von der Mensch-Maschine-Einheit 27 eingestellt und in einer Tabelle 10-3 für das qualitative Wirkungsnetzwerk gespeichert, wie es in Fig. 24A dargestellt ist.
Schritt 2304: Es wird eine qualitative kausale Beziehung definiert. Unter Verwendung der im Schritt 2304 definierten Variablennummer wird die Minimaleinheit der qualitativen kausalen Beziehung zwischen mehreren Eingangsvariablen und einer einzelnen Ausgangsvariable in die Gruppe 10-4 in der Kausalbeziehungstabelle eingetragen, wie es in Fig. 24B dargestellt ist.
Schritt 2306: Es wird das qualitative Wirkungsnetzwerk definiert. Aus der in der Fig. 24B dargestellten Tabellengruppe 10-4 wird eine Variablennummer, die nur als Eingangsvariablennummer erscheint, der ersten Schicht zugeordnet, die Variablennummer, die nur als Ausgangsvariablennummer erscheint, wird der Endschicht zugeordnet, und die anderen Variablen werden jeder Schicht sequenziell automatisch entsprechend der zugehörigen qualitativen kausalen Beziehung zugeordnet, so dass die Variablennummer für jede in Fig. 24C dargestellte Schicht und die zugehörige Abfolge in die Definitionstabelle 10-5 eingespeichert werden, um dadurch das Wirkungsnetzwerk festzulegen. Da eine Variablennummer in der Reihenfolge der Seriennummer zugeordnet wird, ist eine automatische Festlegung selbst dann möglich, wenn eine Variable über eine Schicht betroffen ist.
Schritt 2308: Es wird ein Neuron definiert. Dieselbe Neuronennummer (Zuordnung als Seriennummer) und der zugehörige Name werden in der in Fig. 25A dargestellten Neuronentabelle 10-6 automatisch erzeugt. Variable und Neuronen liegen nicht notwendigerweise im Verhältnis 1 : 1 vor, und selbst wenn das Verhältnis 1:n (n = 1, 2, ...) für jede Variable ist, wird dies durch ein anderes Ausführungsbeispiel erläutert.
Schritt 2310: Es wird die Entsprechung zwischen Neuronen und Variablen definiert. Hinsichtlich aller im Schritt 2302 eingetragenen Variablennummern wird die im Schritt 2308 für die Neuronenvariablentabelle 10-7 automatisch erzeugte Neuronennummer entsprechend automatisch eingetragen, wie es in der Fig. 25B dargestellt ist.
Schritt 2312: Es wird die Synapsenverbindung definiert. Als abschließender Schritt wird eine Synapsenverbindung zwischen Neuronen durch den in Fig. 26 dargestellten Ablauf definiert und in eine in Fig. 27 dargestellte Synapsenverbindungs-Tabellengruppe 10-8 eingespeichert. Die Synapsenverbindungs- Tabellengruppe 10-8 wird in einem Schritt 2602 ohne jede Verbindung vollständig initialisiert. In einem Schritt 2604 werden anschließende Prozesse von der zweiten bis zur letzten (maximalen) Schicht wiederholt, gefolgt von einem Schritt 2606, in dem die anschließenden Prozesse wiederholt ab der minimalen Neuronennummer bis zur maximalen Neuronennummer der speziellen Schicht wiederholt werden. In einem Schritt 2608 bestimmt ein Bestimmungsabschnitt zum Bestimmen des Vorliegens oder Fehlens einer Synapsenverbindung, ob ein spezielles Neuron mit dem Neuron in der vorigen Schicht verbunden wird, was auf Grundlage der Tabellengruppe 10-4 für qualitative kausale Beziehungen erfolgt. Im Fall der Fig. 30 zeigen das Neuron Nr. = ((5)) (j = 1) der zweiten Schicht, das Neuron Nr. = ((1)) (i = 1) der ersten Schicht und das Neuron Nr. = ((2)) (i = 2) eine kausale Beziehung, und daher wird in den Bereichen i = 1, j = 1 sowie i = 2, j = 2 der Datei für die zweite Schicht (i, j) in Fig. 27 "1" eingespeichert.
Als Synapsenverbindungs-Tabellengruppe 10-8 werden die Datei für die zweite Schicht (i, j) für die Verbindungszustände zwischen der ersten und der zweiten Schicht des neuronalen Netzwerks sowie die Datei für die dritte Schicht (j, k) für die Verbindungszustände zwischen der zweiten und der dritten Schicht bereitgestellt. Auf diese Art werden Tabellen bis zur letzten Schicht bereitgestellt. Die Anzahl der Neuronen in jeder Schicht wird aus der Definitionstabelle 10-5 für das im Schritt 2306 festgelegte qualitative Wirkungsnetzwerk und aus der Entsprechungsbeziehung zwischen der Neuronennummer und der Variablennummer in der im Schritt 2310 definier ten Neuronenvariablen-Beziehungstabelle 10-7 bestimmt. Übrigens gilt im Fall des neuronalen Netzwerks und des qualitativen Wirkungsnetzwerks, wie in Fig. 30 dargestellt, n = 4, m = 2 in der Datei für die zweite Schicht (i, j) sowie m - 2, 1 = 1 in der Datei für die dritte Schicht (j, k). Der Erregungsgrad der Neuronen beim Lernen/Abrufen, wie später beschrieben, wird nur zwischen verbundenen Neuronen unter Bezugnahme auf die oben genannte Datei berechnet.
Wie es aus der vorstehenden Beschreibung erkennbar ist, erfolgt gemäß der Erfindung eine Festlegung automatisch auf Grundlage der kausalen Beziehung zwischen Variablen und den Variablen des qualitativen Wirkungsnetzwerks, und es wird ein optimiertes neuronales Netzwerk 6" konfiguriert, das frei von unnützen Verbindungen ist, die beim Lernen im Stand der Technik ausstarben. Übrigens wird jede Tabelle in den Schritten 2302 bis 2312 und im in Fig. 30 dargestellten Netzwerk auf der Mensch-Maschine-Schnittstelleneinheit 27 angezeigt, und daher kann die Festlegung von der Bedienperson klargestellt werden.
Nun erfolgt eine Erläuterung zu einem Lernverfahren für ein neuronales Netzwerk gemäß dem System und dem Verfahren gemäß der Erfindung. Das Lernverfahren beruht auf dem wohlbekannten Lernverfahren mit Fehlerausbreitung in Rückwärtsrichtung. Wie es in Fig. 21 dargestellt ist, wird ein festgelegtes neuronales Netzwerk 6" einem Lernvorgang auf ähnliche Weise wie bei den oben beschriebenen Schritten (1) bis (4) unterzogen, wenn ein Auswertungsmuster X' { = x&sub1;, x&sub2;, ... xn} gelernter Information und ein Lerninformations-Auswertungsmuster d'(x) für das Muster x' gegeben sind. Daher wird hier eine Erläuterung dazu weggelassen.
Beim Lernverfahren mit Fehlerausbreitung in Rückwärtsrichtung ist die Anzahl der Berechnungen von Produkten aus Sy napsengewichten und Neuronenausgangssignalen, wie in den Gleichungen (1) und (3) angegeben, beim herkömmlichen neuronalen Netzwerk enorm, bei dem alle Neuronen verbunden sind, wie dies im oberen Teil der Fig. 28 dargestellt ist. Im erfindungsgemäßen neuronalen Netzwerk 611 sind demgegenüber, wie es im unteren Teil der Fig. 29 dargestellt ist, die Synapsenbeziehungen zwischen benachbarten Schichten, wie zwischen der Eingangs- und der Zwischenschicht oder zwischen der Zwischen- und der Ausgangsschicht zweigeteilt, mit festen Untersätzen (Xa), (Yb) sowie (X-Xa), (Y-Yb) von Neuronen. Daher ist die Berechnung der Gleichung (1) wie folgt unterteilt:
Und die Anzahl von Produktberechnungen ist auf die Hälfte im Vergleich zu der vor der Unterteilung des oberen Teils von Fig. 28, d. h. entsprechend der Gleichung (1) verringert. Selbstverständlich verringert eine Teilung mit dem Faktor n die Anzahl von Produktberechnungen auf 1/n, weswegen der Lernvorgang mit entsprechender höherer Geschwindigkeit ausgeführt werden kann.
Nun erfolgt eine Erläuterung zur Tatsache, dass ein optimiertes erfindungsgemäßes neuronales Netzwerk nicht nur durch Verringern der Synapsenverbindungen konfiguriert wird, sondern auch dadurch, dass es die Eigenschaften (qualitative kausale Beziehung) eines qualitativen Wirkungsnetzwerks erhält.
Der obere Teil der Fig. 29 zeigt ein Beispiel eines als "MAX-MIN-Kombinationsverfahren" bezeichneten Fuzzyinferenzmodells, wie es vom qualitativen Wirkungsnetzwerk ausgeführt wird. Im Bedingungsabschnitt des Inferenzverfahrens ist die qualitative UND-Beziehung erfüllt, d. h., "wenn x&sub1; und x&sub2; gelten, dann gilt y, ty = MIN (ty&sub1;, ty&sub2;)", und der Minimalwert aus der Adaptionsfähigkeit ty&sub1; der Variablen x&sub1; und derjenigen der Variablen x&sub2; wird als Adaptionsfähigkeit ty der Variablen y verwendet. Die Inferenz betreffend die Adaptionsfähigkeit im Schlussfolgerungsabschnitt steht andererseits in Zusammenhang mit der qualitativen Kombinationsbeziehung (COMB), so dass der maximale Wert von ty&sub1;, ty&sub2;, d. h. "wenn x&sub1; gilt, dann gilt y (ty&sub1;), wenn x&sub2; gilt, dann gilt y (ty&sub2;), ty MAX (ty&sub1;, ty&sub2;)" als Adaptionsfähigkeit ty der Variable y verwendet wird. Obwohl dieses Fuzzyinferenzmodell hinsichtlich der Modellbildung eines nicht quantitativ erfassten Prozesses hervorragend ist, ist viel Zeit dazu erforderlich, die Zugehörigkeitsfunktionen abzustimmen, die für eine Formel sorgen, die die Prozessgröße mit der Adaptionsfähigkeit in Beziehung setzt, was die Anwendung bei einem komplizierten Prozess schwierig macht.
Wie es in Fig. 29 dargestellt ist, gilt entsprechend dem Lernen beim System und beim Verfahren gemäß der Erfindung das Folgende:
S = w0 + w&sub1;x&sub1; + w&sub2;x&sub2;, ty = (S),
wobei 5 die Summe-der-Produkte-Funktion für die Prozessgrößen x&sub1; und x&sub2; und ty die Adaptionsfähigkeit für den Ausgangswert ist. Demgemäß spiegelt sich die Beziehung zwischen UND und COMB, wie oben beschrieben, im Lernprozess in den Synapsenverbindungen (Gewicht w&sub1;, w&sub2;, ...) wider, mit dem Ergebnis, dass die Gewichte zum Konvergenzzeitpunkt in Zu ordnung zu dieser qualitativen Beziehung eingestellt sind. Dies zeigt an, dass Umsetzungen der Prozessgröße und der Prozesssteuerungsgröße durch ein neuronales Netzwerk realisiert werden, das auf optimale Werte der Gewichte eingestellt ist, und dies entspricht praktisch der Übertragung eines qualitativen Wirkungsnetzwerks.
Nachdem der Lernvorgang abgeschlossen ist, sind die Synapsengewichte festgelegt, so dass das neuronale Netzwerk eine Abrufeinheit für ein tatsächliches System bildet. Wie es beim Ausführungsbeispiel der Fig. 21 dargestellt ist, wird die Abrufeinheit über die Eingabeeinheit 25 mit Eingangsdaten versorgt, um die Eingangsschicht des neuronalen Netzwerks anzupassen, und sie berechnet dieselbe Vorwärtsausbreitung wie in den oben beschriebenen Lernschritten (1) und (2). Bei diesem Prozess sorgt das aus der Ausgangsschicht erhaltene Abrufausgangsergebnis für eine Vorhersage für die vorliegenden Eingangsinformation und das Diagnoseergebnis für die kausale Eingabe, und es wird in zweckdienlicher Weise über die Ausgabeeinheit 26 ausgegeben und umgesetzt. Es kann alternativ auf der Mensch-Maschine-Schnittstelleneinheit 27 angezeigt werden.
Der Abrufvorgang gemäß diesem Ausführungsbeispiel, bei dem Synapsenverbindungen im neuronalen Netzwerk sowohl aus dem Gesichtspunkt der Verarbeitungsgeschwindigkeit als auch dem der Genauigkeit optimiert sind, verbessert sowohl die Verarbeitungseigenschaft beim Abrufen als auch gleichzeitig die Genauigkeit. Ferner wird eine qualitative Inferenz, die Fuzzyinferenz entspricht, leicht realisiert, ohne dass irgendeine Zugehörigkeitsfunktion verwendet wird.
Gemäß dem System und dem Verfahren gemäß der Erfindung wird die Minimaleinheit der kausalen Beziehung zwischen Variablen durch Unternetzwerke gebildet, die zum Aufbauen eines neuro nalen Netzwerks zusammengefasst werden. Im Ergebnis ist ein neuronales Netzwerk geschaffen, in dem Synapsenverbindungen merklich verringert sind, während die Verarbeitungseigenschaften und die Genauigkeit beim Lernen/Abrufen verbessert sind. Ferner kann qualitative Inferenz, die Fuzzyinferenz entspricht, realisiert werden, da die Verbindungen (Synapsengewichte) des neuronalen Netzwerks als Ergebnis einer wesentlichen Übertragung der kausalen Beziehung eines qualitativen Wirkungsnetzwerks erhalten werden. Außerdem ist zum Abstimmen von Zugehörigkeitsfunktionen, abweichend von Fuzzyinferenz, keine lange Zeitspanne erforderlich, was zum Vorteil einfacher Anwendbarkeit auf die Diagnose und Steuerung eines komplizierten Prozesses führt.
Die obige Beschreibung nahm auf ein neuronales Netzwerksystem Bezug, bei dem der neuronale Netzwerkabschnitt 5 mit der Fuzzyeinheit 2 zum Eingeben eines Musters für gelernte/unbekannte Information, dem Quantifizierungsabschnitt 3 zum Quantifizieren der Ausgangsinformation aus dem Abschnitt 5 und der Fuzzyeinheit 4 zum Eingeben eines Lerninformationsmusters verbunden ist. Jedoch ist zu beachten, dass das neuronale Netzwerksystem gemäß einer beliebigen Modifizierung unter der ersten bis vierten Modifizierung nur aus dem neuronalen Netzwerk 5 aufgebaut sein kann, ohne die Fuzzyabschnitte 2 und 4 und den Quantifizierungsabschnitt 3. Daher kann abhängig vom abzurufenden Objekt ein ähnlicher Effekt erzielt werden, wenn ein neuronales Netzwerk vorliegt, das nur eine der Fuzzyeinheiten 2 und 4 verwendet.
Fig. 31 zeigt eine Konfiguration eines neuronalen Netzwerksystems, das nur eine Eingangsinformation qualitativer Bewertung unterzieht. Fig. 32 ist ein Diagramm zum Erläutern der Funktion dieses Systems. Der Lernvorgang einer Änderung der Innentemperatur aufgrund einer Klimaanlage erfolgt entsprechend einem gelernten Informationsmuster, das eine be kannte Innentemperaturabweichung ΔTin, eine Außentemperaturabweichung ΔTout und eine Klimaanlagebetrieb-Abweichung ΔCL nach einer vorbestimmten Zeitperiode sowie eine bekannte Innentemperaturabweichung ΔTin nach der vorbestimmten Zeitperiode als Lerninformationsmuster enthält. In diesem Fall liegt, wie es in den Fig. 33A, 33B und 33C dargestellt ist, die Temperaturabweichung hinsichtlich der Innen- oder der Außentemperatur im Bereich von ±5ºC, und diejenige hinsichtlich der Klimaanlage liegt im Bereich von ±20ºC, und diese Abweichungen zeigen verschiedene nichtlineare Eigenschaften. Im Ergebnis würde das Eingeben von Informationsdaten in direkter Form die Konvergenz in einigen Fällen erschweren.
Aus diesem Grund wird jede Eingangsinformation einer qualitativen Bewertung (Verdopplung als Normierung) durch vorbestimmte Fuzzyzugehörigkeitsfunktionen auf Grundlage von Erfahrungen oder tatsächlichen Messungen unterzogen, und die sich ergebende Auswertung wird in das neuronale Netzwerk 6 eingegeben, wodurch die Merkmale jeder Information in zufriedenstellender Weise für verbesserte Lerngenauigkeit bei gleichzeitig erzieltem besserem Wirkungsgrad entnommen werden können.
Fig. 34 zeigt eine Konfiguration des neuronalen Netzwerksystems zur quantitativen Auswertung nur einer Ausgangsinformation. Dieses System ist für homogene zeitserielle Information (Sprache, Bilder oder dergleichen) geeignet. Fig. 35 ist ein Diagramm zum Vorhersagen einer Änderung von Wertpapierpreisen für den nächsten Tag aus einer Informationsgruppe (Änderungsbreiten ΔPi-n, mit n = 0, 1, 2,..) für vergangene Änderungsbreiten von Wertpapierpreisen (Yen) auf Tagesbasis. Wenn das Verhalten in der Vergangenheit schwingende oder allmählich erweiternde (Dreiecksform) Änderungen zeigt, liegt eine nichtlineare Änderung vor. In einem sol chen Fall würde es zu verzögerter Konvergenz und beeinträchtigter Genauigkeit führen, wenn ein abgerufener Datenwert nur aus der Ausgangsinformation eines einzelnen Neurons definiert würde.
Angesichts dieser Tatsache werden für die Ausgangsschicht z. B. drei Neuronen verwendet, und es werden Bewertungstypen von Bewertungen definiert, nämlich "auf (+)", "gleich (0)" und "ab (-)". Andererseits wird eine bekannte Wertpapierpreis-Änderungsbreite ΔPi+1 für den nächsten Tag als Lerninformationsmuster qualitativ durch die Fuzzyeinheit 4 bewertet, um die oben genannten drei Bewertungstypen zu erzeugen, wobei ein Muster enthalten ist, das als Lerninformation-Auswertemuster verwendet wird. Infolgedessen kann die nichtlineare Charakteristik zwischen der Eingangsinformation ausreichend erfasst werden, um dadurch sowohl die Genauigkeit als auch die Geschwindigkeit des Lernvorgangs zu verbessern. Dies, da die charakteristische Fähigkeit des Vorwärtsnetzwerks 6, nichtlineare Merkmale zu erfassen, in vernünftiger Weise dadurch genutzt wird, dass Ausgangssignale aus den Neuronen der Ausgangsschicht als qualitative Werte definiert werden.
Der Quantifizierungsabschnitt 3 kann weggelassen werden, wenn ein abgerufenes Ausgangsergebnis als quantitativer Wert zu erhalten ist oder keine quantitative Umsetzung benötigt. Auch kann, wenn eine qualitative Auswertung abgerufen wird oder aus Eingangsinformation hergeleitet wird, die keine qualitative Bewertung benötigt (wie im Fall der obigen Fig. 35), der Abrufvorgang mit einer Konfiguration ohne qualitativen Bewertungsabschnitt 2 erfolgen. Ferner kann, wenn ein abgerufenes Ausgangsergebnis als quantitativer Wert erzeugt wird und es erwünscht ist, ihn als qualitative Auswertung zu erzeugen, der Quantifizierungsabschnitt 3 durch einen Fuzzyabschnitt für qualitative Bewertung, wie den Abschnitt 2 in den Fig. 31 und 34 ersetzt werden.
Die Fig. 36 bis 42 sind Diagramme zum Erläutern der Anwendung des Systems und des Verfahrens gemäß der Erfindung auf tatsächliche Prozesse.
In der Fig. 38 ist ein Tunnelbelüftungsprozess als Objektprozess dargestellt. Der Belüftungsprozess für einen Straßentunnel zeigt viele unbestimmte Elemente und starke nichtlineare Elemente, was es erschwert, aus herkömmlichen Steuerungsverfahren ein zufriedenstellendes Ergebnis zu erzielen. Ein Beispiel für die Anwendung eines erfindungsgemäßen neuronalen Netzwerks auf die Verschmutzungsvorhersage bei diesem Prozess wird nachfolgend beschrieben.
Fig. 36 zeigt Eingangsinformation in ein Verschmutzungsvorhersagesystem 30. Hauptfaktoren, die die Verschmutzungsänderung während einer vorbestimmten Zeitperiode bestimmen (als Verschmutzungsindex wird in diesem Fall ein Wert VI, der die Sicht, d. h. das Transmissionsvermögen repräsentiert, auf solche Weise verwendet, dass ein Wert VI im Bereich von 0 bis 100% höhere Sicht anzeigt, wenn er näher bei 100% liegt) beinhalten eine Änderung der Anzahl großer Fahrzeuge (ΔTB, wobei z ein Symbol ist, das eine Änderung anzeigt, die als "aktueller Wert minus voriger Wert" definiert ist), eine Fahrgeschwindigkeit (TS), eine Verschmutzungswertänderung (zWl), eine Änderung der mechanischen Belüftungsfähigkeiten (AM), eine Änderung des Verkehrsvolumens (ATR) und den natürlichen Wind (WN). In der Praxis wird das jüngste Vorhersageverfahren unter Verwendung mehrstufiger Fuzzyinferenz ausgeführt. Die Genauigkeit dieses Verfahrens liegt bei ungefähr 0,72 hinsichtlich des Korrelationskoeffizienten, wie es in Fig. 39 dargestellt ist. Der "Korrelationskoeffizient" ist ein Index, der die Genauigkeit eines Vorhersagewerts VIc+1predected und eines tatsächlichen Messwerts VIc+1actual zum Zeitpunkt tc repräsentiert, wie es in Fig. 40 dargestellt ist.
Fig. 37 zeigt eine Konfiguration eines Verschmutzungsvorhersagesystems gemäß dem System und dem Verfahren gemäß der Erfindung. Ein Muster X gelernter Information beinhaltet die Daten ΔTB1, TS, ΔVIc, ΔM, ΔTR und WN. Diese sechs Datentypen werden einer qualitativen Bewertung durch die Fuzzyeinheit 2 entsprechend empirisch bestimmten Zugehörigkeitsfunktionen unterzogen, die drei Typen qualitativer Bewertungen repräsentieren, nämlich "ab (-)", "unverändert (0)" und "auf (+)". Die Anzahl der Neuronen in der Eingangsschicht des neuronalen Netzwerks 6 ist daher 18. Andererseits wird auch der Verschmutzungsniveau-Änderungsmesswert ΔVIc+1actual nach einer vorbestimmten Zeitperiode, die bekannt ist, von der Fuzzyeinheit 4 unter Verwendung der empirisch bestimmten Zugehörigkeitsfunktionen qualitativ bewertet.
Der Gewichtungskorrekturabschnitt 7, der die vom Abschnitt 2 qualitativ bewerteten Daten als Muster gelernter Information verwendet, wird vom Abschnitt 4 mit einer qualitativen Bewertung der Messung AVIc+1actual als Lerninformationsmuster versorgt, und er korrigiert die Synapsengewichte des neuronalen Netzwerks 6 entsprechend den oben genannten Schritten zum Ausführen des Lernvorgangs.
Die Synapsengewichte des neuronalen Netzwerks 6 sind nach Abschluss des Lernvorgangs auf die oben genannte Weise festgelegt.
Beim Abrufprozess führen die Fuzzyeinheit 2 und das neuronale Vorwärtsnetzwerk 6 denselben Vorgang wie beim Lernprozess aus. Das neuronale Netzwerk 6 gibt aus den Neuronen der Ausgangsschicht sieben Typen von Bewertungen für die Änderung AVI des Verschmutzungswerts aus, nämlich NNL (ΔVIc+1) (be trächtlich abwärts), NNM (ΔVIC+1) (abwärts), NNS (ΔVIc+1) (eher abwärts), NZO (ΔVIc+1) (unverändert), Nps (ΔVIc+1) (leicht aufwärts), NpM (ΔVIc+1) (auf) und NpL (ΔVIc+1) (beträchtlich aufwärts). Der Quantifizierabschnitt, der mit diesen Daten versorgt wird, quantifiziert diese Bewertungen unter Verwendung von auf Grundlage empirischer Daten bestimmter Zugehörigkeitsfunktionen, und er gibt einen Verschmutzungsänderungs-Vorhersagewert ΔVIc+1predected als Ausgangssignal des Vorhersagesystems aus. Fig. 41 zeigt ein spezielles Beispiel eines solchen Vorgangs, bei dem qualitative Bewertungen, nämlich
d. h. die Neuronenausgangswerte der Ausgangsschicht dazu verwendet werden, den Anstieg eines Qualifizierungswerts von +1,6 (%) vorherzusagen.
Bei einem Verschmutzungsvorhersagesystem gemäß dem System und dem Verfahren gemäß der Erfindung, wie es in Fig. 42 dargestellt ist, beträgt der Korrelationskoeffizient zwischen dem Vorhersagewert und dem Messwert 0,85, was eine beträchtliche Verbesserung im Vergleich zu den herkömmlichen Verfahren anzeigt.
Beim oben beschriebenen erfindungsgemäßen Verschmutzungsvor hersagesystem ist die Inferenzregel für ein herkömmliches Fuzzyinferenzsystem durch ein neuronales Netzwerk ersetzt, und ein erfindungsgemäßes Abrufsystem, d. h. ein neuronales Netzwerksystem, das die qualitative Bewertung von Eingangsdaten mit der Quantifizierung des Abrufergebnisses kombiniert, realisiert ein neuartiges Fuzzyinferenzsystem.
Nun wird ein Beispiel zur Anwendung der Erfindung auf ein Verschmutzungsvorhersage/Abgas-System erläutert.
Ein Prozesssteuerungsverfahren gemäß dem System und dem Verfahren gemäß der Erfindung liegt beim Ausführen einer qualitativen Vorhersage eines Prozessverhaltens unter Verwendung eines neuronalen Netzwerks vor, das ein Transplantat eines qualitativen Wirkungsnetzwerks anstelle z. B. der Fuzzytheorie enthält.
Ein Verschmutzungsvorhersage/Abgas-System als Prozesssteuerungssystem wird nun unter Bezugnahme auf die Fig. 43 bis 48 erläutert. Fig. 38 ist ein schematisches Diagramm, das einen Tunnelbelüftungsprozess als Beispiel eines tatsächlichen Prozesses zeigt. Die Tunnelbelüftungssteuerung soll die Betriebsgröße einer Staubentfernungseinrichtung und eines Strahlgebläses bestimmen und steuern und die Verschmutzung dadurch in einem bestimmten Bereich halten, dass eine Verschmutzungsgröße VI für Rauch (Ruß) aus Prozessgrößen wie dem Verkehrsvolumen vorhergesagt wird.
Fig. 43 zeigt eine Konfiguration einer Prozesssteuerungseinheit 30' gemäß dem vorliegenden Ausführungsbeispiel sowie ein Beispiel für die Anwendung bei einem Tunnelbelüftungsprozess. Ein Inferenzabschnitt 35, der dem neuronalen Netzwerkabschnitt 5 ähnlich ist, besteht aus Eingangs-Ausgangs- Schnittstellen 39-1, 39-2 und einem neuronalen Netzwerk 36, das durch ein Wirkungsnetzwerk optimiert ist, und er ist über eine Prozesseingabeeinheit 31 und eine Prozessausgabeeinheit 32 mit einem Prozess 40 verbunden.
Der Inferenzabschnitt 35 wird periodisch (mit Intervallen von 5 Minuten im betrachteten Fall) von der Prozesseingabeeinheit 34 mit einer Änderung ΔTBt (Fahrzeuge/5 Minuten) für die Anzahl großer Fahrzeuge, einer Fahrgeschwindigkeitsänderung ΔTRt (Fahrzeuge/5 Minuten), einer Verschmutzungsänderung ΔVIt (%), einer Verkehrsvolumenänderung ΔTRt (Fahrzeuge/5 Minuten), der natürlichen Windgeschwindigkeit WNt (m/s) und der Änderung der mechanischen Belüftung (m³/s) zu einem Zeitpunkt t (aktuell) versorgt, die durch eine Prozessgröße- Messeinheit 41 gemessen werden (jede Änderung wird als Differenz gegenüber dem vorigen Wert bestimmt). Jede Prozessgröße wird in der Schnittstelle 39-1 angepasst und in das neuronale Netzwerk 36 eingegeben. Das neuronale Netzwerk 36 sagt die Verschmutzungsänderung ΔVIt+1 zu einem Zeitpunkt (t+1) durch die oben genannten Schritte (1) und (2) auf solche Weise hervor, dass das Verschmutzungsniveau innerhalb eines Bezugsniveaus gehalten wird, das die Prozessausgabeeinheit 32 bestimmt, und es gibt an eine Steuerungseinheit 42 eine Betriebsgröße (Wertvariable gegenüber der aktuellen Steuerungsgröße) der Steuerungseinheit 42 für die Verschmutzungsänderung ΔVIt+1 aus. Dabei wird die Abrufberechnung entsprechend den Synapsenverbindungen ausgeführt.
Nun erfolgt eine Erläuterung zu einem qualitativen Wirkungsnetzwerk für den Tunnelbelüftungsprozess und zu einem Verfahren zum darauf beruhenden Konfigurieren des neuronalen Netzwerks 36. Fig. 44 zeigt ein qualitatives Wirkungsnetzwerk für einen Tunnelbelüftungsprozess. Die Änderung der Anzahl großer Fahrzeuge, der Fahrgeschwindigkeit und des Verschmutzungsgrads von einem Zeitpunkt (t-1) zum aktuellen Zeitpunkt stehen in kausaler Beziehung mit der Änderung des Verschmutzungsgrads im Tunnel. Die Änderung des Verkehrsvo lumens und der mechanischen Belüftung und der natürlichen Windgeschwindigkeit stehen andererseits in kausalem Zusammenhang mit der Änderung des Gesamtbelüftungsvermögens. Ferner stehen die Änderung des Verschmutzungsgrads im Tunnel und die Änderung des Gesamtbelüftungsvermögens in kausaler Beziehung mit der vorhergesagten Änderung des Verschmutzungsgrads zu einem vorbestimmten späteren Zeitpunkt (t+1). Die Prozessfaktoren repräsentierenden Daten und die zugehörige kausale Beziehung werden auf diese Weise als empirische Daten von einem Wirkungsnetzwerk erhalten.
Die Fig. 45A, 45B und 45C zeigen ein Beispiel, bei dem Variablen, eine kausale Beziehung und ein qualitatives Wirkungsnetzwerk in Schritten 2302 bis 2306 in Fig. 23 aus diesem qualitativen Wirkungsnetzwerk definiert werden. Fig. 45A ist eine Tabelle zum Einspeichern von Variablennummern 1 bis 9 entsprechend den oben genannten Prozessgrößen, und zugehörigen Namen mit geeigneten Werten einer Ober- und einer Untergrenze für jede Variable. Fig. 45D zeigt eine Definition der kausalen Beziehung hinsichtlich der Minimaleinheit, und die Prozessgrößen sind in ein Unternetzwerk von Variablen 1, 2 und 3 der ersten Schicht und einer Variable der zweiten Schicht sowie ein anderes Unternetzwerk von Variablen 4, 5 und 6 der ersten Schicht und der Variable 8 der zweiten Schicht unterteilt. In Fig. 45C sind andererseits die jeweiligen Variablen in der Reihenfolge der Seriennummern in einer Schichteinheit angeordnet, und es ist eine Konfiguration eines qualitativen Wirkungsnetzwerks definiert.
Die Fig. 46A, 46B, 46C-1 und 46-2 dienen zum Definieren der Beziehung zwischen Neuronen und Variablen und der Synapsenverbindungen in Schritten 2308 bis 2312. Beim Tunnelbelüftungsprozess werden, wenn durch die Schnittstelle 39-1 eine Prozessgröße normiert wird und in die Neuronen der Eingangsschicht eingegeben wird, drei Bewertungstypen, nämlich u+ (auf), u0 (unverändert) und u- (ab) zur Normierung für Neu roneneingangswerte verwendet. Die Normierung wird z. B. unter Verwendung von Zugehörigkeitsfunktionen (vorab empirisch bestimmt) ausgeführt, die die Adaptionsfähigkeit u (ein Wert von 0 bis 1) der Prozessgröße für jede Bewertung (+, 0, -) repräsentiert. Jedoch kann ein normales lineares Normierungsverfahren verwendet werden.
Im Ergebnis werden, wie es in Fig. 46A dargestellt ist, Bewertungen, nämlich z. B. N-TBt, Z-TBt und P-TBt als Änderung ΔTBT der Anzahl großer Fahrzeuge in die Neuronen mit den Nummern 1 bis 3 eingegeben. Entsprechend dem vorliegenden Ausführungsbeispiel sind den drei Bewertungstypen entsprechende Neuronen für eine Prozessgröße der zweiten Schicht angeordnet, wie im Fall der Eingangsschicht, im Vergleich mit sieben Neuronen, die sieben Bewertungstypen entsprechend in der Ausgangsschicht angeordnet sind. Genauer gesagt, wird die vorhergesagte Änderung ΔWIt+1 des Verschmutzungsgrads entsprechend Kriterien bewertet, zu denen un1 (beträchtlich abwärts), unm (abwärts), uns (leicht abwärts), u20 (unverändert), ups (leicht aufwärts), gpm (aufwärts) und up1 (beträchtlich aufwärts) gehören, und der sich ergebende Adaptionsfähigkeitswert g wird an die Neuronen mit den Nummern 25 bis 31 ausgegeben. Fig. 46B zeigt eine Entsprechungsbeziehung zwischen der Variablennummer und der Neuronennummer des Wirkungsnetzwerks, und die Beziehung zwischen Variablen und Neuronen ist als 1:n (n = 1, 2, ..., n) durch einen Parameter n definiert, der vorab registriert wurde. Die Fig. 46C-1 und 46C-2 zeigen eine Synapsenverbindungs-Tabellengruppe. Innerhalb der Synapsenverbindungen der Neuronen in der zweiten Schicht sind die Neuronen mit den Nummern 1 bis 9 in der ersten Schicht mit den Neuronen mit den Nummern 19 bis 21 in der zweiten Schicht (Seriennummern 1 bis 3 für die zweite Schicht) verbunden, und die Neuronen mit den Nummern 10 bis 18 in der ersten Schicht sind mit den Neuronen mit den Nummern 22 bis 24 in der zweiten Schicht verbunden (Seriennummern 4 bis 6 für die zweite Schicht), die jeweils ein Unternetzwerk bilden.
Fig. 47 ist ein Diagramm, das das gemäß den obigen Definitionen aufgebaute neuronale Netzwerk 36 zeigt. Bei diesem Beispiel sind die Neuronen in der Eingangs- und der Zwischenschicht in zwei Unternetzwerke unterteilt, und daher sind nur Synapsen tatsächlich angeschlossen, die durch eine durchgezogene Linie dargestellt sind. Im Ergebnis ist die Anzahl der Synapsen von 108 ( = 18 · 6) Verbindungen, wie durch die durchgezogenen und gestrichelten Linien dargestellt, auf 54 ( = 9 · 3 + 9 · 3) auf die Hälfte verringert, was die Verarbeitungsfähigkeiten für anschließende Lern/Abruf-Vorgänge beträchtlich verbessert.
Im zunächst auf diese Weise definierte neuronale Netzwerk werden die zugehörigen Synapsengewichte durch das Lernen eines Lerninformationsmusters auf Grundlage tatsächlicher Messdaten für einen Tunnelprozess bestimmt, und nachdem ein qualitatives Wirkungsnetzwerk eines Tunnelbelüftungsprozesses im Wesentlichen transplantiert wurde, wird es in einen Inferenzabschnitt 35 der Prozesssteuerungseinheit eingebaut. Auf diese Weise werden die sieben Adaptionsfähigkeitswerte von den Neuronen der Ausgangsschicht invers von einer Fuzzygröße durch die Schnittstelle 39-2 in einen quantitativen Wert umgesetzt, um eine vorhergesagte Änderung für den Verschmutzungsgrad zu bestimmen. Diese inverse Transformation erfolgt durch einen Entfuzzifizierungsabschnitt ähnlich dem obigen Quantisierungsabschnitt durch eine Schwerpunktberechnung, wie sie ausgeführt wird, wenn jeder Adaptionsfähigkeitswert eine entsprechende Zugehörigkeitsfunktion in einer Bewertungseinheit schneidet.
Fig. 48 ist ein Kurvenbild, in dem die Zeit entlang der Abszisse und das Transmissionsvermögen TI (Kehrwert des Verschmutzungsgrads VI) im Tunnel entlang der Ordinate aufgetragen sind, um die Funktionsbeziehung zwischen TI und der Belüftungssteuerungseinheit zu erläutern. Die dicke, durchgezogene Linie repräsentiert einen tatsächlichen Messwert von TI, und eine doppelte Linie repräsentiert einen Vorhersagewert von TI entsprechend der Inferenzeinheit 31. Auch ist der Sollwert für TI auf die Obergrenze von 30% und die Untergrenze von 40% gesetzt.
Es wird ein tatsächlicher Messwert von TI ( = 49%) zum aktuellen Zeitpunkt 16 : 50 eingegeben, und der Wert TI 5 Minuten später (16 : 55) wird als 42% vorhergesagt. Wenn die aktuellen Betriebsbedingungen erhalten bleiben, ist es wahrscheinlich, dass der Wert TI bald unter die zugehörige Untergrenze fällt. Um dieser Bedingung zu genügen, wird, entsprechend der Abweichung zwischen dem aktuellen und dem vorhergesagten Wert, oder auf solche Weise, dass ein Wert innerhalb des Sollbereichs (gestrichelte Linie) gewährleistet ist, die Leistung oder die Anzahl der in Betrieb befindlichen Einheiten der Staubsammeleinrichtungen oder der Strahlgebläse durch die Prozessausgabeeinheit 32 bestimmt, um dadurch die Steuerungseinheit 42 in Echtzeit (16 : 50) zu steuern, mit dem Ergebnis, dass die tatsächliche Messung 16 : 55 auf 57% verbessert ist.
Die Optimierung eines neuronalen Netzwerks verbessert die Wirkung einer Verkürzung der Abrufzeit bei einer Zunahme der Kompliziertheit eines Prozesses und der Eingangsdaten, wie beim vorliegenden Ausführungsbeispiel, was eine Vorhersagesteuerung in Echtzeit ermöglicht. Im Ergebnis wird die Abstimmung von Zugehörigkeitsfunktionen zur Fuzzysteuerung bei einem komplizierten Prozess, die im Stand der Technik eine lange Zeit von einem Jahr oder zweien benötigte, innerhalb einem Tag oder zweien dadurch bewerkstelligt, dass ein neuronales Netzwerk mit entsprechender Genauigkeit gemäß dem System und dem Verfahren gemäß der Erfindung eingelernt wird.

Claims

System zum Erschließen von Zieldaten aus Eingangsdaten mittels eines neuronalen Netzwerks, aufweisend:

eine erste Bewertungseinrichtung (2) zum qualitativen Bewerten der Eingangsdaten durch Fuzzy-Zugehörigkeitsfunktionen und zum Ausgeben des Bewertungsergebnisses als Daten, die in einem vorbestimmten Bereich normalisiert sind,

eine Berechnungseinrichtung (5) zum Bewerten des normalisierten Bewertungsergebnisses der ersten Bewertungseinrichtung mittels eines neuronalen Netzwerks (6) mit mehreren Neuronen, die jeweils über Synapsen mit anderen Neuronen verbunden sind, wobei jeder Synapse ein Gewicht zugeteilt ist und jedes Neuron entsprechend der Gesamtsumme der Produkte der Ausgangswerte verbundener Neuronen und der Synapsengewichte einen Ausgangswert ausgibt, und

eine zweite Bewertungseinrichtung (3), um die Ausgangs- daten der Berechnungseinrichtung durch Entfuzzyfizierung quantitativ zu bewerten und als die genannten Zieldaten das Bewertungsergebnis auszugeben.
2. System nach Anspruch 1, wobei die Bewertungseinrichtung außerdem eine Entnahmeeinrichtung (9) aufweist, um eine Synapse, deren Gewicht kleiner als ein vorbestimmter Wert ist, sowie ein Neuron, deren mit ihm verbundene Synapsen kleinere Gewichte als den vorbestimmten Wert aufweisen, aus der Beechnung der Ausgangsdaten des neuronalen Netzwerks (6) herauszunehmen.
3. System nach Anspruch 1, wobei die Berechnungseinrichtung (5) außerdem beinhaltet:

eine Tabellenspeichereinrichtung (10') zur Speicherung einer Produktwerttabelle mit Produktwerten sowie einer Funktionswerttabelle mit Ausgangsfunktionswerten, und

eine Einrichtung (61, 62, 63) zur Bestimmung von Pro Produktwerttabelle in Reaktion auf die Zufuhr der Ausgangsfunktionswerte der mit dem jeweiligen Neuron verbundenen Neuronen, zur Bestimmung der Gesamtsumme der so erhaltenen Produktwerte und zur Bestimmung eines Ausgangsfunktionswerts unter Bezugnahme auf die Funktionswerttabelle und in Zuordnung zu der Gesamtsumme, um so den Ausgangsfunktionswert des jeweiligen Neurons zu bestimmen.
4. System nach Anspruch 3, wobei die Neuronen des neuronalen Netzwerks schichtweise angeordnet sind und die Berechnungseinrichtung (5) eine Einrichtung (61, 62, 63) enthält, um den Ausgangsfunktionswert der Neuronen in"einer gegebenen Schicht unter Bezugnahme auf die Funktionswerttabelle im Anschluß an die Produktwerttabelle synchron zu den einzelnen Neuronen zu bestimmen.
5. System nach Anspruch 1, mit einer Korrektureinrichtung (7) zur Korrektur der Gewichte jeder Synapse des neuronalen Netzwerks (6) entsprechend einer Differenz zwischen Lehrdaten und den Ausgangsdaten des neuronalen Netzwerks (6, 8), wenn Lerndaten als Eingangsdaten an eine Normalisiereinrichtung (11) am Eingang des neuronalen Netzwerks angelegt werden, um das neuronale Netzwerk dadurch die Lerndaten lernen zu lassen.
6. System nach Anspruch 1 mit einer qualitativen Analyseeinrichtung (2) zur qualitativen Analyse von Daten, die ihr zugeführt werden, und zur Lieferung eines Analyseergebnisses als Eingangsdaten an eine Normalisierungseinrichtung (11) am Eingang des neuronalen Netzwerks.
7. System nach Anspruch 1, aufweisend:

eine Anzeigeeinrichtung (32) zum Anzeigen von Daten, die ihr zugeführt werden, und

eine qualitative Bewertungseinrichtung zur qualitativen Analyse der Eingangsdaten des neuronalen Netzwerks und zur Ausgabe des Analyseergebnisses an die Anzeigeeinrichtung.
8. System nach Anspruch 1, aufweisend:

eine Einrichtung (10') zur Speicherung eines qualitativen Wirkungsnetzwerks, das eine Beziehung zwischen Eingangs- und Ausgangsdaten darstellt, und

eine netzwerkdefinierende Einrichtung (12), um die Neuonen entsprechend dem qualitativen Wirkungsnetzwerk über die Synapsen miteinander zu verbinden und das neuronale Netzwerk festzulegen.
9. System nach Anspruch 3, wobei die Neuronen des neuronalen Netzwerks geschichtet sind und das neuronale Netzwerk (6, 8)mit einer Einrichtung (61, 62, 63) versehen ist, um das neuronale Netzwerk die Arbeiten unter Bezugnahme auf die Pro- duktwerttabelle, die Arbeiten zur Bestimmung der Gesamtsumme und die Arbeiten unter Bezugnahme auf die Funktionswerttabelle synchron in Einheiten der geschichteten Neuronen durchführen zu lassen.
10. System nach Anspruch 5, mit einer qualitativen Bewertungseinrichtung zur qualitativen Analyse von Daten, die ihr zugeführt werden, sowie zur Lieferung des Analyseergebnisses an die Korrektureinrichtung (7) als Lerndaten.
11. Verfahren zum Erschließen von Zieldaten aus Eingangsdaten durch Fuzzy-Schlußfolgerung und mittels eines neuronalen Netzwerks, mit folgenden Schritten:

erlernen des Gewichts jeder Synapse des neuronalen Netzwerks (6) aus den Eingangsdaten entsprechenden ersten bekannten Daten und den Zieldaten für die ersten bekannten Daten entsprechenden zweiten bekannten Daten,

Umwandeln der Eingangsdaten mittels einer Fuzzy-Zugehörigkeitsfunktion in eine normalisierte qualitative Bewertung,

Eingeben der normalisierten qualitativen Bewertung in das neuronale Netzwerk (6), um als Ausgangsdaten des neuronalen Netzwerks qualitative Bewertungswerte für die Zieldaten zu erhalten, und

Bestimmen der Zieldaten durch Entfuzzyfizierung der von dem neuronalen Netzwerk ausgegebenen qualitativen Bewertungswerte.
12. Verfahren nach Anspruch 11 mit folgenden Schritten:

qualitatives Normalisieren von Lerndaten innerhalb eines vorbestimmten Bereichs,

Erzeugen von Ausgangsdaten aus den qualitativ normalisierten Lerndaten durch ein neuronales Netzwerk mit einer Vielzahl von Neuronen, wobei jedes Neuron über Synapsen mit Neuronen verbunden ist, jeder Synapse ein Gewicht gegeben ist und jedes Neuron einen Wert einer einem bestimmten Neuron zugeteilten Ausgangsfunktion entsprechend einer Gesamtsumme der Produktwerte der Ausgangsfunktionen der verbundenen Neuronen und der Synapsengewichte ausgibt,

Korrigieren des Gewichts jeder Synapse in dem neuronalen Netzwerk entsprechend der Differenz zwischen einer Ausgabe des neuronalen Netzwerks und Lehrdaten und Bewirken, daß das reuronale Netzwerk die Lerndaten lernt.
13. Verfahren nach Anspruch 11 oder 12, mit einem Schritt zum Umwandeln der Ausgangsdaten des neuronalen Netzwerks in einen quantitativen Wert und Ausgeben des quantitativen Werts.
14. Verfahren nach Anspruch 11 oder 12, mit einem Schritt zur qualitativen Analyse der Ausgangsdaten des neuronalen Netzwerks und zum Ausgeben des Analyseergebnisses.
15. Verfahren nach Anspruch 11 oder 12 mit einem Schritt zum Ungültigmachen der Synapsen, deren Gewichte kleiner als ein vorbestimmter Wert sind, sowie eines Neurons, für das alle

mit ihm verbundenen Synapsengewichte kleiner als der vorbestimmte Wert sind.
16. Verfahren nach Anspruch 11 oder 12 mit folgenden Schritten:

(a) Bestimmen von Produktwerten von Gewichten von Synapsen und Ausgangsfunktionswerten von mit einem gegebenen Neuron über Synapsen verbundenen Neuronen unter Bezugnahme auf eine Produktwerttabelle zur Speicherung von Produktwerten,

(b) Bestimmen einer Gesamtsumme der Produktwerte, und

(c) Bestimmen einer Ausgabe des Neurons unter Bezugnahme auf eine Funktionswerttabelle zur Speicherung von Ausgangsfunktionswerten entsprechend der Gesamtsumme, wobei die Schritte (a) bis (c) für alle Neuronen des neuronalen Netzwerks durchgeführt werden.

(1) Übersetzung von nach Bezugszeichen geordneten Figurenbeschriftungen

(2) Alphabetisch geordnete Übersetzungen von Figurenbeschriftungen