DE69713247T2

DE69713247T2 - Lernverfahren in Binärsystemen

Info

Publication number: DE69713247T2
Application number: DE69713247T
Authority: DE
Inventors: Zheng Tang
Original assignee: SOWA INST OF TECHNOLOGY CO
Current assignee: SOWA INST OF TECHNOLOGY CO
Priority date: 1996-11-06
Filing date: 1997-11-04
Publication date: 2003-02-06
Anticipated expiration: 2017-11-05
Also published as: JPH10320369A; EP0841621A1; CA2219594C; MX9708565A; CN1182246A; CA2219594A1; EP0841621B1; RU2168713C2; US6061673A; DE69713247D1; KR19980042174A; TW326507B; IL122099A; DE841621T1; IL122099A0

Description

Die Erfindung bezieht sich auf lernfähige Binärsysteme.
Bis jetzt wird das Lernen bei herkömmlichen neuronalen Netzen durchgeführt, indem jedes Gewicht des Prozesses und der Schwellenwert jedes Neurons modifiziert werden. Da die Operationen der vorstehend angeführten Gewichte und Schwellenwerte komplizierte und ausgedehnte Hardware wie beispielsweise Additionseinrichtungen und Multiplikationseinrichtungen erfordern und eine lange Zeit zum Arbeiten benötigen, war es jedoch schwierig, ausgedehnte Hardware zu realisieren.
Die WO-A-92 04687 offenbart einen Prozeß und einen Aufbau, mit denen neuronale Netze des ADALINE-Typs, deren Eingaben Boolesche Variable sind, unter Verwendung von Booleschen Funktionen realisiert werden können. Gemäß diesem Dokument wird eine digitale Schaltung zur Realisierung eines sogenannten neuronalen Netzes des ADALINE-Typs und daraufhin der Booleschen Funktion verwendet.
Ferner ist in Eliashberg V. "A Relationship between Neural Networks and Programmable Logic Arrays", Proceedings of the International Conference on Neural Networks (ICN), San Francisco, 28. März - 1. April, 1993, Band 3, 28. März 1993, Institute of Electrical and Electronic Engineers, Seiten 1333-1337 die Beziehung zwischen neuronalen Netzen und programmierbaren logischen Anordnungen beschrieben. Dieses Dokument befaßt sich jedoch nicht mit Lernalgorithmen und -verfahren.
Die vorliegende Erfindung wurde in Anbetracht des vorstehenden Nachteils entwickelt, und das Ziel der Erfindung besteht darin, Lernverfahren in Binärsystemen bereitzustellen, indem die Verbindungszustände der Schaltung in jeder der grundlegenden Binärschaltungen in binären kombinierten logischen und sequentiellen Schaltungen, die mit grundlegenden Binärgattern wie beispielsweise UND-, ODER-, NICHT-, NICHT-UND-, NICHT-ODER- und EXKLUSIV-ODER-Gattern aufgebaut sind, modifiziert werden.
Gemäß der vorliegenden Erfindung wird dieses Ziel durch ein Lernverfahren in einem Binärsystem erreicht, wie es in dem Patentanspruch 1 definiert ist.
Zur Erreichung des vorstehenden Ziels wird bei den Lernverfahren in Binärsystemen gemäß der Erfindung das Lernen unter den Verbindungszuständen durchgeführt, wobei das erste Binärgatter mit dem zweiten Binärgatter verbunden wird, indem einer der nachstehenden vier Verbindungszustände ausgewählt wird:
1) direkte Verbindung;
2) Verbindung über einen Invertierer;
3) Verbindung mit dem zweiten Gatter, wobei binär 1 eingegeben wird;
4) Verbindung mit dem zweiten Gatter, wobei binär 0 eingegeben wird.
Energien, die die Verbindungszustände zeigen, weisen Hoch-Niedrig-Ordnungen auf, wie es in Fig. 1 gezeigt ist.
Ferner wird dieses Lernen durchgeführt, indem die die vorstehenden Verbindungszustände ausdrückenden Pseudo- Potentialenergien modifiziert werden.
Ferner wird die Modifikation der die vorstehenden Verbindungszustände zeigenden Pseudo-Potentialenergien durchgeführt, wie es in Fig. 2 gezeigt ist.
Ferner ist die vorstehend angeführte binäre kombinierte logische Schaltung mit den Verbindungen zwischen den grundlegenden Binärgattern wie beispielsweise UND-, ODER-, NICHT-, NICHT-UND-, NICHT-ODER- und EXKLUSIV-ODER- Gattern aufgebaut, wie es in Fig. 3 gezeigt ist.
Ferner sind die vorstehend angeführten sequentiellen Schaltungen mit der kombinierten Schaltung und einer Speicherschaltung und der Verbindung zwischen ihnen aufgebaut, wie es in Fig. 4 gezeigt ist, und die kombinierte Schaltung ist mit den grundlegenden Binärgattern wie beispielsweise UND-, ODER-, NICHT-, NICHT-UND-, NICHT-ODER- und EXKLUSIV-ODER-Gattern aufgebaut.
Das Lernverfahren gemäß der Erfindung ist ferner dadurch gekennzeichnet, daß die vorstehend angeführten Verbindungszustände unter Verwendung von Neuronen realisiert werden, und daß das Lernen durchgeführt wird, indem Gewichte der Pseudo-Neuronen und Schwellenwerte modifiziert werden.
Ferner werden die Modifikationen der Gewichte der Neuronen W und Schwellenwerte θ zu der Gradientenabfallrichtung einer Fehlerfunktion E hin geändert, wie es in Gl. (1) gezeigt ist.
ΔWα - ∂E/∂θ Gl.(1)
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß die vorstehenden Verbindungszustände unter Verwendung einer Pseudo-Potentialenergie (nachstehend als PPE bezeichnet) ausgedrückt werden.
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß die PPE jedes Gatters eine in Fig. 1 definierte Hoch- Niedrig-Ordnung aufweist.
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß das Lernen durchgeführt wird, indem die PPE in den Verbindungszuständen modifiziert wird.
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß die Modifikation der PPE in den Verbindungszuständen durchgeführt wird, wie es Fig. 2 gezeigt ist.
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß die vorstehenden binären kombinatorischen logischen Schaltungen aus den grundlegenden Gattern UND, ODER, NICHT, NICHT-UND, NICHT-ODER und EXKLUSIV-ODER und Verbindungen zwischen ihnen bestehen, wie es in Fig. 3 gezeigt ist.
Dieses Lernverfahren ist ferner dadurch gekennzeichnet, daß die vorstehenden sequentiellen Netze aus einer kombinatorischen Schaltung und einer Speicherschaltung bestehen, wie es in Fig. 4 gezeigt ist, und die kombinatorische logische Schaltung mit den grundlegenden Gattern wie beispielsweise UND, ODER, NICHT, NICHT-UND, NICHT-ODER und EXKLUSIV-ODER und den Verbindungen zwischen ihnen aufgebaut ist.
Ferner sind die vorstehenden binären kombinatorischen logischen Schaltungen dadurch gekennzeichnet, daß sie mit einer Eingangsschicht, einer Verbindungsschicht, einer UND-Schicht und einer ODER-Schicht aufgebaut sind, wie es in Fig. 5 gezeigt ist.
Ferner sind die vorstehenden binären kombinatorischen logischen Schaltungen ebenfalls dadurch gekennzeichnet, daß sie mit einer Eingangsschicht, einer Verbindungsschicht, einer ODER-Schicht und einer UND- Schicht aufgebaut sind, wie es in Fig. 6 gezeigt ist.
Ferner sind die vorstehenden binären kombinatorischen logischen Schaltungen ebenfalls dadurch gekennzeichnet, daß sie mit einer Eingangsschicht, einer Verbindungsschicht, einer dazwischenliegenden NICHT-UND- Schicht und einer ausgebenden NICHT-UND-Schicht aufgebaut sind, wie es in Fig. 7 gezeigt ist.
Ferner sind die vorstehenden binären kombinatorischen logischen Schaltungen ebenfalls dadurch gekennzeichnet, daß sie mit einer Eingangsschicht, einer Verbindungsschicht, einer dazwischenliegenden NICHT-ODER- Schicht und einer ausgebenden NICHT-ODER-Schicht aufgebaut sind, wie es in Fig. 8 gezeigt ist.
Ferner sind die vorstehenden binären kombinatorischen logischen Schaltungen ebenfalls dadurch gekennzeichnet, daß sie mit einer Eingangsschicht, einer Verbindungsschicht, einer dazwischenliegenden EXKLUSIV-ODER-Schicht und einer ausgebenden EXKLUSIV-ODER-Schicht aufgebaut sind, wie es in Fig. 9 gezeigt ist.
Zum besseren Verständnis der Eigenschaften gemäß der Erfindung ist lediglich beispielhaft und ohne auf irgendeine Weise beschränkend zu sein das nachstehende bevorzugte Ausführungsbeispiel unter Bezugnahme auf die beigefügten Zeichnungen beschrieben, in denen:
Fig. 1 die Ordnung der Pseudo-Potentialenergie von Verbindungszuständen zeigt;
Fig. 2 das Modifikationsverfahren der Pseudo- Potentialenergie von Verbindungszuständen zeigt;
Fig. 3 ein Blockschaltbild eines kombinatorischen Netzes zeigt;
Fig. 4 ein Blockschaltbild eines sequentiellen Netzes zeigt;
Fig. 5 ein Blockschaltbild eines UND-ODER-Netzes zeigt;
Fig. 6 ein Blockschaltbild eines ODER-UND-Netzes zeigt;
Fig. 7 ein Blockschaltbild eines Netzes mit NICHT-UND- Gattern zeigt;
Fig. 8 ein Blockschaltbild eines Netzes mit NICHT-ODER- Gattern zeigt;
Fig. 9 ein Blockschaltbild eines Netzes mit EXKLUSIV-ODER-Gattern zeigt;
Fig. 10 eine Wahrheitstabelle für eine beispielhafte Binärfunktion zeigt;
Fig. 11 einen Karnaugh-Plan für eine beispielhafte Binärfunktion zeigt;
Fig. 12 eine logische Schaltung für eine beispielhafte Binärfunktion zeigt;
Fig. 13 eine grafische Darstellung der Schwellenfunktion und des Modells des Pseudo-Neurons zeigt;
Fig. 14 den Ausdruck des Verbindungszustands mit dem Pseudo-Neuron zeigt;
Fig. 15 ein UND-ODER-Netz mit Pseudo-Neuronen und einem Ausgang zeigt;
Fig. 16 eine zu einem ODER-Gatter genäherte Funktion mit kontinuierlichen Werten zeigt;
Fig. 17 eine zu einem UND-Gatter genäherte Funktion mit kontinuierlichen Werten zeigt;
Fig. 18 eine Wahrheitstabelle von Lernsignalen zeigt;
Fig. 19 eine Wahrheitstabelle von Lernsignalen zeigt;
Fig. 20 einen Karnaugh-Plan der Schwellenwertaktualisierung Δθij zeigt;
Fig. 21 die Zustandszuweisung der Verbindungszustände durch das Pseudo-Neuron zeigt;
Fig. 22 einen Karnaugh-Plan der Ausgabe (Yij) des Pseudo- Neurons mit der Eingabe (Xi) und der Zustandszuweisung (g&sub3;, q&sub2;, g&sub1;) zeigt;
Fig. 23 eine Schaltungsrealisierung des Lernalgorithmus zeigt;
Fig. 24(a) das Zustandsübergangsdiagramm des Schwellenwertlernens Δθ zeigt;
Fig. 24(b) ein Zustandsübergangsdiagramm des Gewichtslernens ΔW zeigt;
Fig. 25(a) eine Zustandsübergangstabelle des Schwellenwertlernens zeigt;
Fig. 25(b) eine Zustandsübergangstabelle des Gewichtslernens zeigt;
Fig. 26 eine Wahrheitstabelle für eine Schwellenwertlernschaltung zeigt;
Fig. 27 eine Wahrheitstabelle für eine Gewichtslernschaltung zeigt;
Fig. 28 eine Wahrheitstabelle von Gewichts- und Schwellenwertmodifikationsschaltungen zeigt;
Fig. 29 einen Karnaugh-Plan von q&sub3;' zeigt;
Fig. 30 einen Karnaugh-Plan von q&sub2;' zeigt;
Fig. 31 einen Karnaugh-Plan von q&sub1;' zeigt;
Fig. 32 ein Schaltbild der Modifikationsschaltung unter Verwendung eines kombinatorischen Netzes zeigt;
Fig. 33 ein Schaltbild der Modifikationsschaltung unter Verwendung eines sequentiellen Netzes zeigt;
Fig. 34 eine Wahrheitstabelle der Pseudo-Neuron- Verbindungsschaltung zeigt;
Fig. 35 eine Schaltung der Pseudo-Neuron-Verbindung zeigt;
Fig. 36 ein Blockschaltbild der ganzen Lernschaltung zeigt;
Fig. 37 eine Wahrheitstabelle der Verbindungsfunktion zeigt;
Fig. 38 eine Schaltung des Lernalgorithmus unter Verwendung des Pseudo-Potentialenergie-Verfahrens zeigt;
Fig. 39 eine Wahrheitstabelle der Verbindungszustandslernschaltung zeigt;
Fig. 40 eine Lernmodifikationsschaltung unter Verwendung eines sequentiellen Netzes zeigt;
Fig. 41 das Schaltbild der Verbindungsschaltung zeigt;
Fig. 42 ein Blockschaltbild der ganzen Lernschaltung unter Verwendung des Pseudo-Potentialenergie-Verfahrens zeigt;
Fig. 43 das Lernen in einem sequentiellen Netz zeigt.
Nachstehend ist ein bevorzugtes Ausführungsbeispiel des Lernverfahrens in Binärsystemen gemäß der Erfindung als ein Beispiel mit Bezug auf die mit der in Fig. 5 gezeigten UND-Schicht und ODER-Schicht aufgebauten logischen Schaltungen ausführlich beschrieben.

1. Verbindungszustände

Zuerst sind die Verbindungszustände bei dem Ausführungsbeispiel gemäß der Erfindung beschrieben. Bei einem Aufbau von Binärsystemen wird jede logische Funktion mit der Form der logischen Summe ausgedrückt (mit der in Fig. 5 gezeigten UND-ODER-Schaltung aufgebaut). Beispielsweise wird eine in Fig. 10 gezeigte logische Funktion durch eine Vereinfachung mit einem in Fig. 11 gezeigten Karnaugh-Plan in Gl. (2) ausgedrückt.
Z = &sub1; X&sub2; + X&sub2; &sub3; + · &sub2; X&sub3; X&sub4; Gl.(2)
Die in Gl. (2) gezeigte logische Funktion wird durch Anwendung eines UND-ODER-Netzes in einem in Fig. 12 gezeigten Blockschaltbild ausgedrückt.
Daraufhin werden die Verbindungszustände zwischen einer Eingangsschicht und einer UND-Schicht in einem der nachstehenden vier Verbindungszustände gemäß der logischen Funktion bestimmt, d. h.:
(1) Eine Eingabe Xi ist in einem logischen Ausdruck UNDj enthalten (beispielsweise ist X&sub2; direkt verbunden, da das in Fig. 12 gezeigte X&sub2; sowohl in UND&sub1; als auch in UND&sub2; enthalten ist);
(2) Die Negation einer Eingabe Xi ist in einem logischen Ausdruck UNDi enthalten (beispielsweise ist eine Eingabe X&sub3; über einen Invertierer mit UND&sub2; verbunden);
(3) Eine Eingabe Xi und die Negation der Eingabe Xi sind nicht in dem logischen Produktausdruck UND enthalten (beispielsweise ist keine Verbindung zwischen X&sub3; und UND&sub1; vorhanden. D. h., die Eingabe von X&sub3; in UND&sub1; ist im allgemeinen mit binär 1 verbunden);
(4) Eine Eingabe ist im allgemeinen mit binär 0 mit einem UND-Gatter verbunden.
Entsprechend kann eine logische Funktion mit n Variablen mit einem aus höchstens 2(n-1) + 1 UND-Gattern bestehenden UND-ODER-Netz realisiert werden. Die Verbindungen zwischen der Eingangsschicht und der UND-Schicht werden durch Anwendung einer der vorstehend angeführten Verbindungen realisiert.

2. Ausdruck durch Pseudo-Neuron

Die vorstehenden Verbindungszustände können durch Anwendung eines Pseudo-Neurons (nachstehend "PN") ausgedrückt werden. Die Verbindungszustände zwischen Eingaben und Ausgaben bei dem Pseudo-Neuron werden mit einer in Gl. (3) oder Gl. (4) gezeigten Schwellenfunktion ausgedrückt.
wobei Xi: i-te Eingabe
Yij: Ausgabe des ij-ten Pseudo-Neurons
Wij: Gewichtsfaktor der Eingabe Xi in das ij-te Pseudo-Neuron
θij: der Schwellenwert des ij-ten Pseudo- Neurons.
Auch in diesem Fall weist das Pseudo-Neuron lediglich eine Eingabe und eine Ausgabe auf, und Wij nimmt entweder 1 oder -1 an, und θij nimmt -1,5, -0,5, 0,5 oder 1,5 an, wie es in Fig. 13(a) oder (b) gezeigt ist.
Da die Eingabe Xi in Binärsystemen lediglich entweder 0 oder 1 annimmt, nimmt die Ausgabe von dem Pseudo-Neuron gemäß dem Gewichtsfaktor Wij und dem Schwellenwert θij entweder 1 oder 0 an, wie es in Fig. 14 gezeigt ist.
Entsprechend wird es möglich, den Verbindungszustand zwischen dem Eingang und dem UND-Gatter durch Anwendung eines Pseudo-Neurons auszudrücken.
Daraufhin kann der in Fig. 5 gezeigte UND-ODER-Aufbau durch Anwendung eines Pseudo-Neurons zwischen der Eingangsschicht und der UND-Schicht ausgedrückt werden, wie es in Fig. 15 gezeigt ist.
Das in Fig. 15 gezeigte Netz ist schichtartig ausgebildet, wobei es aus einer Eingangsschicht, einer Pseudo-Neuron-Schicht, einer UND-Schicht und einer ODER- Schicht besteht und jede Schicht aus einer angemessenen Anzahl von Gattern ohne eine Verbindung in jeder Schicht selbst besteht. Ferner ist die Verbindung zwischen jeder Schicht auf lediglich eine Richtung (d. h. einen vorwärts gekoppelten Typ) von einer Eingangsschicht zu einer Ausgangsschicht begrenzt. In Gattern jeder Schicht außer der Verbindung zwischen einer Eingangsschicht und einer Pseudo-Neuron-Schicht ist die Verbindung mit dem vorwärts plazierten Gatter als binär 1 bestimmt.
Falls die Antwortfunktion des PN durch eine Sygmoid- Funktion bzw. Sigmoid-Funktion genähert wird und UND-, ODER-Gatter durch Minimum-, Maximum-Funktionen mit kontinuierlichen Werten genähert werden, können viele Algorithmen wie beispielsweise das Fehler- Backpropagation-Verfahren verwendet werden. Die Modifikation oder das Lernen wird jedoch lediglich durch Anwendung von Gewichten und Schwellenwerten des PN durchgeführt.

3. Gradientenabfallernalgorithmus

Es wird ein Lernalgorithmus für Verbindungszustände zwischen der Eingangsschicht und der UND-Schicht in dem Binärsystem abgeleitet wie folgt.
Bei der Betrachtung eines in Fig. 5 gezeigten Netzes werden gewünschte Ausgaben oder die Lehrsignale für die gegebenen Eingaben X&sub1;, X&sub2;, ---Xn als T&sub1;, T&sub2;, ---Tm angenommen, und die Ausgaben des in Fig. 5 gezeigten Netzes werden als Z&sub1;, Z&sub2;, ---Zm angenommen, und eine Fehlerfunktion E ist als Summe von Quadraten definiert, wie es in Gl.(5) gezeigt ist.
E = ¹/&sub2; (Zi - Ti)² Gl. (5)
Das Lernen wird derart durchgeführt, daß der Fehler durch Änderung der Gewichte (Verbindungszustände) zwischen der Eingangsschicht und der PN-Schicht und der Schwellenwerte der PN (alle anderen Verbindungen sind festgelegt) verringert wird. Dabei werden dann, wenn man die Gewichte W und die Schwellenwerte θ sich zu der Gradientenabfallrichtung hin ändern läßt, die Korrekturwerte von ΔW und Δθ durch Gl. (6) ausgedrückt.
In Gl. (6) sind &epsi;W und &epsi;θ derart definiert, daß sie lediglich positive Werte annehmen. Zur Vereinfachung wird ein Netz betrachtet, das lediglich einen Ausgang benötigt, wie es in Fig. 15 gezeigt ist.
Wenn man θij das ij-te PN zwischen dem Eingang Xi und dem j-ten UND-Gatter UNDj bezeichnen läßt und ferner Yij, θij, Wij seine Ausgabe, seinen Schwellenwert und sein Gewicht bezeichnen läßt, werden die Korrekturwerte ΔWij und Δθij ausgedrückt, wie es in den nachstehenden Formeln Gl. (7) gezeigt ist.
Dabei wird als Fehlerfunktion E in Gl. (8) ausgedrückt
E = ¹/&sub2; (Zi - Ti)² = ¹/&sub2;(Z - T)² Gl.(8)
woraufhin die nachstehende Gl. (9) gefolgert wird.
∂E/∂Z = Z - T Gl.(9)
Ferner wird Gl. (10) abgeleitet, da Z = ODER.
∂Z/∂ODER = 1 Gl. (10)
Entsprechend wird jedes ODER-Gatter durch die nachstehenden kontinuierlichen Funktionen genähert, die in Gl. (11) gezeigt sind.
In Fig. 11 ist M das Maximum der Eingabe außer UNDj. D. h.,
M = Max (UNDj, i = 1,2,---, i ≠ j).
Diese Beziehung ist in Fig. 16 ausgedrückt.
Entsprechend werden diese Beziehungen ausgedrückt, wie es in Gl. (12) gezeigt ist.
Auf die gleiche Art und Weise ist es möglich, bei jedem jedem der Eingänge gegenüberliegenden UND-Gatter zu nähern, wie es in Gl. (13) gezeigt ist.
Dabei ist m das Minimum aller Eingaben außer Yij. D. h.,
m = Min (Yij, k = 1,2,---, k ≠ j).
Diese Beziehung ist in Fig. 17 ausgedrückt.
Entsprechend wird diese Beziehung ausgedrückt, wie es in Gl. (14) gezeigt ist.
Schließlich wird Yij ausgedrückt, wie es in Gl. (15) gezeigt ist,
woraufhin Gl. (16) abgeleitet wird wie folgt.
∂Yij/∂Wij = f'(x)·Xi
∂Yij/∂θij = f'(x)·(-1) Gl. (16)
Da f'(x) ≥ 0 erweist es sich daraufhin unter der Annahme, daß f'(x) = 1, daß ΔWij und Δθij die nachstehenden Gleichungen erfüllen,
ΔWij = -&epsi;W(Z - T)Sgn(UNDj - M)Sgn(m - Yij)Xi
und
Δθij = -&epsi;θ(Z - T)Sgn(UND,j - M)Sgn(m - Yij)(-1)
woraufhin unter der Annahme, daß &epsi;W = 2, &epsi;θ = 1, die obigen Beziehungen reduziert werden wie folgt.
ΔWij = -2(Z - T)Sgn(UNDj - M)Sgn(m - Yij)Xi
Δθij = (Z - T)Sgn(UNDj - M)Sgn(m - Yij)
Da in den vorstehenden, ΔWij und Δθij darstellenden Gleichungen alle Größen in Binärsystemen ausgedrückt sind, weisen daraufhin die zu korrigierenden Größen ΔWij und Δθij jeweils einfache logische Beziehungen mit der Ausgabe Z, dem Lehrsignal T, der Ausgabe des UND-Gatters UNDj, der Ausgabe des PN, Yij, und der Eingabe Xi auf.
Daher können die Lernregeln mit logischen Schaltungen realisiert werden. Die Modifikation ist auf 1, -1 oder 0 begrenzt, was es darstellt, daß derzeitige Gewichte und Schwellenwerte so viel wie eine Einheit erhöht, erniedrigt oder gehalten werden und die eine Einheit für Gewichte als 1 und für Schwellenwerte als 2 definiert ist.

Realisierung der Hardware

(1) Hardwarerealisierung bei dem Lernalgorithmus

Wie es vorstehend angeführt ist, ist der Lernalgorithmus lediglich mit logischen Operationen zwischen Eingaben, Ausgangssignalen, Lehrsignalen, Ausgaben von UND- Schichten und Ausgaben von PN aufgebaut und gibt ein Lernsignal dahingehend an PN, ob jeweilige Gewichte und Schwellenwerte zu erhöhen oder zu erniedrigen oder zu halten sind.
Da drei Zustände vorhanden sind, d. h. Erhöhen, Erniedrigen oder Halten, werden daraufhin dann, wenn man das Haltesignal q = HP (hohe Impedanz) sein läßt, Erhöhungs- und Erniedrigungssignale jeweils als q = 1 und q = 0 ausgedrückt. Somit können die Lernsignale für Gewichte und Schwellenwerte, die durch Gl. (17) und (18) gezeigt sind, als eine in Fig. 18 und 19 gezeigte Wahrheitstabelle dargestellt werden.
Δθij(1) = Z··UNDj
Δθij(0) = ·T·Yij Gl. (17)
Da diese Wahrheitstabellen (Fig. 18 und 19) in dem Karnaugh-Plan ausgedrückt werden können, wird daraufhin der Karnaugh-Plan einschließlich selbst der bedeutungslosen Ausdrücke durch Fig. 20 ausgedrückt. Es ist möglich, die logische Funktion der Lernsignale aus diesen Wahrheitstabellen abzuleiten.
Entsprechend werden die Modifikationen der Gewichte und Schwellenwerte durch die Eingabe Xi, die Ausgabe Z, die Ausgabe von dem PN (Yij), UNDj und das Lehrsignal T bestimmt. Daraufhin wird durch eine Zuordnung der in Fig. 14 gezeigten Verbindungszustände (8 Zustände) des PN zu den in Fig. 21 gezeigten Zuständen durch Anwendung von 3 Bit (q&sub3;, q&sub2;, q&sub1;) die aus der Ausgabe des PN, Eingaben und Variablen (q&sub3;, q&sub2;, q&sub1;) bestehende logische Funktion durch den in Fig. 22 gezeigten Karnaugh-Plan ausgedrückt, und ferner wird die nachstehende Gl. (19) aus dem Karnaugh- Plan erhalten.
Yij = i &sub2; + &sub2;&sub1; + &sub3;&sub2; + Xi &sub3;&sub1; Gl.(19)
Unter Verwendung von MOS-Transistorschaltern wird die logische Schaltung für die in Gl. (17) und (18) gezeigten Lernsignale ausgedrückt, wie es in Fig. 23 gezeigt ist, und die in Fig. 23 gezeigte logische Schaltung liefert gemäß dem vorstehend beschriebenen Lernalgorithmus 0 oder 1 oder HP.

(2) Gewichte und Schwellenwerte modifizierende Schaltungen

Durch Anwendung der jedes PN verbindenden Zustandsvariablen, wie es in Fig. 21 gezeigt ist, können Operationen der Modifikationsschaltungen für Gewichte und Schwellenwerte gemäß dem Lernalgorithmus als ein Zustandsdiagramm und eine Zustandsübergangstabelle dargestellt werden, wie es in Fig. 24 bzw. 25 gezeigt ist.
Bei einem weiteren Neuschreiben von Fig. 24 und 25 in die in Fig. 26 und 27 gezeigten Wahrheitstabellen werden die Zustandsübergangsfunktionen ausgedrückt, wie es in Gl. (20) gezeigt ist,
q&sub3;' = q&sub3;
q&sub2;' = q&sub2;q&sub1; + Δθijq&sub1; + Δθijq&sub2;
q&sub1;' = q&sub2;&sub1; + Δθij &sub1; + Δθijq&sub2; Gl. (20)
oder ausgedrückt wie folgt:
q&sub3;'¹ = ΔWij
q&sub2;'¹ = q2
q&sub1;'¹ = q1
Bei einer Kombination von sowohl Gewichten als auch Schwellenwerten ergibt sich eine in Fig. 28 gezeigte Wahrheitstabelle.
Der Karnaugh-Plan für q&sub3;', q&sub2;' und q&sub1;' ist in Fig. 29, 30 bzw. 31 ausgedrückt, und die nachstehenden Gleichungen Gl. (21) werden erhalten.
q&sub3;' = ΔWij
q&sub2;' = Δθijq&sub1; + Δθijq&sub2; + q&sub2;q&sub1;
q&sub1;' = q&sub2;&sub1; + Δθijq&sub2; + Δθij &sub2;&sub1; Gl. (21)
Ferner ist ihre Schaltung in Fig. 32 ausgedrückt.
Unter Verwendung von D-Flip-Flops als Speichervorrichtungen wird die Lernschaltung ausgedrückt, wie es in Fig. 33 gezeigt ist.
Wenn dabei S(1), S(2), S(1 - x) und S(0) jeweils als 1-Verbindungs-, Direktverbindungs-, Invertiererverbindungs- und 0-Verbindungszustände der Verbindungszustände eines PN bezeichnet werden, wird die Wahrheitstabelle der Verbindungsfunktion ausgedrückt, wie es in Fig. 34 gezeigt ist. Durch Anwendung dieser in Fig. 34 gezeigten Wahrheitstabelle werden die nachstehenden logischen Funktionen erhalten, die in Gl. (22) gezeigt sind.
S(1) = &sub3;&sub2; + &sub2;&sub1;
S(X) = &sub3;q&sub2;&sub1;
S(1 - X) = q&sub3;&sub2;q&sub1;
S(0) = q&sub2;q&sub1; + qsq2 Gl.(22)
Entsprechend wird die Verbindungsschaltung ausgedrückt, wie es in Fig. 35 gezeigt ist, und das Blockschaltbild der ganzen Lernschaltungen unter Verwendung von PN ist in Fig. 36 gezeigt.

(3) Lernalgorithmus und seine mit dem Pseudo- Potentialenergie-Verfahren angewendete Realisierung

Dabei sind mit dem Pseudo-Potentialenergie-Verfahren (auf das nachstehend als PPE-Verfahren Bezug genommen ist) angewendete Lernalgorithmen beschrieben, um ein inneres Modell (Verbindungszustand zwischen Eingangsschicht und UND-Schicht) in einem in Fig. 5 gezeigten UND-ODER- Binärsystem aufzubauen.
Wie es vorstehend angeführt ist, sind vier mit 1-Verbindung, Direktverbindung, Invertiererverbindung und 0-Verbindung gebildete Verbindungszustände vorhanden.
Folglich wird jeder Verbindungszustand durch Anwendung der Pseudo-Potentialenergie definiert. Ferner wird die Ordnung von hoch zu niedrig der Pseudo-Potentialenergie angenommen wie folgt. Für eine Eingabe von 0, (1) 1-Verbindung, (2) Invertiererverbindung, (3) Direktverbindung, (4) 0-Verbindung; und für eine Eingabe von 1, (1) 1-Verbindung, (2) Direktverbindung, (3) Invertiererverbindung und (4) 0-Verbindung.
Bei einer Betrachtung der wie vorstehend angeführt definierten Quasi-Potentialenergie sollte es beachtet werden, daß der Verbindungszustand um so leichter eine Ausgabe von 1 liefert, je höher die definierte Pseudo- Potentialenergie ist. Umgekehrt liefern die Verbindungszustände um so leichter eine Ausgabe von 0, je niedriger die Energie ist. Daher ist es dann, wenn eine Ausgabe der Ausgabe von 1 gewünscht ist, notwendig, die derzeitige Pseudo-Potentialenergie zu einem höheren Zustand zu ändern. Umgekehrt ist es dann, wenn eine Ausgabe der Ausgabe von 0 gewünscht ist, notwendig, die Energie zu einem niedrigeren Zustand zu ändern. Das Lernen dient dazu, es der Ausgabe des Netzes zu ermöglichen, mit dem Lehrsignal übereinzustimmen, und daraufhin wird das Lernen erreicht, indem die Quasi- Potentialenergie der Verbindung modifiziert wird. Dabei wird ein in Fig. 5 gezeigtes UND-ODER-Netz betrachtet.
Wenn das Lehrsignal gleich 1 ist, ist die Ausgabe Z gleich 0, und die Ausgabe von allen UNDj wird 0. Um die Ausgabe Z 1 sein zu lassen, ist es notwendig, für die Eingabe von 0 den Zustand (2) oder (3) und für die Eingabe von 1 den Zustand (3) oder (4) nur dann zu dem Zustand (2) oder dem Zustand (3) mit höheren Quasi- Potentialenergien zu verschieben, wenn in UND eingegeben wird, d. h. Yij gleich 0 ist. Da bereits binär 1 ausgegeben wird, werden in dem Zustand (1) und dem Zustand (2) der Zustand (1) und der Zustand (2) entsprechend erhalten.
Wenn das Lehrsignal T 0 ist und die Ausgabe T = 1, gibt zumindest ein Ausgang von UNDj weiter binär 1 aus. Um es der Ausgabe zu ermöglichen, binär 0 zu sein, ist es erforderlich, alle binär 1 ausgebenden UNDj-Gatter binäre Nullen ausgeben zu lassen. Da das UNDj binär 1 ausgibt, bedeutet es, daß der Verbindungszustand des UND-Gatters sich in dem Zustand (1) oder (2) mit höherer Potentialenergie befindet. Entsprechend ist es dazu, die Ausgabe binär 0 sein zu lassen, notwendig, die Zustände (1) oder (2) mit höheren Potentialenergien zu den Zuständen (2) oder (3) mit niedrigeren Potentialenergien zu verschieben.
Basierend auf dem Vorstehenden wird es möglich, die nachstehenden Lernsignale zu erhalten, die in Gl. (23) gezeigt sind.
Dabei läßt man S(1), S(x), S(1 - x) und S(0) 1-Verbindungs-, Direktverbindungs-, Invertiererverbindungs- und 0-Verbindungszustände eines Pseudo-Neurons bezeichnen und ordnet durch Anwendung von 2 Bit (q&sub2;, q&sub1;) von Binärcode 11, 10, 01, 00 zu jedem der vorstehenden vier Verbindungszustände zu. Die logische Beziehung zwischen Yij und den derzeitigen Zuständen q&sub2;q&sub1;, der Eingabe Xi wird durch die in Fig. 37 gezeigte Wahrheitstabelle ausgedrückt, und ferner wird die logische Beziehung davon durch die nachstehende Gl. (24) ausgedrückt.
Yij = q&sub1; i + q&sub2;Xi Gl.(24)
Ferner ist das Netz der Lernalgorithmen in Fig. 38 gezeigt.
Bei einer Definition der Zustandsvariablen wie vorstehend beschrieben kann die Wahrheitstabelle für das kombinatorische Netz in dem sequentiellen Netz in Fig. 39 ausgedrückt werden. Somit kann die Zustandsübergangsfunktion aus Gl. (25) erhalten werden.
q&sub2;' = Δqijq&sub1; + iΔqij &sub2; + iq&sub2;q&sub1; + Xiq&sub2;q&sub1; + XiΔqijq&sub2;
q&sub1;' = Δqijq&sub2; + XiΔqij &sub1; + iq&sub2;q&sub1; + Xiq&sub2;&sub1; Gl. (25)
Als nächstes kann unter Verwendung von D-Flip-Flops als Speichervorrichtungen die Lernmodifikationsschaltung mit einer Schaltung realisiert werden, wie sie in Fig. 40 gezeigt ist. Die Verbindungsschaltung kann ferner mit einer Schaltung realisiert werden, wie sie in Fig. 41 gezeigt ist. Schließlich ist das Blockschaltbild der ganzen Lernschaltung unter Verwendung des Pseudo- Potentialenergie-Verfahrens in Fig. 42 gezeigt.
Auf ähnliche Weise ist es möglich, die inneren Zustände zu erhöhen oder die Zustandsübergänge periodisch zu wiederholen. Ferner ist es ebenfalls möglich, eine allgemeine CPU, ein allgemeines RAM zur Realisierung des Trainings zu verwenden.

(4) Lernverfahren in sequentiellem Netz

Dabei dient das Lernverfahren zur Bildung eines sequentiellen Netzes.
Wie es vorstehend angeführt ist, ist ein Binärsystem wie z. B. ein in Fig. 5 gezeigtes System ein mehrschichtiges vorwärts gekoppeltes Netz, das aus einer Verbindungsschicht, einer UND-Schicht, einer ODER-Schicht besteht.
Unter Verwendung des Buchstabens X für die Eingabe, des Buchstabens C für die Verbindungsfunktion und von Z für die Ausgabe wird die Ausgabe Z ausgedrückt wie folgt:
Z = f (C, X)
Das Lernen dient dazu, die Verbindungsfunktion C durch Anwendung des Gradientenabfallverfahrens oder des Pseudo- Potentialenergie-Verfahrens zu ändern.
Beispielsweise wird ein aus einem kombinatorischen Netz mit einer Verbindungsschicht, einer UND-Schicht, einer ODER-Schicht und einem Speichernetz mit D-Flip-Flops bestehendes sequentielles Netz betrachtet.
Das sequentielle Netz kann als die nachstehenden Gleichungen dargestellt werden.
Z(t) = F(C&sub1;(t), X(t), D(t - 1))
D(t - 1) = f(C&sub2;(t - 1), x(t - 1), D(t - 2))
Somit
Z(t) = f(C&sub1;(t), X(t), C&sub2;(t - 1), X(t - 1), D(t - 2)),
wobei C&sub1;(t), C&sub2;(t) Verbindungsfunktionen zu der Zeit des Schritts t sind und
X(t), Z(t) und D(t) jeweils die Eingabe, die Ausgabe und die inneren Zustände zu der Zeit des Schritts t sind.
Daher kann das Lernen durchgeführt werden, indem Verbindungsfunktionen C&sub1;(t), C&sub2;(t - 1) durch das Gradientenabfallverfahren oder das Pseudo- Potentialenergie-Verfahren modifiziert werden.
Es ist bemerkenswert, daß das Lernen nicht nur von der Eingabe X(t) und der Ausgabe Z(t) zu der Zeit des Schritts t abhängt, sondern auch von der Eingabe X(t - 1) zu der Zeit des Schritts (t - 1) und dem inneren Zustand D(t - 2). Somit
C&sub1;(t + 1) = C&sub1;(t) + ΔC&sub1;
C&sub2;(t) = C&sub2;(t - 1) + ΔC&sub2;,
wobei ΔC&sub1; und ΔC&sub2; die zu modifizierenden Größen sind.
Der innere Zustand D(t) zu der Zeit des Schritts t kann durch die nachstehende Gleichung berechnet werden.
D(t) = f(C&sub2;(t), X(t), D(t - 1))
Wie es vorstehend ausführlich beschrieben ist, sind bei dem Lernverfahren in Binärsystemen gemäß der Erfindung das erste Binärgatter und das zweite Binärgatter als eines von ODER-, UND-, NICHT-ODER-, NICHT-UND- und EXKLUSIV-ODER-Gatter umfassenden Gattern definiert, und das erste Gatter ist mit dem zweiten Gatter in einem Zustand aus den nachstehenden vier Verbindungszuständen verbunden, die gebildet sind mit:
(1) Direktverbindung;
(2) Verbindung über einen Invertierer;
(3) Verbindung mit dem zweiten Gatter, wobei binär 1 eingegeben wird;
(4) Verbindung mit dem zweiten Gatter, wobei binär 0 eingegeben wird.
In diesem Binärsystem wird das Lernen durchgeführt, indem ein Verbindungszustand aus den vorstehenden vier Zuständen ausgewählt wird.
Ferner ist bei dem Lernverfahren in Binärsystemen gemäß der Erfindung ein Eingang mit einem Gatter aus ODER-, UND-, NICHT-ODER-, NICHT-UND- und EXKLUSIV-ODER-Gatter in einem Zustand aus den nachstehenden vier Verbindungszuständen verbunden, die gebildet sind mit:
(1) Direktverbindung;
(2) Verbindung über einen Invertierer;
(3) Verbindung mit dem Gatter, wobei binär 1 eingegeben wird;
(4) Verbindung mit dem Gatter, wobei binär 0 eingegeben wird.
In diesem Binärsystem wird das Lernen durchgeführt, indem ein Verbindungszustand aus den vorstehenden vier Zuständen ausgewählt wird.
Ferner sind bei dem Lernverfahren in Binärsystemen gemäß der Erfindung derzeitige Eingänge und die vergangene Folge von Werten der Eingänge ausdrückende innere Zustände mit einem Gatter aus ODER-, UND-, NICHT-ODER-, NICHT-UND- und EXKLUSIV-ODER-Gattern in einem Zustand aus den nachstehenden vier Verbindungszuständen verbunden, die gebildet sind mit:
(1) Direktverbindung;
(2) Verbindung über einen Invertierer;
(3) Verbindung mit dem Gatter, wobei binär 1 eingegeben wird;
(4) Verbindung mit dem Gatter, wobei binär 0 eingegeben wird.
In diesem Binärsystem wird das Lernen durchgeführt, indem ein Verbindungszustand aus den vorstehenden vier Zuständen ausgewählt wird.
Ferner wird bei dem Lernverfahren in Binärsystemen gemäß der Erfindung die Verbindung zwischen dem vorstehenden ersten Binärgatter oder einem Eingang und dem zweiten Binärgatter derart aufgebaut, daß ein Zustand aus den vorstehenden vier Verbindungszuständen zumindest gemäß dem berechneten Ergebnis zwischen dem Eingangssignal in das erste Binärgatter und dem Lehrsignal für das Lernen ausgewählt wird.
Ferner wird bei dem Lernverfahren in Binärsystemen gemäß der Erfindung durch Bereitstellung eines wie folgt definierten Pseudo-Neurons Q zwischen dem vorstehend angeführten ersten Binärgatter (oder einem Eingang) und dem zweiten Binärgatter die Verbindung zwischen dem ersten Binärgatter (oder dem Eingang) und dem zweiten Binärgatter durch das Pseudo-Neuron Q definiert, und die Auswahl der Verbindung (d. h. das Lernen) wird ausgeführt, indem Gewichte und Schwellenwerte des Pseudo-Neurons Q modifiziert werden.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert:
wobei
f: eine Schwellenfunktion, oder eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: das Eingangssignal in das Pseudo-Neuron Q von dem ersten Binärgatter;
W: das Gewicht zwischen dem Eingang und dem Pseudo-Neuron Q;
θ: der Schwellenwert des Pseudo-Neurons Q.
Ferner umfassen bei dem Lernverfahren in Binärsystemen gemäß der Erfindung die Systeme eine Eingangsschicht, die eine Vielzahl von Binäreingangsdaten eingeben läßt, eine UND-Schicht mit einer Vielzahl von UND-Gattern, eine ODER-Schicht mit einer Vielzahl von ODER-Gattern, die die Ausgaben von der UND-Schicht eingeben läßt, eine Ausgangsschicht, die die Ausgaben von der ODER-Schicht aufnimmt, und eine Verbindungsschicht mit Pseudo-Neuronen Q, die zwischen der Eingangsschicht und der UND-Schicht bereitgestellt ist, und die Verbindungen zwischen der Eingangsschicht und der UND-Schicht werden aus den nachstehenden Verbindungszuständen ausgewählt:
(1) die Eingangsschicht ist direkt mit der UND-Schicht verbunden;
(2) die Eingangsschicht ist über Invertierer mit dem UND- Gatter verbunden;
(3) als Eingaben in die UND-Schicht wird immer binär 1 eingegeben;
(4) als Eingaben in die UND-Schicht wird immer binär 0 eingegeben.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert und
f: ist die Schwellenfunktion, eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: ist das Eingangssignal in das Pseudo-Neuron Q;
W: ist das Gewicht zwischen dem Eingang und dem Pseudo- Neuron; und
θ: ist der Schwellenwert des Pseudo-Neurons.
Ferner umfaßt bei dem Lernverfahren in einem Binärsystem gemäß der Erfindung das System eine Eingangsschicht, die eine Vielzahl von Binäreingangsdaten eingeben läßt, eine ODER-Schicht mit einer Vielzahl von ODER-Gattern, eine UND-Schicht mit einer Vielzahl von UND-Gattern, die die Ausgabe von der ODER-Schicht darin eingeben läßt, eine Ausgangsschicht, die die Ausgaben von der UND-Schicht aufnimmt, und eine Verbindungsschicht mit Pseudo-Neuronen Q, die zwischen der Eingangsschicht und der ODER-Schicht bereitgestellt ist, und die Verbindungen zwischen der Eingangsschicht und der ODER-Schicht werden aus den nachstehenden vier Verbindungszuständen ausgewählt:
(1) die Eingangsschicht ist direkt mit der ODER-Schicht verbunden;
(2) die Eingangsschicht ist über Invertierer mit der ODER-Schicht verbunden;
(3) als Eingaben in die ODER-Schicht wird immer binär 1 eingegeben;
(4) als Eingaben in die ODER-Schicht wird immer binär 0 eingegeben.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert und
f: ist die Schwellenfunktion, eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: ist das Eingangssignal in das Pseudo-Neuron Q;
W: ist das Gewicht zwischen dem Eingang und dem Pseudo- Neuron;
θ: ist der Schwellenwert des Pseudo-Neurons.
Ferner umfaßt bei dem Lernverfahren in einem Binärsystem gemäß der Erfindung das System eine Eingangsschicht, die eine Vielzahl von Binäreingangsdaten eingeben läßt, eine dazwischenliegende NICHT-UND-Schicht mit einer Vielzahl von NICHT-UND-Gattern, eine Ausgangs-NICHT-UND-Schicht mit einer Vielzahl von NICHT-UND-Gattern, die die Ausgabe von der dazwischenliegenden NICHT-UND-Schicht aufnimmt, eine Ausgangsschicht, die die Ausgabe von der Ausgangs- NICHT-UND-Schicht aufnimmt, und eine Verbindungsschicht mit Pseudo-Neuronen Q, die zwischen der Eingangsschicht und der dazwischenliegenden NICHT-UND-Schicht bereitgestellt ist, und die Verbindungen zwischen der Eingangsschicht und der dazwischenliegenden NICHT-UND- Schicht werden aus den nachstehenden Verbindungszuständen ausgewählt:
(1) die Eingangsschicht ist direkt mit der NICHT-UND- Schicht verbunden;
(2) die Eingangsschicht ist über Invertierer mit der NICHT-UND-Schicht verbunden;
(3) als Eingaben in die NICHT-UND-Schicht wird immer binär 1 eingegeben;
(4) als Eingaben in die NICHT-UND-Schicht wird immer binär 0 eingegeben.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert und
f: ist die Schwellenfunktion, eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: ist das in das Pseudo-Neuron Q eingegebene Eingangssignal;
W: ist das Gewicht zwischen dem Eingang und dem Pseudo- Neuron;
θ: ist der Schwellenwert des Pseudo-Neurons.
Ferner umfaßt bei dem Lernverfahren in einem Binärsystem gemäß der Erfindung das System eine Eingangsschicht, die eine Vielzahl von Binäreingangsdaten eingeben läßt, eine dazwischenliegende NICHT-ODER-Schicht mit einer Vielzahl von NICHT-ODER-Gattern, eine Ausgangs-NICHT-ODER-Schicht mit einer Vielzahl von NICHT-ODER-Gattern, die die Ausgabe von der dazwischenliegenden NICHT-ODER-Schicht aufnimmt, eine Ausgangsschicht, die die Ausgabe von der Ausgangs-NICHT-ODER-Schicht aufnimmt, und eine Verbindungsschicht mit Pseudo-Neuronen Q, die zwischen der Eingangsschicht und der dazwischenliegenden NICHT-ODER-Schicht bereitgestellt ist und aus den nachstehenden Verbindungszuständen ausgewählt wird:
(1) die Eingangsschicht ist direkt mit der dazwischenliegenden NICHT-ODER-Schicht verbunden;
(2) die Eingangsschicht ist über Invertierer mit der dazwischenliegenden NICHT-ODER-Schicht verbunden;
(3) als Eingaben in die dazwischenliegende NICHT-ODER- Schicht wird immer binär 1 eingegeben;
(4) als Eingaben in die dazwischenliegende NICHT-ODER- Schicht wird immer binär 0 eingegeben.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert und
f: ist die Schwellenfunktion, eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: ist das in das Pseudo-Neuron Q eingegebene Eingangssignal;
W: ist das Gewicht zwischen dem Eingang und den Pseudo- Neuronen; und
θ: ist der Schwellenwert des Pseudo-Neurons.
Ferner umfaßt bei dem Lernverfahren in einem Binärsystem gemäß der Erfindung das System eine Eingangsschicht, die eine Vielzahl von Binäreingangsdaten eingeben läßt, eine dazwischenliegende EXKLUSIV-ODER-Schicht mit einer Vielzahl von EXKLUSIV-ODER-Gattern, eine Ausgangs- EXKLUSIV-ODER-Schicht mit einer Vielzahl von EXKLUSIV-ODER-Gattern, die die Ausgabe von der dazwischenliegenden EXKLUSIV-ODER-Schicht aufnimmt, eine Ausgangsschicht, die die Ausgabe von der Ausgangs- EXKLUSIV-ODER-Schicht aufnimmt, und eine Verbindungsschicht mit Pseudo-Neuronen Q, die zwischen der Eingangsschicht und der dazwischenliegenden EXKLUSIV-ODER-Schicht bereitgestellt ist, und beide Schichten sind durch ein aus den nachstehenden vier Verbindungszuständen ausgewähltes Verfahren verbunden:
(1) die Eingangsschicht ist direkt mit der dazwischenliegenden EXKLUSIV-ODER-Schicht verbunden;
(2) die Eingangsschicht ist über Invertierer mit der dazwischenliegenden EXKLUSIV-ODER-Schicht verbunden;
(3) als Eingaben in die dazwischenliegende EXKLUSIV-ODER- Schicht wird immer binär 1 eingegeben;
(4) als Eingaben in die dazwischenliegende EXKLUSIV-ODER- Schicht wird immer binär 0 eingegeben.
Dabei ist das Pseudo-Neuron Q als Q = f(WX, θ) definiert und
f: ist die Schwellenfunktion, eine Sigmoid-Funktion oder eine teilweise lineare Funktion;
X: ist das in das Pseudo-Neuron Q eingegebene Eingangssignal;
W: ist das Gewicht zwischen dem Eingang und dem Pseudo- Neuron;
θ: ist der Schwellenwert des Pseudo-Neurons.
Ferner werden bei diesem Lernverfahren in Binärsystemen gemäß der Erfindung die Modifikationen der Gewichte und Schwellenwerte der Pseudo-Neuronen durch das Gradientenabfallverfahren durchgeführt.
Ferner werden bei diesem Lernverfahren in Binärsystemen gemäß der Erfindung die Pseudo-Potentialenergien jedes der grundlegenden Gatter zusammen mit dem Ausdrücken der Verbindungszustände der vorstehend angeführten Verbindungsschicht berechnet, und das Lernen wird durch Modifikation der Pseudo-Potentialenergien der Verbindungszustände durchgeführt.

WIRKUNGEN DER ERFINDUNG

Bei Anwendung dieses Lernverfahrens in Binärsystemen gemäß der Erfindung ist es möglich, während einer sehr kurzen Lernperiode bestimmte Lernwirkungen zu erhalten, da es wie vorstehend beschrieben aufgebaut ist. Da alle Funktionen mit einfachen logischen Gattern realisiert sind, wird es ferner möglich, den die logische Operation des Lernalgorithmus durchführenden Abschnitt und die Modifikationsschaltung leicht aufzubauen und in die Praxis umzusetzen.
Da es leicht ist, dieses Lernverfahren in dem bekannten Computer und anderer digitaler Ausrüstung zu realisieren, wird es ferner erwartet, daß dieses Lernverfahren bei der Bildverarbeitung, Sprachverarbeitung, natürlichen Textverarbeitung und Bewegungssteuerung in großem Umfang verwendet wird.
Die Erfindung stellt ein Lernverfahren in Binärsystemen durch Modifikation der Verbindungszustände der Schaltung zwischen jedem grundlegenden Binärgatter in mit grundlegenden Binärgattern wie beispielsweise UND-, ODER-, NICHT-, NICHT-UND-, NICHT-ODER- und EXKLUSIV-ODER- Gattern aufgebauten binären kombinierten logischen und sequentiellen Schaltungen bereit. Da die Pseudo-Neuron- Theorie und die Pseudo-Potentialenergie-Theorie geschickt eingeführt werden, ist es möglich, während einer sehr kurzen Lernperiode bestimmte Lernwirkungen zu erreichen. Da die Realisierung des Lernverfahrens in dem bekannten Computer und anderer digitaler Ausrüstung einfach ist, wird es ferner erwartet, daß es in großem Umfang in umfassender Anwendung verwendet wird, z. B. bei der Bildverarbeitung, Sprachverarbeitung oder natürlicher Textverarbeitung.

Claims

1. Lernverfahren in einem Binärsystem, mit den Schritten:

Bereitstellen eines ODER-, UND-, NICHT-ODER-, NICHT- UND- oder EXKLUSIV-ODER-Gatters als ein erstes Binärgatter bzw. zweites Binärgatter,

Bereitstellen eines lernenden Netzes, das sich aus einer Eingangsschicht, die aus einer Vielzahl von Binäreingangsanschlüssen besteht, einer Verbindungsschicht, ersten Binärgatterschichten, die aus einer Vielzahl von logischen Elementen der gleichen Art bestehen, zweiten Binärgatterschichten, die aus einer Vielzahl von logischen Elementen der gleichen Art bestehen, und Ausgangsschichten zusammensetzt, wobei Signale nicht in jeder Schicht gekoppelt sind, sondern lediglich in einer Richtung zwischen den Schichten von den Eingangsschichten zu den Ausgangsschichten gekoppelt sind,

Bereitstellen von Verbindungsschaltungen zwischen einer ersten Schicht und einer zweiten Schicht, die zur Durchführung des Lernens verbunden sind, wobei dann, wenn die erste Schicht das erste Binärgatter oder der Eingang oder innere Zustände einschließlich des aktuellen und vorhergehenden Eingangs ist, die zweite Schicht das zweite Gatter oder jeweils eines der Binärgatter ist,

Auswählen einer Verbindung der ersten Schicht mit der zweiten Schicht aus einer direkten Verbindung, einer Verbindung über einen Invertierer, einer Verbindung mit dem zweiten Gatter, bei der immer binär 1 eingegeben wird, und einer Verbindung mit dem zweiten Gatter, bei der immer binär 0 eingegeben wird,

Verringern oder Beseitigen eines Fehlers in der Ausgangsschicht zwischen einem tatsächlichen Signal und einem Lehrsignal, wenn die erste und zweite Schicht zur Durchführung des Lernens verbunden sind,

Bereitstellen eines Pseudo-Neurons Q zwischen entweder dem ersten Binärgatter oder Eingangsdaten und dem zweiten Binärgatter,

Auswählen der Verbindung zwischen ihnen gemäß dem Wert des Pseudo-Neurons Q,

Definieren des Pseudo-Neurons Q als Q = f(WX, θ),

Durchführen von Modifikationen von Gewichten W und Schwellenwerten θ unter Verwendung des Gradientenabfallverfahrens,

Berechnen von Quasi-Potentialenergien in jedem der Basisgatter zusammen mit einem Ausdrücken der Verbindung zwischen der Verbindungsschicht mit der Quasi- Potentialenergie, und

Modifizieren der Quasi-Potentialenergie der Verbindungszustände zur Durchführung des Lernens, wobei

f eine Schwellenwertfunktion, eine Sygmoid-Funktion oder eine teilweise lineare Funktion ist;

X das in das Pseudo-Neuron Q eingegebene Eingangssignal ist;

W das Gewicht zwischen dem Eingang und dem Pseudo- Neuron Q ist; und

θ der Schwellenwert des Pseudo-Neurons Q ist.

2. Lernverfahren in einem Binärsystem nach Anspruch 1, wobei die Verbindung zwischen dem ersten Binärgatter oder dem Eingang und dem zweiten Binärgatter derart aufgebaut wird, daß eine der Verbindungen gemäß Ergebnissen ausgewählt wird, die zwischen dem in das erste Binärgatter eingegebenen Eingangssignal und einem Lehrsignal zum Lernen berechnet werden.