WO2013182176A1 - Verfahren zum trainieren eines künstlichen neuronalen netzes und computerprogrammprodukte - Google Patents

Verfahren zum trainieren eines künstlichen neuronalen netzes und computerprogrammprodukte Download PDF

Info

Publication number
WO2013182176A1
WO2013182176A1 PCT/DE2013/000205 DE2013000205W WO2013182176A1 WO 2013182176 A1 WO2013182176 A1 WO 2013182176A1 DE 2013000205 W DE2013000205 W DE 2013000205W WO 2013182176 A1 WO2013182176 A1 WO 2013182176A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
neurons
values
training
output neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2013/000205
Other languages
English (en)
French (fr)
Inventor
Gerhard DÖDING
László GERMÁN
Klaus Kemper
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KISTERS AG
Original Assignee
KISTERS AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KISTERS AG filed Critical KISTERS AG
Publication of WO2013182176A1 publication Critical patent/WO2013182176A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to a method for training an artificial neural network and computer program products.
  • the method relates to training an artificial neural network having at least one hidden layer with tributary neurons and an output layer with output neurons.
  • the networks used are massively parallel structures for modeling arbitrary functional relationships. For this they are offered training data that represent the relationships to be modeled using examples. During training, the internal parameters of the neural networks, such as their synaptic weights, are adjusted by training processes to produce the desired response to the input data. This training is called supervised learning.
  • CONFIRMATION COPY For this purpose, the errors of the output neurons are propagated backwards into the network (backpropagation). Using various processes (gradient descent, heuristic methods such as particle swarm optimization or evolution method), the synaptic weights of all neurons in the network are then changed so that the neural network approximates the desired functionality as precisely as possible.
  • topology refers to the structure of the network. Neurons can be arranged in consecutive layers. For example, in a network with a single trainable neuron layer, one speaks of a single-layer network. The last layer of the network, whose neuron output is usually the only one visible outside the network, is called the output layer. Layers in front of it are accordingly called hidden layers.
  • the inventive method is suitable for neural feed forward networks of any topology having at least one layer with feeder neurons and an output layer with output neurons.
  • the described learning methods serve to cause a neural network to generate associated output patterns for particular input patterns. For this purpose, the network is trained or adapted.
  • the training of artificial neural networks, that is estimating the parameters contained in the model usually leads to high-dimensional nonlinear optimization problems.
  • the object of the invention is to further develop a method for training an artificial neural network in such a way that response values with minimal deviation from the desired output values are provided at predefined input values in the shortest possible time.
  • the upstream neurons generate multilevel nonlinear computations of the input values and the intermediate values of other neurons.
  • the task of the tributary neurons is to create a suitable internal representation of the functionality to be learned in a high-dimensional space.
  • the task of the output neurons is to examine the offer of the feeder neuron and to determine the most suitable selection of non-linear allocation results. [17] Therefore, these two classes of neurons can be adapted differently and it has surprisingly been found that the time required for training an artificial neural network can be significantly reduced if only the output neurons are adapted.
  • the method is based on a new interpretation of the mode of action of feed-forward networks and is essentially based on two process steps: a) Create suitable internal representations of the functionality to be trained. b) Choose an optimal selection from the offer of pre-calculated outputs of the feeder neurons.
  • a feed-forward network is interpreted as a series connection of two subnetworks.
  • the first part contains all the neurons except the output neurons. These neurons are initialized with random synaptic weights, random transfer functions, and random network topology, and are not altered at any stage of the adaptation. Therefore, they also generate only random nonlinear billing of the offered input information.
  • the second part contains only the output neurons. These are connected according to the predetermined network topology with the first part of the network synaptic weights.
  • weights are adapted to the task.
  • This is preferably done with a tichonov-regularized regression between the random allocations (the intermediate result offer of the first subnet) and the necessary activation of the output neurons.
  • the synaptic weights of the output neurons therefore select, according to the invention, from the random offer of the first subnetwork preferably in only one computation step, ie not iteratively and not with methods of gradient descent, the optimal synaptic weights of the output layer.
  • a network can learn by: developing new connections, deleting existing connections, changing the weighting, adjusting the thresholds of the neurons, adding or deleting neurons.
  • the learning behavior changes as the activation function of the neurons changes or the learning rate of the network changes.
  • the synaptic weights of the output neurons be determined to adapt the output neurons.
  • a commonly performed adaptation of the feeder neurons, preferably by adaptation of their synaptic weights, is not necessary according to the invention.
  • the synaptic weights of the output neurons will be determined based on the values of those tributary neurons that are directly connected to the output neurons and the default output values.
  • An advantageous method provides that the output neurons are adapted with fewer than five adaptation steps, preferably only one step.
  • the invention relates to a method for controlling a system in which the future behavior of observable quantities forms the basis for the control function and artificial neural network is trained as described above.
  • a compute rogramm with compute rogrammcodeschn to carry out the described method makes it possible to execute the process as a program on a computer.
  • Such a computer program product can also be stored on a computer-readable data memory.
  • FIG. 1 shows a highly abstracted scheme of an artificial neural network with several levels and feed-forward property
  • Figure 2 is a diagram of an artificial neuron.
  • the artificial neural network (1) shown in Figure 1 consists of 5 neurons (2, 3, 4, 5 and 6), of which the neurons (2, 3, 4) are arranged as a hidden layer and represent feeder neurons, while the neurons (5, 6) represent output neurons as the output layer.
  • the input values (7, 8, 9) are assigned to the feeder neurons (2, 3, 4) and the output neurons (5, 6) are assigned output values (10, 11).
  • the difference between the response (12) of the output neuron (5) and the output value (10), as well as the difference between the response (13) of the output neuron (6) and the output value (11), is referred to as an output error.
  • the artificial neuron scheme shown in Figure 2 shows how inputs (14, 15, 16, 17) result in a response (18).
  • the inputs (xj, x 2 , x 3, x n) are evaluated via weights (19) and a corresponding transfer function (20) leads to an activation (21).
  • An activation function (22) with a threshold value (23) leads to an initial value and thus to a response (18), [45] Since the weighting (19) has the strongest influence on the response (18) of the neurons (2 to 6), the training process will be described below exclusively with regard to an adaptation of the weights of the network (1).
  • the synaptic weights of all output neurons are determined by a ticho- nov regularized regression process between inverted predefined output values (10, 1 1) and those pre-calculation values of the tributary neurons (2, 3, 4) directly connected to the output neurons (5, 6) ) are connected. [49] If the desired approximation target is reached, ie if the output error is smaller than a set upper limit, the method ends here.
  • the method according to the invention allows training within a few seconds or minutes.
  • the method described thus makes it possible to greatly reduce the time required for a given artificial neural network.
  • the network can be chosen large enough to achieve the desired quality of the results.
  • the short training period opens up the use of artificial neural networks in less powerful computers, especially smartphones.
  • Smartphones can thus be continuously trained during their use, after a training phase to provide the user information itself, which he retrieves regularly. If, for example, the user can display special stock market data daily via an application, these stock market data can be automatically displayed to the user during any use of the smartphone without the user first activating the application and retrieving his data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

Verfahren zum Trainieren eines künstlichen neuronalen Netzes und Computerpro- grammprodukte
[01] Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes und Computerprogrammprodukte. [02] Insbesondere betrifft das Verfahren das Trainieren eines künstlichen neuronalen Netzes, das mindestens eine verdeckte Schicht mit Zubringerneuronen und eine Ausgabeschicht mit Ausgabeneuronen aufweist.
[03] Künstliche neuronale Netze sind in der Lage, komplizierte nichtlineare Funktionen über einen Lernalgorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Eingangs- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen.
[04] Die verwendeten Netze sind massiv parallele Strukturen zur Modellierung beliebiger funktionaler Zusammenhänge. Hierzu werden ihnen Trainingsdaten angeboten, die die zu modellierenden Zusammenhänge anhand von Beispielen repräsentieren. Wäh- rend des Trainings werden die inneren Parameter der neuronalen Netze, wie beispielsweise ihre synaptischen Gewichte, durch Trainingsprozesse so angepasst, dass der gewünschte Response auf die Eingangsdaten erzeugt wird. Dieses Training wird supervi- sed learning genannt.
[05] Bisherige Trainingsprozesse laufen so ab, dass in Epochen, das sind Zyklen, in denen dem Netz die Daten angeboten werden, der Response-Fehler am Ausgang des Netzes iterativ verringert wird.
BESTÄTIGUNGSKOPIE [06] Dazu werden die Fehler der Ausgabeneuronen rückwärts in das Netz propagiert (backpropagation). Mithilfe verschiedener Prozesse (Gradientenabstieg, heuristische Verfahren wie z.B. particle swarm optimization oder Evolutionsverfahren) werden dann die synaptischen Gewichte aller Neuronen des Netzes so verändert, dass das neuronale Netz die gewünschte Funktionalität beliebig genau approximiert.
[07] In künstlichen neuronalen Netzen bezeichnet die Topologie die Struktur des Netzes. Dabei können Neuronen in hintereinander liegenden Schichten angeordnet werden. Man spricht zum Beispiel bei einem Netz mit einer einzigen trainierbaren Neuronen- schicht von einem einschichtigen Netz. Die hinterste Schicht des Netzes, deren Neuro- nenausgaben meist als einzige außerhalb des Netzes sichtbar sind, wird Ausgabeschicht genannt. Davor liegende Schichten werden dementsprechend als verdeckte Schichten bezeichnet. Das erfindungsgemäße Verfahren ist für neuronale feed forward Netze beliebiger Topologie geeignet, die mindestens eine Schicht mit Zubringerneuronen und eine Ausgabeschicht mit Ausgabeneuronen aufweisen. [08] Die beschriebenen Lernverfahren dienen dazu, ein neuronales Netz dazu zu bringen, für bestimmte Eingangsmuster zugehörige Ausgabemuster zu erzeugen. Hierzu wird das Netz trainiert oder adaptiert. Das Trainieren von künstlichen neuronalen Netzen, das heißt das Schätzen der im Modell enthaltenen Parameter, führt in der Regel zu hochdimensionalen nichtlinearen Optimierungsproblemen. Die prinzipielle Schwierig- keit bei der Lösung dieser Probleme besteht in der Praxis häufig darin, dass man nicht sicher sein kann, ob man das globale Optimum gefunden hat oder nur ein lokales. Eine Annäherung an die globale Lösung benötigt in der Regel eine zeitaufwendige vielfache Wiederholung der Optimierung mit immer neuen Startwerten für die inneren Parameter und den vorgegebenen Eingangs- und Ausgangswerten. [09] Die bisherigen Trainingsverfahren sind sehr rechenintensiv und erfordern daher lange Rechenzeiten, die sehr stark mit der Anzahl verbundener Neuronen und Schichten ansteigen. Daher sind sehr komplexe neuronale Netze, die zur Approximation kompli- zierter funktionaler Zusammenhänge nötig sind, nur sehr langsam so zu trainieren, dass ein akzeptabler Restfehler erreicht wird.
[ 10] Außerdem leiden solchermaßen trainierte Netze an dem Risiko, suboptimal trainiert zu sein, da die angewandten Trainingsmethoden meistens nur lokale Informationen über die Fehlerpropagation ausnutzen und deshalb fast immer in lokalen Fehlerminima hängen bleiben.
[ 1 1] Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes derart weiterzuentwickeln, dass zu vorgegebenen Eingangswerten in möglichst kurzer Zeit Responsewerte mit minimaler Abweichung zu den gewünschten Ausgangswerten bereitgestellt werden.
[ 12] Diese Aufgabe wird mit einem gattungsgemäßen Verfahren gelöst, bei dem nur die Ausgabeneuronen adaptiert werden.
[ 13] Mit anderen Worten werden für eine zu trainierende Funktionalität und ein vorgegebenes Netz Eingangswerte und Ausgangswerte vorgegeben und nur die Ausgabeneuronen werden so adaptiert, dass der Ausgabefehler minimiert wird.
[14] Dabei können verschiedene zufällig generierte Zubringer-Teilnetze alternativ mit derselben Ausgabeschicht verbunden werden.
[ 15] Mit Ausnahme der Neuronen, die Ergebnisse repräsentieren (Ausgabeneuronen), erzeugen die vorgelagerten Neuronen (Zubringerneuronen) mehrstufig nichtlineare Verrechnungen der Eingangswerte und der Zwischenwerte anderer Neuronen.
[ 16] Aufgabe der Zubringerneuronen ist es, eine geeignete interne Repräsentation der zu lernenden Funktionalität in einem hochdimensionalen Raum zu erzeugen. Aufgabe der Ausgabeneuronen ist es, das Angebot der Zubringerneuronen zu untersuchen und die am besten geeignete Auswahl an nichtlinearen Verrechnungsergebnissen zu bestimmen. [ 17] Daher können diese beiden Neuronenklassen unterschiedlich adaptiert werden und es hat sich überraschenderweise herausgestellt, dass die Zeit, die für das Trainieren eines künstlichen neuronalen Netzes benötigt wird, deutlich verringert werden kann, wenn nur die Ausgabeneuronen adaptiert werden.
[ 18] Das Verfahren beruht auf einer Neuinterpretation der Wirkungsweise von feed forward Netzen und ihm liegen im Wesentlichen zwei Verfahrensschritte zugrunde: a) Erzeuge geeignete interne Repräsentationen der zu trainierenden Funktionalität. b) Wähle eine optimale Auswahl aus dem Angebot vorverrechneter Outputs der Zubringerneuronen .
[ 19] Die hier vorgestellte Erfindung beruht somit auf einem gänzlich anderen Paradigma zur Beschreibung der Funktion neuronaler feed forward Netze.
[20] Ein feed forward Netz wird als eine Hintereinanderschaltung zweier Teilnetze interpretiert.
[21 ] Der erste Teil enthält alle Neuronen außer den Ausgabeneuronen. Diese Neuronen sind mit zufälligen synaptischen Gewichten, zufälligen Transferfunktionen und zufälliger Netztopologie initialisiert und werden in keiner Phase der Adaption verändert. Daher erzeugen sie auch nur zufällige nichtlineare Verrechnungen der angebotenen Eingangsinformationen.
[22] Der zweite Teil enthält nur die Ausgabeneuronen. Diese sind gemäß der vorgegebenen Netztopologie mit dem ersten Teil des Netzes über synaptische Gewichte verbunden.
[23] Nur diese Gewichte werden erfindungsgemäß an die Aufgabenstellung ange- passt. [24] Dies geschieht vorzugsweise mit einer tichonov-regularisierten Regression zwischen den zufälligen Verrechnungen (das Zwischenergebnis-Angebot des ersten Teilnetzes) und der notwendigen Aktivierung der Ausgabeneuronen. Die synaptischen Gewichte der Ausgabeneuronen wählen daher erfindungsgemäß aus dem zufälligen Ange- bot des ersten Teilnetzes vorzugsweise in nur einem Rechenschritt, also nicht iterativ und nicht mit Methoden des Gradientenabstiegs, die optimalen synaptischen Gewichte der Ausgabeschicht aus.
[25] Bei genügend großer Anzahl der Neuronen in dem ersten Teilnetz ergeben sich immer ausreichend viele nichtlineare Verrechnungsergebnisse, so dass sich die nachfol- gende Ausgabeschicht sehr gut an die Aufgabe anpassen kann.
[26] Aus dem Zufall erwachsen also gleichsam die Vorverrechnungen zur Lösung des Approximationsproblems. Dies wird als zufallsinduzierte Emergenz bezeichnet.
[27] Die Erfindung bietet daher folgende Vorteile:
[28] Es ist nur ein Rechenschritt zur vollständigen Adaption des Netzes an die ge- stellte Aufgabe nötig.
[29] Daher ist die Adaption sehr schnell, da übliche Regressionsmethoden verwendet werden können (z.B. Cholesky-Faktorisierung, Singulärwertzerlegung, LU-Zerlegung etc.).
[30] Es ist kein Hängenbleiben in einem lokalen Optimum möglich, da kein Gradien- tenabstieg und keine Fehler-B ackpropagation durchgeführt werden.
[31 ] Wegen der starken Tichonov-Regularisierung ist ein Auswendiglernen (Übertrainieren) ausgeschlossen. [32] Die Benutzung sehr großer neuronaler Netze ist einfach möglich. Dies ist sogar vorteilhaft, da durch Vergrößerung des nichtlinearen Zufallsangebots die Chance einer verbesserten Approximationsgüte gesteigert wird.
[33] Theoretisch kann ein Netz durch folgende Methoden lernen: Entwicklung neuer Verbindungen, Löschen bestehender Verbindungen, Ändern der Gewichtung, Anpassen der Schwellenwerte der Neuronen, Hinzufügen oder Löschen von Neuronen. Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes.
[34] Da ein künstliches neuronales Netz hauptsächlich durch Modifikation der Gewichte der Neuronen lernt, wird vorgeschlagen, dass zum Adaptieren der Ausgabeneuronen die synaptischen Gewichte der Ausgabeneuronen bestimmt werden. Eine üblicherweise durchgeführte Adaption der Zubringerneuronen, vorzugsweise durch Anpassung ihrer synaptischen Gewichte, ist erfindungsgemäß nicht notwendig.
[35] Dabei ist vorgesehen, dass die synaptischen Gewichte der Ausgabeneuronen auf der Basis der Werte derjenigen Zubringerneuronen, die direkt mit den Ausgabeneuronen verbunden sind, und der vorgegebenen Ausgangswerte bestimmt werden.
[36] Ein vorteilhaftes Verfahren sieht vor, dass die Ausgabeneuronen mit weniger als fünf Adaptionsschritten, vorzugsweise nur einem Schritt, adaptiert werden.
[37] Bei der Adaption bzw. dem Training ist es vorteilhaft, wenn vorgegebene Ausgangswerte mit den inversen Transferfunktionen zurückgerechnet werden.
[38] Weiterhin betrifft die Erfindung ein Verfahren zur Steuerung einer Anlage, bei dem das zukünftige Verhalten beobachtbarer Größen die Grundlage für die Steuerungsfunktion bildet und künstliches neuronales Netzwerk wie oben beschrieben trainiert wird. [39] Ein Compute rogrammprodukt mit Compute rogrammcodemitteln zur Durchführung des beschriebenen Verfahrens ermöglicht es, das Verfahren als Programm auf einem Computer auszuführen.
[40] Ein derartiges Computerprogrammprodukt kann auch auf einem computerlesba- ren Datenspeicher gespeichert sein.
[41 ] Ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird anhand der Figuren 1 und 2 näher beschrieben.
[42] Es zeigt:
Figur 1 ein stark abstrahiertes Schema eines künstlichen neuronalen Netzes mit mehreren Ebenen und feed forward Eigenschaft und
Figur 2 ein Schema eines künstlichen Neurons.
[43] Das in Figur 1 gezeigte künstliche neuronale Netz (1) besteht aus 5 Neuronen (2, 3, 4, 5 und 6), von denen die Neuronen (2, 3, 4) als verdeckte Schicht angeordnet sind und Zubringerneuronen darstellen, während die Neuronen (5, 6) als Ausgabeschicht Ausgabeneuronen darstellen. Die Eingangswerte (7, 8, 9) sind den Zubringerneuronen (2, 3, 4) zugeordnet und den Ausgabeneuronen (5, 6) sind Ausgangswerte ( 10, 1 1) zugeordnet. Die Differenz zwischen dem Response (12) des Ausgabeneurons (5) und dem Ausgangswert ( 10) wird ebenso wie die Differenz zwischen dem Response (13) des Ausgabeneurons (6) und dem Ausgangswert (1 1 ) als Ausgabefehler bezeichnet. [44] Das in Figur 2 gezeigte Schema eines künstlichen Neurons zeigt, wie Eingaben (14, 15, 16, 17) zu einem Response (18) führen. Dabei werden die Eingaben (xj, x2, x3, xn) über Gewichtungen (19) bewertet und eine entsprechende Übertragungsfunktion (20) führt zu einer Aktivierung (21 ). Eine Aktivierungsfunktion (22) mit einem Schwellenwert (23) führt zu einem Ausgangswert und damit zu einem Response (18), [45] Da die Gewichtung (19) den stärksten Einfluss auf den Response (18) der Neuronen (2 bis 6) hat, wird im Folgenden der Trainingsprozess ausschließlich im Hinblick auf eine Adaption der Gewichte des Netzes (1 ) beschrieben.
[46] Im Ausführungsbeispiel werden in einem ersten Schritt des Trainingsprozesses alle Gewichte (19) des Netzes (1 ) mit Zufallswerten im Intervall [- 1 , 1 ] initialisiert. Danach wird für jeden Trainingsdatensatz der Response (12, 13, 24, 25, 26, 27, 28, 29) jedes Neurons (2 bis 6) berechnet.
[47] Die gewünschten vorgegebenen Ausgangswerte (10, 1 1) aller Ausgabeneuronen (5, 6) werden mit Hilfe der inversen Transferfunktion des jeweiligen Ausgabeneurons (5, 6) zurückgerechnet auf ihre dazu notwendigen Aktivierungen.
[48] Die synaptischen Gewichte aller Ausgabeneuronen werden durch einen ticho- nov-regularisierten Regressionsprozess zwischen invertierten vorgegebenen Ausgangswerten (10, 1 1) und denjenigen Vorverrechnungswerten der Zubringerneuronen (2, 3, 4) bestimmt, die direkt mit den Ausgabeneuronen (5, 6) verbunden sind. [49] Ist das gewünschte Approximationsziel erreicht, ist also der Ausgabefehler kleiner als eine gesetzte Obergrenze, endet das Verfahren hier.
[50] Ansonsten wiederholt man das Verfahren mit einer anderen zufälligen Initialisierung der Gewichte oder einer größeren Anzahl der Zubringerneuronen.
[51 ] Dies ermöglicht es beispielsweise, als Eingangswerte (7, 8, 9) historische Wet- terdaten wie Sonnenintensität, Windgeschwindigkeit und Niederschlagsmenge einzugeben, während als Ausgangswert der Stromverbrauch zu bestimmten Tageszeiten angesetzt wird. Durch ein entsprechendes Trainieren des Netzes (1) wird der Response ( 12, 13) so optimiert, dass der Ausgabefehler genügend klein wird. Danach kann das Netz für Prognosen verwendet werden, indem prognostizierte Wetterdaten eingegeben wer- den und mit dem künstlichen neuronalen Netz ( 1) zu erwartende Stromverbrauchswerte ermittelt werden.
[52] Dies ermöglicht es, auch eine Anlage mit den berechneten Werten zu steuern, um viele Eingangswerte besonders schnell zu verarbeiten und in Steuerfunktionen um- zusetzen.
[53] Während für derartige Berechnungen mit einem herkömmlichen Trainingspro- zess im praktischen Einsatz viele Stunden zum Trainieren des neuronalen Netzwerks notwendig waren, erlaubt das erfindungsgemäße Verfahren ein Trainieren innerhalb weniger Sekunden oder Minuten. [54] Das beschriebene Verfahren ermöglicht somit eine starke Reduktion der benötigten Zeit bei einem vorgegebenen künstlichen neuronalen Netz. Damit kann auch das Netz groß genug gewählt werden, um die gewünschte Qualität der Ergebnisse zu erreichen. Die kurze Trainingszeit eröffnet die Verwendung künstlicher neuronaler Netze in leistungsschwächeren Computern wie insbesondere auch Smartphones. [55] Smartphones können somit während ihrer Verwendung kontinuierlich trainiert werden, um nach einer Trainingsphase dem Nutzer von sich aus Informationen zur Verfügung zu stellen, die er regelmäßig abruft. Wenn der Nutzer beispielsweise täglich über eine Applikation sich spezielle Börsendaten anzeigen lässt, können diese Börsendaten dem Nutzer bei einer beliebigen Verwendung des Smartphones automatisch angezeigt werden, ohne dass der Nutzer zunächst die Applikation aktiviert und seine Daten abruft.

Claims

Verfahren zum Trainieren eines künstlichen neuronalen Netzes ( 1), das mindestens eine verdeckte Schicht mit Zubringerneuronen (2, 3, 4) und eine Ausgabeschicht mit Ausgabeneuronen (5, 6) aufweist, dadurch gekennzeichnet, dass nur die Ausgabeneuronen (5, 6) adaptiert werden.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass für eine zu trainierende Funktionalität und ein vorgegebenes Netz (1) Eingangs werte (7, 8, 9) und Ausgangs werte (10, 1 1) vorgegeben werden und nur die Ausgabeneuronen (5, 6) so adaptiert werden, dass der Ausgabefehler minimiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass verschiedene zufällig generierte Zubringer-Teilnetze alternativ mit derselben Ausgabeschicht verbunden werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Adaptieren der Ausgabeneuronen (5, 6) die synaptischen Gewichte der Ausgabeneuronen (5, 6) bestimmt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die synaptischen Gewichte der Ausgabeneuronen (5, 6) auf der Basis der Werte derjenigen Zubringerneuronen (2, 3, 4), die direkt mit den Ausgabeneuronen (5, 6) verbunden sind, und der vorgegebenen Ausgangswerte ( 10, 1 1) bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabeneuronen (5, 6) mit weniger als fünf Adaptionsschritten und vorzugsweise nur einem Schritt adaptiert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vorgegebene Ausgangswerte ( 10, 1 1) mit den inversen Transferfunktionen zurückgerechnet werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ausgabeneuronen (5, 6) mit tichonov-regularisierter Regression adaptiert werden.
9. Verfahren zur Steuerung einer Anlage, bei dem das zukünftige Verhalten beobachtbarer Größen die Grundlage für die Steuerungsfunktion bildet und ein künstliches neuronales Netzwerk nach einem der vorhergehenden Ansprüche trainiert wird.
10. Computerprogrammprodukt mit Programmcodemitteln zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Programm auf einem Computer ausgeführt wird.
1 1. Computerprogrammprodukt mit Programmcodemitteln nach Anspruch 10, die auf einem computerlesbaren Datenspeicher gespeichert sind.
PCT/DE2013/000205 2012-06-06 2013-04-18 Verfahren zum trainieren eines künstlichen neuronalen netzes und computerprogrammprodukte Ceased WO2013182176A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261689457P 2012-06-06 2012-06-06
US61/689,457 2012-06-06
DE102012011194.0 2012-06-06
DE102012011194A DE102012011194A1 (de) 2012-06-06 2012-06-06 Verfahren zum Trainieren eines künstlichen neuronalen Netzes

Publications (1)

Publication Number Publication Date
WO2013182176A1 true WO2013182176A1 (de) 2013-12-12

Family

ID=49625670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/000205 Ceased WO2013182176A1 (de) 2012-06-06 2013-04-18 Verfahren zum trainieren eines künstlichen neuronalen netzes und computerprogrammprodukte

Country Status (2)

Country Link
DE (1) DE102012011194A1 (de)
WO (1) WO2013182176A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019096881A1 (de) * 2017-11-15 2019-05-23 Gottfried Wilhelm Leibniz Universität Hannover Künstliches neuronales netz und verfahren hierzu

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807046A (zh) * 2010-03-08 2010-08-18 清华大学 一种基于结构可调极限学习机的在线建模方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807046A (zh) * 2010-03-08 2010-08-18 清华大学 一种基于结构可调极限学习机的在线建模方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
G.-B. HUANG ET AL: "Universal Approximation Using Incremental Constructive Feedforward Networks With Random Hidden Nodes", IEEE TRANSACTIONS ON NEURAL NETWORKS, vol. 17, no. 4, 1 July 2006 (2006-07-01), pages 879 - 892, XP055083863, ISSN: 1045-9227, DOI: 10.1109/TNN.2006.875977 *
GUANG-BIN HUANG ET AL: "Extreme learning machines: a survey", INTERNATIONAL JOURNAL OF MACHINE LEARNING AND CYBERNETICS, vol. 2, no. 2, 25 May 2011 (2011-05-25), pages 107 - 122, XP055083871, ISSN: 1868-8071, DOI: 10.1007/s13042-011-0019-y *
HUANG G B ET AL: "Enhanced random search based incremental extreme learning machine", NEUROCOMPUTING, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, vol. 71, no. 16-18, 1 October 2008 (2008-10-01), pages 3460 - 3468, XP025680861, ISSN: 0925-2312, [retrieved on 20071121], DOI: 10.1016/J.NEUCOM.2007.10.008 *
QIN-YU ZHU ET AL: "A fast modular implementation for neural networks", CONTROL, AUTOMATION, ROBOTICS AND VISION CONFERENCE, 2004. ICARCV 2004 8TH KUNMING, CHINA 6-9 DEC. 2004, PISCATAWAY, NJ, USA,IEEE, US, vol. 3, 6 December 2004 (2004-12-06), pages 2270 - 2273, XP010818377, ISBN: 978-0-7803-8653-2, DOI: 10.1109/ICARCV.2004.1469785 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019096881A1 (de) * 2017-11-15 2019-05-23 Gottfried Wilhelm Leibniz Universität Hannover Künstliches neuronales netz und verfahren hierzu

Also Published As

Publication number Publication date
DE102012011194A1 (de) 2013-12-12

Similar Documents

Publication Publication Date Title
WO2013170843A1 (de) Verfahren zum trainieren eines künstlichen neuronalen netzes
DE112016003245B4 (de) Resistive Verarbeitungseinheit
EP2135140B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
EP2112568B1 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE202017007641U1 (de) Training von maschinellen Lernmodellen auf mehrere maschinelle Lernaufgaben
WO2014121863A1 (de) Verfahren und vorrichtung zur steuerung einer mit einer erneuerbaren energiequelle betreibbaren energieerzeugungsanlage
EP4000010A1 (de) Vorrichtung und computerimplementiertes verfahren für die verarbeitung digitaler sensordaten und trainingsverfahren dafür
DE112020002186T5 (de) Dnn-training mit asymmetrischen rpu-einheiten
EP3940596A1 (de) Verfahren zum konfigurieren eines steuerungsagenten für ein technisches system sowie steuereinrichtung
WO2020187591A1 (de) Verfahren und vorrichtung zum ansteuern eines roboters
DE60125536T2 (de) Anordnung zur generierung von elementensequenzen
EP4235317A1 (de) Verfahren zum steuern einer maschine durch einen lernbasier-ten steuerungsagenten sowie steuereinrichtung
WO2024110126A1 (de) Verfahren und maschinensteuerung zum steuern einer maschine
WO2019206776A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE112020005613T5 (de) Neuromorphe Einheit mit Kreuzschienen-Array-Struktur
DE202019103862U1 (de) Vorrichtung zum Erstellen einer Strategie für einen Roboter
DE202019103924U1 (de) Vorrichtung für die Verarbeitung digitaler Sensordaten
WO2023072528A1 (de) Verfahren und steuereinrichtung zum steuern eines technischen systems
DE102021124252A1 (de) Neuronale Netzwerksysteme für abstraktes Denken
WO2013182176A1 (de) Verfahren zum trainieren eines künstlichen neuronalen netzes und computerprogrammprodukte
WO2020193481A1 (de) Verfahren und vorrichtung für training und herstellung eines künstlichen neuronalen netzes
DE102019210372A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Erstellen einer Strategie für einen Roboter
DE102022112606B3 (de) Computerimplementiertes Verfahren zur Kalibrierung eines technischen Systems
WO2014015844A1 (de) Verfahren zur steuerung einer anlage, bei dem die ordnungen p, q, r der einzelnen komponenten eines n-ar (p) ma (q) x (r) - prozesses bestimmt werden
DE102021115425A1 (de) Verfahren zum Übertragen eines Netzwerkverhaltens eines trainierten Startnetzwerkes auf ein Zielnetzwerk ohne Verwendung eines Originaldatensatzes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13730460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120130028298

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13730460

Country of ref document: EP

Kind code of ref document: A1