WO1997033235A1 - Verfahren zum trainieren eines neuronalen netzes - Google Patents

Verfahren zum trainieren eines neuronalen netzes Download PDF

Info

Publication number
WO1997033235A1
WO1997033235A1 PCT/DE1997/000340 DE9700340W WO9733235A1 WO 1997033235 A1 WO1997033235 A1 WO 1997033235A1 DE 9700340 W DE9700340 W DE 9700340W WO 9733235 A1 WO9733235 A1 WO 9733235A1
Authority
WO
WIPO (PCT)
Prior art keywords
investment
determined
state vector
neural network
evaluation
Prior art date
Application number
PCT/DE1997/000340
Other languages
English (en)
French (fr)
Inventor
Volker Tresp
Ralph Neuneier
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to EP97915305A priority Critical patent/EP0885420B1/de
Priority to AT97915305T priority patent/ATE212740T1/de
Priority to DE59706237T priority patent/DE59706237D1/de
Priority to JP9531329A priority patent/JP2000506293A/ja
Priority to US09/142,275 priority patent/US6247001B1/en
Publication of WO1997033235A1 publication Critical patent/WO1997033235A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to a method for training a neural network with training data that characterize a financial market.
  • An asset allocation is understood to mean the investment of liquid capital in different trading options such as shares, futures, bonds or even foreign exchange, ie in all the possibilities that a financial market as a whole offers.
  • a portfolio is formed with the aim of achieving a maximum return for a predeterminable risk that the investor would like to take within a predefinable time interval.
  • the asset allocation is modeled as a Markov decision problem.
  • Each state of the Markov decision problem is described by a state vector that has elements that characterize the financial market. Since the Markov decision problem is very high-dimensional for a large number of influencing variables, the reinforcement learning method (reinforcement learning) is used to train the neural network. When using this method, both the state vector of a first time step and the state vector of a subsequent time step are taken into account.
  • a significant advantage of the method according to the invention can be seen in the fact that changes in the financial market over time are taken into account in the model.
  • evaluation variables which are used for evaluating the state vectors are very flexible and are therefore easily interchangeable or expandable, depending on the particular application aspect.
  • the classic valuation variables of the return and the risk or also other valuation variables such as an inflation rate or, for example, also custody account fees can be taken into account here.
  • the method according to claim 10 makes it possible to determine an optimal investment strategy for the asset allocation. This can take place under predeterminable restrictions, for example a maximum risk that the investor would like to take with his portfolio.
  • Fig. 1 is a flowchart describing individual process steps of the method according to claim 1;
  • Fig. 3 is a sketch of a computer arrangement with which
  • a state vector SV t is determined, which has elements that characterize a financial market.
  • the state vector SV t can have the following information, for example:
  • a first price value for example the closing price of the German share index (DAX)
  • a second price value for example the closing price of the CDAX
  • a third market value for example the closing price on a trading day of the so-called Dow Jones Industrial Index USA
  • a first currency e.g. B. a national currency, for example in the US dollar currency - a market value of the USA Treasury Bonds with different terms,
  • the state vector SV t indicates the current capital level of an investor.
  • An evaluation V t is determined 102 for the state vector SV t on the basis of predetermined evaluation variables.
  • evaluation variables For example, the following can be provided as evaluation variables:
  • a temporally following state vector SV ⁇ + i is determined 103.
  • the temporally following state vector SV ⁇ + i of course depends in each case on the system decision made, starting from the state vector SV t .
  • a time index t denotes an iteration step.
  • the time index t is an arbitrary natural number.
  • An evaluation Vt + ⁇ is also determined for the temporally following state vector SV ⁇ + i in the same way as it was determined for the state vector SVt. The method is therefore carried out iteratively for all time steps t for which training data are available and are taken into account.
  • a training data record is in each case a value of the respective state vector SV t known from known, past course courses for each iteration step t and possibly a virtual portfolio.
  • the method according to the invention makes it possible to train the neural network NN with a stochastic behavior of the financial market without having to invest capital directly in the financial market.
  • Another significant advantage of the method according to the invention and its further developments can be seen in the flexibility of the parameters taken into account and in the consideration of the transaction costs for an action on the financial market.
  • the respective following state vector SV t +] _ with its evaluation V t + ⁇ with previous iteration steps flows into the adaptation of the weights to an ever lesser extent.
  • a reduction factor ⁇ is provided for this.
  • the reduction factor ⁇ can be formed, for example, by a number whose value is less than 1, but comes close to the value 1, for example 0.99.
  • the reduction factor ⁇ is exponentiated with the iteration step t. The result is t. B. 0.99.
  • the assessment V ⁇ - can only result from taking into account the return r and the assessment V ⁇ + i of the following state vector SVt + ⁇ and the reduction factor ⁇ :
  • V t r + ⁇ ⁇ V t + ⁇ (l!
  • the adaptation ⁇ w ⁇ of the weights w ⁇ of the neural network NN to be trained is done by the so-called reinforcement learning method (reinforcement learning), for example according to the following regulation:
  • Neural network NN is referred to, and ⁇ NN - with a partial derivation of the output function of the neural network NN according to the respective weight w ⁇ of the neural network NN to be adapted.
  • the neural network NN trained in the manner described above can now be used in a development of the method for determining an investment decision (cf. FIG. 2). This takes place, for example, in the case of a large number of possible investment decisions, in that for each investment decision that is determined in a first step 201, the evaluation V t of the state vector SV t is determined depending on the respective investment decision 203 ⁇ averaging the evaluation V ⁇ , the following state vector SV t + 1 is again determined 202 for the respective investment decision made. From the valuations V ⁇ , the number of which corresponds to the number of investment decisions, the investment decision is selected which has led to the respective valuation V t, which has given the optimal value for a predefinable investment target 204.
  • the investment decision determined can either be recommended to a user, for example by displaying the result on a screen BS or a printer DR, or the investment decision can also be made directly, regardless of the user, for example the investor.
  • the trained neural network NN can also be used to determine an entire investment strategy. For this purpose, a whole sequence of state vectors SV t with different values of the valuation variables, and thus the investment goals and the investment strategy, is determined.
  • variations in the risk that the investor is willing to take when compiling the portfolio or the amount of return that is to be achieved must be taken into account.
  • the last time value of the evaluation V t of the last time state vector SV t is determined and the values are compared with one another. From these results, the most optimal investment strategy, that is to say the investment strategy, for example with a maximum return r, is determined while taking the minimal risk.
  • FIG. 3 shows an arrangement of a computer R with which the method according to the invention is necessarily carried out.
  • FIG. 3 also shows the screen BS and the printer DR, with which the result of the method according to the invention, which was determined by the computer, can be displayed to a user.
  • the neural network NN which is trained by the computer R, is symbolically represented in the arrangement.

Abstract

Es wird ein Zustandsvektor (SVt) mit Elementen bestimmt, die einen Finanzmarkt charakterisieren (101). Unter Berücksichtigung von vorgegebenen Bewertungsgrößen wird eine Bewertung (Vt) für den Zustandsvektor (SVt) ermittelt (102). Ferner wird ein zeitlich folgender Zustandsvektor (SVt+1) ermittelt (103) und bewertet (Vt+1). Anhand der zwei Bewertungen (Vt, Vt+1) werden Gewichte (wi) des Neuronalen Netzes (NN) unter Verwendung einer Verstärkungs-Lern-Methode (Reinforcement Learning) adaptiert (Δwi) (104).

Description

Beschreibung
Verfahren zum Trainieren eines neuronalen Netzes
Die Erfindung betrifft ein Verfahren zum Trainieren eines Neuronalen Netzes mit Trainingsdaten, die einen Finanzmarkt charakterisieren. Es wird immer wieder versucht, Änderungen eines Finanzmarktes vorherzusagen, um somit eine optimale Asset Allokation, die auch als Portfolio-Management bezeich- net wird, zu erreichen. Unter einer Asset-Allokation versteht man die Investition liquiden Kapitals in unterschiedliche Handelsoptionen wie beispielsweise Aktien, Futures, Rentenpa¬ piere oder auch Devisen, also in alle Möglichkeiten, die ein Finanzmarkt in seiner Gesamtheit bietet. Ein Portfolio wird gebildet mit dem Ziel, eine maximale Rendite für ein vorgeb¬ bares Risiko, das der Investor eingehen möchte, innerhalb ei¬ nes vorgebbaren Zeitintervalls, zu erreichen.
Aus dem Dokument [1] sind Grundlagen über Asset Allokation und Investmentanalyse bekannt. Aus dem Dokument [1] ist eben¬ so ein Modell, das sog. Zweipunkt-Modell zur Beschreibung ei¬ ner erreichbaren Rendite abhängig von einem Risiko, das der Investor bei der Anlagemöglichkeit eingeht, bekannt. Der Ver¬ such, anhand dieses Modells Vorhersagen über Änderungen des Finanzmarktes zu treffen, sind jedoch sehr ungenau, da weder der zeitliche Aspekt der Änderungen des Finanzmarktes noch Transaktionskosten, die bei Handlungen auf dem Finanzmarkt entstehen, berücksichtigt werden.
Ein weiterer Nachteil, der in dem in dem Dokument [1] be¬ schriebenen Modell zu sehen ist liegt darin, daß tatsächliche Daten über Änderungen des Finanzmarktes in keinster Weise be¬ rücksichtigt werden können. Dies führt zu einer unflexiblen, ungenauen Aussage über Änderungen des Finanzmarktes, ausge- hend von dem Modell. Weiterhin ist eine sogenannte Verstärkungs-Lern-Methode (Reinforcement Learning) beispielsweise aus dem Dokument [2] bekannt.
Der Erfindung liegt das Problem zugrunde, ein Neuronales Netz zu trainieren unter Berücksichtigung von Parametern, die den Finanzmarkt charakterisieren.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1 gelöst.
Bei dem erfindungsgemäßen Verfahren wird die Asset Allokation als ein Markov Entscheidungsproblem modelliert. Jeder Zustand des Markov Entscheidungsproblems wird durch einen Zustands- vektor beschrieben der Elemente aufweist, die den Finanzmarkt charakterisieren. Da bei einer Vielzahl von Einflußgrößen das Markov Entscheidungsproblem sehr hochdimensional ist, wird zum Trainieren des neuronalen Netzes die Verstärkungs-Lern- Methode (Reinforcement Learning) verwendet. Bei Verwendung dieses Verfahrens wird sowohl der Zustandsvektor eines ersten Zeitschrittes als auch der Zustandsvektor eines folgenden Zeitschrittes berücksichtigt.
Diese Vorgehensweise zum Trainieren eines Neuronalen Netzes birgt einige Vorteile in sich, insbesondere hinsichtlich ei¬ ner weiteren Verwendung des auf diese Weise trainierten Neu¬ ronalen Netzes zum Treffen von Aussagen über die Änderungen des Finanzmarktes.
Ein erheblicher Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, daß zeitliche Änderungen des Finanzmarktes in dem Modell berücksichtigt werden.
Weiterhin werden tatsächlich entstandene Daten aus der Ver- gangenheit bei dem Training berücksichtigt. Die Trainingsda¬ ten, die zum Trainieren des Neuronalen Netzes verwendet wer¬ den, also der jeweilige Zustandsvektor, kann für das Training eingesetzt werden, ohne daß der Investor tatsächlich schon Kapital für Handlungen auf dem Finanzmarkt aufwenden muß. Durch die Verwendung vieler Daten des Finanzmarktes aus der Vergangenheit wird das anhand der Daten adaptierte Modell sehr flexibel bezüglich Änderungen des Finanzmarktes.
Ein weiterer Vorteil des erfindungsgemäßen Verfahrens ist darin zu sehen, daß die Bewertungsgrößen, die zur Bewertung der Zustandsvektoren herangezogen werden, sehr flexibel sind und somit leicht austauschbar bzw. erweiterbar sind, abhängig von dem jeweiligen speziellen Anwendungsaspekt. Beispielswei¬ se können hier die klassischen Bewertungsgrδßen der Rendite und des Risikos oder auch weitere Bewertungsgrößen wie eine Inflationsrate oder beispielsweise auch Depotgebühren berück- siehtigt werden.
Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 5 ist es möglich, Transaktionskosten, die durch Handlungen an dem Finanzmarkt entstehen, zu berücksichtigen.
Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 6 werden eine Vielzahl unterschiedlicher Zustandsvektoren einer folgenden Iteration, also einem folgenden Zeitschritt, ermit¬ telt wodurch es möglich ist, anhand mehrerer unterschiedli¬ cher Folgezustände das Neuronale Netz zu trainieren.
Durch die Weiterbildung des Verfahrens gemäß Patentanspruch 7 wird ein Aspekt berücksichtigt, durch den mit steigender An¬ zahl erfolgter Iterationsschritte Bewertungsergebnisse, bei¬ spielsweise die Rendite für „weit in der Zukunft" liegende Renditen geringer bewertet werden als „in naher Zukunft" zu erzielende Renditen. Durch die Verfahren gemäß Patentanspruch 8 und Patentanspruch 9 werden unter Verwendung des auf die im vorigen beschriebene Weise tränierten Neuronalen Netzes Anlageentscheidungen ge¬ troffen und diese Anlageentscheidungen werden bewertet. Somit ist ein Maß bestimmt zur Abschätzung der Qualität einer Anla¬ geentscheidung in einem Finanzmarkt. Dies kann dem Investor eine entscheidende Unterstützung bei Entscheidungen bezüglich der Investitionen auf dem Finanzmarkt, also bei der Zusammen¬ stellung seiner spezifischen Asset Allokation sein.
Durch das Verfahren gemäß Patentanspruch 10 ist es möglich, eine optimale Anlegestrategie für die Asset Allokation zu er¬ mitteln. Dies kann erfolgen unter vorgebbaren Einschränkun¬ gen, beispielsweise einem maximalen Risiko, das der Investor bei seinem Portfolio eingehen möchte.
Ein Ausführungsbeispiel ist in den Figuren dargestellt und wird im weiteren näher erläutert.
Es zeigen
Fig. 1 ein Ablaufdiagramm, das einzelne Verfahrensschritte des Verfahrens gemäß Patentanspruch 1 beschreibt;
Fig. 2 ein Abiaufdiagramm mit Verfahrensschritten des Verfahrens gemäß Patentanspruch 8;
Fig. 3 eine Skizze einer Rechneranordnung, mit der das
Verfahren notwendigerweise durchgeführt wird, mit einem Bildschirm sowie einem Drucker zur Dar¬ stellung der Verfahrensergebnisse.
In Fig. 1 sind die einzelnen Verfahrenschritte des erfin¬ dungsgemäßen Verfahrens dargestellt. In einem ersten Schritt 101 wird ein Zustandsvektor SVt bestimmt, der Elemen¬ te aufweist, die einen Finanzmarkt charakterisieren. Der Zustandsvektor SVt kann beispielsweise folgende Informa¬ tionen aufweisen:
- Einen ersten Kurswert, beispielsweise den Schlußkurs des Deutschen Aktienindex (DAX) , - einen zweiten Kurswert, beispielsweise den Schlußkurs des CDAX,
- einen Kurswert des sogenannten Morgan Stanley Index Deutschland,
- einen 3-Monats-Zins-Kurs für den deutschen oder europäi- sehen Finanzmarkt,
- eine nationale Umlaufrendite,
- einen dritten Kurswert, beispielsweise den Schlußkurs eines Börsentages des sogenannten Dow Jones Industrial Index USA,
- einen vierten Kurswert, beispielsweise den Kurswert des so- genannten Nikkei Index (Japan) ,
- den sogenannten Morgan Stanley Index Europa,
- mindestens einen Wechselkurs von einer ersten Währung, z. B. einer nationalen Währung, beispielsweise in die Währung US-Dollar, - einen Kurswert der USA Treasury Bonds mit verschiedenen Laufzeiten,
- den Kurswert des Goldes,
- Größen, die ein Kurs-/Gewinn-Verhältnis mindestens eines Unternehmens beschreiben.
Weitere Elemente, die einen Finanzmarkt charakterisieren, können je nach Anwendungsfall ohne weiteres in dem erfin¬ dungsgemäßen Verfahren berücksichtigt werden. Die oben bei¬ spielhaft dargestellte Auswahl ist keineswegs abschließend zu verstehen.
Weiterhin kann es in einer Ausgestaltung des Verfahrens vor¬ gesehen sein, daß der Zustandsvektor SVt den jeweils aktuel¬ len Kapitalstand eines Anlegers (Investors) angibt.
Für den Zustandsvektor SVt wird anhand vorgegebener Bewer¬ tungsgrößen eine Bewertung Vt ermittelt 102. Als Bewertungsgrößen können beispielsweise vorgesehen werden:
- Für jede mögliche Anlageform (Aktie, Future, Rentenpapier, usw.) eine zu erwartende Rendite r sowie ein zu erwartendes Risiko, das man bei Wahl der Anlageform jeweils eingeht,
- die Inflationsrate,
- Depotgebühren, oder
- Transaktionskosten, die anfallen bei jeder Handlung, die von dem Anleger auf dem Finanzmarkt getätigt wird.
Auch diese Aufzählung ist in keinster Weise abschließend zu verstehen.
Grundlagen über zu ermittelnde Renditen r und Risiken ver- schiedener Anlageformen sind in dem Dokument [1] beschrieben.
Ferner wird ein zeitlich folgender Zustandsvektor SV^+i er¬ mittelt 103. Der zeitlich folgende Zustandsvektor SV^+i hängt selbstverständlich jeweils von der getroffenen Anlageent- Scheidung ab, ausgehend von dem Zustandsvektor SVt. Hierbei bezeichnet ein Zeitindex t jeweils einen Iterationsschritt.
Der Zeitindex t ist eine beliebige natürliche Zahl. Auch für den zeitlich folgenden Zustandsvektor SV^+i wird eine Bewer¬ tung Vt+ι ermittelt auf dieselbe Weise, wie diese für den Zu- standsvektor SVt bestimmt wurde. Das Verfahren wird also ite¬ rativ für alle Zeitschritte t durchgeführt, für die Trai¬ ningsdaten vorhanden sind und berücksichtigt werden.
Anhand der Bewertung Vt des Zustandsvektors SVt und der Be- wertung Vt+χ des folgenden Zustandsvektors SVt+ι werden mit
Hilfe einer Verstärkungs-Lern-Methode (Reinforcement Lear¬ ning) Gewichte w-j_ eines zu trainierenden Neuronalen Netzes NN adaptiert. Die Verstärkungs-Lern-Methode ist aus dem Dokument [2] bekannt.
Die im vorigen beschriebenen Verfahrensschritte werden bei dem erfindungsgemäßen Verfahren iterativ für jeden bekannten Trainingsdatensatz durchlaufen. Ein Trainingsdatensatz ist jeweils ein aus bekannten, vergangenen Kursverläufen bekann¬ ter Wert des jeweiligen Zustandsvektors SVt für jeweils den Iterationsschritt t und möglicherweise ein virtuelles Portfo- lio.
Durch das erfindungsgemäße Verfahren wird es ermöglicht, das Neuronale Netz NN mit einem stochastischen Verhalten des Fi¬ nanzmarktes zu trainieren, ohne direkt Kapital in den Finanz- markt investieren zu müssen. Ein weiterer erheblicher Vorteil des erfindungsgemäßen Verfahrens und seinen Weiterbildungen ist in der Flexibilität berücksichtigter Paramter sowie in der Berücksichtigung der Transaktionskosten für eine Handlung auf dem Finanzmarkt zu sehen.
In einer Ausgestaltung des erfindungsgemäßen Verfahrens ist es vorgesehen, daß mit wachsender Anzahl von Iterations- schritten der jeweilige folgende Zustandsvektor SVt+]_ mit seiner Bewertung Vt+ι mit vorangehenden Iterationsschritten in immer geringerem Maße in die Adaption der Gewichte ein¬ fließt. Hierzu ist ein Reduzierungsfaktor λ vorgesehen. Der Reduzierungsfaktor λ kann beispielsweise gebildet werden durch eine Zahl, deren Wert kleiner als 1 ist, dem Wert 1 je¬ doch nahe kommt, beispielsweise 0,99. Der Reduzierungsfaktor λ wird potenziert mit dem Iterationsschritt t. Es ergibt sich t dann also z. B. 0,99 . Die Bewertung V^- kann sich für ein sehr einfaches Beispiel lediglich unter Berücksichtigung der Rendite r sowie der Bewertung V^+i des folgenden Zustandsvek¬ tors SVt+ι und des Reduzierungsfaktors λ ergeben zu:
Vt = r + λ ■ Vt +ι (l!
Da aus den bekannten Kursverläufen der Trainingsdaten die je¬ weilige Rendite r und die jeweilige Bewertung des folgenden Zustandsvektors SV^+i ermitteln läßt, ist die Bewertung V^+i für den folgenden Zustandsvektor SVt+^ ohne weiteres möglich.
Bei einer Vielzahl von Entscheidungsmöglichkeiten für die An- lageentscheidung, beispielsweise bei einem einfachsten Fall, ob eine bestimmte Anlageform gewählt wird und somit Anteile dieser Anlageform gekauft werden oder nicht, werden jeweils mindestens zwei der verschiedenen Anlageentscheidungen durch- geführt und jeweils für die getroffene Anlageentscheidung die Bewertung Vt des Zustandsvektors SVt anhand der aus der je¬ weiligen Anlageentscheidung resultierenden Bewertung Vt+1 des folgenden Zustandsvektors SV^+i ermittelt.
Die Adaption Δw^ der Gewichte w^ des zu trainierenden Neuro¬ nalen Netzes NN geschieht durch die sogenannte Verstärkungs- Lern-Methode (Reinforcement Learning) , beispielsweise nach folgender Vorschrift:
ΔWi = (vt - (r + λ • Vt+1)) ■ — (2),
wobei
- mit einem Index i jedes Gewicht w^ des zu trainierenden
Neuronalen Netzes NN bezeichnet wird, und θNN - mit jeweils eine partielle Ableitung der Ausgabefunk- öw^ tion des Neuronalen Netzes NN nach dem jeweiligen zu adaptie¬ renden Gewicht w^ des Neuronalen Netzes NN bezeichnet wird.
Das auf die im vorigen beschriebene Weise trainierte Neurona- le Netz NN kann nun in einer Weiterbildung des Verfahrens zur Ermittlung einer Anlageentscheidung verwendet werden (vgl. Figur 2) . Dies erfolgt beispielsweise bei einer Vielzahl mög¬ licher Anlageentscheidungen dadurch, daß für jede Anlageent¬ scheidung, die in einem ersten Schritt 201 bestimmt werden, die Bewertung Vt des Zustandsvektors SVt abhängig von der je¬ weiligen Anlageentscheidung ermittelt wird 203. Bei der Er¬ mittlung der Bewertung V^ wird wiederum der folgende Zu¬ standsvektor SVt+1 für die jeweilige getroffene Anlageent¬ scheidung bestimmt 202. Aus den Bewertungen V^, deren Anzahl der Anzahl der Anlage- entseheidüngen entspricht, wird die Anlageentscheidung ausge¬ wählt, die zu der jeweiligen Bewertung Vt geführt hat, die zu einem vorgebbaren Investitionsziel den optimalsten Wert erge- ben hat 204. Die ermittelte Anlageentscheidung kann entweder einem Benutzer empfohlen werden, beispielsweise indem das Er¬ gebnis auf einem Bildschirm BS oder einem Drucker DR darge¬ stellt wird, oder die Anlageentscheidung kann auch direkt ge¬ troffen werden, unabhängig von dem Benutzer, beispielsweise dem Investor.
Das trainierte Neuronale Netz NN kann jedoch auch zur Ermitt¬ lung einer gesamten Anlagestrategie verwendet werden. Hierzu wird eine ganze Folge von Zustandsvektoren SVt mit unter- schiedlichen Werten der Bewertungsgrδßen, und somit der Inve¬ stitionsziele und der Anlagestrategie bestimmt. Hierbei sind beispielsweise Variationen in dem Risiko, das der Investor bei den Zusammenstellungen des Portfolios bereit ist einzuge¬ hen, oder auch die Höhe der Rendite r, die erzielt werden soll zu berücksichtigen.
Für die unterschiedlichen Folgen von Anlageentscheidungen wird jeweils der zeitlich letzte Wert der Bewertung Vt des zeitlich letzten Zustandsvektors SVt ermittelt und die Werte werden miteinander verglichen. Aus diesen Ergebnissen wird die optimalste Anlagestrategie, also die Anlagestrategie bei¬ spielsweise mit maximaler Rendite r unter Eingehen des mini¬ malen Risikos bestimmt.
Die Bestimmung der optimalsten Anlagestrategie kann auch un¬ ter vorgebbaren Restriktionen erfolgen, beispielsweise unter Berücksichtigung eines maximalen Risikos, das der Investor bereit ist einzugehen. Weitere Ristriktionen, die darin lie¬ gen können, daß bestimmte Anlageformen von vornherein ausge- schlössen sind, sind in Weiterbildungen des erfindungsgemäßen Verfahrens vorgesehen. In Figur 3 ist eine Anordnung eines Rechners R dargestellt, mit dem das erfindungsgemäße Verfahren notwendigerweise durchgeführt wird. Weiterhin ist in Figur 3 der Bildschirm BS sowie der Drucker DR dargestellt, mit dem jeweils das Ergeb¬ nis des erfindungsgemäßen Verfahrens, das durch den Rechner ermittelt wurde, einem Benutzer dargestellt werden kann. Wei¬ terhin ist in der Anordnung das Neuronale Netz NN symbolisch dargestellt, welches durch den Rechner R trainiert wird.
In diesem Dokument wurden folgende Veröffentlichungen zi¬ tiert:
[1] E. Elton et al, Modern Portfolio Theory and Investment Analysis, John Wiley & Sons, Inc.,
4. Auflage, New York, ISBN 0-471-53248-7,
5. 15 - 93, 1981
[2] A. Barto et al, Learning to Act Using Real-Time Dynamic Programming Department of Computer Science, Unvivesity of Massachusetts, Amherst MA 01003, S. 1 - 65, Januar 1993

Claims

Patentansprüche
1. Verfahren zum Trainieren eines Neuronalen Netzes (NN) , bei dem folgende Schritte iterativ durchgeführt werden: a) ein Zustandsvektor (SVt) wird bestimmt, der Elemente auf¬ weist, die einen Finanzmarkt charakterisieren (101), b) für den Zustandsvektor (SVt) wird eine Bewertung (Vt) be¬ züglich vorgegebenen Bewertungsgrδßen ermittelt (102) , und c) mindestens anhand der Bewertung (Vt) dieses Zustandsvek¬ tors (SVt) und einer ermittelten Bewertung (Vt+1) mindestens eines folgenden Zustandsvektors (SVt+1) (103) werden mit Hil¬ fe einer Verstärkungs-Lern-Methode (Reinforcement Learning) Gewichte des Neuronalen Netzes (NN) adaptiert (104) .
2. Verfahren nach Anspruch 1, bei dem der Zustandsvektor (SVt) jeweils mindestens eine der folgenden Größen aufweist:
- mindestens einen Kurs mindestens eines Aktienindex, - mindestens eine Angabe mindestens eines RentenmarktZinssat¬ zes,
- mindestens eine Wechselkursangabe für mindestens eine erste Währung in mindestens eine zweite Währung,
- ein Goldpreis, - Größen, die ein Kurs-/Gewinn-Verhältnis mindestens eines Unternehmens beschreiben.
3. Verfahren nach Anspruch 1 oder 2, bei dem der Zustandsvektor (SVt) jeweils mindestens eine An- gäbe über einen Kapitalstand eines Anlegers aufweist.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem die vorgegebenen Bewertungsgrößen mindestens ein An¬ lagerisiko und/oder mindestens eine ermittelte Rendite minde- stens einer Anlageform beschreiben.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem die vorgegebenen Bewertungsgrößen mindestens Transak¬ tionskosten mindestens einer Anlageform beschreiben.
6. Verfahren nach einem der Ansprüche 1 bis 5,
- bei dem bei mehreren möglichen folgenden Zustandsvektoren (SVt+1) für alle folgenden Zustandsvektoren (SVt+1) eine Auf¬ tretenswahrscheinlichkeit bestimmt wird, und
- bei dem die Bewertung ermittelt wird durch Summenbildung der Bewertungen (Vt+1) aller möglichen folgenden Zustandsvek¬ toren (SVt+1) multipliziert mit der jeweiligen Auftretens¬ wahrscheinlichkeit des Zustandsvektors.
7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem ein Reduzierungsfaktor (λ) vorgesehen wird, durch den mit steigender Anzahl erfolgter Iterationsschritten die Be¬ wertungen (Vt+1) des mindestens einen folgenden Zustandsvek¬ tors (SVt+1) reduziert wird.
8. Verfahren zur Ermittlung einer Anlageentscheidung mit Hil¬ fe eines Neuronalen Netzes (NN) , das mit einem Verfahren nach einem der Ansprüche 1 bis 7 trainiert wurde,
- bei dem für mindestens zwei aller möglichen Anlageentschei¬ dungen der folgende Zustandsvektor (SVt+1) , der sich bei der jeweiligen Anlageentscheidung ergibt, ermittelt wird, und
- bei dem die Anlageentscheidung einem Benutzer empfohlen wird, die zu einer höheren Bewertung (Vt+ι) des folgenden Zu¬ standsvektors (SVt+1) bezüglich der Bewertungsgrößen geführt hat.
9. Verfahren zur Ermittlung einer Anlageentscheidung mit Hil¬ fe eines Neuronalen Netzes (NN) , das mit einem Verfahren nach einem der Ansprüche 1 bis 7 trainiert wurde, - bei dem für mindestens zwei aller möglichen Anlageentschei¬ dungen der folgende Zustandsvektor (SVt+1) , der sich bei der jeweiligen Anlageentscheidung ergibt, ermittelt wird, und
- bei dem die Anlageentscheidung getroffen wird, die zu einer höheren Bewertung (Vt+1) des folgenden Zustandsvektors
(SVt+1) bezüglich der Bewertungsgrößen geführt hat.
10. Verfahren zur Ermittlung einer Anlagestrategie mit Hilfe eines Neuronalen Netzes (NN) , das mit einem Verfahren nach einem der Ansprüche 1 bis 7 trainiert wurde,
- bei dem mehrere Folgen von Anlageentscheidungen mit unter¬ schiedlichen Werten der Bewertungsgrößen bestimmt werden, und
- bei dem aus den Folgen von Anlageentscheidungen eine bezüg¬ lich eines vorgebbaren Zieles optimale Folge von Anlageent- Scheidungen ermittelt wird, und
- bei dem die Anlagestrategie sich ergibt aus den Bewertungs- größen, die bei der optimalen Folge von Anlageentscheidungen verwendet wurden.
PCT/DE1997/000340 1996-03-06 1997-02-26 Verfahren zum trainieren eines neuronalen netzes WO1997033235A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP97915305A EP0885420B1 (de) 1996-03-06 1997-02-26 Verfahren zum trainieren eines neuronalen netzes
AT97915305T ATE212740T1 (de) 1996-03-06 1997-02-26 Verfahren zum trainieren eines neuronalen netzes
DE59706237T DE59706237D1 (de) 1996-03-06 1997-02-26 Verfahren zum trainieren eines neuronalen netzes
JP9531329A JP2000506293A (ja) 1996-03-06 1997-02-26 ニューラルネットワークのトレーニング方法
US09/142,275 US6247001B1 (en) 1996-03-06 1997-02-26 Method of training a neural network

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19608736.8 1996-03-06
DE19608736 1996-03-06

Publications (1)

Publication Number Publication Date
WO1997033235A1 true WO1997033235A1 (de) 1997-09-12

Family

ID=7787443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1997/000340 WO1997033235A1 (de) 1996-03-06 1997-02-26 Verfahren zum trainieren eines neuronalen netzes

Country Status (6)

Country Link
US (1) US6247001B1 (de)
EP (1) EP0885420B1 (de)
JP (1) JP2000506293A (de)
AT (1) ATE212740T1 (de)
DE (1) DE59706237D1 (de)
WO (1) WO1997033235A1 (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473998B1 (en) * 1999-04-30 2002-11-05 Superba (Societe Anonyme) Process for pre-drying textile filaments after wet treatment and device for practicing this method
SG99866A1 (en) * 2000-07-13 2003-11-27 Asianbourses Com Pte Ltd Buy or sell recommendation for a financial investment, method and data processing system for such a recommendation
JP2002083134A (ja) * 2000-09-08 2002-03-22 Toshiba Corp 自動発注システム
US7480633B2 (en) * 2001-02-13 2009-01-20 American Express Bank Ltd. Real-time brokerage account application system and method
US7747502B2 (en) 2002-06-03 2010-06-29 Research Affiliates, Llc Using accounting data based indexing to create a portfolio of assets
US8374937B2 (en) 2002-04-10 2013-02-12 Research Affiliates, Llc Non-capitalization weighted indexing system, method and computer program product
US8374951B2 (en) 2002-04-10 2013-02-12 Research Affiliates, Llc System, method, and computer program product for managing a virtual portfolio of financial objects
US8005740B2 (en) 2002-06-03 2011-08-23 Research Affiliates, Llc Using accounting data based indexing to create a portfolio of financial objects
US7082420B2 (en) 2002-07-13 2006-07-25 James Ting-Ho Lo Convexification method of training neural networks and estimating regression models
US7720761B2 (en) * 2002-11-18 2010-05-18 Jpmorgan Chase Bank, N. A. Method and system for enhancing credit line management, price management and other discretionary levels setting for financial accounts
US7865415B2 (en) * 2003-03-05 2011-01-04 Morgan Stanley Intelligent simulation analysis method and system
US7570376B2 (en) * 2003-08-07 2009-08-04 Hewlett-Packard Development Company, L.P. Managing a design-to-ship high performance workflow for a commercial printing environment
US7529703B2 (en) * 2003-11-18 2009-05-05 Citigroup Global Markets, Inc. Method and system for artificial neural networks to predict price movements in the financial markets
US8131620B1 (en) 2004-12-01 2012-03-06 Wisdomtree Investments, Inc. Financial instrument selection and weighting system and method
US7814038B1 (en) 2007-12-06 2010-10-12 Dominic John Repici Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks
US20090276385A1 (en) * 2008-04-30 2009-11-05 Stanley Hill Artificial-Neural-Networks Training Artificial-Neural-Networks
AU2012298732A1 (en) 2011-08-23 2014-02-27 Research Affiliates, Llc Using accounting data based indexing to create a portfolio of financial objects
US10789526B2 (en) 2012-03-09 2020-09-29 Nara Logics, Inc. Method, system, and non-transitory computer-readable medium for constructing and applying synaptic networks
US11151617B2 (en) 2012-03-09 2021-10-19 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
US11727249B2 (en) 2011-09-28 2023-08-15 Nara Logics, Inc. Methods for constructing and applying synaptic networks
US10467677B2 (en) 2011-09-28 2019-11-05 Nara Logics, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
US8170971B1 (en) 2011-09-28 2012-05-01 Ava, Inc. Systems and methods for providing recommendations based on collaborative and/or content-based nodal interrelationships
US8732101B1 (en) 2013-03-15 2014-05-20 Nara Logics, Inc. Apparatus and method for providing harmonized recommendations based on an integrated user profile
US9449344B2 (en) 2013-12-23 2016-09-20 Sap Se Dynamically retraining a prediction model based on real time transaction data
US20220391975A1 (en) * 2019-05-21 2022-12-08 Wells Fargo Bank, N.A. Systems and methods for callable instruments values determination using deep machine learning
US11880765B2 (en) 2020-10-19 2024-01-23 International Business Machines Corporation State-augmented reinforcement learning

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644727A (en) * 1987-04-15 1997-07-01 Proprietary Financial Products, Inc. System for the operation and management of one or more financial accounts through the use of a digital communication and computation system for exchange, investment and borrowing
US5751915A (en) * 1993-07-13 1998-05-12 Werbos; Paul J. Elastic fuzzy logic system
US5461699A (en) * 1993-10-25 1995-10-24 International Business Machines Corporation Forecasting using a neural network and a statistical forecast
US5761442A (en) * 1994-08-31 1998-06-02 Advanced Investment Technology, Inc. Predictive neural network means and method for selecting a portfolio of securities wherein each network has been trained using data relating to a corresponding security
US5802506A (en) * 1995-05-26 1998-09-01 Hutchison; William Adaptive autonomous agent with verbal learning

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FRANKLIN J A: "QUALITATIVE REINFORCEMENT LEARNING CONTROL", PROCEEDINGS OF THE CONFERENCE ON DECISION AND CONTROL, TUCSON, DEC. 16 - 18, 1992, vol. 1 OF 4, 16 December 1992 (1992-12-16), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 870 - 877, XP000370157 *
MYERS C: "REINFORCEMENT LEARNING WHEN RESULTS ARE DELAYED AND INTERLEAVED IN TIME", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS, PARIS, JULY 9 - 13, 1990, vol. 2, 9 July 1990 (1990-07-09), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 860 - 863, XP000145423 *
NEUNEIER R ET AL: "Estimation of conditional densities: a comparison of neural network approaches", ICANN '94 , PROCEEDINGS OF INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS, SORRENTO, ITALY, 26-29 MAY 1994, ISBN 3-540-19887-3, 1994, BERLIN, GERMANY, SPRINGER-VERLAG, GERMANY, pages 689 - 692 vol.1, XP000675756 *
NEUNEIER R: "Optimal asset allocation using adaptive dynamic programming", PROCEEDINGS OF 1995 CONFERENCE ON ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS 8 (ISBN 0 262 20107 0), DENVER, CO, USA, 27-30 NOV. 1995, ISBN 0-262-20107-0, 1996, CAMBRIDGE, MA, USA, MIT PRESS, USA, pages 952 - 958, XP000675769 *
ORMONEIT D ET AL: "Reliable neural network predictions in the presence of outliers and non-constant variances", PROCEEDINGS OF THE THIRD INTERNATIONAL CONFERENCE ON NEURAL NETWORKS IN THE CAPITAL MARKETS, PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON NEURAL NETWORKS IN FINANCIAL ENGINEERING, LONDON, UK, 11-13 OCT. 1995, ISBN 981-02-2480-X, 1996, SINGAPORE, WORLD SCIENTIFIC, SINGAPORE, pages 578 - 587, XP000675784 *

Also Published As

Publication number Publication date
EP0885420A1 (de) 1998-12-23
ATE212740T1 (de) 2002-02-15
JP2000506293A (ja) 2000-05-23
EP0885420B1 (de) 2002-01-30
DE59706237D1 (de) 2002-03-14
US6247001B1 (en) 2001-06-12

Similar Documents

Publication Publication Date Title
EP0885420B1 (de) Verfahren zum trainieren eines neuronalen netzes
Rowe et al. Managerial decision making
US7624069B2 (en) Method and system for selecting between or allocating among alternatives
EP2106576A1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
Zaglauer et al. Risk-neutral valuation of participating life insurance contracts in a stochastic interest rate environment
DE10394036T5 (de) System und Verfahren zum Ausführen einer Risikoanalyse
Murray et al. Charting by machines
EP0925541B1 (de) Verfahren und vorrichtung zur rechnergestützten generierung mindestens eines künstlichen trainingsdatenvektors für ein neuronales netz
Connellan et al. Estimated realisation price (ERP) by neural networks: forecasting commercial property values
Krebs et al. Quitting and labor turnover: microeconomic evidence and macroeconomic consequences
DE4121453C2 (de) Näherungsschlußfolgerungsvorrichtung
Aw An empirical model of mark-ups in a quality-differentiated export market
DE19611732C1 (de) Verfahren zur Ermittlung von zur Entfernung geeigneten Gewichten eines neuronalen Netzes mit Hilfe eines Rechners
Eakins et al. Analyzing the nature of institutional demand for common stocks
Schäfer Nonparametric estimation for financial investment under log-utility
WO1998007100A1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
EP1145190B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
EP1283488A1 (de) Computerbasiertes Verfahren zum Bestimmen von erwarteten Renditen von Anlageportfolios, Datenverarbeitungssystem, Serversystem und Clientsystem zum Durchführen dieses Verfahrens und Computerprogrammprodukt zur Durchführung des Verfahrens
Devine et al. The effect on sunk costs and opportunity costs on a subjecti
AT501028B1 (de) Verfahren und vorrichtung zur bewertung von börsekursen
DE10060362C2 (de) Ein Computersystem und ein Verfahren zum Durchführen einer Finanztransaktion
WO2018028851A1 (de) Einrichtung zur datenverarbeitung und verfahren zur ermittlung der gewichte von konstituenten eines zielportfolios
DE102021112536A1 (de) Alternativer investmentfonds-prognose-verfahren
Klein Nested Simulations: Theory and Application
DE102020211937A1 (de) Verfahren und Vorrichtung zum Steuern einer Kryptowährung

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1997915305

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09142275

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1997915305

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1997915305

Country of ref document: EP