Search Images Maps Play YouTube News Gmail Drive More »
Sign in
Screen reader users: click this link for accessible mode. Accessible mode has the same essential features but works better with your reader.

Patents

  1. Advanced Patent Search
Publication numberDE60102242 T2
Publication typeGrant
Application numberDE2001602242
PCT numberPCT/US2001/020218
Publication date27 Jan 2005
Filing date27 Jun 2001
Priority date29 Jun 2000
Also published asCA2414707A1, CA2414707C, CA2696152A1, DE60102242D1, EP1295185A2, EP1295185B1, EP1295185B9, US7330804, US7630868, US8296107, US20020072828, US20080071394, US20100057222, WO2002003152A2, WO2002003152A3
Publication number01602242, 2001602242, DE 60102242 T2, DE 60102242T2, DE-T2-60102242, DE01602242, DE2001602242, DE60102242 T2, DE60102242T2, PCT/2001/20218, PCT/US/1/020218, PCT/US/1/20218, PCT/US/2001/020218, PCT/US/2001/20218, PCT/US1/020218, PCT/US1/20218, PCT/US1020218, PCT/US120218, PCT/US2001/020218, PCT/US2001/20218, PCT/US2001020218, PCT/US200120218
InventorsP. John GUIVER, Brian Lines, Steven S. Treiber, Paul Turner
ApplicantAspen Technology, Inc., Cambridge
Export CitationBiBTeX, EndNote, RefMan
External Links: DPMA, Espacenet
Rechnerverfahren und gerät zur beschränkung einer nicht-linearen gleichungsnäherung eines empirischen prozesses Computer method and apparatus for the restriction of a nonlinear gleichungsnäherung an empirical process translated from German
DE 60102242 T2
Abstract  available in
Claims(11)  translated from German
  1. Verfahren zur Darstellung eines nicht-linearen empirischen Prozesses am Modell das die folgenden Schritte umfasst: ein Anfangsmodell ( Method for representing a non-linear empirical process to the model comprising the following steps: an initial model ( 40 40 ) wird erzeugt, das im Allgemeinen dem nicht-linearen empirischen Prozess entspricht, der am Modell darzustellen ist, wobei das Anfangsmodell ( ) Is generated, which generally corresponds to the non-linear empirical process that is to be displayed on the model, the initial model ( 40 40 ) eine anfängliche Eingabe und eine anfängliche Ausgabe besitzt; ) Has an initial input and an initial output; ein nicht-lineares Netzwerk-Modell ( a non-linear network model ( 42 42 ) wird basierend auf dem Anfangsmodell ( ) Is based on the initial model ( 40 40 ) aufgebaut, wobei das nicht-lineare Netzwerk-Modell ( ) Constructed wherein the non-linear network model ( 42 42 ) mehrere Eingaben basierend auf der anfänglichen Eingabe und einem globalen Verhalten für das nichtlineare Netzwerk-Modell als Ganzes hat, das sich allgemein nach der anfänglichen Ausgabe richtet; ) Multiple inputs on the initial input and a global behavior for the non-linear network model as a whole has based the generally depends on the initial output; und das nicht-lineare Netzwerk-Modell ( and the non-linear network model ( 42 42 ) wird, basierend auf empirischen Eingaben optimiert, um ein optimiertes Modell ( ) Is optimized based on empirical inputs to an optimized model ( 44 44 ) zu erzeugen, wobei die Optimierung zwingende Ausgaben des nicht-linearen Netzwerk-Modelles ( ) To produce, wherein the optimization compelling outputs of the nonlinear network model ( 42 42 ) enthält, um i) verglichen mit den mehreren Eingaben monoton steigend oder monoton fallend oder ii) beschränkt hinsichtlich eines Grenz- bzw. Schwellenwertes zu sein derart, dass das globale Verhalten des nicht-linearen Netzwerk-Modelles ( ) Contains i) compared to the multiple inputs monotonically increasing or monotonically decreasing or ii) limited in a limit or threshold to be such that the global behavior of the nonlinear network model ( 42 42 ) eingeschränkt wird, wobei die Einschränkung durch das Setzen bzw. Einstellen von zeitlichen Abhängigkeiten für eine nicht-lineare Basisfunktion basierend auf einer beschränkten Ableitung bzw. Derivates der nicht-linearen Basisfunktion erreicht wird. ) Is limited, wherein the limitation by setting or adjusting time dependencies for a non-linear basis function is achieved based on a bounded derivative, or derivative of the base non-linear function.
  2. Verfahren gemäß Anspruch 1, wobei der Schritt zum Entwerfen des Anfangsmodells ( The method of claim 1, wherein the step of designing the initial model ( 40 40 ) die Angabe einer allgemeinen Form einer Zuwachstrajektorie für den nichtlinearen empirischen Prozess einschließt. ) Includes specifying a general shape of a Zuwachstrajektorie for the non-linear empirical process.
  3. Verfahren gemäß Anspruch 1, wobei der Schritt zum Entwerfen des Anfangsmodells ( The method of claim 1, wherein the step of designing the initial model ( 40 40 ) die Angabe einer nicht-linearen Transferfunktion einschließt, die für die Anwendung bei der Approximierung des nicht-linearen empirischen Prozesses geeignet ist. ) Includes specifying a non-linear transfer function which is suitable for use in approximating the non-linear empirical process.
  4. Verfahren gemäß Anspruch 3, wobei das nicht-lineare Netzwerk in sich zusammenhängende Transformationselemente enthält und der Schritt zum Aufbauen des nichtlinearen Netzwerkes das Einbeziehen der nicht-linearen Transferfunktion in mindestens ein Transformationselement enthält. The method of claim 3, wherein the non-linear network in itself contains contiguous transformation elements and the step of constructing the non-linear network includes incorporating the non-linear transfer function into at least one transformation element.
  5. Verfahren gemäß Anspruch 4, wobei der Schritt des Optimierens des nicht-linearen Modells das Setzen von zeitlichen Abhängigkeiten durch Benutzen einer beschränkten Ableitung bzw. Derivates der nicht-linearen Transferfunktion beinhaltet. The method of claim 4, wherein the step of optimizing the non-linear model includes setting constraints by utilizing a limited time or derivative derivative of the non-linear transfer function.
  6. Verfahren gemäß Anspruch 5, wobei die nicht-lineare Transferfunktion den Logarithmus einer hyperbolischen Kosinusfunktion enthält. The method of claim 5, wherein the non-linear transfer function includes the log of a hyperbolic cosine function.
  7. Verfahren gemäß Anspruch 1; A method according to claim 1; wobei das nicht-lineare Netzwerkmodell ( wherein the non-linear network model ( 42 42 ) auf einer Schichtennetzwerkarchitektur basiert, die ein Optimalwert-Netzwerk von Knoten mit Eingaben/Ausgabe-Zusammenhängen zueinander enthält, wobei das Optimalwert-Netzwerk Transformationselemente hat; ) Is based on a layered network architecture that includes a feedforward network of nodes with input / output relationships to each other, the feedforward network has transformation elements; jedes Transformationselement hat eine nicht-lineare Transferfunktion, einen gewichteten Eingabe-Koeffizienten und einen gewichteten Ausgabe-Koeffizienten; each transformation element has a non-linear transfer function, a weighted input coefficient and a weighted output coefficient; und wobei der Schritt des Optimierens des nicht-linearen Netzwerkmodells ( and wherein the step of optimizing the non-linear network model ( 42 42 ) das Einschränken des globalen Verhaltens des nicht-linearen Netzwerkmodells ( ) Constraining the global behavior of the non-linear network model ( 42 42 ) auf eine monotone Transformation basierend auf der anfänglichen Eingabe durch Paarbildung der gewichteten Eingabe- und Ausgabekoeffizienten für jedes Transformationselement auf eine komplementäre Weise beinhaltet, um die monotone Transformation zu erhalten. ) On the initial input by pairing the weighted input and output coefficients for each transformation element includes a monotonic transformation based on a complementary manner in order to obtain the monotonic transformation.
  8. Verfahren gemäß Anspruch 1, wobei der Schritt zum Optimieren des nicht-linearen Netzwerkmodells ( The method of claim 1, wherein the step of optimizing the non-linear network model ( 42 42 ) das Angleichen bzw. Einstellen der Optimierung basierend auf Information umfasst, die durch ein Hilfsmodell bereitgestellt werden, das ein weiteres Modell des nicht-linearen empirischen Prozesses darstellt, das von dem An fangsmodell ( ) On information comprises adjusting or setting the optimization based, provided by an auxiliary model that represents a further model the non-linear empirical process, which from the beginning to the model ( 40 40 ), dem nicht-linearen Netzwerkmodell ( ), The non-linear network model ( 42 42 ) und dem optimierten Modell ( ) And the optimized model ( 44 44 ) verschieden ist. ) Is different.
  9. Verfahren gemäß Anspruch 8, wobei das Hilfsmodell ein Modell mit Grundprinzipien des nicht-linearen empirischen Prozesses ist. The method of claim 8, wherein the auxiliary model is a model with basic principles of the non-linear empirical process.
  10. Verfahren gemäß Anspruch 1, wobei der nicht-lineare empirische Prozess Teil eines größeren Prozesses ist und das Verfahren überdies den Schritt des Anwendens des optimierten Modells ( The method of claim 1, wherein the non-linear empirical process is part of a larger process, and the method further comprises the step of applying the optimized model ( 44 44 ) in einer Steuerung ( ) In a control ( 26 26 ), die den größeren Prozess steuert, umfasst. ) That controls the greater process comprises.
  11. Computervorrichtung zum Darstellen eines Polymerprozesses am Modell, das umfasst: eine Modellerzeugung zum Spezifizieren einer nicht-linearen Basisfunktion für ein Anfangsmodell ( Computer apparatus for displaying a polymer at the process model, comprising: a model generation for specifying a base non-linear function for an initial model ( 40 40 ), das allgemein dem Polymerprozess entspricht, der modelliert werden soll, wobei das Anfangsmodell ( ), Which generally corresponds to polymer process to be modeled, with the initial model ( 40 40 ) eine Anfangseingabe enthält, eine Anfangsausgabe und die nicht-lineare Basisfunktion, die einen Logarithmus einer hyperbolischen Kosinusfunktion enthält; Contains) an initial input, an initial output and the non-linear basis function that contains a logarithm of a hyperbolic cosine function; eine Modellaufbaueinrichtung ( a model builder ( 36 36 ), die an die Modellerzeugung gekoppelt ist, um ein nicht-lineares Netzwerkmodell ( ), Which is coupled to the model generation, a non-linear network model ( 42 42 ) basierend auf dem Anfangsmodell ( ) Based on the initial model ( 40 40 ) aufzubauen, und die eine nicht-lineare Basisfunktion enthält, wobei das nicht-lineare Netzwerkmodell ( ) To build, and which contains a non-linear basis function, wherein the non-linear network model ( 42 42 ) mehrere Eingaben basierend auf der Anfangseingabe und einem allgemeinen Verhalten für das nicht-lineare Netzwerkmodell ( ) Multiple inputs based on the initial input and a common behavior for the non-linear network model ( 42 42 ) als Ganzes hat, das im Allgemeinen zu der Anfangsausgabe passt; ) Has as a whole that fits generally to the initial issue; und einen Optimierer ( and an optimizer ( 38 38 ), der an die Modellaufbaueinrichtung ( ) Attached to the model builder ( 36 36 ) zum Optimieren des nicht-linearen Netzwerk-Modells ( ) For optimizing the non-linear network model ( 42 42 ) basierend auf empirischen Eingaben gekoppelt ist, um ein optimiertes Modell ( ) Is based on empirical inputs coupled to an optimized model ( 44 44 ) zu erzeugen, wobei der Optimierer Ausgaben des nicht-linearen Netzwerk-Modelles ( ) To produce, wherein the optimizer outputs of the non-linear network model ( 42 42 ) beschränkt, um i) verglichen mit den mehreren Eingaben monoton steigend oder monoton fallend oder ii) hinsichtlich eines Grenz- bzw. Schwellenwertes beschränkt zu sein, derart dass der Optimierer das allgemeine Verhalten des nicht-linearen Netzwerk-Modelles ( ) Limited to: i) compared to the multiple inputs monotonically increasing or monotonically decreasing or ii) with respect to a limit or threshold to be limited so that the optimizer the general behavior of the nonlinear network model ( 42 42 ) beschränkt, wobei besagte Beschränkung durch das Setzen bzw. Einstellen von zeitlichen Abhängigkeiten für die nicht-lineare Basisfunktion, basierend auf einer beschränkten Ableitung der nicht-linearen Basisfunktion erreicht wird. ) Is limited, wherein said restriction by setting or adjusting time dependencies for the nonlinear basis function is achieved based on a bounded derivative of the base non-linear function.
Description  translated from German
  • HINTERGRUND DER ERFINDUNG BACKGROUND OF THE INVENTION
  • [0001] [0001]
    Beim Versuch, komplexe nicht-lineare Funktionen mehrerer Variabler am Modell darzustellen, ist es seit vielen Jahren eine übliche Praxis, Universalapproximatoren wie etwa neuronale Netzwerke zu verwenden. When trying to describe complex nonlinear functions of several variables in the model, it has long been a common practice to use Universalapproximatoren such as neural networks. Die industrielle Anwendung dieser Technologien ist besonders verbreitet im Gebiet der schlussfolgernden Prädiktoren oder Soft-Sensor-Prädiktoren. The industrial application of these technologies is particularly widespread in the field of deductive predictors or soft-sensor predictors. Siehe z. B. Neuroth, M., MacConnell, P., Stronach, F., Vamplew, P., (April 2000): "Improved modeling and control of oil and gas transport facility operations using artificial intelligence" , Knowledge Based Systems, Bd. 13, Nr. 2, S. 81–9; . See, for example Neuroth, M., MacConnell, P., Stronach, F., Vamplew, P., (April 2000): "Improved modeling and control of oil and gas transport facility operations using artificial intelligence," Knowledge Based Systems , Vol 13, No. 2, pp 81-9..; und Molga, EJ, van Woezik, BAA, Westerterp, KR,: "Neural networks for modeling of chemical reaction systems with complex kinetics: oxidation of 2-octanol with nitric acid", Chemical Engineering and Processing, Juli 2000, Bd. 39, Nr.4, S.323–334. and Molga, EJ, van Woezik, BAA, Westerterp, KR ,: "Neural networks for modeling of chemical reaction systems with complex kinetics: oxidation of 2-octanol with nitric acid", Chemical Engineering and Processing, July 2000 Vol. 39, No.4, S.323-334. Viele Industrieprozesse erfordern die Qualitätssteuerung von Eigenschaften, deren Online-Messung immer noch teuer, wenn nicht unmöglich ist. Many industrial processes require the quality control of properties whose online measurement still expensive, if not impossible. Um diese Qualitäten aus leicht messbaren Prozessvariablen wie etwa Temperaturen, Drücken usw. vorauszusagen, werden schlussfolgernde Qualitätsschätzfunktionen verwendet. To these qualities from easily measurable process variables such as temperatures, pressures, etc. predict inferential quality estimators are used. Häufig offenbaren sich die komplexen Wechselwirkungen in einem Prozess (insbesondere in Polymerprozessen) als komplexe nicht-lineare Zusammenhänge zwischen den leicht messbaren Variablen und den komplexen Qualitätsparametern. Often the complex interactions reveal in a process (especially in polymer processes) as complex non-linear relationships between the easily measurable variables and the complex quality parameters.
  • [0002] [0002]
    Historisch werden zur Darstellung dieser komplexen Nicht-Linearitäten herkömmliche neuronale Netzwerke (oder andere generische nicht-lineare Schätzfunktionen) verwendet. Conventional neural networks (or other generic non-linear estimators) are historically used to represent these complex non-linearities. Siehe z. B. Zhang, J., Morris, AJ, Martin, EB, Kiparissides, C.: "Estimation of impurity and fouling in batch polymerization reactors through application of neural networks", Computers in Chemical Engineering, Februar 1999, Bd. 23, Nr. 3, S. 301–314; See z. B. Zhang, J., Morris, AJ, Martin, EB, Kiparissides, C .: "Estimation of impurity and fouling in batch polymerization reactors through application of neural networks", Computers in Chemical Engineering, February 1999, Vol. 23, No. 3, pp 301-314. und Huafang, N., Hunkeler, D.: "Prediction of copolymer composition drift using artificial neural networks: copolymerization of acrylamide with quaternary ammonium cationic monomers", Polymer, Februar 1997, Bd. 38, Nr. 3, S. 667–675. and Huafang, N., Hunkeler, D .: "Prediction of copolymer composition drift using artificial neural networks: Copolymerization of acrylamide with quaternary ammonium cationic monomer", Polymer, February 1997 Vol 38, No. 3, pp 667-675.. , Um die Modelle zu trainieren (dh die Modellkoeffizienten zu bestimmen), werden Werksstammdaten verwendet, wobei die Zielfunktion für ein Modell in der Weise eingestellt wird, dass der Modellfehler an einer beliebigen (aber repräsentativen) Trainingsdatenmenge minimiert wird. In order to train the models (ie, to determine the model coefficients), plant master data is used, where the objective function is set for a model in such a way that the model error at an arbitrary (but representative) training data set is minimized. Die für das Training dieser Modelle verwendeten Algorithmen konzentrieren sich auf den Modellfehler. The algorithms used for the training of these models focus on the model error. Auf die Genauigkeit der Ableitung der genäherten Funktion ist wenig oder keine Aufmerksamkeit gerichtet. On the accuracy of the derivation of the approximate function little or no attention is directed.
  • [0003] [0003]
    Da das Ziel eines nicht-linearen Modells üblicherweise darin besteht, den Zuwachs und die Verzögerung der Steuerung zu planen, verhindert diese Konzentration auf den Modellfehler (ohne weitere Betrachtungen) die Verwendung solcher Paradigmen (dh herkömmlicher neuronaler Netzwerke) in Regelschemata. Since the objective of a non-linear model usually consists of planning the growth and the delay of the control that prevents this concentration on the model error (no special considerations) the use of such paradigms (ie, conventional neural networks) in control schemes. Obgleich eine Umhüllung verwendet werden kann, um die Modelle gegenüber der Arbeit in Gebieten eindimensionaler Extrapolation zu beschränken, wird erwartet, dass die Modelle zwischen Arbeitspunkten interpolieren. Although a wrapper can be used to constrain the models towards work in areas dimensional extrapolation, it is expected that the models interpolate between operating points. Somit ist eine lineare oder gutartige nicht-lineare Interpolation erforderlich. Thus, a linear or benign non-linear interpolation is required. Möglicherweise sind die Zuwächse nicht genau an den tatsächlichen Prozess angepasst, wobei die Trajektorie aber keinesfalls mit den allgemeinen Änderungen des Prozesszuwachses mitschwingend sein sollte, wenn von einem Arbeitspunkt zu einem anderen gegangen wird. Perhaps the gains are not tailored to the actual process, but the trajectory which should be sympathetically with the general changes in the growth process in no way, when going from one operating point to another.
  • [0004] [0004]
    Es wurde Arbeit unternommen, um die Stabilität dynamischer herkömmlicher neuronaler Netzwerke in Regelschemata zu verstehen. Every effort has been working to understand the dynamic stability of conventional neural networks in control schemes. Kulawski ua haben kürzlich eine adaptive Steuertechnik für nicht-lineare stabile Anlagen mit unmessbaren Zuständen vorgeschlagen (siehe Kulawski, GJ, Brydys', MA: "Stable adaptive control with recurrent networks", Automatica 2000, Bd. 36, S. 5–22). Kulawski among others recently have an adaptive control technique for non-linear stable systems with immeasurable states proposed (see Kulawski, GJ, Brydys', MA: "Stable adaptive control with recurrent networks", Automatica, 2000, Vol 36, pp 5-22.) , Die Steuerung nimmt die Form eines nicht-linearen dynamischen Modells an, das zur Berechnung einer linearisierenden Optimalwertsteuerung verwendet wird. The controller takes the form of a non-linear dynamic model used to compute a feedforward linearizing. Die Stabilität des Schemas ist theoretisch gezeigt worden. The stability of the scheme has been shown theoretically. Die Abhandlung von Kulawski ua hebt die Bedeutung der monotonen Aktivierungsfunktionen bei der Gesamtstabilität der Steuerung hervor. The treatise of Kulawski among others emphasizes the importance of monotonous activation function in the overall stability of the control. Allerdings wird das Argument nicht auf den Fall einer ungeeigneten Zuwachsschätzung in Gebieten niedriger Datendichte erweitert. However, the argument is not extended to the case of inappropriate gain estimation in areas of low data density.
  • [0005] [0005]
    Universelle Approximatoren (z. B. herkömmliche neuronale Netzwerke) können nicht sicherstellen, dass die Ableitungen bei der Interpolation zwischen zwei Punkten gutartig sind. Universal approximator (z. B. conventional neural networks) can not ensure that the derivatives in the interpolation between two points are benign. Das wirkliche Wesen dieser Modelle bedeutet, dass bei der Voraussage der Ausgabe durch den universellen Approximator in einem Gebiet fehlender oder niedriger Daten zwischen zwei Gebieten ausreichender Daten irgendein Ergebnis auftreten könnte. The real nature of these models means that the prediction of the output any result could occur by the universal approximator in an area lacking or low data between two areas of sufficient data. Sofern die zwei Endpunkte auf der Trajektorie angepasst sind, ist der Weg zwischen den Punkten unwichtig. If the two end points are adjusted on the trajectory, the path between the points is unimportant. Einer der Hauptvorteile der vorliegenden Erfindung ist, dass sie eine a-priori-Kenntnis der Prozesszuwachstrajektorie (z. B. monotoner Zuwachs, beschränkter Zuwachs usw.) verwendet und die Schätzfunktion auf Lösungen beschränkt, die diese Eigenschaften besitzen. One of the main advantages of the present invention is that it uses an a priori knowledge of the Prozesszuwachstrajektorie (z. B. monotonic growth, limited growth, etc.) and the estimator limited to solutions that have these properties.
  • [0006] [0006]
    Der Nutzen dessen, in die Konstruktion nicht-linearer Approximatoren eine a-priori- Kenntnis aufzunehmen, ist in vielen Bereichen genannt worden. The benefit of that record a a priori knowledge into the design of non-linear approximator has been mentioned in many areas. Lindskog ua diskutieren die monotone Einschränkung von Fuzzy-Modellstrukturen und wendet einen solchen Zugang auf die Steuerung eines Wasserheizungssystems an (siehe Lindskog, P., Ljung, L.: "Ensuring monotonic gain characteristics in estimated models by fuzzy model structures", Automatica, 2000, Bd. 36, S. 311–317). Lindskog, among others discuss the monotone restriction of fuzzy model structures and applies such access to the control of a water heating system (see Lindskog, P. Ljung, L .: "Ensuring monotonic gain characteristics in estimated models by fuzzy model structures", Automatica, 2000 , Vol. 36, p 311-317). Yaser, S. Abu-Mostafa, diskutiert ein Verfahren, ein neuronales Netzwerk dazu "zu verleiten", lokalisierte monotone Charakteristiken zu haben, indem Pseudotrainingsdaten "erfunden" werden, die die gewünschten nicht-linearen Charakteristiken besitzen (siehe Yaser, S. Abu-Mostafa: "Machines that learn form hints", Scientific American, April 1995, S. 64–69). Yaser, S. Abu-Mostafa, discusses a method to "seduce" a neural network to have localized monotonic characteristics by pseudo training data "invented" are having the desired non-linear characteristics (see Yaser, S. Abu Mostafa: "Machines did learn shape hints", Scientific American, May 1995, pp 64-69). Dies stellt kein globales Festhalten an diesem besonderen Eingabe/Ausgabe-Zusammenhang sicher. This ensures no global adherence to this particular input / output connection.
  • [0007] [0007]
    Somit ist gut akzeptiert, dass bei der Extrapolation von Datengebieten keine universellen Approximatoren verwendet werden sollten. Thus, it is well accepted that in the extrapolation of data fields no universal approximator should be used. Da sie irgendeine Nicht-Linearität am Modell darstellen können, könnte in Gebieten außerhalb und einschließlich der Grenzen des Trainingsdatenbereichs irgendein Ergebnis auftreten. Since they can represent any non-linearity in the model, any result could occur in areas beyond and including the boundaries of the training area.
  • [0008] [0008]
    Das Einschränken des Verhaltens eines empirischen nicht-linearen Modells (innerhalb seiner Eingabedomäne) ist bei der Prozesssteuerung wesentlich für die erfolgreiche Nutzung der nicht-linearen fortgeschrittenen Steuerung. Restricting the behavior of an empirical nonlinear model (within its input domain) is in process control essential for the successful use of non-linear advanced control. Universelle Approximatoren wie etwa herkömmliche neuronale Netzwerke können in fortgeschrittenen Steuerschemata zur Zuwachsplanung nicht verwendet werden, ohne dass sich die potentielle Steuerleistung ernsthaft verschlechtert. Universal approximator such as conventional neural networks can not be used in advanced control schemes for growth planning, without the potential tax benefit seriously deteriorated.
  • [0009] [0009]
    Das Patent der Vereinigten Staaten Nr. 5.740.033 bezieht sich auf eine besondere Form eines Mehrvariablen-Steueralgorithmus, der sowohl ein Prozessmodell als auch ein Störungsmodell nutzt. The United States Patent no. 5,740,033 refers to a particular form of a multivariable control algorithm that uses both a process model and a disturbance model.
  • ZUSAMMENFASSUNG DER ERFINDUNG SUMMARY OF THE INVENTION
  • [0010] [0010]
    Die vorliegende Erfindung ist eine Alternative, die es ermöglicht, die Zuwachstrajektorie und die Monotonie des nicht-linearen empirischen Approximators zu steuern. The present invention is an alternative that makes it possible to control the Zuwachstrajektorie and monotonicity of the non-linear empirical approximator. Obgleich kein universeller Approximator, konkurriert die Fähigkeit der Erfindung bei der Anpassung bezüglich gutartiger Funktionen mit herkömmlichen neuronalen Nutzwerken, selbst ohne irgendwelche der Instabilitäten, die solch ein Verfahren einschließt. Although not a universal approximator, the ability of the invention competes for the adjustment with respect to benign functions with conventional neural Nutzwerken, even without any of the instabilities that includes such a method. Das Hauptmerkmal der Erfindung ist es, das Verhalten der Ableitung des empirischen Modells einzuengen bzw. zu begrenzen, ohne die Fähigkeit des Modells nachteilig zu beeinflussen, generische nicht-lineare Zusammenhänge darzustellen. The main feature of the invention is to narrow or limit, the ability of the model without adversely affecting, to represent generic non-linear relationships, the behavior of the derivative of the empirical model.
  • [0011] [0011]
    Die in dieser Erfindung beschriebenen eingeschränkten nicht-linearen Approximatoren behandeln das Problem der unzureichenden Zuwächse in Gebieten niedriger Datendichte (z. B. in den Trainingsdaten) und liefern eine nicht-lineare Approximationsumgebung mit gutartigen Ableitungen. The restricted non-linear approximator described in this invention treat the problem of insufficient growth in areas of low data density (z. B. in the training data) and provide a non-linear Approximationsumgebung with benign derivatives. Die allgemeine Form der Zuwachstrajektorie wird bei Bedarf spezifiziert. The general form of Zuwachstrajektorie is specified if required. Alternativ wird die Trajektorie während des Trainings "gelernt" und später untersucht. Alternatively, the trajectory is "learned" during training and examined later. Der Schlüssel zur vorliegenden Erfindung ist, dass das eingeschränkte Verhalten der Modellableitung über die gesamte Eingabedomäne des Modells (dh über den gesamten Bereich möglicher Werte, die als Eingabe in das Modell akzeptabel werden) – nicht nur über das Trainingsdatengebiet – sichergestellt ist. The key to the present invention is that the constrained behavior of the model derivative throughout the entire input domain of the model (ie, over the entire range of possible values acceptable as input to the model) - is ensured - not only on the training data region. Somit stellt die vorliegende Erfindung eine globale Einhaltung der zeitlichen Abhängigkeiten der Zuwachstrajektorien sicher. Thus, the present invention provides a global compliance with the time dependencies of the Zuwachstrajektorien safe.
  • [0012] [0012]
    Ein Zugang, der versucht, herkömmliche neuronale Optimalwertnetzwerke unter Verwendung eines Trainings bei eingeschränktem Zuwachs einzuschränken, ist in Erik Hartmann, "Training Feedforward Neural Networks with Gain Constraints", in Neural Computation, 12, 811–829 (2000), beschrieben. One approach that tries to limit conventional neural feedforward networks using a training with limited growth is described in Erik Hartmann, "Training feedforward neural networks with gain Constraints", in Neural Computation, 12, 811-829 (2000). In diesem Zugang werden für ein Modell mit mehreren Eingaben und Ausgaben für jede Eingabe/Ausgabe zeitgleiche Abhängigkeiten gesetzt. In this access are set simultaneously dependencies for a model with multiple inputs and outputs for each input / output. Der Zugang von Hartmann stellt nicht sicher, dass das globale Verhalten des Modells ein eingeschränktes globales Verhalten (z. B. über die gesamte Modelleingabedomäne) hat. Access by Hartmann does not guarantee that the global behavior of the model has a limited global behavior (eg. As over the entire input domain model). Wie hier ausführlicher beschrieben wird, stellt der Zugang der Erfindung demgegenüber sicher, dass das Modell ein eingeschränktes globales Verhalten hat. As will be described in more detail here, is the approach of the invention in contrast ensures that the model has a constrained global behavior.
  • [0013] [0013]
    In der bevorzugten Ausführungsform gibt es drei Phasen bei der Entwicklung eines eingeschränkten nicht-linearen Approximators für einen empirischen Prozess. In the preferred embodiment there are three stages in developing a constrained non-linear approximator for an empirical process. Die erste Phase ist die Spezifikation der allgemeinen Form der Zuwachstrajektorie, die zu einem Anfangsmodell des empirischen Prozesses führt. The first stage is the specification of the general shape of the Zuwachstrajektorie, which leads to an initial model of the empirical process. Dieses kann graphisch, algebraisch oder generisch (durch den Optimierer gelernt) spezifiziert werden. This can be specified graphically, algebraically or generic (learned by the optimizer). Die zweite Phase der Erfindung ist die Verbindung der Transferfunktionen (z. B. Aktivierungsfunktionen), die basierend auf dem Anfangsmodell eine nicht-lineare Approximation in einem nichtlinearen Netzwerk-Modell ermöglichten. The second phase of the invention is the compound of the transfer functions (eg. B. activation functions) based on the initial model based enabled a non-linear approximation in a non-linear network model. Die Endphase der Erfindung ist die eingeschränkte Optimierung der Modellkoeffizienten in einem optimierten Modell (dh in einem eingeschränkten nicht-linearen Approximator), das auf dem nicht-linearen Netzwerk-Modell basiert, so dass die allgemeine Form der Eingabe/Ausgabe-Abbildungen (und ihrer entsprechenden Ableitungen) erhalten bleibt. The final phase of the invention is the limited optimization of the model coefficients in an optimized model (ie, in a limited non-linear approximator) based on the non-linear network model, such that the general shape of the input / output mappings (and their obtain the corresponding derivatives) remains.
  • [0014] [0014]
    Diese drei oben beschriebenen Phasen bilden den Modellierungsteil der Erfindung, der den Einschränkungsalgorithmus nutzt, um nicht-lineare (dynamische oder stationäre) Modelle zu erzeugen, die die gewünschte Zuwachstrajektorie besitzen. These three stages described above form the modeling part of the invention that uses the constraint algorithm to produce non-linear (dynamic or steady state) models that possess the desired Zuwachstrajektorie. Die Techniken der Erfindung ermöglichen, dass der Anwender (dh der Modellentwickler) sowohl die Eingabe/Ausgabe als auch die Zuwachstrajektorie an zufälligen oder spezifischen Punkten in der Eingabedatendomäne abfragt. The techniques of the invention allow the user (ie, the model developer) interrogates both the input / output and the Zuwachstrajektorie at random or specific points in the input data domain.
  • [0015] [0015]
    Der Anwender kann mit dem aufgebauten Modell (z. B. mit dem optimierten nichtlinearen Modell) eine nicht-lineare Steuerung aufbauen. The user is able to connect with the constructed model (z. B. with the optimized non-linear model) is a non-linear control. Die Steuerung nutzt das optimierte Modell bei ihrer Voraussage der optimalen Trajektorie für den stationären Zustand (z. B. der optimalen Zuwachstrajektorie der gewünschten Ausgabegröße, um einen stationären Prozess zum Produzieren der gewünschten Ausgabegröße zu erreichen). The controller uses the optimized model in their prediction of the optimal trajectory for the steady state (z. B. the optimal Zuwachstrajektorie the desired output size to reach a steady process of producing the desired output size). Aus dem nicht-linearen optimierten Modell sind eine genaue nicht-lineare Voraussage der gesteuerten Variablen und der Prozesszuwächse verfügbar. From the optimized model nonlinear accurate non-linear prediction of the controlled variables and the process gains are available.
  • [0016] [0016]
    In einer weiteren Ausführungsform der Erfindung ermöglicht die Erfindung außerdem die weitere Darstellung am Modell (entweder einer empirischen Rohstruktur oder einer Hybridstruktur aus empirischer Struktur/Struktur mit Grundprinzipien oder einer alternativen Hybridstruktur) unter Verwendung des Zuwachstrajektorien-Einschränkungsalgorithmus zum Erzeugen eines nicht-linearen Modells des Prozesses zur weiteren Prozessoptimierung (z. B. nicht-lineares Programm) entweder in der Verbindungsphase oder in der Phase der eingeschränkten Optimierung (oder in beiden Phasen). In a further embodiment of the invention, the invention also allows for the further illustration of the model (either an empirical green structure or a hybrid structure of empirical structure / structure with basic principles or alternative hybrid structure) utilizing the Zuwachstrajektorien constraint algorithm to generate a non-linear model of the process for further process optimization (z. B. non-linear program) in either the interconnection stage or the constrained optimization in phase (or in both phases). Daraufhin verwendet der Optimierer dieses eingeschränkte Modell, um optimale Sollwerte für die nicht-lineare Steuerung zu identifizieren. Thereafter, the optimizer uses this constrained model to identify optimal set points for the non-linear control.
  • [0017] [0017]
    Die Erfindung kann verwendet werden, um irgendeine Form eines empirischen Prozesses am Modell darzustellen, um einen eingeschränkten nicht-linearen Approximator zu erzeugen, wobei eine frühere Kenntnis des zugrunde liegenden Systemverhaltens verwendet wird, um eine zeitliche Abhängigkeit der Optimierung des verbundenen Modells der Transferfunktionen (z. B. ein nicht-lineares Netzwerk-Modell, das auf einer Schichtenarchitektur basiert) zu definieren. The invention can be used to represent any form of an empirical process to the model, to generate a constrained non-linear approximator, where a prior knowledge of underlying system behavior is used to provide a time dependence of the optimization of the connected model of transfer functions (e.g. . as a non-linear network model based on a layered architecture to be defined). Beispielsweise können die Techniken der Erfindung auf irgendein chemisches oder Prozessmodell, auf eine Finanzvoraussage, auf eine Mustererkennung, auf eine Verkaufsmodellierung und auf eine Stapelprozessmodellierung angewendet werden, ohne darauf beschränkt zu sein. For example, the techniques of the invention to any chemical or process model, a financial prediction on pattern recognition on a sale to a batch process modeling and modeling can be used without being limited thereto.
  • [0018] [0018]
    Somit schafft die vorliegende Erfindung ein Verfahren und eine Vorrichtung zur Darstellung eines nicht-linearen empirischen Prozesses am Modell. Thus, the present invention provides a method and apparatus for representing a non-linear empirical process to the model. Insbesondere schafft die vorliegende Erfindung eine Computervorrichtung, die eine Modellerzeugung, eine Modellaufbaueinrichtung und einen Optimierer enthält. In particular, the present invention provides a computer apparatus including a model generation, a model constructor and an optimizer. Die Modellerzeugung erzeugt ein Anfangsmodell, das im Allgemeinen dem nicht-linearen empirischen Prozess entspricht, der am Modell darzustellen ist. The production model generates an initial model, which generally corresponds to the non-linear empirical process that is present in the model. Das Anfangsmodell hat eine anfängliche Eingabe und eine anfängliche Ausgabe. The initial model has an initial input and an initial output. Das Anfangsmodell entspricht allgemein der Form der Eingabe/Ausgabe-Abbildung für den empirischen Prozess. The initial model generally conforms to the shape of the input / output mapping for the empirical process. An die Modellerzeugung ist eine Modellaufbaueinrichtung gekoppelt, um ein nicht-lineares Netzwerk-Modell basierend auf dem Anfangsmodell aufzubauen. Generating a model of the model construction device is coupled to establish a non-linear network model based on the initial model. Das nicht-lineare Netzwerk-Modell hat mehrere Eingaben basierend auf der anfänglichen Eingabe und einem globalen Verhalten für das nicht-lineare Netzwerk-Modell als Ganzes, das sich allgemein nach der anfänglichen Ausgabe richtet. The non-linear network model has multiple inputs based on the initial input and a global behavior for the non-linear network model as a whole, which generally depends on the initial output. An die Modellaufbaueinrichtung ist ein Optimierer zum Optimieren des nicht-linearen Netzwerk-Modells basierend auf empirischen Eingaben gekoppelt, um ein optimiertes Modell zu erzeugen, indem das globale Verhalten des nicht-linearen Netzwerk-Modells eingeschränkt wird. To the model constructor is an optimizer for optimizing the coupled based non-linear network model based on empirical inputs to produce an optimized model by the global behavior of the non-linear network model is constrained. Das optimierte Modell liefert ein Beispiel des eingeschränkten nicht-linearen Approximators. The optimized model provides an example of constrained nonlinear approximator. Das resultierende optimierte Modell liefert somit eine globale Ausgabe, die zu der allgemeinen Form der Eingabe/Ausgabe-Abbildung des Anfangsmodells passt, während sie in der Weise eingeschränkt ist, dass die globale Ausgabe des optimierten Modells konsistente Ergebnisse (z. B. monoton steigende Ergebnisse) für den gesamten Bereich der Eingabedomäne erzeugt. The resulting optimized model thus provides a global issue that fits the general form of the input / output mapping of the initial model, while it is restricted in such a way that the global output of the optimized model consistent results (eg. As monotonically increasing Results ) generated for the entire range of the input domain. Die hier beschriebene Modellierungsvorrichtung und das hier beschriebene Modellierungsverfahren sind auf irgendeinen nicht-linearen Prozess anwendbar. The modeling device described herein and the modeling method described herein are applicable to any non-linear process.
  • [0019] [0019]
    In Übereinstimmung mit einem weiteren Aspekt der Erfindung gibt die Modellerzeugung eine allgemeine Form einer Zuwachstrajektorie für den nicht-linearen empirischen Prozess an. In accordance with another aspect of the invention, the model generating specifies a general shape of a Zuwachstrajektorie for the non-linear empirical process. Somit liefert das resultierende optimierte Modell eine globale Ausgabe, die sich nach der für das Anfangsmodell angegebenen allgemeinen Form der Zuwachstrajektorie richtet. Thus, the resulting optimized model provides a global issue that depends on the specified initial model for the general form of the Zuwachstrajektorie.
  • [0020] [0020]
    In einem weiteren Aspekt der Erfindung gibt die Modellerzeugung eine nicht-lineare Transferfunktion an, die zur Verwendung bei der Approximierung des nicht-linearen empirischen Prozesses geeignet ist. In another aspect of the invention, the model generating indicates a non-linear transfer function which is suitable for use in approximating the non-linear empirical process. Das nicht-lineare Netzwerk kann in sich zusammenhängende Verarbeitungselemente enthalten, wobei die Modellaufbaueinrichtung eine nicht-lineare Transferfunktion in wenigstens ein Verarbeitungselement integriert. The non-linear network can be included in continuous processing elements, the model constructor incorporates a non-linear transfer function into at least one processing element. Der Optimierer kann zeitliche Abhängigkeiten einstellen, indem er eine beschränkte Ableitung der nicht-linearen Transferfunktion bildet. The optimizer can choose to temporal dependencies that it forms a bounded derivation of the non-linear transfer function. In einer bevorzugten Ausführungsform enthält die nicht-lineare Transferfunktion den Logarithmus einer hyperbolischen Kosinusfunktion. In a preferred embodiment, the non-linear transfer function includes the log of a hyperbolic cosine function.
  • [0021] [0021]
    In einem weiteren Aspekt der Erfindung baut die Modellaufbaueinrichtung das nichtlineare Netzwerk-Modell basierend auf eine Schichtennetzwerkarchitektur auf, die ein Optimalwert-Netzwerk von Knoten mit Eingabe/Ausgabe-Zusammenhängen zueinander enthält. In a further aspect of the invention, the model builder builds the nonlinear network model based on a layered network architecture, which includes a feedforward network of nodes with input / output relationships to each other. Das Optimalwert-Netzwerk enthält Transformationselemente. The feed-forward network includes transformation elements. Jedes Transformationselement hat eine nicht-lineare Transferfunktion, einen gewichteten Eingabe-Koeffizienten und einen gewichteten Ausgabe-Koeffizienten. Each transformation element has a non-linear transfer function, a weighted input coefficient and a weighted output coefficient. In diesem Aspekt schränkt der Optimierer das globale Verhalten des nicht-linearen Netzwerk-Modells durch Paarbildung der gewichteten Eingabe- und Ausgabekoeffizienten für jedes Transformationselement auf komplementäre Weise auf eine monotone Transformation basierend auf der anfänglichen Eingabe ein, um die monotone Transformation zu erhalten. In this aspect, the optimizer restricts the global behavior of the non-linear network model by pairing the weighted input and output coefficients for each transformation element in a complementary manner to a monotonic transformation based on the initial input in order to obtain the monotonic transformation. Der komplementäre Zugang wird auch als "Komplementaritätspaarbildung" bezeichnet. The complementary approach is also referred to as "Komplementaritätspaarbildung". Unter Verwendung dieses Zugangs stellt der Optimierer sicher, dass die globale Ausgabe des optimierten Modells eingeschränkt ist, so dass sie z. B. über die gesamte globale Ausgabe des optimierten Modells und über den gesamten Bereich der Eingabewerte monoton steigend ist. Using this approach, the optimizer ensures that the global output of the optimized model is restricted so that it is such. As the entire global output of the optimized model and across the entire range of input values monotonically increasing.
  • [0022] [0022]
    In einem weiteren Aspekt der Erfindung enthalten die Vorrichtung und das Verfahren ein Hilfsmodell, das ein anderes Modell des nicht-linearen empirischen Prozesses darstellt, das von dem Anfangsmodell, dem nicht-linearen Netzwerk-Modell und dem optimierten Modell verschieden ist. In another aspect of the invention, the apparatus and method include an auxiliary model that represents another model of the non-linear empirical process that is different from the initial model, the non-linear network model, and the optimized model. Der Optimierer kann anhand von von dem Hilfsmodell erhaltenen Informationen die Optimierung des optimierten Modells einstellen. The optimizer can choose to optimize the optimized model based on information obtained from the auxiliary model. Das Hilfsmodell kann ein Modell mit Grundprinzipien des nicht-linearen empirischen Prozesses sein. The utility model can be a model with basic principles of non-linear empirical process. Somit können Daten aus dem Zugang mit Grundprinzipien verwendet werden, um den von dem Optimierer ausgeführten Optimierungsprozess zu informieren und zu beeinflussen. Thus, data can be used from access to basic principles to inform the optimization process performed by the optimizer and influence.
  • [0023] [0023]
    Der nicht-lineare empirische Prozess kann außerdem Teil eines größeren Prozesses sein, dessen Management durch eine an den Optimierer gekoppelte Steuerung ausgeführt wird. The non-linear empirical process can also be part of a larger process, whose management is carried out by a coupled to the Optimizer control. In diesem Fall übermittelt der Optimierer das optimierte Modell für den Einsatz in der Steuerung an die Steuerung. In this case, the optimizer communicates the optimized model for use in the control of the controller. Somit kann das optimierte Modell als eine Komponente in einem größeren Modell enthalten sein, das andere Modellierungszugänge für andere Komponenten des größeren Modells verwenden kann. Thus, the optimized model may be included as a component in a larger model that can use different modeling approaches for other components of the larger model.
  • [0024] [0024]
    Da der eingeschränkte nicht-lineare Approximator (z. B. das optimierte Modell) eine konsistentere und besser voraussagbare Ausgabe als herkömmliche universelle Approximatoren liefert, schaffen die Computervorrichtung und das Verfahren, die hier beschrieben sind, eine genauere Steuerung (oder Voraussage) des empirischen Prozesses und eine Verringerung der Streuung der Ausgabegröße. Because of the limited non-linear approximator (z. B. the optimized model) provides a more consistent and more predictable output than conventional universal approximator, create the computing device and the method described here, a more accurate control (or prediction) of the empirical process and a reduction in the dispersion of the output size.
  • [0025] [0025]
    In einem weiteren Aspekt schafft die vorliegende Erfindung eine Computervorrichtung und ein Verfahren zum Darstellen eines Industrieprozesses am Modell. In a further aspect the present invention provides a computer apparatus and a method for displaying an industrial process on the model. Insbesondere enthalten eine Computervorrichtung und ein Verfahren zum Darstellen eines Polymerprozesses am Modell eine Modellerzeugung, eine Modellaufbaueinrichtung und einen Optimierer. In particular, a computer apparatus and a method for displaying a polymer process includes a model generation of the model, a model constructor and an optimizer. Die Modellerzeugung spezifiziert eine nicht-lineare Basisfunktion für ein Anfangsmodell, das allgemein dem Polymerprozess entspricht, der modelliert werden soll. The production model specifies a non-linear basis function for an initial model, which generally corresponds to polymer process to be modeled. Das Anfangsmodell enthält eine anfängliche Eingabe und eine anfängliche Ausgabe. The initial model includes an initial input and an initial output. Die nicht-lineare Basisfunktion enthält einen Logarithmus einer hyperbolischen Kosinusfunktion. The non-linear basis function includes a logarithm of a hyperbolic cosine function. An die Modellerzeugung ist die Modellaufbaueinrichtung gekoppelt, um ein nicht-lineares Netzwerk-Modell basierend auf dem Anfangsmodell aufzubauen. To the model generation, the model construction device is coupled to establish a non-linear network model based on the initial model. Das nicht-lineare Netzwerk-Modell enthält die nicht-lineare Basisfunktion und hat mehrere Eingaben basierend auf der anfänglichen Eingabe. The non-linear network model includes the base non-linear function, and has multiple inputs based on the initial input. Das globale Verhalten für das nicht-lineare Netzwerk-Modell als Ganzes passt allgemein zu der anfänglichen Ausgabe. The global behavior for the non-linear network model as a whole fits generally to the initial output. An die Modellaufbaueinrichtung ist ein Optimierer zum Optimieren des nicht-linearen Netzwerk-Modells basierend auf empirischen Eingaben gekoppelt, um ein optimiertes Modell zu erzeugen, indem das globale Verhalten des nicht-linearen Netzwerk-Modells durch Einstellen zeitlicher Abhängigkeiten basierend auf dem Bilden einer beschränkten Ableitung der nicht-linearen Basisfunktion eingeschränkt wird. To the model building means an optimizer is based coupled for optimizing the non-linear network model based on empirical inputs to produce an optimized model by the global behavior of the non-linear network model based by adjusting temporal dependencies on making a limited dissipation the non-linear basis function is restricted.
  • [0026] [0026]
    Mit der Aufnahme einer geeigneten Funktion (z. B. des Logarithmus einer hyperbolischen Kosinusfunktion) verwenden das nicht-lineare Netzwerk-Modell und der Optimierer eine beschränkte Ableitung basierend auf dieser Funktion, um die zeitlichen Abhängigkeiten für den eingeschränkten nicht-linearen Approximator (z. B. das optimierte Modell) einzustellen. With the addition of a suitable function (z. B. the logarithm of a hyperbolic cosine function) the non-linear network model and the optimizer use a bounded derivation based on this function, the temporal dependencies for limited non-linear approximator (eg. B. set the optimized model). Das resultierende globale Ausgabeverhalten ist in einer Weise eingeschränkt, dass es ohne das nicht voraussagbare Verhalten, das bei universellen Approximatoren basierend auf herkömmlichen neuronalen Netzwerkzugängen auftreten kann, allgemein zu dem erwarteten Verhalten für einen Polymerprozess während der gesamten Eingabedomäne von Eingabewerten für den Polymerprozess passt. The resulting global spending is restricted in a way that without the unpredictable behavior that can occur with universal approximator based on conventional neural network approaches, generally matches the expected behavior for a polymer process during the entire input domain of input values for the polymer process. Die Vorrichtung und das Verfahren der Erfindung schaffen eine genauere Steuerung eines bekannten oder laufenden Polymerprozesses in einer Industrieanlage sowie eine zuverlässigere Steuerung für ein neues Polymerprodukt (oder anderes chemisches Produkt), das in die Industrieanlage eingeführt wird. The apparatus and method of the invention provide a more accurate control of a known or polymer ongoing process in an industrial plant as well as a more reliable control for a new polymer product (or other chemical product) that is introduced in the industrial plant. Außerdem kann ein Transfer eines Polymerprozesses basierend auf einem eingeschränkten nicht-linearen Approximator für eine ähnliche Industrieanlage leichter vorgenommen werden als ein Transfer basierend auf Polymerprozessmodellen, die durch herkömmliche Modellierungstechniken erzeugt werden. In addition, a transfer of a polymer process can be made based on a lighter limited non-linear approximator for a similar industrial facility as a transfer based on polymer process models that are produced by conventional modeling techniques.
  • [0027] [0027]
    Im Allgemeinen stellt die größere Konsistenz und Steuerung des eingeschränkten nichtlinearen Approximators für irgendeinen am Modell dargestellten empirischen Prozess ein besser voraussagbares Ergebnis für das globale Verhalten des Modells sicher. In general, the greater consistency and control of the constrained non-linear approximator in the model for any empirical process illustrated a more predictable result for the global behavior of the model safely.
  • KURZBESCHREIBUNG DER ZEICHNUNG BRIEF DESCRIPTION OF THE DRAWING
  • [0028] [0028]
    Die vorstehenden sowie weitere Aufgaben, Merkmale und Vorteile der Erfindung werden offensichtlich aus der folgenden genaueren Beschreibung bevorzugter Ausführungsformen der Erfindung, wie sie in der beigefügten Zeichnung veranschaulicht sind, in der sich gleiche Bezugszeichen in allen verschiedenen Ansichten auf die gleichen Teile beziehen. The foregoing and other objects, features and advantages of the invention will become apparent from the following more particular description of preferred embodiments of the invention as illustrated in the accompanying drawings, in which like reference numerals throughout the several views refer to the same parts. Die Zeichnung ist nicht notwendig maßstabsgerecht und die Betonung liegt stattdessen auf der Veranschaulichung der Prinzipien der Erfindung. The drawing is not necessarily to scale and emphasis instead being placed upon illustrating the principles of the invention.
  • [0029] [0029]
    1 1 ist ein Blockschaltplan einer Computerimplementierung einer bevorzugten Ausführungsform der vorliegenden Erfindung. is a block diagram of a computer implementation of a preferred embodiment of the present invention.
  • [0030] [0030]
    2 2 ist ein Diagramm der Entwicklungsphasen eines eingeschränkten nicht-linearen Approximators in der bevorzugten Ausführungsform. is a diagram of the development phases of a limited non-linear approximator in the preferred embodiment.
  • [0031] [0031]
    3 3 ist ein Beispiel der Architekturspezifikation eines eingeschränkten nicht-linearen Approximators. is an example of the architecture specification of a limited non-linear approximator.
  • AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG DETAILED DESCRIPTION OF THE INVENTION
  • [0032] [0032]
    1 1 ist ein Blockschaltplan einer bevorzugten Ausführungsform des Verfahrens und der Vorrichtung der vorliegenden Erfindung, wie sie in einem digitalen Prozessor is a block diagram of a preferred embodiment of the method and apparatus of the present invention, as in a digital processor 22 22 implementiert sind. are implemented. Die veranschaulichte Computervorrichtung The illustrated computing device 20 20 (und das veranschaulichte Verfahren) zum Einschränken eines nicht-linearen Approximators zur Darstellung eines empirischen Prozesses am Modell ist in einem digitalen Prozessor (And the illustrated method) for constraining a non-linear approximator for an empirical representation of the process model is in a digital processor 22 22 implementiert, der ein Modellierungsmodul implemented, the modeling module 24 24 und eine Steuerung and a controller 26 26 in einem Arbeitsspeicher wie etwa in einem RAM (Schreib-Lese-Speicher) beherbergt und ausführt. Housed in a memory such as a RAM (random access memory) and executes. Das Modellierungsmodul The modeling module 24 24 enthält eine Anfangsmodellerzeugung contains an initial model generation 34 34 , eine Modellaufbaueinrichtung , A model builder 36 36 und einen Optimierer and an optimizer 38 38 . , Die Komponenten des Computersystems The components of the computer system 20 20 (z. B. die Steuerung (Z. B. the control 26 26 , die Anfangsmodellerzeugung , The initial model generation 34 34 , die Modellaufbaueinrichtung , The model builder 36 36 und der Optimierer and optimizer 38 38 ) sind wie in ) Are as in 1 1 gezeigt in dem digitalen Prozessor shown in the digital processor 22 22 implementiert oder in alternativen Ausführungsformen in irgendeiner Kombination in zwei oder mehr Digitalprozessoren, die in einer verteilten Computeranordnung in Verbindung miteinander angeordnet sind, implementiert. or implemented in alternative embodiments, in any combination, be implemented in two or more digital processors, which are arranged in a distributed computing arrangement in connection with each other. Außerdem können die Komponenten In addition, the components 34 34 , . 36 36 und and 38 38 in einer Online-Umgebung implementiert sein, in der die Steuerung be implemented in an online environment in which the control 26 26 und/oder die anderen Komponenten and / or the other components 34 34 , . 36 36 oder or 38 38 mit dem modellierten empirischen Prozess in Wechselwirkung stehen, oder können die Komponenten consistent with the modeled empirical process in interaction, or the components 34 34 , . 36 36 und and 38 38 in einer Offline-Umgebung implementiert sein. be implemented in an offline environment.
  • [0033] [0033]
    Das unter Verwendung der Anfangsmodellerzeugung The using the initial model generation 34 34 durch einen Modellentwickler spezifizierte Anfangsmodell specified by a model developer initial model 40 40 schafft eine Spezifikation des allgemeinen Zusammenhangs einer Einzeleingabe und einer Einzelausgabe für den zu modellierenden empirischen Prozess. provides a specification of the general context of a single input and a single output for the empirical process to be modeled. Das Anfangsmodell The initial model 40 40 ist eine allgemeine (z. B. graphische) Form, eine Menge von Datenpunkten, eine nicht-lineare Basisfunktion oder eine andere geeignete Spezifikation des allgemeinen Eingabe/Ausgabe-Zusammenhangs für das Modell. is a general (z. B. graphic) shape, a set of data points, a base non-linear function or other suitable specification of the general input / output relationship for the model. Wie später ausführlicher diskutiert wird, ist das durch die Modellaufbaueinrichtung As will be discussed in more detail, which is by the model builder 36 36 erzeugte nicht-lineare Netzwerk-Modell generated non-linear network model 42 42 ein auf dem Anfangsmodell one on the initial model 40 40 und auf einer geeigneten Modellierungsarchitektur basierendes Modell des empirischen Prozesses. and based on a suitable modeling architectural model of the empirical process. Das nicht-lineare Netzwerk-Modell The non-linear network model 42 42 hat mehrere Eingaben, die auf der anfänglichen Eingabe des Anfangsmodells has several entries on the initial input of the initial model 40 40 und auf einem globalen Verhalten für das nicht-lineare Netzwerk-Modell and a global behavior for the non-linear network model 42 42 als Ganzes, das allgemein zu der anfänglichen Ausgabe des Anfangsmodells as a whole, the general to the initial issuance of the initial model 40 40 passt, beruhen. fits are based. Das optimierte Modell The optimized model 44 44 ist eine durch den Optimierer is by the optimizer 38 38 erzeugte optimierte Version des nicht-linearen Netzwerk-Modells generated optimized version of the non-linear network model 42 42 . ,
  • [0034] [0034]
    Die Modelleingabe The model input 28 28 in das Modellierungsmodell in the modeling Model 24 24 wird aus Datendateien, aus einem anderen Software-Programm, von einem anderen Computer, von Eingabevorrichtungen (z. B. Tastatur, Maus usw.) und dergleichen eingegeben. is input from data files, from another software program, another computer, input devices (eg. as a keyboard, mouse, etc.) and the like. Die Eingabe The input 30 30 empirischer Daten in die Steuerung empirical data in the control 26 26 (oder in das Modellierungsmodul (Or in the modeling module 24 24 ) wird von Sensorvorrichtungen (z. B. für einen Herstellungsprozess), von Überwachungs-Software (z. B. für Aktienmarktpreise), von einem anderen Software-Programm, von einem anderen Computer, von Eingabevorrichtungen (z. B. Tastatur, Maus, usw.) und dergleichen eingegeben. ) Is of sensor devices (eg. As for a manufacturing process), by monitoring software (eg. As for stock market prices), from another software program on another computer, input devices (eg. As a keyboard, mouse, etc.) and the like are inputted. Die Modellausgabe The model output 32 32 wird an die Steuerung is applied to the control 26 26 , an einen anderen Computer, an einen Ablagespeicher, an ein anderes Software-Programm und/oder an Ausgabevorrichtungen (z. B. an einen Anzeigemonitor usw.) geliefert. Supplied to another computer, to a storage memory, to another software program and / or output devices (eg. As a display monitor, etc.). Die Steuerungsausgabe The control output 46 46 wird an Stellglieder (z. B. zum Steuern eines Teils eines Prozesses in einem Herstellungswerk), an eine Austauschstelle (z. B. zum Aufgeben einer Bestellung an einer Börse), an einen anderen Computer, an einen Ablagespeicher, an ein anderes Software-Programm und/oder an Ausgabevorrichtungen (z. B. an einen Anzeigemonitor usw.) und dergleichen geliefert. is to actuators (eg. as for controlling a part of a process in a manufacturing plant), at an exchange point (z. B. to place an order on a stock exchange), to another computer, to a storage memory, to another software program and / or output devices (eg. as a display monitor, etc.) and the like supplied. Selbstverständlich kann das Computersystem Of course, the computer system 22 22 zur gemeinsamen Nutzung oder Verteilung von Eingabe- und Ausgabedaten durch geeignete Verbindungen mit einem lokalen Netzwerk, mit einem Weitverkehrsnetzwerk, mit einem globalen Netzwerk (z. B. mit dem Internet) oder mit ähnlichen solchen Netzwerken verbunden sein. sharing or distribution of input and output data by appropriate links with a local area network, a wide area network, with a global network (z. B. to the Internet) or similar such networks to be connected.
  • [0035] [0035]
    Der Optimierer The optimizer 38 38 in in 1 1 ist vorzugsweise ein Optimierer aus der Aspen Open Solvers Optimiererbibliothek, die von Aspen Technology, Inc., aus Cambridge, Massachusetts (Anmelder der vorliegenden Erfindung) geliefert wird. is preferably an optimizer from the Aspen Open optimizer solver library of Aspen Technology, Inc., Cambridge, Massachusetts (assignee of the present invention) is provided. Ein solcher Optimierer ist DMO/SQP ® , ebenfalls von Aspen Technology, Inc. Andere nicht-lineare Optimierer können zur Verwendung mit der Erfindung geeignet sein. Such optimizer DMO / SQP ®, also from Aspen Technology, Inc. Other non-linear optimizer may be suitable for use with the invention. In einer bevorzugten Ausführungsform ist die Steuerung ein Teil Aspen Apollo der von Aspen Technology, Inc., gelieferten Aspen Advantage Control Suite. In a preferred embodiment, the controller is a part of the Aspen Aspen Apollo, supplied by Aspen Technology, Inc. Advantage Control Suite. Eine weitere zur Verwendung mit der Erfindung geeignete Steuerung A further for use with the invention suitable control 26 26 ist die DMC Plus ® von Aspen Technology, Inc. In einer Ausführungsform ist die Modellaufbaueinrichtung the DMC Plus ® of Aspen Technology, Inc. In one embodiment, the model builder 36 36 ein Generator eines nichtlinearen Netzwerks, wie er etwa von Aspen IQ TM von Aspen Technology, Inc., geliefert wird. a generator of a non-linear network, as supplied for example by Aspen IQ by Aspen Technology, Inc.,.
  • [0036] [0036]
    In einer Ausführungsform liefert ein Computerprogrammprodukt In one embodiment provides a computer program product 80 80 , das ein computerlesbares Medium (z. B. eine oder mehrere CDROM, Disketten, Bänder usw.) enthält, Software-Anweisungen für die Anfangsmodellerzeugung That a computer-readable medium (eg., One or more CD-ROM, floppy disks, tapes, etc.) contains software instructions for the initial model generation 34 34 , für die Modellaufbaueinrichtung For the model builder 36 36 und/oder für den Optimierer and / or for the Optimizer 38 38 . , Das Computerprogrammprodukt The computer program product 80 80 kann durch irgendeine geeignete Software-Installationsprozedur, wie sie im Gebiet wohlbekannt ist, installiert werden. can be prepared by any suitable software installation procedure, as is well known in the art to be installed. In einer weiteren Ausführungsform können die Software-Anweisungen außerdem über eine drahtlose Verbindung heruntergeladen werden. In another embodiment, the software instructions may also be downloaded over a wireless connection. Ein durch das Computerprogramm fortgepflanztes Signalprodukt A propagated by the computer program product signal 82 82 , das in einem fortgepflanzten Signal in einem Fortpflanzungsmedium (z. B. einer Funkwelle, einer Infrarotwelle, einer Laserwelle, einer Schallwelle oder einer elektrischen Welle, die über das Internet oder über ein anderes Netzwerk fortgepflanzt wird) verkörpert ist, liefert Software-Anweisungen für die Anfangsmodellerzeugung That in a propagated signal in a propagation medium (eg. As a radio wave, an infrared wave, a laser wave, a sound wave or an electric wave that is propagated over the Internet or any other network) is embodied, provides software instructions for the initial model generation 34 34 , für die Modellaufbaueinrichtung For the model builder 36 36 und/oder für den Optimierer and / or for the Optimizer 38 38 . , In alternativen Ausführungsformen ist das fortgepflanzte Signal eine analoge Trägerwelle oder ein digitales Signal, das in dem fortgepflanzten Medium übertragen wird. In alternate embodiments, the propagated signal is an analog carrier wave or a digital signal that is transmitted in the propagated medium. Beispielsweise kann das fortgepflanzte Signal ein digitalisiertes Signal sein, das über das Internet oder über ein anderes Netzwerk fortgepflanzt wird. For example, the propagated signal may be a digitized signal propagated over the Internet or over another network. In einer Ausführungsform ist das fortgepflanzte Signal ein Signal, das wie etwa die Anweisungen für eine Software-Anwendung, die über eine Dauer von Millisekunden, Sekunden, Minuten oder länger in Paketen über ein Netzwerk gesendet werden, über eine Zeitdauer über das Fortpflanzungsmedium übertragen wird. In one embodiment, the propagated signal is a signal such as the instructions for a software application, which is transmitted over a period of milliseconds, seconds, minutes or sent longer in packets over a network, over a time period on the reproduction medium. In einer weiteren Ausführungsform ist das computerlesbare Medium des Computerprogrammprodukts In a further embodiment, the computer readable medium the computer program product 80 80 ein Fortpflanzungsmedium, das der Computer wie etwa durch Empfangen des Fortpflanzungsmediums und Identifizieren eines fortgepflanzten Signals, das in dem Fortpflanzungsmedium verkörpert ist, wie oben für das durch das Computerprogramm fortgepflanzte Signalprodukt a propagation medium that the computer such as by receiving the propagation medium and identifying a propagated signal embodied in the propagation medium, as described above for the propagated signal by the computer program product 82 82 beschrieben empfangen und lesen kann. As described receive and read.
  • [0037] [0037]
    Nunmehr anhand von Referring now to Figure 2 2 , die ein Diagramm der Entwicklungsphasen des eingeschränkten nicht-linearen Approximators in der bevorzugten Ausführungsform ist, sind die in , Which is a diagram of the development phases of the restricted non-linear approximator in the preferred embodiment, which are in 2 2 gezeigten Phasen selbstverständlich gleichwertig Schritten in einer Prozedur zur Entwicklung und Optimierung eines nicht-linearen eingeschränkten Approximators und zur Schaffung einer weiteren Online-Optimierung für ihn. shown phases of course equivalent steps in a procedure for the development and optimization of a nonlinear approximator restricted and establishing a further on-line optimization for him.
  • [0038] [0038]
    Die Phase The phase 100 100 ist die Spezifikation der allgemeinen E/A-Abbildungstrajektorie, die die Ausgabe des Anfangsmodells is the specification of the general I / O Abbildungstrajektorie, the output of the initial model, the 40 40 darstellt. represents. Ein Modellentwickler verwendet die Anfangsmodellerzeugung A model developer uses the initial model generation 34 34 , um durch Angabe des allgemeinen Zusammenhangs zwischen einer Einzeleingabe und einer Einzelausgabe (dh einer Trajektorie) das Anfangsmodell Order by specifying the general relationship between a single input and a single output (ie a trajectory) the initial model 40 40 zu spezifizieren. to be specified. Die Ausgabe oder Trajektorie soll das Verhalten eines empirischen Prozesses (z. B. eines physikalischen, chemischen, Wirtschafts-, Finanz- oder anderen empirischen Prozesses) während der Zeit darstellen. The issue or trajectory to represent the behavior of an empirical process (eg. As a physical, chemical, economic, financial or other empirical process) during the period. Diese Phase This phase 100 100 umfasst die Spezifikation der allgemeinen Form der Zuwachstrajektorie eines chemischen Prozesses wie etwa eines Polymerprozesses. includes the specification of the general shape of the Zuwachstrajektorie a chemical process such as a polymer process. In einem Polymerprozess stellt die Zuwachstrajektorie die Trajektorie der Ausgabe des Polymerprozesses dar, wie sie von einem Anfangszustand (z. B. Null-Ausgabezustand) in einen stationären Zustand der Polymerproduktion wie in einer Polymerindustrieproduktionsanlage fortschreitet. In a polymer process ensures that Zuwachstrajektorie represents the trajectory of the output of the polymer process such as (for example zero output state z.) Progresses from an initial state to a steady state, the polymer production in a polymer such as industrial production plant. Der Zugang der Erfindung schafft eine bessere Steuerung der Zuwachstrajektorie und somit einen genaueren Klassenübergang, der den Prozentsatz der erstmaligen Produktion des Produkts in der Spezifikation erhöht. Access the invention provides a better control of the Zuwachstrajektorie and thus a more accurate class transition that increases the percentage of first-time production of the product in the specification.
  • [0039] [0039]
    In In 1 1 ist eine Implementierung des allgemeinen Prozesses der E/A-Abbildungsphase 100 durch das Anfangsmodell is an implementation of the general process of the I / O mapping phase 100 by the initial model 40 40 gezeigt, das das Ergebnis dieser Phase shown that the result of this phase 100 100 darstellt. represents. Für die Phase For the phase 100 100 ist die allgemeine E/A-Abbildung graphisch, algebraisch oder generisch (dh durch den Optimierer is the general I / O mapping graphically, algebraically or generic (ie by the optimizer 38 38 gelernt) spezifiziert. learned) specified. In einem Zugang der Verwendung der Erfindung verwendet ein Modellentwickler die Anfangsmodellerzeugung In one approach, the use of the invention, a model developer uses the initial model generation 34 34 , um basierend auf der Kenntnis des Entwicklers von dem Prozess auf der Anzeige des Computersystems Order based on the knowledge of the developer from the process on the display of the computer system 20 20 eine graphische Form (dh das Anfangsmodell a graphical form (ie, the initial model 40 40 ) zu zeichnen, die eine allgemeine graphische Form der Zuwachstrajektorie darstellt. ) To draw, which is a general graphical form of Zuwachstrajektorie. In einem weiteren Zugang kann ein Modellentwickler eine Tabelle oder Datenbank der Eingabe- und Ausgabedaten liefern, die eine allgemeine Form der E/A-Abbildung für das Anfangsmodell In another approach can model a developer a spreadsheet or database input and output data to permit a general form of the I / O map for the initial model 40 40 spezifiziert. specified.
  • [0040] [0040]
    Außerdem kann die allgemeine E/A-Abbildung durch ein Modell mit Grundprinzipien bestimmt werden, das auf den physikalischen Grundeigenschaften des Prozesses basiert. In addition, the general I / O mapping can be determined by a model with basic principles, based on the basic physical properties of the process. Beispiele solcher Systeme zur Darstellung von Grundprinzipien am Modell werden vom Anmelder Aspen Technology, Inc., aus Cambridge, Massachusetts, geliefert und sind in den gemeinsam übertragenen US-Patentanmeldungen, lfd. Nr. 09/678.724 mit dem Titel "Computer Method and Apparatus for Determining State of Physical Properties in a Chemical Process" und 09/730.466 mit dem Titel "Computer Method and Apparatus for Optimized Controller in a Non-Linear Process", beschrieben, die hier beide durch Literaturhinweis eingefügt sind. Examples of such systems for representing basic principles on the model by the applicant Aspen Technology, Inc., of Cambridge, Massachusetts, delivered and are described in commonly assigned US patent applications Ser. No. 09 / 678,724, entitled "Computer Method and Apparatus for Determining State of Physical Properties in a Chemical Process "and 09 / 730,466, entitled" Method and Apparatus for computer described Optimized controller in a non-linear process ", which are both incorporated by reference herein.
  • [0041] [0041]
    In einer bevorzugten Ausführungsform wählt der Modellentwickler eine nicht-lineare Basisfunktion aus, die eine allgemeine E/A-Form liefert, die allgemein der erweiterten Form für den empirischen Prozess entspricht und als das Anfangsmodell In a preferred embodiment, the model developer selects a base non-linear function that provides a general I / O shape that generally corresponds to the expanded shape for the empirical process and as the initial model 40 40 dient. is used. Beispielsweise wählt der Modellentwickler in Reaktion auf bestimmte Einflüsse (z. B. fallende Zinssätze) eine nicht-lineare Basisfunktion aus, die eine nicht-lineare monoton steigende Form liefert, die für viele nicht-lineare empirische Prozesse wie etwa für einen Polymerprozess oder für ein Aktienmarktverhalten geeignet ist. For example selects the model developer in response to certain conditions (eg. As falling interest rates) a non-linear basis function, which provides a nonlinear monotonically increasing shape that a great many non-linear empirical processes such as a polymer process or for stock market behavior is appropriate. Eine solche nicht-lineare Basisfunktion kann eine hyperbolische Funktion wie etwa ein hyperbolischer Tangens oder der Logarithmus eines hyperbolischen Kosinus sein, der eine nicht-lineare allgemein monoton steigende Form liefert. Such a non-linear basis function may be a hyperbolic function such as a hyperbolic tangent or the log of a hyperbolic cosine, that provides a non-linear generally monotonically increasing shape. Wie später ausführlicher diskutiert wird, bestimmen spätere Phasen des Prozesses (d, h. die Phasen As will be discussed later, determine later stages of the process (d, h., The phases 102 102 und and 104 104 ) eine beschränkte Ableitung der linearen Basisfunktion, um die zeitlichen Abhängigkeiten für die eingeschränkte Trainingsphase ) Is a bounded derivation of the linear basis function to the temporal dependencies for the limited training phase 104 104 (dh Optimierungsphase) zu bestimmen, falls der Modellentwickler eine geeignete Transferfunktion wie etwa den Logarithmus eines hyperbolischen Kosinus auswählt. (Ie optimization phase) to determine if the model developer selects an appropriate transfer function, such as the logarithm of a hyperbolic cosine.
  • [0042] [0042]
    In einer weiteren Ausführungsform der Erfindung wird in der Phase In a further embodiment of the invention, in the phase 100 100 durch einen Optimierer (nicht notwendig durch denselben Optimierer wie den Optimierer by an optimizer (not necessarily by the same optimizer how the optimizer 38 38 aus from 1 1 ) die allgemeine E/A-Abbildung bestimmt (dh gelernt). ) The general I / O mapping determined (ie learned). Beispielsweise wird ein Optimierer verwendet, um basierend auf der Eingabe For example, an optimizer is used based on the input 30 30 empirischer Daten ein (nicht mit dem nicht-linearen Netzwerk des Modells empirical data (not with the non-linear network model 42 42 zu verwechselndes) neuronales Netzwerk zu trainieren. to train verwechselndes) neural network. Die Ausgabe des neuronalen Netzwerks stellt dann eine allgemeine Form der E/A-Abbildung dar, die als das Anfangsmodell The output of the neural network then represents a general shape I / O mapping is that as the initial model 40 40 dient. is used. In diesem Fall dient ein Optimierer als eine Anfangsmodellerzeugung In this case, an optimizer serves as an initial model generation 34 34 , während das neuronale Netzwerk als das Anfangsmodell While the neural network as the initial model 40 40 dient. is used.
  • [0043] [0043]
    Die Phase The phase 102 102 ist die Spezifikation der Architekturverbindungen der Transferfunktionen zum Erzeugen eines nicht-linearen Netzwerk-Modells is the specification of the architecture compounds of the transfer functions for generating a non-linear network model 42 42 des empirischen Prozesses. the empirical process. In In 1 1 ist eine Implementierung der Architekturverbindungsphase is an implementation of the architecture compound phase 102 102 durch die Modellaufbaueinrichtung by the model builder 36 36 gezeigt, die als das Ergebnis dieser Phase shown, as the result of this phase 102 102 das nichtlineare Netzwerk-Modell the nonlinear network model 42 42 erzeugt. generated. Die Phase The phase 102 102 umfasst das Aufbauen des nichtlinearen Netzwerk-Modells includes the building of the nonlinear network model 42 42 basierend auf dem Anfangsmodell based on the initial model 40 40 und das Einrichten von zeitlichen Abhängigkeiten für das nicht-lineare Netzwerk-Modell and adjusting of the temporal dependencies for the non-linear network model 42 42 , die der Optimierer That the optimizer 38 38 später in der eingeschränkten Trainingsphase later in the limited training phase 104 104 verwendet, um sicherzustellen, dass die Modellausgabe used to insure that the model output 32 32 des optimierten Modells the optimized model 44 44 innerhalb der zeitlichen Abhängigkeiten liegt. located within the temporal dependencies. Im Allgemeinen widerspiegeln die zeitlichen Abhängigkeiten die Kenntnis eines Modellentwicklers dessen, wie sich das empirische Modell verhalten sollte. In general, the temporal dependencies reflect the knowledge of a model developer of how the empirical model should behave. In einer bevorzugten Ausführungsform wählt der Modellentwickler zeitliche Abhängigkeiten, die eine monoton steigende Ausgabe für das globale Verhalten des optimierten Modells In a preferred embodiment of the model developer chooses temporal dependencies that a monotonically increasing issue for the global behavior of the optimized model 44 44 als Ganzes (z. B. eines Polymerprozesses) sicherstellen. sure as a whole (eg. as a polymer process). In anderen Ausführungsformen wählt der Modellentwickler zeitliche Abhängigkeiten, die ein anderes Verhalten wie etwa ein monoton fallendes Verhalten oder ein Ausgabeverhalten mit einer eingeschränkten Anzahl von Wendepunkten (z. B. mit nicht mehr als einem Wendepunkt) sicherstellen. In other embodiments, the model developer chooses temporal dependencies that ensure a different behavior, such as a monotonically decreasing response or output behavior with a limited number of turning points (z. B. with no more than a turning point). In einer weiteren Ausführungsform kann ein anderer Zugang als einer, der hauptsächlich auf der Kenntnis des Modellentwicklers basiert, wie etwa eine Analyse eines empirischen Prozesses durch ein Computerprogramm, um in der Phase In a further embodiment, a different approach than one based primarily on the knowledge of the model developer, such as an analysis of an empirical process by a computer program in order in the phase 100 100 eine allgemeine E/A-Abbildung für das Anfangsmodell a general I / O mapping for the initial model 40 40 und in der Phase and phase 102 102 geeignete einzurichtende zeitliche Abhängigkeiten zu bestimmen, verwendet werden, um zu bestimmen, wie das Ausgabeverhalten eingeschränkt werden sollte. be set up to determine appropriate temporal dependencies are used to determine how the spending behavior should be restricted.
  • [0044] [0044]
    In der bevorzugten Ausführungsform der Phase In the preferred embodiment of the phase 102 102 wird eine nicht-lineare Transferfunktion basierend auf der nicht-linearen Basisfunktion ausgewählt (z. B. ist die nichtlineare Transferfunktion dieselbe wie die nicht-lineare Basisfunktion oder in einer Weise geändert). is a non-linear transfer function is selected based on the base non-linear function (for. example, the non-linear transfer function is the same as the base non-linear function or modified in a manner). Die Modellaufbaueinrichtung The model builder 36 36 setzt Transformationselemente fest und nimmt in jedes Transformationselement eine nicht-lineare Transferfunktion auf. establishes transformation elements and takes in each transformation element has a non-linear transfer function.
  • [0045] [0045]
    Außerdem hat jedes Transformationselement einen gewichteten Eingabekoeffizienten und einen gewichteten Ausgabekoeffizienten. In addition, each transformation element has a weighted input coefficient and a weighted output coefficients. Daraufhin kombiniert die Modellaufbaueinrichtung Then combined the model builder 36 36 die Transformationselemente in einem Optimalwert-Netzwerk von Knoten, um Schichten in einer Schichtennetzwerkarchitektur zu bilden. the transformation elements in a feedforward network of nodes to form layers in a layered network architecture. Typisch liefert jedes Transformationselement in einer Schicht Ausgaben an alle Transformationselemente in der nächsten Schicht. Typically provides each transformation element in one layer outputs to all the transformation elements in the next layer. Daraufhin verarbeitet jedes Transformationselement in der nächsten Schicht die von allen Transformationselementen in der vorausgehenden Schicht empfangenen Eingaben beispielsweise durch Summieren der Eingaben und Transformieren der Summe durch die nicht-lineare Transferfunktion, um Ausgaben zu erzeugen, die daraufhin als Eingaben an die Transformationselemente in der nächsten Schicht geliefert werden. Then processes each transformation element in the next layer the data received from all the transformation elements in the previous layer inputs, for example, by summing the inputs, and transforming the sum by the non-linear transfer function to produce outputs, which then as inputs to the transformation elements in the next layer be supplied.
  • [0046] [0046]
    Wie ausführlicher für die eingeschränkte Trainingsphase As explained more fully for the limited training phase 104 104 beschrieben wird, werden die gewichteten Eingabekoeffizienten und die gewichteten Ausgabekoeffizienten gepaart, um die Monotonie in den Ausgaben jedes Transformationselements im Vergleich zu den Eingaben sicherzustellen, mit dem Ergebnis, dass das globale Verhalten des nichtlinearen Netzwerk-Modells is described, the weighted input coefficients and weighted output coefficients are paired to insure monotonicity in the outputs of each transformation element compared to the inputs, with the result that the global behavior of the non-linear network model 42 42 auf ein monotones Verhalten eingeschränkt ist. is restricted to a monotonic behavior. Je nach der Form des Anfangsmodells Depending on the shape of the initial model 40 40 , das auf dem globalen Verhalten des modellierten empirischen Prozesses basiert, ist dieses Monotonieverhalten entweder ein monoton steigendes Verhalten oder ein monoton fallendes Verhalten. Based on the global behavior of the modeled empirical process, this monotony behavior either a monotonically increasing behavior or monotonically decreasing behavior. In einem Zugang der Erfindung, der als "komplementäre Paarbildung" bezeichnet wird, werden der gewichtete Eingabekoeffizient bzw. die gewichteten Eingabekoeffizienten und der gewichtete Ausgabekoeffizient bzw. die gewichteten Ausgabekoeffizienten für jedes Transformationselement gepaart, so dass alle Ausgaben das gleiche Vorzeichen (negativ oder positiv) wie die Eingaben haben. In one approach, the invention, which is referred to as "complementary pairing", the weighted input coefficient or the weighted input coefficients and weighted output coefficient or the weighted output coefficients are paired for each transformation element, so the outputs of the same sign (negative or positive) as the inputs have. Wenn beispielsweise alle Eingaben in ein Transformationselement positiv sind, stellt der komplementäre Paarbildungszugang sicher, dass alle Ausgaben dieses Transformationselements ebenfalls positiv sind. For example, if all inputs are positive in a transformation element, the complementary pairing access ensures that all issues of this transformation element are also positive.
  • [0047] [0047]
    Das in der Phase The in phase 102 102 aufgebaute nicht-lineare Netzwerk-Modell constructed non-linear network model 42 42 kann ein neuronales Netzwerk sein, wobei aber von der Erfindung nicht gefordert wird, dass es ein neuronales Netzwerk ist. may be a neural network, whereby but not required by the invention, that it is a neural network. Im Allgemeinen sind herkömmliche neuronale Netzwerke universelle Approximatoren, die in Bereichen fehlender oder niedriger Modelleingabedaten In general, conventional neural networks universal approximator that in areas lacking or lower model input data 28 28 möglicherweise nicht voraussagbar funktionieren, während das nicht-lineare Netzwerk-Modell Operation is not predictable, while the non-linear network model 42 42 der Erfindung verwendet wird, um in der Phase of the invention is used in the phase 104 104 einen eingeschränkten nicht-linearen Approximator zu entwickeln, der in Gebieten fehlender oder niedriger in der eingeschränkten Trainingsphase to develop a constrained non-linear approximator, in areas of missing or less limited in the training phase, 104 104 verwendeter Modelleingabedaten used model input data 28 28 ein zuverlässiges globales Verhalten wie etwa eine steigende Monotonie liefert. provides a reliable global behavior such as increasing monotony.
  • [0048] [0048]
    In einer weiteren Ausführungsform ist die nicht-lineare Basisfunktion eine Funktion, die zur Verwendung bei der Lieferung einer beschränkten Ableitung geeignet ist, wobei die beschränkte Ableitung der nicht-linearen Basisfunktion verwendet wird, um, wie für diese Phase In a further embodiment, the non-linear basis function is a function which is suitable for use in the delivery of a limited derivative, wherein the derivative of the limited non-linear basis function is used, as for this phase 104 104 diskutiert wird, während der eingeschränkten Trainingsphase will be discussed during the limited training phase 104 104 zeitliche Abhängigkeiten zu liefern. to provide temporal dependencies. Beispiele der nicht-linearen Basisfunktion sind Funktionen, die auf dem hyperbolischen Tangens, der S-Funktion und dem Logarithmus einer hyperbolischen Kosinusfunktion basieren. Examples of the non-linear basis functions are functions that are based on the hyperbolic tangent, the S-function and the logarithm of a hyperbolic cosine function.
  • [0049] [0049]
    Wie oben beschrieben wurde, enthält in einer bevorzugten Ausführungsform jedes Transformationselement in der Schichtennetzwerkarchitektur für das nicht-lineare Netzwerk-Modell As described above, in a preferred embodiment, each transformation element in the layer network architecture for the non-linear network model 42 42 eine nicht-lineare Transferfunktion, die auf der nicht-linearen Basisfunktion basiert. a non-linear transfer function based on the non-linear basis function. Der Prozess des Einstellens von zeitlichen Abhängigkeiten durch das Bilden einer beschränkten Ableitung wird später ausführlicher beschrieben. The process of adjusting the temporal dependencies by forming a bounded derivative is described later in more detail. Selbstverständlich wird von der Erfindung nicht gefordert, dass die Transformationselemente alle dieselbe nicht-lineare Transferfunktion haben, wobei verschiedene Transformationselemente verschiedene nicht-lineare Transferfunktionen haben können, die nicht notwendig auf der in Phase Of course, not required by the invention that the transformation elements are all the same non-linear transfer function, wherein different transformation elements may have different non-linear transfer functions, not necessarily limited to the in-phase 100 100 bestimmten nicht-linearen Basisfunktion basieren. certain non-linear basis function based.
  • [0050] [0050]
    Die Phase The phase 104 104 ist die eingeschränkte Trainingsphase oder das Paradigma, das die Modellkoeffizienten optimiert, so dass die allgemeine Form der E/A-Abbildungen, die in Phase is the constrained training stage or paradigm, which optimizes the model coefficients such that the general shape of the I / O mappings that are in phase 100 100 spezifiziert wurden, während des Trainings (dh während der Optimierung) des Modells erhalten bleibt. have been specified, obtained during training (ie, during the tuning) of the model remains. Eine Implementierung der Phase An implementation of the phase 104 104 des eingeschränkten Trainings (dh der Optimierung) ist durch den Modelloptimierer the limited training (ie optimization) is defined by the model optimizer 38 38 in in 1 1 gezeigt, der im Ergebnis dieser Phase shows the result of this phase 104 104 das optimierte Modell the optimized model 44 44 erzeugt. generated. Die Phase The phase 104 104 umfasst das Optimieren des nicht-linearen Netzwerk-Modells comprises optimizing the non-linear network model 42 42 basierend auf empirischen Eingaben (z. B. der Modelleingabe based on empirical inputs (eg. as the model input 28 28 oder der Eingabe or the input 30 30 der momentanen empirischen Daten), um durch Einschränken des globalen Verhaltens des nicht-linearen Netzwerk-Modells the current empirical data) to the non-linear network model by constraining the global behavior 42 42 das optimierte Modell the optimized model 44 44 zu erzeugen. to produce. Für die Phase For the phase 104 104 kann die Modelleingabe can the model input 28 28 Prozessstammdaten wie etwa die Stammdaten für eine Industrieprozessanlage (z. B. Polymerprozessanlage) oder Stammdaten über einen Wirtschaftsprozess (z. B. Aktienmarkt) oder eine Menge hypothetischer Modelldaten, die einen empirischen Prozess darstellen, darstellen. Process master data such as the master data for an industrial process plant (eg., Polymer processing plant) or master data using a business process (eg. As stock market) or a set of hypothetical model data representing an empirical process represent. Für die Phase For the phase 104 104 kann die Eingabe , the input 30 30 empirischer Daten momentane empirische Daten von einem momentan aktiven empirischen Prozess wie etwa von einer Online-Industrieprozessanlage oder von einem Wirtschaftsprozess darstellen. empirical data represents actual empirical data from a currently active empirical process such as from an online industrial process plant or from a business process. In diesem Fall empfängt der Optimierer In this case, the optimizer receives 38 38 die Eingabe the input 30 30 empirischer Daten in einem Online-Zustand; empirical data in an online state; dh, empfängt er die empirische Dateneingabe ie, he receives the empirical data entry 30 30 in einem Echtzeit- oder nahezu Echtzeitrahmen (der z. B. das Puffern oder eine andere beschränkte Verzögerung beim Empfang der Daten in a real-time or near real-time frame (eg. as the buffers or other limited delay in receiving the data 30 30 ermöglicht, nachdem sie von dem aktiven empirischen Prozess abgetastet oder aufgezeichnet worden sind). enables, after they have been scanned or recorded from the active empirical process).
  • [0051] [0051]
    In der Phase In the phase 104 104 erzeugt der Optimierer generates the optimizer 38 38 das optimierte Modell the optimized model 44 44 , indem er das Verhalten des nicht-linearen Netzwerk-Modells By the behavior of the non-linear network model 42 42 einschränkt, während das Modell limits, while the model 42 42 die Eingabedaten the input data 28 28 oder or 30 30 empfängt, um das Modell receives to the model 42 42 zu trainieren, so dass es zu der allgemeinen E/A-Abbildung passt, die in dem Anfangsmodell to train so that it fits the general I / O map, which in the initial model 40 40 spezifiziert und durch die in der Phase and specified by the in phase 102 102 eingerichteten zeitlichen Abhängigkeiten (z. B. durch komplementäre Paarbildung, durch eine beschränkte Ableitung der nicht-linearen Transferfunktion oder durch einen anderen Zugang mit zeitlichen Abhängigkeiten) eingeschränkt ist. appointed time dependencies (eg. as by complementary pairing through a restricted derivation of the non-linear transfer function or using a different approach with temporal dependencies) is limited. In einer bevorzugten Ausführungsform schränkt der Optimierer In a preferred embodiment, the optimizer restricts 38 38 die Modellausgabe the model output 32 32 basierend auf den wie in Phase based on the phase as shown in 102 102 beschriebenen zeitlichen Abhängigkeiten ein, so dass sie monoton steigt. described a temporal dependencies, so that it increases monotonically. In alternativen Ausführungsformen schränkt der Optimierer In alternative embodiments, the optimizer limits 38 38 die Modellausgabe the model output 32 32 durch andere Kriterien ein. by other criteria.
  • [0052] [0052]
    Im Allgemeinen versucht der Optimierer In general, the optimizer tries 38 38 in der bevorzugten Ausführungsform, das nicht-lineare Netzwerk-Modell In the preferred embodiment, the non-linear network model 42 42 dadurch zu optimieren, dass er den Modellfehler untersucht und die Gewichte der Ein- und Ausgabekoeffizienten in der Weise einstellt, dass die Transformationselemente den Modellfehler verringern. thereby optimize that he examined the model error and adjusts the weights of the input and output coefficients in such a way that the transformation elements reduce the model error. Um sicherzustellen, dass irgendeine Aktualisierung an dem Modell To ensure that any update to the model 42 42 die ursprünglichen zeitlichen Abhängigkeiten erfüllt, prüft der Optimierer complying with the initial time dependencies, checked the optimizer 38 38 ständig (oder häufig) die Ergebnisse der Optimierung im Vergleich zu den zeitlichen Abhängigkeiten. continuously (or frequently) the results of the optimization compared to the temporal dependencies. Falls eine aktualisierte Version des Modells If an updated version of the model 42 42 die zeitlichen Abhängigkeiten verletzt, stellt der Optimierer the temporal dependencies violated, the optimizer 38 38 die Koeffizienten in einem Versuch, das nicht-lineare Netzwerk-Modell the coefficients in an attempt to the non-linear network model 42 42 in die zeitlichen Abhängigkeiten zu bringen, als Teil des Prozesses des Änderns des Modells to bring in the temporal dependencies, as part of the process of changing the model 42 42 in einer anderen Richtung ein (erhöht er z. B. einen Koeffizientenwert, falls er zuvor verringert wurde), so dass es zu dem optimierten Modell in a different direction (it increases z. B. a coefficient value if it was previously reduced), making it the optimized model 44 44 wird. will.
  • [0053] [0053]
    Die Phase The phase 106 106 ist der Modelleinsatz, der den Einsatz des optimierten Modells is the model used, the use of the optimized model 44 44 in einer empirischen Situation wie etwa beim Steuern eines Industrieprozesses oder beim Voraussagen eines Wirtschaftsprozesses (z. B. Aktienmarkts) umfasst. includes an empirical situation such as when controlling an industrial process or in predicting an economic process (eg. as stock market).
  • [0054] [0054]
    In In 1 1 ist eine Implementierung der Modelleinsatzphase is an implementation of the model application phase 106 106 durch die Steuerung by the controller 26 26 gezeigt, die so funktioniert, dass sie einen empirischen Prozess (z. B. Polymerprozess) basierend auf dem optimierten Modell shown that works so that they an empirical process (eg., polymer process) based on the optimized model 44 44 über die durch die Steuerung on by the controller 26 26 erzeugte Steuerungsausgabe control output generated 46 46 steuert. controls. In dieser Phase In this phase, 106 106 empfängt die Steuerung receives the control 26 26 (oder Voraussage) von den Sensoren, die die Eingaben und Zustände der verschiedenen Aspekte eines Industrieprozesses überwachen, die Eingaben (Or prediction) of the sensors that monitor the inputs and states of the various aspects of an industrial process, the inputs 30 30 empirischer Daten. empirical data. Das optimierte Modell The optimized model 44 44 verarbeitet die Eingaben und liefert Steuerungsausgaben processes the input and provides the control outputs 46 46 , die zur Steuerung des Industrieprozesses verwendet werden. That are used to control the industrial process. Beispielsweise stellt das optimierte Modell For example, the optimized model 44 44 in einem Polymerprozess durch elektronisches Einstellen der Einstellung an einem Eingabeventil, das den Strom einer Chemikalie steuert, den Strom dieser Chemikalie in dem Prozess ein. in a polymer process by electronically adjusting the setting on an input valve that controls the flow of a chemical, the chemical in the process stream of this one.
  • [0055] [0055]
    In einer weiteren Implementierung wird das optimierte Modell In another implementation, the optimized model 44 44 wie in einer Finanzvoraussage, die zur Voraussage eines Finanzprozesses wie etwa des Aktienmarkts dient, als ein Prädiktor eingesetzt. as in a financial prediction, which is used to predict a financial process such as the stock market, a predictor used as. Die Finanzvoraussage kann außerdem als eine Finanzsteuerung The financial prediction can also as a financial controller 26 26 dienen, die basierend auf dem optimierten Modell serve that based on the optimized model 44 44 des Finanzprozesses Finanzaktionen wie etwa den Kauf oder Verkauf von Aktien anfordert. finance process financial actions such as the purchase or sale of shares requests.
  • [0056] [0056]
    Die Steuerung The control 26 26 der Phase the phase 106 106 , deren Zuwachs mit dem optimierten Modell Whose growth with the optimized model 44 44 (dh mit dem eingeschränkten nicht-linearen Approximator) geplant ist, ist eine robustere Steuerung als eine Steuerung, deren Zuwachs mit einem universellen Approximator gesteuert wird, wobei sich die Steuerung (Ie with the restricted non-linear approximator) is planned, is a more robust controller than one controller, whose growth is controlled with a universal approximator, wherein the controller 26 26 über den gesamten Betriebsbereich des Prozesses auf voraussagbare Weise verhält. behavior over the entire operating range of the process in a predictable manner.
  • [0057] [0057]
    Die Phase The phase 108 108 ist die Hybridmodellierungsphase, die die Aufnahme oder Hinzufügung anderer Modellstrukturen (anderer als das Anfangsmodell is the hybrid modeling phase, the inclusion or addition of other model structures (other than the initial model 40 40 , das nicht-lineare Netzwerk-Modell , The non-linear network model 42 42 und das optimierte Modell and the optimized model 44 44 ) umfasst, die dazu verwendet werden können, die eingeschränkte Trainingsphase ), Which can be used, the limited training phase 104 104 zu beeinflussen oder sich auf die Modelleinsatzphase to influence or to the model application phase 106 106 auszuwirken. to impact.
  • [0058] [0058]
    In einem Zugang ist die andere Modellstruktur ein Hilfsmodell, das dazu verwendet wird, beim Training des nicht-linearen Netzwerk-Modells In one approach, the other model structure is an auxiliary model that is used in training the non-linear network model 42 42 in der eingeschränkten Trainingsphase in the limited training phase 104 104 zu helfen, es zu verfeinern oder zu beeinflussen. to help refine it or influence. Beispielsweise ist das Hilfsmodell ein Modell mit Grundprinzipien wie etwa ein Modell mit Grundprinzipien eines chemischen Prozesses (z. B. Polymerprozesses). For example, the auxiliary model is a model with basic principles such as a model with the basic principles of a chemical process (eg., Polymer process).
  • [0059] [0059]
    Dadurch, dass die Verwendung anderer Modelle zugelassen wird, schafft der Zugang der Erfindung unter Verwendung einer Kombination von Ingenieurkenntnis, Modellen mit Grundprinzipien, regressionsbasierten Modellen und des hier beschriebenen eingeschränkten nicht-linearen Approximators oder eines Teils davon eine genauere Voraussage sowohl der geschlussfolgerten Eigenschaften als auch der Ableitungen. Because the use of other models is allowed a more accurate prediction provides access to the invention using a combination of engineering knowledge, models with basic principles, regression-based models and the limited non-linear approximator described herein, or any part thereof, both the inferred properties and the derivatives.
  • [0060] [0060]
    In einem weiteren Zugang ist das in Phase In a further access that is in phase 108 108 gelieferte andere Modell ein größeres oder Gesamtmodell, das einen größeren empirischen Prozess oder einen empirischen Gesamtprozess am Modell darstellt. delivered another model, or a larger overall model that represents a larger empirical process or an empirical overall process of the model. In diesem Zugang ist das optimierte Modell In this approach, the optimized model 44 44 ein Teil oder Aspekt des größeren Modells oder stellt das optimierte Modell a part or aspect of a much larger model or displays the optimized model 44 44 einen Schritt oder eine Prozedur in dem größeren Prozess dar. Beispielsweise kann das optimierte Modell a step or procedure is in the larger process. For example, the optimized model 44 44 in einem Polymerprozess ein Modell für eine Komponente des Gesamtpolymerprozesses wie etwa für einen Reaktor sein. be a polymer in a process model for a component of the overall polymer process, such as for a reactor. Das optimierte Modell The optimized model 44 44 kann außerdem als Kind eines Vaters betrachtet werden, der den größeren empirischen Prozess am Modell darstellt. can also be regarded as a father a child, which represents the major empirical process on the model. Allgemein kann das optimierte Modell In general, the optimized model 44 44 in einem größeren Modell enthalten oder ihm zugeordnet sein oder eine Eingabe in das größere Modell liefern sowie einem solchen größeren Modell helfen, es beeinflussen oder leiten. contained in a larger model or be assigned to him or provide input into the larger model and help such a larger model, influence or direct it. Außerdem kann irgendeines der anderen Modelle In addition, any of the other models 40 40 und and 42 42 der Erfindung mit einem größeren Modell verwendet werden, wobei irgendwelche der Komponenten (dh die Anfangsmodellerzeugung the invention can be used with a greater model, wherein any of components (ie, the initial model generation 34 34 , die Modellaufbaueinrichtung , The model builder 36 36 und der Optimierer and optimizer 38 38 ) der Erfindung auf ähnliche Weise wie es oben für das optimierte Modell ) Of the invention in a similar manner as described above for the optimized model 44 44 beschrieben worden ist, mit einem größeren Modell verwendet werden können, einem größeren Modell zugeordnet werden können, in einem größeren Modell enthalten sein können oder eine Eingabe in ein größeres Modell liefern können. has been described, can be used with a greater model, a model can be associated with larger, may be contained in a larger model or can provide an input to a greater model.
  • [0061] [0061]
    Die Phase The phase 110 110 ist die eingeschränkte Online-Modellanpassung, die die Feinabstimmung oder Korrektur eines optimierten Modells is the limited online model adaptation, the fine-tuning or correction of an optimized model 44 44 umfasst, das in der Modelleinsatzphase includes that in the model application phase 106 106 eingesetzt worden ist. has been inserted. Diese Feinabstimmung oder Anpassung des optimierten Modells This fine-tuning or adjustment of the optimized model 44 44 kann gefordert werden, falls die Steuerung may be required if the controller 26 26 eine Eingabe für ein neues Datengebiet empfängt, das durch die Modelleingabe an input for receiving a new data area formed by the model input 28 28 , die in Phase That in phase 104 104 zum Trainieren des nichtlinearen Netzwerk-Modells to train the nonlinear network model 42 42 verwendet worden ist, um das optimierte Modell has been used to the optimized model 44 44 zu erzeugen, nicht dargestellt (oder niedrig dargestellt) wurde. to produce, not shown (or represented low) was. Beispielsweise liefert das optimierte Modell For example returns the optimized model 44 44 (dh der eingeschränkte nicht-lineare Approximator) eine Ausgabe, die in dem neuen Gebiet allgemein monoton steigend ist, aber eine weitere Optimierung erfordern kann, um ein verbessertes Ergebnis zu erhalten. (Ie, the limited non-linear approximator) an output that is generally monotonically increasing in the new area, but further optimization may require in order to obtain an improved result. Außerdem kann diese Anpassung erforderlich sein, falls sich die Leistung des optimierten Modells In addition, this adaptation may be required if the performance of the optimized model 44 44 , wie es in der Steuerung As in the control 26 26 eingesetzt wird, verschlechtert oder die ursprünglichen Erwartungen nicht erfüllt hat. is used, worsened or did not meet the original expectations.
  • [0062] [0062]
    In der Phase In the phase 110 110 prüft der Optimierer checks the optimizer 38 38 die Ergebnisse der Online-Optimierung im Vergleich zu den zeitlichen Abhängigkeiten, um sicherzustellen, dass irgendeine Aktualisierung an dem optimierten Modell the results of the on-line optimization compared to the temporal dependencies to ensure that any update to the optimized model 44 44 die ursprünglichen zeitlichen Abhängigkeiten erfüllt. complying with the initial temporal dependencies. Falls eine aktualisierte Version des optimierten Modells If an updated version of the optimized model 44 44 die zeitlichen Abhängigkeiten verletzt, stellt der Optimierer the temporal dependencies violated, the optimizer 38 38 die Koeffizienten in einem Versuch, das Modell the coefficients in an attempt to model the 44 44 innerhalb der zeitlichen Abhängigkeiten zu bringen, in einer anderen Richtung ein (erhöht er z. B. einen Koeffizientenwert, falls er zuvor verringert wurde). to bring within the temporal dependencies in a different direction (it increases z. B. a coefficient value if it was previously reduced). Im Allgemeinen ist der Prozess der eingeschränkten Online-Modellanpassung in Phase In general, the process of constrained online model adaptation in stage 110 110 ähnlich dem Prozess des eingeschränkten Trainings in Phase similar to the process of the limited training in phase 104 104 . ,
  • [0063] [0063]
    Das modulare Wesen dieser Erfindung bedeutet, dass jede Phase The modular nature of this invention means that each phase 100 100 , . 102 102 und and 104 104 unabhängig von den anderen implementiert werden kann. may be implemented independently of the other. Beispielsweise kann der in Phase For example, the in-phase 104 104 beschriebene Trainingsalgorithmus auf ein neuronales Mehrschichtwahrnehmungsnetzwerk angewendet werden, um die Funktion einzuschränken, so dass bestimmte Eingabe/Ausgabe-Zusammenhänge über ihre gesamte Eingabedomäne monoton eingeschränkt sind. training algorithm described above can be applied to a neural multi-layer perception network to reduce the function so that certain input / output relationships are limited monotonically over its entire input domain.
  • [0064] [0064]
    Die Erfindung ermöglicht, dass jeder Eingabe/Ausgabe-Zusammenhang isoliert behandelt wird. The invention allows each input / output connection is treated isolated. Somit werden möglicherweise einige Eingabe/Ausgabe-Zusammenhänge uneingeschränkt gelassen, was ermöglicht, dass sie eine vollständige universelle Approximationsfähigkeit besitzen. Thus, maybe some input / output connections are left unrestricted, which allows them to keep a complete universal Approximationsfähigkeit. Andere Eingabe/Ausgabe-Zusammenhänge können eingeschränkt werden, so dass sie monoton sind, während andere eine allgemeine Zuwachstrajektorienform erhalten können, die sie einhalten sollen. Other input / output relationships can be restricted so that they are monotonic, while others can get a general Zuwachstrajektorienform that they should comply.
  • [0065] [0065]
    Die Erfindung umfasst sowohl stationäre als auch dynamische Modellierungsarchitekturen, die sowohl für die Zuwachsplanung als auch für nicht-lineare Programme in stationären Optimierern verwendet werden können. The invention includes both stationary and dynamic modeling architectures that can be used for both the growth planning as well as for non-linear programs in stationary optimizers.
  • Mathematische Grundlagen der Erfindung Mathematical Foundations of invention
  • [0066] [0066]
    Die folgenden Abschnitte beschreiben die mathematischen Grundlagen der Erfindungen. The following sections describe the mathematical foundations of inventions. Die Überschriften sind nicht einschränkend zu verstehen. The headings are not intended to be limiting. Ein Gegenstand, der in einer Überschrift angegeben ist, kann hierin ebenfalls an anderer Stelle diskutiert werden. An item which is indicated in a heading may be discussed elsewhere herein, also.
  • [0067] [0067]
    Diese folgenden Abschnitte beschreiben eine Implementierung des früher für die The following sections describe an implementation of the earlier of the 1 1 und and 2 2 beschrieben nicht-linearen Netzwerk-Modells described non-linear network model 42 42 . ,
  • Allgemeine Struktur General structure
  • [0068] [0068]
    Die Monotoniebedingungen werden dem nicht-linearen Netzwerk-Modell The monotonicity conditions are the non-linear network model 42 42 sowohl über die Architektur (Phase both of the architecture (Phase 102 102 ) als auch über die Beschränkung des Trainingsalgorithmus (Phase ) And on the restriction of the training algorithm (Phase 104 104 ) auferlegt. ) Imposed. Da es klarer ist, die Berechnungen der ersten und zweiten Ableitungen in allgemeiner Form zu beschreiben, definieren die folgenden Abschnitte zunächst die Berechnungen für ein allgemeines neuronales Optimalwert-Netzwerk (im Folgenden "neuronales Netz". Spätere Abschnitte betrachten daraufhin die spezifischen Mittel zur Auferlegung der Monotonie. Since it is clear to describe the calculations of the first and second derivatives in general terms, define the following sections, first the calculations for a general neural feedforward network (hereinafter "neural network". Later sections consider then the specific means to impose the monotony.
  • Schreibweise Spelling
  • [0069] [0069]
    Ein allgemeines neuronales Optimalwert-Netz enthält eine geordnete Menge von L Schichten. A common neural feedforward network contains an ordered set of L layers. Die Stellung jedes Verarbeitungselements (PE) in einer Schicht wird durch einen tief gestellten Index dargestellt – wobei i, j, k, l, m und n als PE-Indizes verwendet werden. The position of each processing element (PE) in a layer is represented by a subscript - where i, j, k, l, m and n are as PE indices are used. Das Verarbeitungselement ist ein Beispiel des für die Phase The processing element is one example of the phase 102 102 aus from 2 2 beschriebenen Transformationselements. transformation element described. Jedes PE hat einen Summationswert x i und einen Ausgabewert y i sowie eine Transferfunktion f i , die x i mit y i verknüpft. Each PE has a summation value x i and an output value y i and a transfer function f i, the associated x i y i. Die Verarbeitungselemente in verschiedenen Schichten werden bei Bedarf durch einen hoch gestellten Index in Klammern unterschieden – wobei p, q, r und s als Schichtindizes verwendet werden. The processing elements in different layers can be distinguished when required by a superscript in parentheses - where p, q, r and s are used as indices layer. Die Gewichte zwischen den PEs werden als w ij (p, q) bezeichnet, was das Verbindungsgewicht von y j (q) zu x i (p) , q < p, darstellt. The weights between the PEs are as w ij (p, q) denotes, which is the combining weight by y j (q) to x i (p), q <p.
  • [0070] [0070]
    Es wird angemerkt, dass dies ermöglicht, dass mehrere Schichten eine gegebene Schicht versorgen; It is noted that this permits multiple layers provide a given layer; eine systematische Abweichung lässt sich in dieser Struktur leicht dadurch behandeln, dass sie als eine Einzelelementschicht mit ihrem Summationswert x i = 1 und einer linearen Transferfunktion spezifiziert wird. a systematic deviation can be in this structure easily characterized treat that they as a single element layer with its summation value x i = 1 and a linear transfer function is specified.
  • Datenskalierunng Datenskalierunng
  • [0071] [0071]
    Neuronale Netze erfordern, dass Daten in normierte Einheiten skaliert werden. Neural networks require that data be scaled in normalized units. Dies erfolgt typisch durch eine lineare Abbildung, die die Trainings- und Testdaten auf einen Mittelwert 0 und auf eine Standardabweichung 1 transformiert. This is typically done by a linear mapping that transforms the training and test data to a mean of 0 and a standard deviation of one.
  • Optimalwert-Gleichungen Optimum value equations
  • Zielfunktion Objective function
  • [0072] [0072]
    Für das Training des neuronalen Netzes (ein Beispiel des nicht-linearen Netzwerk-Modells For the training of the neural net (one example of the non-linear network model 42 42 ) wird eine Menge gemessener Datenpunkte verwendet. ) Is a set of measured data points used. Diese enthält eine Menge gemessener Eingaben und die entsprechenden gemessenen Ausgaben (ein Beispiel der Modelleingabe This contains a set of measured inputs and corresponding measured outputs (an example of the model input 28 28 , die beim Training des nicht-linearen Netzwerk-Modells That in training the non-linear network model 42 42 in der Phase in the phase 104 104 aus from 2 2 verwendet wird). is used). Das neuronale Netz versucht, diese Abbildung zwischen den gemessenen Eingaben und den gemessenen Ausgaben wiederherzustellen, so dass die Ausgaben in Abwesenheit von Messungen geschätzt werden können. The neural network is attempting to recover this mapping between the measured inputs and the measured outputs, so that the expenditure in the absence of measurements can be estimated. Dieses Training wird dadurch erreicht, dass eine Zielfunktion aufgebaut wird, die ein Maß für die Güte der Anpassung ist. This training is achieved in that a target function is set up, which is a measure of the goodness of fit. Allerdings enthalten die Daten außerdem Rauschen und unechte Zusammenhänge, so dass die Zielfunktion außerdem einen Term enthält, der die Komplexität in der Abbildung verhindert. However, the data also contain noise and spurious correlations, so that the objective function also includes a term that avoids the complexity in the figure.
    • Schreibweise: Notation:
  • [0073] [0073]
    JD ist das Maß dafür, wie gut das neuronale Netz an die Daten angepasst ist, wobei es eine Funktion einer Datenmenge und indirekt der Gewichte ist. JD is the measure of how well the neural network is adapted to the data, it being a function of an amount of data and indirectly of the weights. J W ist der Regularisierungsterm, der eine Überanpassung verhindert und eine direkte Funktion der Gewichte ist. J W is the regularization term which prevents overfitting and is a direct function of the weights.
  • Ableitungen Derivatives
  • [0074] [0074]
    Die Berechnung der Ableitungen in einen neuronalen Optimalwert-Netz wird als Rückwärtsfortpflanzung bezeichnet, da sie Ableitungen des Ziels in Bezug auf die Gewichte dadurch berechnet, dass sie die Ableitung des Ziels in Bezug auf die Ausgaben zurück über das Netzwerk fortpflanzt. The calculation of the derivatives in a feed-forward neural network will be referred to as a reverse reproduction, since they derivatives of the target with respect to the weights calculated by the fact that it propagates the derivative of the target with respect to the outputs back through the network. Dabei wird von einer Kettenregel Gebrauch gemacht, die in der Welt der neuronalen Netze Werbos zugeschrieben wird. Here, use is made of a chain rule, which is attributed to the world of neural networks Werbos. Siehe Paul John Werbos, "The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting (Adaptive and learning systems for signal processing)", Januar 1994. See John Paul Werbos, "The Roots of Backpropagation: From Ordered Derivatives to Neural Networks and Political Forecasting (Adaptive and learning systems for signal processing)" January 1994th
  • [0075] [0075]
    Der Gewichtsgradient ist dann als: The Gewichtsgradient is described as: D J w ij (p,q) = y j (q) D J x i (p) q < p (4) D J w ij (p, q) = y j (q) D J x i (p) q <p (4) zu berechnen. to be calculated.
  • Zweite Ableitungen Second derivatives
  • [0076] [0076]
    Einige Optimierer (z. B. der Optimierer Some optimizer (z. B. the optimizer 38 38 ) machen Gebrauch von Informationen über Hessesche Matrizen. ) Make use of information about Hessian matrices. Es zeigt sich, dass Informationen über Hessesche Matrizen in einem allgemeinen neuronalen Optimalwert-Netz analytisch dadurch berechnet werden können, dass Informationen vorwärts und rückwärts über das Netzwerk geleitet werden. It turns out that information on Hessian matrices in a general neural feedforward network can be calculated analytically characterized in that information is passed back and forth over the network. Die Vorstellung ist, jede der Ableitungen aus dem vorausgehenden Abschnitt als an die Originalmenge der Variablen (der x, der y und der w) angehängt zu betrachten. The idea is to consider each of the attached discharges from the previous section as the original set of variables (x, y and w). Daraufhin wird die Werbos-Kettenregel zur Berechnung der zweiten Ableitungen verwendet. Then, the Werbos-chain rule is used to calculate the second derivatives. Für jedes Gewicht w mn (r, s) wird Is for each weight w mn (r, s) ≡ D J w mn (r,sq) als das neue Ziel betrachtet. D ≡ J w mn (r, sq) is considered as the new destination. Das Ziel ist die Berechnung von The goal is to calculate (w ij (p,q) ). (W ij (p, q)). Daraufhin wird beginnend bei der Zielschicht des gegebenen Gewichts ein Vorwärts- und Rückwärtsdurchlauf über das Netzwerk ausgeführt, der bei der Quellschicht des gegebenen Gewichts endet: Then, a forward and backward pass is performed over the network starting at the target layer of the given weight, which ends at the source layer of given weight:
  • [0077] [0077]
    Daraufhin wird unter Verwendung der in der folgenden Gleichung (6) gezeigten Formel die Hessesche Matrix mit Bezug auf die Gewichte berechnet: Is then calculated using the equation shown in the following (6) formula, the Hessian matrix with respect to the weights:
  • [0078] [0078]
    Es wird angemerkt, dass der Vorwärts- und Rückwärtsdurchlauf über das Netzwerk für jedes Gewicht ausgeführt werden muss, für das eine 2-te Ableitung benötigt wird. It is noted that the forward and backward pass through the network must be performed for each weight for which a 2-th derivative is required. Allerdings können anschließend irgendwelche der zweiten Ableitungen, die das Gewicht enthalten, leicht mit zwei Multiplikationen und einer Addition berechnet werden. However, subsequently, any of the second derivatives that contain the weight can be easily calculated with two multiplications and an addition.
  • [0079] [0079]
    Die Summationen, Ausgaben und rückwärts fortgepflanzten Informationen von dem ursprünglichen Vorwärts- und Rückwärtsdurchgang (die zur Berechnung des Ziels und des Gradienten verwendet werden) müssen während dieser Hesseschen Durchläufe aufrechterhalten werden, da die Formeln Gebrauch von ihnen machen. The summations, expenses and backward propagated information from the original forward and backward pass (which are used for the calculation of the target and the gradient) must be maintained during this Hessian runs, since the formulas make use of them. Außerdem unterscheidet sich ein Hessescher Vorwärts- und Rückwärtsdurchlauf wie folgt von dem Original: In addition, a Hess Escher forward and backward pass is different from the original as follows:
    • i. Der r-ten Schicht wird i. The r-th layer (D J x i (r) ) als die Eingabe (dh als ein Summationswert) zugeführt. (D J x i (r)) is supplied as the input (ie, as a summation value).
    • ii. ii. In dem Vorwärts-Durchlauf: (a) werden die Quellschichten unter der p-ten Schicht initialisiert, so dass sie die Ausgabe 0 haben, (b) wird die ursprüngliche Transferfunktion an jedem Knoten durch eine skalare Multiplikation mit dem Original f k '(x k (m) ) ersetzt. In the forward pass: (a) the source layers are initialized with the p-th layer, so that they have the output 0, (b) the original transfer function at each node by a scalar multiplication with the original f k '(x is k (m)) is replaced.
    • iii. iii. Durch Multiplizieren der Ausgabe von dem Vorwärtsdurchgang mit der Hesseschen Matrix der Originalzielfunktion J in Bezug auf die Originalausgaben wird der Wert für die Rückkopplung berechnet. By multiplying the output of the forward pass with the Hessian matrix of the original objective function J with respect to the original editions of the value calculated for the feedback. Für Standard-RMS-Fehler-basierte Ziele ist diese Hessesche Matrix lediglich eine Konstante mal der Einheitsmatrix. For standard RMS error-based goals this Hessian matrix is simply a constant times the identity matrix.
    • iv. iv. In dem Rückwärtsfortpflanzungsdurchlauf: (a) wird lediglich zu der Quellenschicht der Gewichte rückwärts fortgepflanzt. In the back-propagation pass: (a) is only propagated to the source layer of the weights backwards. (b) gibt es nun ebenfalls einen Term mit einer zweiten Ableitung für (B) there is now also a term with a second derivative for (x i (p) ), der mit der gesicherten Ausgabe von dem Optimierungsschritt multipliziert wird. (X i (p)), which is multiplied by the secured output from the optimization step. (c) hat die Ableitung (C) the derivative (y n (s) ) einen Zusatzterm D J x m (r) , der ihren direkten Einfluss auf (Y n (s)) an additional term D J x m (r), of their direct impact on darstellt. represents.
  • Herkömmliches Training Conventional training
  • [0080] [0080]
    Herkömmliche Trainingsalgorithmen für einen Standardoptimalwert wenden einen nicht eingeschränkten Optimierer zur Minimierung der Zielfunktion an. Traditional training algorithms for a standard feedforward contact an unrestricted optimizer to minimize the objective function. Typisch sind die einzigen Entscheidungsvariablen die Gewichte. Typically the only decision variables are the weights. Das Ziel und seine Ableitungen und zweiten Ableitungen in Bezug auf die Gewichte werden unter Verwendung der obigen Formeln berechnet. The objective and its derivatives and second derivatives with respect to the weights are calculated using the above formulas.
  • Transferfunktionen Transfer functions
  • [0081] [0081]
    Für Demonstrationszwecke werden drei Transferfunktionen zur Verwendung in einer bevorzugten Ausführungsform der vorliegenden Erfindung beschrieben. For demonstration purposes, three transfer functions for use in a preferred embodiment of the present invention will be described. Die hier beschriebenen Transferfunktionen für die Erfindung sind nicht auf diese drei Beispiele beschränkt. The transfer functions for the invention described herein are not limited to these three examples. In verschiedenen Ausführungsformen kann die Erfindung irgendeine nichtlineare Transformation nutzen und dennoch eine verbesserte Modellarchitektur (z. B. ein nicht-lineares Netzwerk-Modell In various embodiments, the invention may utilize any non-linear transformation and still an improved model architecture (eg. As a non-linear network model 42 42 ) zur Verwendung in modellbasierten Steuerungs- und Optimierungsschemata erzeugen. ) Produce for use in model-based control and optimization schemes. Die Aktivierungs- oder andere Transformation kann tatsächlich ein neuronales (oder anderes nicht-lineares) Netzwerk mit einer einzigen Eingabe/einzigen Ausgabe sein, das an einer anwenderdefinierten Eingabe/Ausgabe oder Zuwachstrajektorienabbildung (dh einem Anfangsmodell The activation or other transformation may actually be a neural (or other non-linear) network with a single input / single output that to a user-defined input / output or Zuwachstrajektorienabbildung (ie, an initial model 40 40 ) trainiert werden konnte. ) Could be trained. Es ist die eingeschränkte Optimierung (z. B. die eingeschränkte Trainingsphase It is the limited optimization (z. B. the limited training phase 104 104 aus from
  • [0082] [0082]
    2 2 ), die die Robustheitseigenschaften erzeugt, die in fortgeschrittenen Steuerungs- und Optimierungsschemata erwünscht sind. ) That generates the robustness properties desirable in advanced control and optimization schemes. Die Probentransferfunktionen sind: tanh, S-Funktion und asymmetrische beschränkte Ableitung (ABD). The sample transfer functions are: tanh, S-function and asymmetric limited derivative (ABD). Ihre Formeln, Ableitungen und zweiten Ableitungen sind wie folgt: Your formulas, derivatives and second derivatives are as follows:
  • Tanh Tanh
    • y = tanh(x) y' = 1 – y 2 y'' = –2·y·y' (7) y = tanh (x) y '= 1 - y 2 y' '= -2 · y · y' (7)
  • S-Funktion S-function
    • y = 0,5(tanh(x) + 1) y' = y – y 2 y'' = (1 – 2y)·y' (8) y = 0.5 (tanh (x) + 1) y '= y - y 2 y' '= (1 - 2y) · y' (8)
  • ABD ABD
    • y = α·x + β·ln(cosh(x)) y' = α + β·tanh(x) y'' = β·(1 – tanh 2 (x)) (9) y = α * x + β · ln (cosh (x)) y '= α + β · tanh (x) y' '= β · (1 - tanh 2 (x)) (9)
  • [0083] [0083]
    Die in einer bevorzugten Ausführungsform der Erfindung verwendete ABD-Transferfunktion ist unter den folgenden Bedingungen monoton positiv: The ABD transfer function used in a preferred embodiment of the invention is monotonic positive under the following conditions: β ≥ 0, α – β > 0 oder β ≤ 0, α + β > 0 (10) β ≥ 0, α - β> 0 or β ≤ 0, α + β> 0 (10)
  • [0084] [0084]
    Weitere Vorteile der ABD-Formulierung (die Gleichungen in (9)) sind, dass der Eingabe/Ausgabe-Zusammenhang an den Extrempunkten der Daten nicht gesättigt wird. Other advantages of the ABD formulation are (in the equations (9)), that the input / output connection at the extreme points of the data is not saturated. Tatsächlich ist es die Ableitung (y' = α + β·tanh(x)) der Funktion (y = α·x + β·ln(cosh(x))), die gesättigt wird, was lineare Modelle in den Extrapolationsgebieten liefert (z. B., wenn in Datengebiete eingetreten wird, die in den Trainingsdaten wie etwa in der Modelleingabe In fact, it is the derivative (y '= α + β · tanh (x)) of the function (y = α * x + β · ln (cosh (x))), which is saturated, which yields linear models in the Extrapolationsgebieten ( z. B., when entering data in areas that in the training data, such as in the input model 28 28 fehlen oder niedrig bedeckt sind). are absent or low covered).
  • Monotoniestruktur neuronaler Netze Monotony neural network structure
  • [0085] [0085]
    Die folgenden Abschnitte beschreiben Beispiele für das Einrichten zeitlicher Abhängigkeiten für ein nicht-lineares Netzwerk-Modell The following sections describe examples of how to set up a time dependencies for a nonlinear network model 42 42 in einer bevorzugten Ausführungsform der Erfindung. In a preferred embodiment of the invention. Die einschränkenden Bedingungen für die Monotonie werden durch Folgendes beschrieben (sind darauf aber nicht beschränkt): The limiting conditions for the monotonicity be described by the following (have it, but not limited to):
  • Komplementaritätsbedingungen Komplementaritätsbedingungen
  • [0086] [0086]
    Die drei für diese Erfindung beschriebenen Probentransferfunktionen (Gleichungen 7, 8 und 9) sind monotone Transformationen. The three described for this invention, sample transfer functions (equations 7, 8 and 9) are monotonic transformations. Die S-Funktionsaktivierung und der hyperbolische Tangens sind ebenfalls rotationssymmetrisch, dh The S-function and the hyperbolic tangent activation are also rotationally symmetric, ie tanh(x) = –tanh(–x) (11) tanh (x) = -tanh (-x) (11)
  • [0087] [0087]
    Das Superpositionsgesetz ermöglicht, dass, wenn zwei positiv monotone Funktionen miteinander addiert werden, die resultierende Transformation ebenfalls positiv monoton ist. The law of superposition allows that if two positively monotonic functions are added together, the resulting transformation is also positively monotonic. Ähnlich ist die resultierende Transformation negativ monoton, wenn zwei negativ monotone Funktionen miteinander addiert werden. Similarly, the resulting transformation is negatively monotonic if two negatively monotonic functions are added together.
  • [0088] [0088]
    Der Ausgabeknoten des nicht-linearen Netzwerk-Modells The output node of the nonlinear network model 42 42 ist im Wesentlichen eine lineare Summation monotoner Transformationen. is essentially a linear summation of monotonic transformations. Somit ist die Gesamtmonotonie des Eingabe/Ausgabe-Zusammenhangs erhalten, wenn das Vorzeichen des Koeffizienten, der eine Eingabevariable auf einen verborgenen Knoten abbildet, und das Vorzeichen des Koeffizienten, der diesen Knoten mit der Ausgabeschicht verbindet, (für alle verborgenen Knoten) komplementär zu der gewünschten Monotonierichtung sind. Thus, the overall monotony of the input / output relationship is obtained when the sign of the coefficient, which maps an input variable to a hidden nodes, and the sign of the coefficient that connects this node to the output layer (hidden for all nodes) complementary to the monotony desired direction.
  • Beispiel der Einstellung der Komplementaritätsbedingungen Example of setting the Komplementaritätsbedingungen
  • [0089] [0089]
    Falls gefordert ist, dass der gewünschte Eingabe/Ausgabe-Zusammenhang positiv monoton ist, sollten für ein nicht-lineares Netzwerk-Modell If it is required that the desired input / output relationship is positive monotonic, should for a nonlinear network model 42 42 mit vier verborgenen Knoten mit den Ausgabegewichtsvorzeichen von jeweils (+, –, +, –) die entsprechenden Koeffizienten, die diese Eingabe auf jeden verborgenen Knoten abbilden, jeweils (+, –, +, –) sein. his four hidden nodes to the output weight of each sign (+, -, +, -), the corresponding coefficients that represent this input to each hidden node, respectively (+, - -, +,). Zwei Koeffizienten mit negativen Vorzeichen in Serie erzeugen eine positiv monotone Transformation, wie sie in Gleichung (11) beschrieben ist. Two coefficients with negative sign in series produce a positively monotonic transformation as described in equation (11). Obgleich die ABD-Transformation die in Gleichung (11) beschriebene Rotationssymmetrie nicht erfüllt, ist die Funktion –ABD(–x) positiv monoton und erzeugt so weiter eine insgesamt positive Eingabe/Ausgabe-Monotonie. Although the ABD transformation does not satisfy the equation in rotational symmetry described (11), the -ABD function is (-x) is positive monotonic and produced so on an overall positive input / output monotony. Die gleiche Logik gilt für negativ monotone Transformationen. The same logic applies to negative monotonic transformations.
  • [0090] [0090]
    Die folgenden Abschnitte geben zwei Beispiele der Architektur eingeschränkter nichtlinearen Approximatoren (CNA-Architektur), die zur Verwendung bei der Entwicklung von Beispielen des nicht-linearen Netzwerk-Modells The following sections provide two examples of the architecture with reduced non-linear approximators (CNA) architecture suitable for use in developing examples of the non-linear network model 42 42 aus Phase Phase 102 102 von from 2 2 geeignet ist. is suitable. Das erste Beispiel veranschaulicht eine nicht-lineare 6-Schichten-Schichtennetzwerk-CNA-Architektur, während das zweite Beispiel eine nicht-lineare 5-Schichten-Schichtennetzwerk-CNA-Architektur veranschaulicht. The first example illustrates a non-linear 6-layer network layers CNA architecture, while the second example illustrates a non-linear 5-layer network layers CNA architecture. Die Verwendung der Ausdrücke "erstes Beispiel" und "zweites Beispiel" soll in keiner Weise einschränkend sein. The use of the terms "first example" and "second example" is intended to be limiting in any way.
  • Erstes Beispiel der CNA-Architektur (für sechs Schichten) First Example of CNA Architecture (six layers)
  • [0091] [0091]
    3 3 ist ein Beispiel der Architekturspezifikation eines eingeschränkten nicht-linearen 6-Schichten-Approximators (6-Schichten-CNA-Architekturspezifikation) für ein Beispiel eines nicht-linearen Netzwerks, das als die Basis für ein Beispiel eines nicht-linearen Netzwerk-Modells is an example of the architecture specification of a limited non-linear approximator-6-layers (6-layer CNA architecture specification) for an example of a non-linear network, which as the basis for an example of a non-linear network model 42 42 verwendet werden kann. can be used. Die tatsächliche in diesem Diagramm ausführlich dargestellte Architektur ist das Integral eines nicht-linearen Netzwerks, bei dem die nicht-lineare verborgene Schicht eine Summation, gefolgt von einer ABD-Transformation (z. B. ln(cosh(x))-Transformation) enthält und bei der das Integral des nicht-linearen Netzwerks als gleichwertig zu dem nicht-linearen Netzwerk-Modell The actual architecture detailed in this diagram is shown the integral of a non-linear network where the non-linear hidden layer a summation followed by an ABD transformation (e.g., ln (cosh (x)) -. Transformation) contains and wherein the integral of the non-linear network as equivalent to the non-linear network model 42 42 betrachtet wird. is considered. Obgleich in dieser Erfindung irgendeine Schichtenarchitektur verwendet werden kann, wird in der bevorzugten Ausführungsform das nicht-lineare Netzwerkintegral verwendet, für das das neuronale Netzwerkintegral ein Beispiel ist. Although any layer architecture may be used in this invention, in the preferred embodiment, the non-linear network integral is used for the neural network integral is an example. Wie zuvor diskutiert wurde, sind herkömmliche neuronale Netzwerke (die z. B. in universellen Approximatoren verwendet werden) gut darin, Eingabe/Ausgabe- Zusammenhänge vorauszusagen, aber schlechte Voraussager von Ableitungen. As discussed above, conventional neural networks (used, for, as used in universal approximators) good at input / output relationships to predict, but poor predictor of discharges. Somit bedeutet das Anpassen eines nicht-linearen Netzwerkintegrals an die Eingabe/Ausgabe-Daten, dass das nicht-lineare Netzwerk (dh die Ableitung des nicht-linearen Netzwerk-Modells Thus means to adapt a non-linear network integral to input / output data, that the non-linear network (ie, the derivative of the non-linear network model 42 42 ) die zugrunde liegende Architektur ist, die die Ableitung des Zusammenhangs an die Trainingsdaten anpasst. ) Is the underlying architecture that adapts the derivation of the relation to the training data. Dies bildet somit eine Lösung für das Problem der Erzeugung robuster, nicht-linearer empirischer Modelle (z. B. des nichtlinearen Netzwerk-Modells This therefore forms a solution to the problem of generating robust, non-linear empirical models (eg. As the non-linear network model 42 42 ) mit gutartigen Ableitungen. ) With benign derivatives. Die hier beschriebenen Beispiele der CNA-Architektur arbeiten gut in Regelschemata wie etwa Industrieproduktionsanlagen für chemische Prozesse. The examples of the CNA architecture described here work well in control schemes such as industrial production plants for chemical processes. Da es bei dieser CNA-Architektur die Modellableitung (z. B. die Ableitung eines optimierten Modells Since at this CNA architecture, the model derivation (z. B. derive an optimized model 44 44 , das auf einem nichtlinearen Netzwerk-Modell Comprising on a non-linear network model 42 42 basiert) (nicht der tatsächliche Eingabe/Ausgabe-Zusammenhang) ist, die gesättigt wird, konvergieren die Modelle (z. B. die optimierten Modelle based) (not the actual input / output relationship), the saturates converge the models (for. example, the optimized models 44 44 ) außerdem in den Extrapolationsgebieten stetig gegen lineare Modelle. ) Also in the Extrapolationsgebieten steadily against linear models.
  • [0092] [0092]
    Wie in How to 3 3 gezeigt ist, enthält das nicht-lineare Netzwerk is shown, the non-linear network 50 50 eine Eingabeschicht an input layer 200 200 , eine Schicht A layer 201 201 systematischer Abweichungen, eine transformierte Schicht systematic deviations, a transformed layer 202 202 , eine lineare verborgene Schicht A linear hidden layer 203 203 , eine nicht-lineare Aktivierungsschicht , A non-linear activation layer 204 204 , eine lineare Aktivierungsschicht A linear activation layer 205 205 und eine Ausgabeschicht and an output layer 206 206 . , Die Eingabeschicht The input layer 200 200 enthält eines oder mehrere Elemente LO; contains one or more elements LO; die Schicht the layer 201 201 systematischer Abweichungen enthält eines oder mehrere Elemente L1; systematic deviations contains one or more elements L1; die transformierte Schicht the transformed layer 202 202 enthält eines oder mehrere Elemente L2; contains one or more elements L2; die lineare verborgene Schicht the linear hidden layer 203 203 enthält eines oder mehrere Elemente L3; contains one or more elements L3; die nicht-lineare Aktivierungsschicht the non-linear activation layer 204 204 enthält eines oder mehrere Elemente L4; contains one or more elements L4; die lineare Aktivierungsschicht the linear activation layer 205 205 enthält eines oder mehrere Elemente L5; contains one or more elements L5; und die Ausgabeschicht and the output layer 206 206 enthält eines oder mehrere Elemente L6. contains one or more elements L6.
  • [0093] [0093]
    Die Trainingsdaten (z. B. die Modelleingabe The training data (eg. As the model input 28 28 ) werden an die Eingabeschicht ) Are applied to the input layer 200 200 übergeben. passed. Jeder Knoten L0 bis L6 in der Architektur stellt ein Verarbeitungselement (PE) dar. Jedes Verarbeitungselement hat eine oder mehrere Eingaben und eine oder mehrere Ausgaben. Each node L0-L6 is in architecture represents a processing element (PE). Each processing element has one or more inputs and one or more outputs. Typisch summiert das Verarbeitungselement (z. B. die Verarbeitungselemente L3) irgendwelche Eingaben in es und übergibt daraufhin diese Summation über eine Transferfunktion. Typically, the processing element summed (z. B. the processing elements L3) any commands in it and then outputs such summation over a transfer function. Die Transferfunktion kann (wie im Fall der Schicht The transfer function may be (as in the case of layer 204 204 ) nicht-linear oder linear sein (wobei die summierten Eingaben tatsächlich die Ausgabe des Verarbeitungselements bilden). ) Non-linear or linear (the summed inputs actually form the output of the processing element).
  • [0094] [0094]
    Jeder Pfeil in Each arrow in 3 3 stellt einen Modellkoeffizienten (oder ein Gewicht) dar. Die Verbindungen (Pfeile) zwischen der Eingabeschicht represents a model coefficients (or weight). The compounds (arrows) between the input layer 200 200 und der transformierten Schicht and the transformed layer 202 202 werden (in diesem Beispiel in (in this example, 3 3 ) auf einen Wert 1 festgesetzt. ) Set at a value of 1. Dies ist eine Transformationsschicht This is a transformation layer 202 202 , die es ermöglicht, die Richtung der Eingabedaten bei Bedarf zu ändern (dh die Koeffizienten auf –1 zu wechseln). Which makes it possible to change the direction of the input data when needed (ie, the coefficient to change to -1).
  • [0095] [0095]
    Die Schicht The layer 201 201 systematischer Abweichungen liefert einen systematischen Abweichungsterm. systematic deviations provides a systematic bias term. Die Verbindung dieser Schicht The connection of this layer 201 201 mit der Ausgabeschicht with the output layer 206 206 stellt im Wesentlichen den "konstanten" Term dar, der bei der Integration eines neuronalen Netzwerks auftritt. essentially represents the "constant" term that occurs when integrating a neural network.
  • [0096] [0096]
    Die Schicht The layer 203 203 ist eine verborgene Schicht, wo die Eingaben einfach miteinander addiert werden. is a hidden layer, where the entries are simply added together. In dieser Schicht In this layer 203 203 wird keine Transformation ausgeführt. No transformation is performed. In einem herkömmlichen neuronalen Netzwerk würden diese Summationen daraufhin über eine S-Funktion (S-förmige Funktion) oder über eine Hyperbolische-Tangens-Aktivierungsfunktion übergeben. In a conventional neural network, these summations would then an S-function (sigmoid function) or a hyperbolic tangent activation function passed. In dem Integralfall (dh in dem Integralzugang unter Verwendung der Techniken der Erfindung) werden die Summationen von der Schicht In case the integral (ie, the integral access using the techniques of the invention) the summations of the layer 203 203 über das Integral des hyperbolischen Tangens übergeben (dh Integral(q·tanh(v *X)) = a·X + b·log(cosh(v·X)) + c). transferred via the integral of the hyperbolic tangent (ie, integral (q * tanh (v * X)) = a · X + b * log (cosh (v * X)) + c). Dies wird durch die Schichten This is achieved by the layers 204 204 , . 205 205 und and 201 201 erreicht. reached. Schließlich sind die transformierten Eingaben von der Schicht Finally, the transformed values are from the layer 205 205 direkt mit der Ausgabeschicht directly to the output layer 206 206 verbunden. connected. In einem herkömmlichen neuronalen Netzwerk stellt diese Verbindung das Integral des systematischen Abweichungsterms dar. In a conventional neural network, this connection provides the integral of the bias term.
  • [0097] [0097]
    Die Schichten-CNA-Architektur aus The layers CNA architecture 3 3 ist ein Beispiel einer nicht-linearen Netzwerkarchitektur, die in dieser Erfindung verwendet werden kann. is an example of a non-linear network architecture that may be used in this invention. Das in The in 3 3 veranschaulichte Beispiel und das in den folgenden Abschnitten beschriebene zweite Beispiel können in irgendeiner Anwendung der nicht-linearen empirischen Modellierung verwendet werden. example illustrated and described in the following sections, the second example can be used in any application of non-linear empirical modeling.
  • Zweites Beispiel der CNA-Architektur (für fünf Schichten) Second Example of CNA Architecture (five layers)
  • [0098] [0098]
    Die folgenden Abschnitte beschreiben ein zweites Beispiel einer CNA-Architektur, die zur Verwendung mit der Erfindung geeignet ist. The following sections describe a second example of a CNA architecture suitable for use with the invention.
  • [0099] [0099]
    Die hier für das zweite CNA-Architekturbeispiel beschriebene monotone neuronale Netzwerkstruktur enthält fünf Schichten. Described here for the second CNA Architectural example monotone neural network structure contains five layers. Die fünf Schichten enthalten die Eingabeschicht, die Schicht systematischer Abweichungen, die vorzeichenbehaftete Eingabeschicht, die verborgene Schicht und die Ausgabeschicht. The five layers include the input layer, the layer of systematic deviations, the signed input layer, the hidden layer and the output layer. Die Erfindung ist nicht auf irgendeine spezifische Anzahl von Schichten beschränkt. The invention is not limited to any specific number of layers. Um gutartige nicht-lineare Modelle zur Verwendung in modellbasierten Steuer- und Optimierungsschemata zu erzeugen, schließt die Erfindung irgendwelche solchen eingeschränkten neuronalen Architekturen, die einen nicht-linearen Einschränkungsoptimierungsalgorithmus verwenden, ein. To generate benign non-linear models for use in model based control and optimization schemes, the invention includes any such impaired neuronal architectures that use a non-linear constraint optimization algorithm a.
  • [0100] [0100]
    Die Nichtstandardschicht ist die vorzeichenbehaftete Eingabeschicht, die zur Darstellung der Richtung der Nicht-Linearität verwendet wird. The non-standard layer is the signed input layer, which is used to represent the direction of the non-linearity.
  • Schichtschema für das zweite Beispiel der CNA-Architektur Layering scheme for the second example, the CNA architecture
  • Verbindungsschema für das zweite Beispiel der CNA-Architektur Connection scheme for the second CNA architecture example of the
  • [0101] [0101]
    Die folgende Tabelle zeigt das Verbindungsschema zwischen den Schichten. The following table shows the connection scheme between layers. Eine vollständige Verbindung bedeutet, dass jedes PE in der Quellschicht mit jedem PE in der Zielschicht verbunden ist. A complete connection means that each PE is connected in the source layer with each PE in the target layer. Eine entsprechende Verbindung bedeutet, dass die Quell- und die Zielschicht die gleiche Anzahl PEs besitzen und dass jedes PE in der Quellschicht mit dem entsprechenden PE in der Zielschicht verbunden ist. A corresponding connection implies that the source and target layer have the same number of PEs and each PE in the source layer is connected to the corresponding PE in the destination layer.
  • Spezifikation der Monotonie für das zweite Beispiel der CNA-Architektur Specification of monotony for the second example, the CNA architecture
  • [0102] [0102]
    In dem als "Komplementaritätspaarbildung" bezeichneten Zugang kann der Modellentwickler zunächst die Monotonie jeder Eingabevariablen als eine der folgenden spezifizieren: In the access called "Komplementaritätspaarbildung" the model designer may initially specify the monotonicity of each input variable as one of the following:
    • – monoton positiv - Monotone positive
    • – monoton negativ - Monotonic negative
    • – unbekannte Monotonie - Unknown monotony
    • – nicht monoton. - Not monotonic.
  • [0103] [0103]
    Die Menge der Indizes, die diesen vier Optionen entsprechen, wird jeweils als I + , I , I ? und I nicht bezeichnet. The set of indices corresponding to these four options, in each case as I +, I -, I, and I is not called?. Die Monotonie wird dadurch erreicht, dass den Gewichten der Datenwege zwischen der vorzeichenbehafteten Eingabeschicht (Schicht The monotonicity is achieved in that the weights of the data paths between the signed input layer (layer 3 3 ) und der Ausgabe-PE-Schicht (Schicht ) And the output PE layer (layer 5 5 ) zeitliche Abhängigkeiten auferlegt werden. ) Temporal constraints are imposed. Diese Datenwege sind indirekt über die verborgene Schicht (Schicht These data paths are indirectly via the hidden layer (layer 4 4 ). ). Die zeitlichen Abhängigkeiten werden unter Verwendung der in dem Abschnitt "Schreibweise" beschriebenen Indexschreibweise wie folgt spezifiziert: The temporal dependencies are specified using the index notation described in the "spelling" as follows: C ji ≡ w lj (5,4) w ji (4,3) < 0, i ∊ I + ⋃ I ⋃ I ? (12) C ≡ w ji lj (5.4) w ji (4,3) <0, ε i I + ⋃ I - I ⋃ (12)?
  • [0104] [0104]
    Da die Transferfunktionen in jeder Schicht monoton positiv sind, stellt jeder Weg zwischen der vorzeichenbehafteten Eingabeschicht und dem Ausgabe-PE eine monoton positive Berechnung dar. Es ist die Aufgabe der Gewichte zwischen der Eingabeschicht und der vorzeichenbehafteten Eingabeschicht, die Richtung der Monotonie zu liefern. Since the transfer functions are monotonic positive in each layer, each way between the signed input layer and the output-PE is a monotonically positive calculation. It is the task of the weights between the input layer and the signed input layer to provide the direction of the monotony.
  • Einschränkung der Richtung der Monotonie für das zweite Beispiel der CNA-Architektur Restricting the direction of monotonicity for the second example, the CNA architecture
  • [0105] [0105]
    Falls die Richtung der Monotonie durch den Anwender im Voraus spezifiziert wird, ist das Gewicht zwischen der Eingabe und der vorzeichenbehafteten Eingabe darauf eingeschränkt, dass es dieses Vorzeichen trägt. If the direction of the monotonicity is specified in advance by the user, the weight between the input and signed input is constrained to the fact that it transmits this sign. Ansonsten wird diesem Gewicht keine zeitliche Abhängigkeit auferlegt. Otherwise, this weight is imposed no time dependence. Mathematisch: Mathematics: w ii (3,1) > 0 ∊ i + w ii (3,1) < 0 ∊ i (13) w ii (3,1)> 0, ε i + w ii (3,1) <0 ε i - (13)
  • Zielfunktion für das zweite Beispiel der CNA-Architektur Objective function for the second example, the CNA architecture
  • [0106] [0106]
    Unter Verwendung der Schreibweise in Abschnitt Using the notation in Section 0 0 ist: is: wobei β (p,q) ein Abstimmparameter ist. where β (p, q) is a tuning parameter. Bei dieser Implementierung sind sämtliche β (p,q) mit Ausnahme von β (3,1) , das auf 0 gesetzt wird, so dass die Monotoniebestimmung nicht behindert wird, als ein einziger Regularisierungs-Abstimmparameter mit einem kleinen Standardwert vom Anwender einstellbar. In this implementation, all the β (p, q) with the exception of β (3,1), which is set to 0 so that monotonicity determination is not hindered, as a single regularization adjustable tuning parameters with a small default value by the user.
  • Eingeschränkte Ableitungen für die zweite CNA-Architektur Limited derivations for the second CNA Architecture
  • [0107] [0107]
    Die eingeschränkten Ableitungen besitzen eine dünn besiedelte Struktur: Jede zeitliche Abhängigkeit hat lediglich 2 von null verschiedene Ableitungen, was insgesamt 2 × H × NM von null verschiedene eingeschränkte Ableitungen ergibt, wobei H die Anzahl verborgener PEs und NM die Anzahl der monotonen Eingabevariablen ist: The restricted derivations have a sparse structure: Each time dependence has only 2 nonzero derivations, for a total of 2 × H × NM nonzero limited discharges, where H is the number of hidden PEs and NM is the number of monotone input variables:
  • [0108] [0108]
    Nun kann irgendein eingeschränkter nicht-lineare Optimierer Now, some limited non-linear optimizer 38 38 zum Erzeugen der Modelllösung verwendet werden. be used to generate the model solution. Dies schließt die Diskussion der zweiten CNA-Architektur ab. This completes the discussion of the second CNA architecture.
  • Zeitliche Abhängigkeiten, die auf einer beschränkten Ableitung basieren Temporal dependencies based on a bounded derivative
  • [0109] [0109]
    In einer bevorzugten Ausführungsform der Erfindung können zeitliche Abhängigkeiten, die auf einer asymmetrischen beschränkten Ableitung basieren, berechnet werden. In a preferred embodiment of the invention may temporal dependencies based on an asymmetric bounded derivative can be calculated. Mit Bezug auf das in With respect to the in 3 3 gezeigte Beispiel eines nicht-linearen Netzwerks example shown a non-linear network 50 50 ist die allgemeine Gleichung, die ein Beispiel des Eingabe/Ausgabe-Zusammenhangs in The general equation which in an example of the input / output relationship 3 3 beschreibt: Gleichung (16) describes: Equation (16)
  • [0110] [0110]
    Wegen der Schreibweise wird auf den hier zuvor gegebenen Abschnitt "Schreibweise" verwiesen. Because of the notation we refer to the description given here the "spelling".
  • [0111] [0111]
    In diesem Beispiel ist der Logarithmus des hyperbolischen Kosinus als die nicht-lineare Transferfunktion (Aktivierungsfunktion) gewählt worden, die eine beschränkte Ableitungstrajektorie liefert (die Ableitung der Funktion log(cosh()) ist der beschränkte hyperbolische Tangens). In this example, the logarithm of the hyperbolic cosine has been chosen as the non-linear transfer function (activation function) which provides a limited Ableitungstrajektorie (the derivative of the function log (cosh ()) is the limited hyperbolic tangent).
  • [0112] [0112]
    Die Ableitung von Gleichung 16 kann wie folgt berechnet werden: Gleichung (17) The derivation of equation 16 can be calculated as follows: Equation (17)
  • [0113] [0113]
    Die theoretischen Schranken an die obige Funktion (Gleichung 17) können wie folgt berechnet werden: Gleichungen (18) und (19) The theoretical bounds on the above function (equation 17) can be calculated as follows: Equations (18) and (19)
  • [0114] [0114]
    Wegen der Sättigung der hyperbolischen Tangensfunktion zwischen den obigen Grenzwerten ist sichergestellt, dass die Ableitung von Gleichung (16) global innerhalb der durch die Gleichungen (18) und (19) beschriebenen Schranken liegt. Because of the saturation of the hyperbolic tangent function between the above limits ensures that the derivative of equation (16) within the described by the equations (18) and (19) is globally barriers.
  • [0115] [0115]
    Welche Schranke die obere und welche die untere ist, hängt vom Vorzeichen von w kk (2, 0) ab. Which bound the upper and which is the lower depends on the sign of w kk (2, 0).
  • [0116] [0116]
    Während des Trainings des Modells During the training of the model 44 44 können die obigen Schranken in jeder Optimierungsiteration berechnet werden. , the above bounds are calculated in each optimization iteration. Die Ableitungen der obigen Schranken in Bezug auf jeden Koeffizienten in dem Modell The derivatives of the above bounds with respect to each coefficient in the model 44 44 können berechnet werden und anhand der obigen Schranken, die innerhalb spezifischer Grenzwerte liegen, dem Modell can be calculated from the above bounds lying within specified limits, the model 44 44 zeitliche Abhängigkeiten auferlegt werden (wobei z. B. eine untere Schranke von null und eine obere Schranke von 1·10 20 sicherstellt, dass der Eingabe/Ausgabe-Zusammenhang für diese Eingabe global positiv monoton ist). temporal constraints are imposed on you (with z. B. a lower bound of zero and an upper limit of 1 × 10 20 ensures that the input / output relation for this input is globally positive monotonic). Eine untere Schranke etwas größer als null stellt die allgemeine Extrapolationsfähigkeit sicher. A lower bound slightly greater than zero ensures the general extrapolability.
  • [0117] [0117]
    Falls die Eingaben in das in Gleichung (16) beschriebene Modell If the model described in the entries in equation (16) 44 44 Zustandsvektoren, z. B. von einem Zustandsraummodell, sind, können die Gesamtzuwächse des stationären Zustands zwischen den tatsächlichen Modelleingaben und den Ausgaben dadurch beschränkt werden, dass der Beitrag des stationären Zustands jeder Zustandsvariablen zu der Ausgabe (für diese besondere Eingabe) als eine lineare Menge von Gewichtsfaktoren in die Gleichungen (18) und (19) aufgenommen wird. State vectors z. B. by a state space model are that overall increases steady state between the actual model inputs and outputs can be limited by the fact that the contribution of the steady state, each state variable to the output (for this particular input) as a linear amount of weighting factors in equations (18) and (19) is received. Beispiele solcher Zustandsraummodelle werden vom Anmelder Aspen Technology, Inc., aus Cambridge, Massachusetts, geliefert und sind in der gemeinsam übertragenen US-Patentanmeldung, lfd. Nr. 09/160.128, eingereicht am 24. September 1998, mit dem Titel "Non-linear Dynamic Predictive Device" , und in dem gemeinsam übertragenen US-Patent Nr. 5.477.444, erteilt am 19. Dezember 1995, mit dem Titel "Control System Using an Adaptive Neural Network for a Target and Path Optimization for a Mulitvariate, Nonlinear Process", beschrieben, die hier beide durch Literaturhinweis eingefügt sind. Examples of such state-space models are supplied by the applicant Aspen Technology, Inc., of Cambridge, Massachusetts, delivered and are described in commonly assigned US patent application Ser. No. 09 / 160,128, filed September 24, 1998, entitled "Non-linear Dynamic Predictive Device ", and in commonly assigned US Pat. No. 5,477,444, issued on 19 December 1995, entitled" Control System Using the Adaptive Neural Network for a Target and Path Optimization for a Mulitvariate, Nonlinear Process " described, which are both incorporated by reference herein.
  • Funktion des beschränkten Optimierers Function of the limited optimizer
  • [0118] [0118]
    Dieser Abschnitt beschreibt, wie der Optimierer This section describes how the optimizer 38 38 beim Erzeugen des optimierten Modells in producing the optimized model 44 44 aus dem nicht-linearen Netzwerk-Modell from the non-linear network model 42 42 funktioniert. works.
  • [0119] [0119]
    Der Optimierer The optimizer 38 38 erfordert eine Zielfunktion. requires an objective function. In diesem Fall ist die Zielfunktion typisch das Quadrat des Modellfehlers E = (y – y Ziel ) 2 . In this case, the objective function is typically the square of the model error E = (y - y target) second Um diese Zielfunktion zu minimieren, erfordert der Optimierer In order to minimize this objective function, the optimizer requires 38 38 Informationen darüber, wie jeder Koeffizient des nichtlinearen Netzwerk-Modells Information on how each coefficient of the nonlinear network model 42 42 den Modellfehler beeinflusst (dh the model error affected (ie, . , Um diese Zusammenhänge für die Modellarchitektur eines Schichtennetzwerks analytisch abzuleiten, kann die Theorie der Rückwärtsfortpflanzung verwendet werden. To derive these relationships for the model architecture of a network layers analytically, the theory of reverse reproduction may be used. Diese Daten werden als die 'Jacobi-Determinante' des nicht-linearen Netzwerk-Modells These data are referred to as the 'Jacobian' of the non-linear network model 42 42 bezeichnet. referred to. Die Rückwärtsfortpflanzungstheorie kann erweitert werden, so dass sie Informationen über zweite Ableitungen (dh über die Hessesche Matrix) enthält. The backward propagation theory can be extended so that it contains information on second derivatives (ie, on the Hessian matrix). Mit diesen Informationen ausgerüstet kann der Optimierer Armed with this information, the optimizer 38 38 seine Suche zur Minimierung des Modellfehlers beginnen. his search for minimizing the modeling error to begin. In einer bevorzugten Ausführungsform werden dieser Optimierung bestimmte zeitliche Abhängigkeiten auferlegt. In a preferred embodiment of this optimization be imposed certain time dependencies. Ein einfacher Fall sind die zeitlichen Abhängigkeiten der Gewichtspaarbildung für das hier beschriebene nichtlineare 5-Schichten-Netzwerk. A simple case, the temporal dependencies of the weight pairing for the nonlinear 5-layer network described here.
  • [0120] [0120]
    Eine zeitliche Abhängigkeit kann wie folgt formuliert werden: A time dependence can be formulated as follows: c 1 = –w 1 w 2 (20) c = 1 -w 1 w 2 (20)
  • [0121] [0121]
    Wo es der Zweck der zeitlichen Abhängigkeit ist, muss c 1 immer negativ sein. Where it is the purpose of the temporal dependence, must always be negative 1 c. Somit haben dann w 1 und w 2 das gleiche Vorzeichen (wobei w 1 und w 2 zwei Gewichte sind, die eingeschränkt werden sollen). Thus then have w 1 and w 2 have the same sign (where w 1 and w 2 are two weights are to be limited).
  • [0122] [0122]
    Allerdings berechnet der Optimierer However, the optimizer calculates 38 38 die obige zeitliche Abhängigkeit ununterbrochen. the above time dependence continuously. Falls der Wert von c 1 (oder irgendeiner der anderen zeitlichen Abhängigkeiten) während der Optimierung null erreicht oder positiv wird, wird der Optimierer If the value of c 1 (or any of the other time dependencies) during the optimization reaches zero or goes positive, then the optimizer is 38 38 umgestellt, so dass er nicht mehr die Zielfunktion E zu minimieren versucht, sondern sich darauf konzentriert, die Berechnung der zeitlichen Abhängigkeit wieder kleiner als null zu machen. changed so that it no longer tries to minimize the objective function E, but instead will focus on making the calculation of the time dependence again less than zero. Hierzu muss der Optimierer This requires the optimizer 38 38 die Ableitungen der zeitlichen Abhängigkeit nach jedem der Koeffizienten in der zeitlichen Abhängigkeit kennen. know the derivatives of the time dependence after each of the coefficients in the temporal dependence. Somit ist: Thus:
  • [0123] [0123]
    Ausgerüstet mit diesen Informationen versucht der Optimierer Armed with this information, the optimizer tries 38 38 , die Verletzung der zeitlichen Abhängigkeit zu beseitigen. To eliminate the violation of timing constraints. Wenn keine weitere Verringerung des Ziels erreicht werden kann, wird die Optimierung abgeschlossen. If there is no further reduction in the objective can be achieved, the optimization is completed.
  • [0124] [0124]
    Die zeitliche Abhängigkeit der Paarbildung (dh Komplementaritätspaarbildung) ist lediglich ein Beispiel dafür, wie Schichtenmodellarchitekturen zu beschränken sind, um einen spezifischen Typ des globalen Verhaltens (in diesem Fall die Monotonie) sicherzustellen. The time dependence of the pairing (ie Komplementaritätspaarbildung) is just one example of how layers model architectures are limited to order (in this case the monotony) ensure a specific type of global behavior. Der Zugang der Erfindung kann verwendet werden, um diese Modelle allgemein zu beschränken, um ein spezifisches globales Modellverhalten (nicht notwendig die Monotonie) zu erhalten. The approach of the invention can be used to constrain these models generally in order (not necessarily monotonicity) to obtain a specific global model behavior. Beispielsweise hat die Integralarchitektur des nicht-linearen Netzwerks (oder des Netzwerks mit beschränkten Ableitungen) spezifische Schranken an die Modellableitung, die durch den Optimierer For example, the integral architecture of the nonlinear network (or network with bounded derivatives) barriers specific to the model derivation, which by the optimizer 38 38 berechnet werden können. can be calculated. Da sie berechnet werden können, können sie als eine spezifische Anwendung der vorliegenden Erfindung eingeschränkt werden. Since they can be calculated, they can be constrained as a specific application of the present invention.
  • Alternative Optimierungsstrategien Alternative optimization strategies
  • [0125] [0125]
    Die bisher beschriebenen Zugänge sind Beispiele der vielen Arten, wie die neuronalen Netzwerke beschränkt werden können, um die Hauptmerkmale des eingeschränkten nicht-linearen Approximators der vorliegenden Erfindung sicherzustellen. The additions described so far are examples of the many ways in which neural networks can be limited to ensure the main features of the restricted non-linear approximator of the present invention. Alternative Strategien können die Optimierung ohne analytische Ableitungen (z. B. die Approximation mit endlichen Differenzen), Straffunktionen für nicht monotone Lösungen (z. B. Verletzungen der Komplementarität von Eingabegewicht zu verborgenem Gewicht/verborgenem Gewicht zu Ausgabegewicht) und die eingeschränkte Optimierung der ABD-Aktivierungsfunktionen, bei der die zeitlichen Abhängigkeiten die minimale und/oder maximale Ableitung jeder Aktivierungsfunktion und irgendeine Linearkombination davon sind, enthalten (sind darauf aber nicht beschränkt). Alternative strategies can optimize without analytical derivations (eg. As the approximation of finite differences), penalty functions for non-monotonic solutions (eg. As violations of the complementarity of input weight for concealed w / hidden weight to output weight) and the limited optimization of the ABD -Aktivierungsfunktionen, in which the temporal dependencies are the minimum and / or maximum derivative of each activation function and any linear combination thereof, (are but not limited to).
Classifications
International ClassificationG05B13/02, G06N3/00, G05B17/02, G05B13/04
Cooperative ClassificationG05B17/02, G05B13/027
European ClassificationG05B17/02, G05B13/02C1