[發明專利]一種時變凸二次規劃求解器設計方法

有效

• 申請號: 201711114059.3
• 申請日: 2017-11-13
• 公開（公告）號: CN107784180B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 張智軍;孔令東
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F30/27
• 分類號: G06F30/27
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種時變凸二次規劃求解器設計方法，包括如下步驟：通過數學建模建立實際物理系統的時變二次規劃標準模型；根據拉格朗日乘數法，二次規劃標準型進行最優值求解，獲取關于最優解和拉格朗日乘數的偏導數信息；將上述偏導數信息轉化為標準時變矩陣形式；根據標準時變矩陣設計誤差函數方程；根據誤差函數方程和冪型變參遞歸神經動力學方法，利用單調遞增奇激活函數，設計實數域上的時變二次規劃問題冪型求解器；通過時變二次規劃問題冪型求解器所求得的網絡狀態解即為所求實際物理系統或數值求解時變二次規劃問題的最優解。本發明時變凸二次規劃求解器設計方法，具有全局收斂特性，且誤差能以超指數的速度收斂到零，極大提高計算速度。

技術領域

本發明專利屬于實數域時變二次規劃問題求解器的設計方法，特別是涉及一種基于冪型變參遞歸神經動力學方法。

背景技術

人工神經網絡(Artificial Neural Network，即ANN)是20世紀80年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經元網絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網絡。在工程與學術界也常直接簡稱為神經網絡或類神經網絡。神經網絡是一種運算模型，由大量的節點(或稱神經元)之間相互聯接構成。每個節點(Node)代表一種特定的輸出函數，稱為激勵函數(Activation Function)。每兩個節點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重(Weight)，這相當于人工神經網絡的記憶(Memory)。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也是對一種邏輯策略的表達。

二次規劃是非線性規劃中的一類特殊數學規劃問題，在很多方面都有應用，如投資組合、約束最小二乘問題的求解、序列二次規劃在非線性優化問題中應用等。在過去的幾十年里，二次規劃已經成為運籌學、經濟數學、管理科學、系統分析和組合優化科學的基本方法。而用新興的神經動力學方法求解時變二次規劃問題，已經成為時下研究的熱點問題之一。

在目前已知文獻中，最接近于解決二次規劃問題的方法是離散的數值方法(Discrete Numerical Methods)。但在面對龐大且復雜的數據時，數值方法由于其串行迭代特性，計算效率不足且不穩定。于是，一種基于梯度下降的神經網絡(GNN)模型被提出，并用于求解二次規劃問題。然而，這樣一種基于梯度下降的神經網絡并不能很好的解決二次規劃問題，因為實際情況往往與時間相關。這樣必然會導致實驗產生一些無法估計的剩余誤差，且這些誤差無法收斂到零。這就意味著，我們在處理二次規劃問題時，需要更快的收斂速度和更高的收斂精度。在這樣一個背景下，張神經網絡(ZNN)被提出并得到了很好的發展。這樣一種神經網絡模型能夠解決時變條件下的二次規劃問題。通過利用衍生出的時間系數，張神經網絡(ZNN)可以得到二次規劃問題的最優化解。如上梯度神經網絡和張神經網絡由于其設計參數均為恒定值，因此統稱為定參遞歸神經網絡。然而，在計算數據變得龐大時，我們往往需要更多的時間去計算結果。這對于實踐操作是不利的。

基于這樣一種復雜的背景，為了滿足我們期望的需求，一種與現存的定參數神經網絡模型不同的冪型變參遞歸神經網絡(Power-Type Varying-Parameter RecurrentNeural Network,即PT-VP-RNN)模型被提出，并得到了一定的發展。變參遞歸神經網絡(PT-VP-RNN)可以充分利用時變參數的導數信息，構造一種不同于梯度法神經網絡(GNN)顯式動力學方程的隱式動力學方程。該隱式動力學方程可以用于描述變參遞歸神經網絡求解實際時變數學問題的過程。根據神經動力學設計方法，該神經網絡構造一種不定無界的，矩陣/矢量取值的誤差函數。區別于傳統梯度法神經網絡(GNN)的范數式標量取值函數，當該誤差函數(Error Function)全局超指數收斂到零時，也即誤差函數中的每一個元素都全局超指數收斂到零，表示該神經網絡收斂于理想的結果曲線，所得神經網絡的解收斂于全局超指數最優理論解。