[發明專利]雙loss價值網絡深度強化學習KVFD模型力學參數全局優化方法及系統

有效

• 申請號: 202110368257.2
• 申請日: 2021-04-06
• 公開（公告）號: CN113077853B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 張紅梅;周衍;王凱;李文彬;張可浩;王炯;萬明習
• 申請（專利權）人: 西安交通大學
• 主分類號: G16C60/00
• 分類號: G16C60/00;G06F30/27;G06N3/045;G06N3/0442;G06N3/0464;G06N3/092;G06F111/14;G06F119/14
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 范巍

本發明公開了一種雙loss價值網絡深度強化學習KVFD模型力學參數全局優化方法及系統，所述方法包括以下步驟：S1，將預獲取的納米壓痕測量曲線輸入訓練好的預測值獲取網絡，獲得所述納米壓痕測量曲線的參數預測值；S2，將所述參數預測值作為深度強化學習算法的迭代初值進行迭代，獲得預獲取的納米壓痕測量曲線的全局參數解的逼近；所述全局參數解的逼近達到預設收斂條件時，將所述全局參數解的逼近作為KVFD模型的力學參數進行輸出。本發明的方法，在迭代中引入了參數預測值進行參數指導，能夠較好地逼近全局最優解。

技術領域

本發明屬于納米壓痕測量數據的力學參數技術領域，涉及KVFD模型多參數函數擬合以及全局參數逼近領域，特別涉及一種雙loss價值網絡深度強化學習KVFD模型力學參數全局優化方法及系統。

背景技術

目前，在通過納米壓痕測量數據獲取被測材料力學參數的過程中，對于簡單函數擬合，多采用最小二乘法，逐次迭代調整函數參數以降低擬合曲線與真實曲線之間的最小均方誤差。該方法對于簡單函數的擬合快捷有效，但對于復雜函數、多參數函數的擬合往往表現不佳。

對于KVFD模型復雜函數的多參數優化，采用常見的貪婪算法、梯度下降算法、模擬退火算法均不能獲得較好的全局最優解；其中，貪婪算法和梯度下降算法能夠尋找到給定初始參數附近的局部最優解，對于復雜函數多參數優化有一定的適用性，但是否找到全局參數與給定的初值有很大關系，很難逼近全局參數；模擬退火算法是采用一定的概率接受新的參數解，具有跳出局部最優陷阱的能力，在對于有許多局部最優解的優化問題中，顯現出更好的優化能力，有一定的概率能找到全局參數解附近的解，但是模擬退火算法概率性的特點也導致了它不能每次都逼近全局參數解，可靠性較差。

綜上所述，目前對于KVFD模型復雜函數多參數優化問題，難以有效逼近全局最優解。

發明內容

本發明的目的在于提供一種雙loss價值網絡深度強化學習KVFD模型力學參數全局優化方法及系統，以解決上述存在的一個或多個技術問題。本發明的方法，在迭代中引入了參數預測值進行參數指導，能夠較好地逼近全局最優解。

為達到上述目的，本發明采用以下技術方案：

本發明的一種雙loss價值網絡深度強化學習KVFD模型力學參數全局優化方法，包括以下步驟：

S1，將預獲取的納米壓痕測量曲線輸入訓練好的預測值獲取網絡，獲得所述納米壓痕測量曲線的參數預測值；其中，訓練好的預測值獲取網絡是基于LSTM隱層的循環神經網絡，所述循環神經網絡在訓練時使用的LOSS函數值由輸入網絡的曲線與曲線對應參數和網絡輸出的參數與參數對應曲線共同計算；

S2，將所述參數預測值作為深度強化學習算法的迭代初值進行迭代，獲得預獲取的納米壓痕測量曲線的全局參數解的逼近；其中，所述深度強化學習算法的獎勵值預測網絡通過當前迭代參數對應曲線與真實曲線的差值，給出當前參數向不同方向變化時的獎勵值，指導參數向全局參數逼近；

所述全局參數解的逼近達到預設收斂條件時，將所述全局參數解的逼近作為KVFD模型的力學參數進行輸出。

本發明的進一步改進在于，步驟S1中，所述預獲取的納米壓痕測量曲線包括時間序列、受力序列和壓痕深度序列。

本發明的進一步改進在于，步驟S1中，所述預測值獲取網絡包括：多個LSTM隱藏層和一個DNN網絡；

其中，所述多個LSTM隱藏層的每一層的單元數都固定一致，每個LSTM隱藏層之間采用點對點方式連接；第一個LSTM隱藏層輸入預獲取的納米壓痕測量曲線，最后一個LSTM隱藏層輸出值進入DNN網絡；

所述DNN網絡包括多個維數不同的全連接層和卷積層，用于將最后一個LSTM隱藏層輸出的值轉變為參數預測值輸出。

本發明的進一步改進在于，步驟S1中，LOSS函數值的計算表達式為，