[發明專利]一種基于強化學習的動力傳動系統模型參數辨識方法

在審

• 申請號: 202110002104.6
• 申請日: 2021-01-04
• 公開（公告）號: CN112632860A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 丁建完;陳立平;郭超;彭奇
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F30/25;G06N20/00;G06F111/08;G06F119/14
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智

本發明公開了一種基于強化學習的動力傳動系統模型參數辨識方法，屬于系統建模仿真領域。本發明針對動力傳動系統模型參數敏感度不一致，現有辨識算法收斂速度慢、搜索范圍要求較高的問題，構建用于動力傳動系統模型參數辨識的強化學習框架，具有防止局部最優、收斂速度快、搜索范圍大的優點；本發明采用分階段的辨識流程，粗調階段利用強化學習收斂速度快、搜索范圍大的特點，快速找到各參數的最優子區間，微調階段利用啟發式算法精度高、全局搜索能力強的特點，在最優子區間中確定最終辨識結果，與只使用單個算法相比，分階段的辨識效果更好。

技術領域

本發明屬于系統建模仿真領域，更具體地，涉及一種基于強化學習的動力傳動系統模型參數辨識方法。

背景技術

隨著多領域系統建模仿真技術的不斷發展，Modelica語言逐漸成為了多領域多學科系統仿真領域發展的行業標準，其目標是定義一種通用的用于復雜系統建模的編程語言。Modelica模型即為使用Modelica語言編寫的具有面向對象建模、多領域統一建模、非因果陳述式建模和連續離散混合建模能力的程序，可用于不同行業的工程師搭建自己的仿真模型系統，開展相應的動態仿真。對于Modelica模型而言，想要盡可能地與物理樣機保持一致，關鍵的一點就在于模型參數的設置，搭建模型的過程只是確定了模型的基本形式，想要獲得最優的仿真性能，必須設置精確的模型參數。

動力傳動系統是在控制器控制下從功率源以速度/角速度、力/力矩形式獲取能量并傳遞到系統下一個環節的裝置，主要包括電動機、減速器等部件，動力傳動過程中存在能量損失、速度改變等狀態。

現有的模型參數辨識方法有多種，目前最常用的即為最小二乘法，該方法是建模軟件中默認的參數優化方法。但是，最小二乘估計對數據的依賴性過高，辨識結果容易受噪聲影響，且對參數的初始化范圍要求比較苛刻。另外比較常用的辨識方法為進化算法，如粒子群算法(Particle Swarm Optimization，PSO)、遺傳算法(Genetic Algorithm，GA)等，這類方法逼近全局最優的能力較強，但收斂速度較慢，精度也有待提高。因此，急需一種收斂速度快、對參數初始范圍要求不高的辨識方法來對基于Modelica 的動力傳動系統模型進行參數辨識。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于強化學習的動力傳動系統模型參數辨識方法，其目的在于提出一種收斂速度快、對參數初始范圍要求不高的辨識方法來對基于Modelica的動力傳動系統模型進行參數辨識。

為實現上述目的，本發明提供了一種基于強化學習的動力傳動系統模型參數辨識方法，包括：

S1.構建基于多領域統一建模語言Modelica的動力傳動系統動力學模型；

S2.對模型待辨識參數進行靈敏度分析；

S3.基于強化學習算法對待辨識參數進行粗調：

構建用于Modelica動力傳動系統模型參數辨識的強化學習框架；

利用強化學習框架進行迭代訓練，得到每個待辨識參數的最優子區間；

S4.參數微調：

以實測數據與模型估計值的均方誤差為目標函數，在待辨識模型參數所形成的解空間中迭代尋優，以得到目標函數值最小時對應的各參數值，作為最終的辨識結果。

進一步地，步驟S2具體為，使用sobol方法對參數待定的動力傳動系統模型進行參數靈敏度分析，具體步驟如下：

01.在N個待辨識參數的可能取值區間范圍內分別進行蒙特卡洛采樣，生成初始樣本矩陣一A、初始樣本矩陣二B以及交叉樣本矩陣其中 i＝{1，2，…，N}；

02.將樣本矩陣A、B、作為輸入對動力傳動系統模型進行仿真求解，分別得到初始樣本矩陣A、初始樣本矩陣B以及交叉樣本矩陣的模型仿真結果向量f(A)、f(B)、