[發明專利]基于強化學習的關節模組不等式約束最優魯棒控制方法

有效

• 申請號: 202110990167.7
• 申請日: 2021-08-26
• 公開（公告）號: CN113703319B
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 甄圣超;王君;劉曉黎
• 申請（專利權）人: 合肥工業大學
• 主分類號: G05B13/04
• 分類號: G05B13/04;G06N3/092;G06N3/048;G06N3/082;G06N3/06;G06N3/006
• 代理公司: 合肥金安專利事務所(普通合伙企業) 34114
• 代理人: 吳娜

1.一種基于強化學習的關節模組不等式約束最優魯棒控制方法，其特征在于：該方法包括下列順序的步驟：

(1)首先在仿真平臺上搭建具備神經網絡訓練能力的關節模組虛擬仿真環境，構建具備Dropout隨機失活神經元方法的強化學習神經網絡模型；

(2)初始化關節模組虛擬仿真環境；

(3)采用改進的粒子群優化算法調整強化學習神經網絡模型中多層神經元之間的連接權值,實現面向關節模組軌跡跟蹤控制的強化學習神經網絡的自適應學習；

(4)隨機失活強化學習神經網絡模型的一部分神經元，將預先設定的干擾參數輸入到每個關節模組虛擬仿真環境中，控制強化學習神經網絡結合每個關節模組虛擬仿真環境，輸出關節模組的控制參數信息；

(5)判斷關節模組虛擬仿真環境訓練終止條件，收集當前關節模組虛擬仿真環境下的訓練數據集；

(6)將強化學習神經網絡訓練得到的最優參數輸入到不等式約束最優魯棒控制器內，首先通過模糊方法來消除電機的非線性和不確定性，再通過不等式約束將電機運行軌跡限制在一個指定的范圍內并顯著提高其控制精度。

2.根據權利要求1所述的基于強化學習的關節模組不等式約束最優魯棒控制方法，其特征在于：在步驟(1)中，所述強化學習神經網絡為全連接網絡，包括兩個隱含層和一個池化層，每層包含256個節點，激活函數選擇Relu函數，且通過Dropout隨機失活神經元方法來防止過擬合現象。

3.根據權利要求1所述的基于強化學習的關節模組不等式約束最優魯棒控制方法，其特征在于：所述步驟(2)初始化關節模組虛擬仿真環境包括初始化關節模組所在的仿真環境、初始化電機初始位置和負載重量以及擾動項。

4.根據權利要求1所述的基于強化學習的關節模組不等式約束最優魯棒控制方法，其特征在于：所述步驟(3)包括以下步驟：

(3a)將多層神經元之間的連接權值的選取問題轉化為最優化問題,最優化問題的目標函數即輸出向量與期望信號向量的范數,如式(1)所示,期望信號即關節模組目標運行位置坐標,輸出向量即關節模組的實際運行位置：

式(1)中，Error為最優化問題的目標函數,xd(k)、yd(k)分別為關節模組第k步的期望速度及期望加速度值，y_x(k)、y_y(k)為第k步的實際速度及實際加速度值；

(3b)確定每個連接權值的取值范圍，即確定尋優范圍；

(3c)在尋優范圍內隨機初始化一群粒子,即粒子群,包括初始化粒子的初始位置與初始速度,用位置、速度和適應度這三個指標表示粒子特征,位置表示強化學習神經網絡模型中所有的連接權值取值,速度表示每個粒子演化的方向,適應度值由適應度函數求得,即每個粒子對應的目標函數；

粒子的速度依據粒子的當前位置、當前速度﹑粒子的歷史最佳位置Pbest與粒子群中最優粒子的位置Gbest更新,粒子的速度的更新公式如式(2)所示:

式(2)中，id為粒子群中粒子的編號，為第i代粒子的速度，為第i代粒子在第i代之前的歷史最佳位置,為第i代粒子群中最優粒子的位置；ω(i)為第i代粒子的慣性權重,其大小決定速度在多大程度上繼承上一代粒子的運動速度；c₁,c₂為加速度因子，取值為非負常數；r₁,r₂為0到1之間的隨機數；是第i代粒子的位置；初始化時ω的取值ω_start為0.9,迭代結束時ω_start的取值ω_end為0.01,在迭代過程中慣性權重ω加速衰減,初期優先尋優速度,后期著重尋優精度,慣性權重ω的更新公式如式(3)所示:

式(3)中,maxgen為最大迭代次數；得到更新后的粒子的位置后,更新該粒子的位置,粒子的位置的更新公式如式(4)所示:

若式(4)求取的對應的目標函數小于對應的適應度函數,則反之，同時,更新種群中最優粒子的位置,得到如此,進行多次迭代即得到近似最優解,使強化學習神經網絡模型控制誤差最小的近似最優權值。