[發(fā)明專利]一種基于深度強化學習的校直行程預測方法

在審

• 申請?zhí)枺?/td>: 202211266288.8
• 申請日: 2022-10-17
• 公開（公告）號: CN115495993A
• 公開（公告）日: 2022-12-20
• 發(fā)明（設計）人: 董輝;胡越;普晨旭;周祥清;吳祥;郭方洪
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06F111/04;G06F119/14
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

1.一種基于深度強化學習的校直行程預測方法，其特征在于：所述基于深度強化學習的校直行程預測方法包括如下步驟：

S1、建立校直行程預測模型并初始化，所述校直行程預測模型包括環(huán)境模型和DDPG網(wǎng)絡模型，其中：

所述環(huán)境模型的動作空間和狀態(tài)空間構建如下：

所述動作空間表示為a＝{a_t}，所述狀態(tài)空間表示為S＝{δ,d,l₁,l₂,E,I,Rel}，其中，a_t表示進行校直，δ為最大彎曲點的彎曲度，d為工件的直徑，l₁為最大彎曲點與其一相鄰檢測點的間距，l₂為最大彎曲點與另一相鄰檢測點的間距，E為工件的彈性模量，I為工件的慣性模量，Rel為工件的屈服強度；

所述DDPG網(wǎng)絡模型的目標函數(shù)和懲罰項滿足如下公式：

1)所述目標函數(shù)δ_∑：

δ_∑＝δ+δ_w

式中，δ為最大彎曲點的彎曲度，δ_w為工件最大彎曲點的反彎撓度；

且滿足如下約束條件：

E_min≤E≤E_max

I_min≤I≤I_max

Rel_min≤Rel≤Rel_max

δ_w＝δ_f

δ_min≤δ_∑≤δ_max

式中，E_min、E_max依次對應為工件的彈性模量E的下限值和上限值，I_min、I_max依次對應為工件的慣性模量I的下限值和上限值，Rel_min、Rel_max依次對應為工件的屈服強度Rel的下限值和上限值，δ_w為工件的反彎撓度，δ_f為工件的弾復撓度，δ_min、δ_max依次對應為校直機壓頭行程的最小值和最大值；

2)所述懲罰項r：

r＝βδ_∑-η

式中，β、η為懲罰系數(shù)，且均為正值；

S2、獲取工件的狀態(tài)參數(shù)并輸入所述DDPG網(wǎng)絡模型，根據(jù)所述DDPG網(wǎng)絡模型選擇的動作a_t生成下一時刻的狀態(tài)參數(shù)S_t+1，所述狀態(tài)參數(shù)包括δ、d、l₁、l₂、E、I、Rel；

S3、分別判斷當前時刻的狀態(tài)參數(shù)S_t和下一時刻的狀態(tài)參數(shù)S_t+1是否均滿足約束條件，若是，則將當前時刻的目標函數(shù)δ_∑作為校直行程，并記獎懲值為1反饋給所述DDPG網(wǎng)絡模型，否則，計算懲罰項r作為獎懲值反饋給所述DDPG網(wǎng)絡模型；

S4、將當前時刻t的狀態(tài)參數(shù)S_t、動作a_t、獎懲值r_t和下一時刻的狀態(tài)參數(shù)S_t+1作為組合(S_t,a_t,r_t,S_t+1)存儲于記憶庫；

S5、從記憶庫隨機選取一個組合中的動作和狀態(tài)參數(shù)輸入所述DDPG網(wǎng)絡模型進行學習以更新神經(jīng)網(wǎng)絡參數(shù)，并更新下一時刻的狀態(tài)參數(shù)S_t+1作為工件的狀態(tài)參數(shù)，返回執(zhí)行步驟S2，直至當前回合數(shù)j的時間結(jié)束；

S6、判斷當前回合數(shù)j是否達到最大回合數(shù)j_max，若是，輸出最終DDPG網(wǎng)絡模型，否則，更新當前回合數(shù)j下最后一個時刻的狀態(tài)參數(shù)作為工件的狀態(tài)參數(shù)，置j＝j+1，返回執(zhí)行步驟S2；

S7、將待測工件的狀態(tài)參數(shù)輸入最終DDPG網(wǎng)絡模型，預測出待測工件的校直行程。