[發明專利]基于深度強化學習的制造網絡維修-檢測聯合優化方法

在審

• 申請號: 202310333773.0
• 申請日: 2023-03-30
• 公開（公告）號: CN116384969A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 葉正梗;蔡志強;司書賓;王鑫;柯勇偉;李丁林;周福禮
• 申請（專利權）人: 鄭州大學
• 主分類號: G06Q10/20
• 分類號: G06Q10/20;G06Q10/0639;G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 鄭州優盾知識產權代理有限公司 41125
• 代理人: 張彬

1.一種基于深度強化學習的制造網絡維修-檢測聯合優化方法，其特征在于，其步驟如下：

步驟一：對于機器層面，在考慮機器故障停機導致的動態生產速度的情況下，構建了考慮進料質量影響的機器可靠性模型和考慮機器可靠性影響的加工質量模型；

步驟二：基于可靠性模型和質量模型對制造網絡狀態和性能進行系統評估；并搭建制造網絡維修和質量檢測聯合優化模型；

步驟三：在系統層面，以制造網絡的經濟運行作為策略評價的標準，通過設計的一種深度確定性策略梯度算法學習給定制造網絡狀態下質量檢測與維修的最優策略。

2.根據權利要求1所述的基于深度強化學習的制造網絡維修-檢測聯合優化方法，其特征在于，在機器層面，可靠性模型和質量模型的構建方法為：

計算動態生產速度：

將每個機器看作一個節點，利用有向無循環圖G(V,E)對n個節點的無循環制造網絡進行建模，其中V＝{v₁,v₂,…,v_n}為制造網絡的節點集合，為制造網絡中有向邊的集合；i、j均為節點；

當制造網絡中沒有機器故障停機時，將機器的生產速度定義為最大生產速度，表示為P_rm＝[P_rm1,P_rm2,…,P_rmn]；制造網絡中機器的實際生產速度記為P_ra(t)＝[P_ra1(t),P_ra2(t),…,P_ran(t)]，且滿足P_ra≤P_rm；其中，P_rmn表示第n臺機器的最大生產速度，P_ran(t)表示第n臺機器的實際生產速度；

當節點i的生產速度改變ΔP_rai(t)時，其緊鄰上游節點的生產速度的變化量ΔP_rak(t)和緊鄰下游節點的生產速度的變化量ΔP_raj(t)分別表示為：

其中，表示與節點i相連的緊鄰上游節點集合，表示與節點i相連的緊鄰下游節點集合；表示流入節點i的所有在制品中來自上游節點k的概率，表示節點i流出的在制品中流入到下游節點j的概率；

計算動態維修費用：

當考慮生產速度的動態性時，將加工合格進料時的故障率定義為基礎故障率r_b(t)：

r_b(t)＝(β/α)·(t_r/α)^β-1；

其中，α是尺度參數，β是形狀參數；是以最大生產速度為標準計算的機器的相對運行時間；t為機器運行的實際時間；

考慮到不合格進料可能造成的沖擊，實際故障率r(t)定義為：

其中，Δr_i′為機器不合格進料導致的累積失效率增量，N(t)是機器在[0,t)時間內加工的不合格在制品數量；通過推導得到機器失效的概率分布函數F(t)為：

F(t)＝1-exp(-(t_r/α)^β-∫Δr(t)dt)；

其中，為直到t時刻機器加工不合格進料導致的累積失效率增量；Δr(t)的積分的計算公式為：

其中，t_i′為第i′個失效率增量的實際發生時刻；

假設機器的糾正性維修和預防性維修的維修時間分別服從以下正態分布：和且μ_cm≥μ_pm，糾正性維修和預防性維修的單位時間維修費用分別為c_cm和c_pm，那么在[0,t)時間內機器的總維修費用c_m(t)可表示為：

其中，N_cm(t)為機器在[0,t)時間內的糾正性維修的次數，N_pm(t)為機器在[0,t)時間內的預防性維修的次數，t_{cm_i1}為機器第i1次糾正性維修花費的時間，t_{pm_j1}為機器第j1次預防性維修花費的時間；

構建動態加工質量與檢測活動模型：

將M(t)定義為[0,t)時間內產生的不合格品數量，M(t)滿足強度函數λ(t)的非齊次泊松過程：

λ(t)＝ω-ε·e^-δ·r(t)；

其中，ω0表示最大不合格品產生強度，ε0和δ0均為失效率對強度函數的影響系數，且ω-ελ(t)ωP_ra(t)；定義n_d為機器在[t,t+Δt)時間內產生的不合格品數量，其概率為：

其中，為[0,t)時間段內的不合格產品產出的期望值，Δt為質量統計周期；定義n_q為機器在[t,t+Δt)時間段內加工的合格產品的總數，表示為：

在檢測活動中，對不合格品與合格品的錯誤判斷為：第I類錯誤，表示錯誤拒絕，概率為p_I；第II類錯誤，表示錯誤接受，概率為p_II；假設檢測活動中的抽樣比例為s_a，s_a∈[0,1]，則任意合格在制品發生I類錯誤的聯合概率為s_a·p_I，任意不合格在制品發生II類錯誤的聯合概率為s_a·p_II；定義第I類錯誤和第II類錯誤的次數分別為n_fr和n_fa，且分別服從二項分布B(n_q,s_a·p_I)和B(n_d,s_a·p_II)；因此，流出機器的不合格在制品數M'(t)是非齊次泊松過程M(t)和二項分布B(n_d,s_a·p_II)的復合，則n_fa個不合格在制品在[t,t+Δt)時間段內流出機器的概率為：

其中，m′(t)是[0,t]時間段內流出機器的平均不合格在制品數量；此外，在[t,t+Δt)時間段內合格在制品被拒絕的概率為：

其中，D(t)是累積到時間t時被拒絕的合格在制品，表示從n_q個不合格品中隨機抽取n_fr個樣本的可能組合數量；

機器在[t,t+Δt)時間段內加工出的產品被正確判定為不合格品的數量n_cr與被正確判定為合格品的數量n_ca分別表示為：

在此基礎上，可以獲得機器在[t,t+Δt)時間內通過檢測活動判別出的不合格產品比例為：

假設機器檢測單個產品的檢測費用為c_ins，則機器在[t,t+Δt)時間內的檢測總費用：

假設單個在制品從制造網絡輸入節點到當前加工節點i的加工過程帶來的累計價值增量為v_si，則節點i對應的機器加工單件在制品帶來的平均工序價值增量v_ai可定義為：

其中，v_sk表示節點i的上游節點k的累計價值增量；

將檢測過程發生II類錯誤的不合格在制品造成的價值損失定義為因此，機器i在[0,t)時間內加工的所有在制品帶來的凈價值增量v_{net_i}為所有正確接受的在制品的價值增量、錯誤接受的在制品的價值損失與所有被拒絕的在制品的價值損失三個部分之和：

其中，n_{ca_i}表示節點i對應的機器正確接受的在制品數量，n_{fa_i}表示節點i對應的機器錯誤接受的在制品數量，n_{cr_i}表示節點i對應的機器正確拒絕的在制品數量，n_{fr_i}分別表示節點i對應的機器錯誤拒絕的在制品數量。