[發明專利]一種基于增強學習的串行生產系統生產維護聯合優化方法

有效

• 申請號: 202110264883.7
• 申請日: 2021-03-11
• 公開（公告）號: CN113112051B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 靳文瑞;易琦;周炳海
• 申請（專利權）人: 同濟大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/04;G06K9/62;G06F30/27
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

1.一種基于增強學習的串行生產系統生產維護聯合優化方法，其特征在于，包括以下步驟：

通過馬爾科夫鏈表示串行生產系統的系統狀態，確定串行生產系統的狀態轉移概率的計算方法，構建包括狀態空間、動作空間、轉移矩陣和成本函數的馬爾科夫模型；

采用貪心策略求解所述馬爾科夫模型，從所述動作空間中選取維護策略，構建回放記憶數據集；采用所述回放記憶數據集對預先建立的神經網絡進行迭代訓練，直至達到預設的迭代終止條件；

采用訓練后的所述神經網絡，獲取實際串行生產系統的生產維護策略；

所述系統狀態的表達式為：

s(t)＝[α₁(t),...,α_M+1(t),b₁(t),...,b_M(t)]

b_m(t)＝b_m(t-1)+TH_m(t)-TH_m+1(t)

式中，s(t)為系統狀態，t為時間，TH_m(t)為在時間t機器M_m的產量，M_m為生產系統的第m臺機器，α_M+1(t)為機器M_m的運行狀態變量，1表示在在時間t機器m處于加工工件狀態，反之為0，b_M(t)為在時間t緩沖區B_m的容量；

所述串行生產系統的系統狀態的轉移概率的計算過程包括：

計算所述串行生產系統中各機器的狀態轉移概率，從而計算所述系統狀態的轉移概率，所述串行生產系統中各機器的狀態轉移概率的計算表達式為：

式中，為時間t的機器狀態序列，為各臺機器在t時刻的維護決策c_m(t)的序列，p_m為第m臺機器的轉移概率；

所述系統狀態的轉移概率的計算表達式為：

式中，s(t)為系統在t時刻的狀態；

所述馬爾科夫模型的求解目標是找到最優維護策略π^*，最小化長期期望成本，即

當選擇策略π時，帶折扣因子的期望成本的表達式為：

式中，為每個時間單位的決策成本，s為系統狀態，E_π為選擇策略π時，帶折扣因子的期望成本，γ^t(0＜γ^t＜1)為表示折扣因子；

所述馬爾科夫模型的目標函數的表達式為：

式中，s′為下一個時刻的機器狀態，V(s′)為下一個狀態s′的值函數。

2.根據權利要求1所述的一種基于增強學習的串行生產系統生產維護聯合優化方法，其特征在于，所述TH_m(t)的計算表達式為：

式中，v_m(α_M(t))為機器M_m在狀態α_M(t)下的速度。

3.根據權利要求1所述的一種基于增強學習的串行生產系統生產維護聯合優化方法，其特征在于，所述決策成本的計算表達式為：

式中，g^b為單位庫存成本，g^-為單位缺貨成本，x^-(t)＝v_M+1(α_M+1(t))-TH_M+1，g^m(t)表示維護成本，即

4.根據權利要求1所述的一種基于增強學習的串行生產系統生產維護聯合優化方法，其特征在于，所述回放記憶數據集的構建過程包括：

有ε的概率從動作空間隨機選取有1-ε的概率根據第一算式選取所述第一算式的表達式為：

構建經驗存進回放記憶數據集D_t＝(e₁,....,e_t)中，為系統在狀態s+1時的最優價值函數，為神經網絡中函數逼近權重。