[發明專利]基于深度強化學習的智能工廠生產作業調度方法及系統

在審

• 申請號: 202110741641.2
• 申請日: 2021-07-01
• 公開（公告）號: CN113487165A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 董晨;熊乾程;洪祺瑜;陳震亦
• 申請（專利權）人: 福州大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/04;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳鼎桂;蔡學俊

1.一種基于深度強化學習的智能工廠生產作業調度方法，其特征在于，包括以下步驟：

步驟S1:獲取每個任務各個工序在對應機器上的處理數據，并預處理后構成訓練集；

步驟S2:構建深度強化學習DQN模型，所述深度強化學習DQN模型包括DQN深度學習網絡結構和DQN強化學習模塊；

步驟S3:訓練深度強化學習DQN模型，得到訓練后的深度強化學習DQN模型；

步驟S4:將待生產任務調度數據進行預處理后輸入訓練后的深度強化學習DQN模型，得到生產任務工序的調度安排。

2.根據權利要求1所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述預處理具體為:將生產任務調度數據轉換成三維矩陣，包括處理時間矩陣、完成時間矩陣和任務執行矩陣。

3.根據權利要求2所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述任務執行矩陣是一個布爾矩陣，初始化為全0，用于反應當前工序在是否執行，若執行，則矩陣對應位置置為1，反正則為0，所述三維矩陣大小為3×N×O其中N代表生產任務數量，O表示生產任務工序數量，對于生產工序小于O的任務，超出工序的部分處理時間設為0。

4.根據權利要求1所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述DQN深度學習網絡的卷積層采用大小不同的若干個卷積核進行，用于提取輸入狀態的特征；所述卷積核采用方形卷積核，卷積計算公式表示如下：

y＝g(w·x+b)

其中w表示代表卷積核的權重向量，x表示當前卷積位置的矩陣向量，b屬于偏置，g是激活函數。

5.根據權利要求1所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述DQN強化學習模塊包括動作決策單元、回報設定單元和算法更新單元。

6.根據權利要求5所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述動作決策單元在深度學習網絡得到所有可能輸出調度動作對應的價值估計Q后，采用ε-greedy策略進行動作選擇，用ε表示探索概率，生成一個0到1的隨機數，當該隨機數小于ε時隨機選擇任意一合法動作，反之選擇具有最大Q值的調度動作，探索率ε隨著神經網絡訓練次數的增加而逐漸減低，直至0.05時保持不變持續到訓練結束。

7.根據權利要求5所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述回報設定單元，具體如下：

生產作業調度目的是最大化機器的平均利用率的同時最小化最大完成時間，機器平均利用率具體公式表示如下：

其中M、N、O分別表示生產線、生產任務、生產任務工序的數量，m、n、o表示生產線、生產任務以及工序對應的序號，P_nom表示任務n的第o道工序在機器m上的執行時間；P表示所有工序的處理總時間，Makespan表示所有工序的最晚結束時間，即最大完成時間；

由上式可知，因為P、M值為常數，目標最小化最大完成時間等同于最大化機器平均利用率，將回報設定為動作選擇前后利用率的差值，具體公式表示如下：

其中表示當前狀態的機器平均利用率，表示上一狀態的機器平均利用率。

8.根據權利要求5所述的基于深度強化學習的智能工廠生產作業調度方法，其特征在于，所述算法更新單元，具體為：使用當前動作選擇得到的立即回報與下一狀態的最大動作價值估計Q估計來更新Q值，網具體公式表示如下：

Q(s，a)←Q(s，a)+α[r+γmax_aQ(s′，a′)-Q(s，a)]

其中，s表示當前的狀態，a表示當前的動作選擇，Q(s，a)表示當前狀態動作選擇的價值估計，r是當前動作選擇得到的立即回報，s′表示下一狀態，a′表示下一狀態的動作選擇，max_aQ(s′，a′)表示下一狀態的最大狀態動作選擇的價值估計，γ∈(0，1]代表對未來狀態價值估計的衰減，α∈(0，1]代表了算法更新的學習率。