[發明專利]一種帶運輸過程和機器狀態的車間調度方法及系統

在審

• 申請號: 202110506250.2
• 申請日: 2021-05-10
• 公開（公告）號: CN113344332A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 杜宇;李俊青
• 申請（專利權）人: 山東師范大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/04;G06Q50/04;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 武博

本發明公開了一種帶運輸過程和機器狀態的車間調度方法及系統，其技術方案為：包括獲取工件參數、機器全過程運輸參數；以最大完工時間和總能耗最小為優化目標，利用強化學習方法構建深度Q網絡模型；采用雙重深度Q網絡和軟目標權重更新策略訓練深度Q網絡，并采用softmax選擇策略通過概率選擇調度規則提高解的質量，得到柔性車間調度最優解決方案。本發明基于深度神經網絡的強化學習模型來解決考慮起重機全過程運輸、機器準備時間、機器空閑時間的柔性車間調度問題，降低了總能耗，縮短了最大完工時間，提高了工作效率。

技術領域

本發明涉及柔性車間調度領域，尤其涉及一種帶運輸過程和機器狀態的車間調度方法及系統。

背景技術

柔性車間調度問題(FJSP)是組合優化領域中的一個重要分支，是車間調度問題(JSP)的一個擴展NP-hard問題。在FJSP中，需要完成所有工序加工的順序和每個工序加工機器分配這兩個任務。FJSP在設備制造、半導體制造、化學材料加工以及手機裝配領域中廣泛存在。在FJSP中，工件依靠起重機在機器之間運輸，起重機運輸過程的時間和能量消耗不能被忽略。

FJSP通常通過進化算法(EAs)求得滿意解。然而，對于中大規模的FJSP，模型的探索和挖掘能力對于EAs的隨機搜索策略來說并不明顯。發明人發現，目前關于柔性車間調度的研究存在以下問題：

(1)借助進化算法優化結果，而進化算法依靠隨機調整調度方案提高優化的效果，所以進化算法在調度的優化效果較為有限；

(2)起重機在運動過程中沒有考慮全部的運動過程，特別是忽略了起重機在豎直方向(z方向)上的移動過程，而在實際的生產過程中，起重機在豎直方向上的運動時間不可忽略；

(3)忽略了機器的準備時間、空閑時間及其能耗問題，但實際生產過程中，同一臺機器生產不同的工件往往伴隨著調整機器參數等過程，同樣消耗時間，與此同時，機器在整個調度過程中不可關閉，空閑狀態的機器同樣消耗電能，這兩部分的時間和能量消耗不可忽略。

上述問題的存在導致柔性車間調度能好較高、工作效率較低。

發明內容

針對現有技術存在的不足，本發明的目的是提供一種帶運輸過程和機器狀態的車間調度方法及系統，基于深度神經網絡的強化學習模型來解決考慮起重機全過程運輸、機器準備時間、機器空閑時間的柔性車間調度問題，降低了總能耗，縮短了最大完工時間，提高了工作效率。

為了實現上述目的，本發明是通過如下的技術方案來實現：

第一方面，本發明的實施例提供了一種帶運輸過程和機器狀態的車間調度方法，包括：

獲取工件參數、機器全過程運輸參數；

以最大完工時間和總能耗最小為優化目標，利用強化學習方法構建深度Q網絡模型；

采用雙重深度Q網絡和軟目標權重更新策略訓練深度Q網絡，并采用softmax選擇策略通過概率選擇調度規則提高解的質量，得到柔性車間調度最優解決方案。

作為進一步的實現方式，在深度Q網絡中，首先觀測初始狀態s0并計算初始狀態特征值；之后利用ε貪婪規則增強在線網絡在柔性車間調度中的泛化能力；

根據變化的環境計算得到獎賞，根據計算誤差通過梯度下降法訓練在線網絡Q；觀測得到新的狀態和新的狀態特征。

作為進一步的實現方式，當在線網絡更新時，目標網絡通過軟目標權重更新策略同步更新。

作為進一步的實現方式，采用多個狀態特征描述柔性車間調度的環境，根據優化目標，將多個狀態特征分為若干組，同組的狀態特征在深度Q網絡中共享設定層網絡節點，不同組的狀態特征在深度Q網絡中互不鏈接。