[發明專利]基于深度強化學習的云訂單動態接受與調度方法

在審

• 申請號: 202111085349.6
• 申請日: 2021-09-16
• 公開（公告）號: CN113935586A
• 公開（公告）日: 2022-01-14
• 發明（設計）人: 張夢釵;劉項;劉春來;丁祥海;韓杰;田徐鴻;王璐佳
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/04;G06N3/04;G06N3/08
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明公開了一種基于深度強化學習的云訂單動態接受與調度方法，按如下步驟：步驟一，接單智能體根據車間的信息反饋，以最大利潤為目標制定訂單接受策略；步驟二，當云訂單接受后，排單智能體將當前時刻剩余工序和云訂單以最小拖期時間和最小擾動為整合目標重調度；調度結束后將車間的生產能力反饋給接單智能體。本發明可對動態到達的云訂單實現調度優化，能在正常生產自有訂單的同時提高車間資源利用率，提升企業的利潤。

技術領域

本發明涉及一種基于深度強化學習的云訂單動態接受與調度方法。

背景技術

云制造是利用網絡和服務平臺，為顧客需求提供各類按需制造服務的一種智能化制造新模式。云制造具有“分散資源集中使用”和“集中資源分散服務”的特點，為企業和顧客提供制造能力，實現資源共享。云平臺接收到制造任務后，尋找符合用戶需求的生產企業，高效的服務資源分配方法才能保障云制造模式推廣與應用。云制造環境下，企業如何分配資源，適應動態到達的訂單，提高自身的利潤，成為企業參與云制造模式關注的關鍵核心問題之一。現有的研究大多集中在有關云制造平臺的架構、功能、技術實現等方面，關于云制造背景下企業車間的生產調度問題的研究還較為缺乏。

參與云制造的生產型企業的訂單可以分為兩類：其自有訂單和云訂單，其中自有訂單可視為是確定的，而云訂單具有極高的不確定性。顧客將訂單提交至云平臺，平臺將訂單分配給合適的企業，企業對該訂單是否接收做出決策，以及安排接收的訂單進行生產。在接收云訂單后，企業根據其自身的剩余能力安排所有訂單的最佳調度方案，使得利潤最高。因此，對于云制造環境下的企業該如何協同生產兩類訂單，合理調度優化企業的生產資源分配，對提高企業自身利潤有著重要的意義，也是企業參與云制造后亟待解決的關鍵問題。

近年來，關于訂單接受與調度問題已取得了較好的研究成果。根據云訂單的插入方式可將這類問題分為靜態調度和動態調度兩類，靜態調度為云訂單不會改變自有訂單的生產，動態調度為云訂單與未開始生產的初始調度方案重調度。動態環境下的訂單接受與調度問題的研究面臨以下一些挑戰：

(1)訂單不確定性，訂單的到達時間、加工數量、交貨期、價格等信息的不確定，使得企業難以結合未來訂單到達情況，對當前訂單做出決策。例如，企業接收某個利潤較小的云訂單A后，又有某個利潤較大的云訂單B到達，但接收訂單A后，車間已經沒有能力接收訂單B，導致損失部分利潤。若如果拒絕訂單A，可能造成較長時間等待利潤高的訂單，導致企業資源浪費。Emmami等在平行機加工環境中，考慮了訂單交貨期、收益、延誤懲罰和所需安裝時間等信息不確定情況下，訂單接受和調度集成優化問題。Wang等在訂單的價格、加工時間、交貨期等不確定情況下，研究了企業計劃期之前雙機流水作業車間的訂單接受和排序問題，提出一種改進啟發式算法和分支定界算法。

(2)對車間生產的擾動性，在云訂單未到達之前，企業的自有訂單已經生成調度方案，對于動態調度問題，接收云訂單會擾動車間原有的調度方案，人員、機器設備和物料等的變動會加大企業生產的管理難度。Moratori等對現行的計劃表中插入新的訂單進行了研究，為了保持調度的有效性以及車間生產的穩定性，提出了新的有效匹配策略。嚴浩云等建立了訂單重排問題的混合整數規劃模型，并采用一種基于動態規劃思想的啟發式求解方法，有效解決了緊急訂單的插單問題。

(3)交貨期的敏感性，當訂單未在截止時間交貨時，不僅會產生延期成本，還會損失企業的信譽。所以企業接單時，需要充分考慮剩余生產能力能否在交貨期內完成訂單。Slotnick等研究了在生產能力有限，訂單因延遲交貨而獲得折扣，但提前交貨不受懲罰或獎勵的情況下的訂單接受決策問題，并利用基于松弛法的啟發式算法解決。Cesaret等提出了禁忌搜索算法，用于解決考慮了拖期懲罰的單機訂單接受和排序問題。Xiao等針對流水作業生產線上，企業面臨的訂單接收和加權拖期的排列流水線作業調度問題，采用部分優化的啟發式模擬退火算法。