[發明專利]基于強化學習的離散制造行業生產排程方法及系統

在審

• 申請號: 202010549452.0
• 申請日: 2020-06-16
• 公開（公告）號: CN111882151A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 陳剛;陳曦;龔小龍;麻志毅
• 申請（專利權）人: 杭州未名信科科技有限公司;浙江省北大信息技術高等研究院
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/10;G06Q50/04;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 付婧

本申請實施例中提供了一種基于強化學習的離散制造行業生產排程方法及系統，生產排程方法包括：啟動原計劃與排程方案，監測計劃與排程的相關條件是否發生變化；判斷發生變化的相關條件是否對計劃與排程結果產生影響；將對計劃與排程結果產生影響的相關條件對應的加工請求進行優先級排序，得到請求優先級排序表；最后，根據請求優先級排序表將加工請求依次通過計劃與排程網絡，輸出新的計劃與排程方案。本申請考慮到多批次小批量生產請求、多生產工序約束和人員請假及設備故障等約束，通過強化學習的方法對企業的計劃與生產進行建模求解，從而在較短的時間內，獲得企業高效的計劃與排程結果，并提升離散制造企業的生產效率。

技術領域

本申請屬于機器強化學習技術領域，具體地，涉及一種基于強化學習的離散制造行業生產排程方法及系統。

背景技術

離散型制造DM(Discrete Manufacturing)是將不同的現成元部件及子系統通過串聯或者并聯加工裝配成較大型系統或者產品，比如服裝輔料行業、紙包裝制造行業、家電制造行業和航空航天行業等。例如在服裝輔料行業，對于一個拉鏈的生產就包括拉頭、布帶和拉鏈三個生產過程，一共十二道大的工序。離散制造企業產品生產制造涉及的工序多、設備多。隨著用戶的需求從數量向質量變化，同質化向多樣化的轉變，用戶需求呈現長尾分布，使得生產制造企業的訂單從傳統的小批次大批量向多批次小批量發展。出現了多批次小批量的訂單需求，多樣的生產工序、串并聯的生產方式導致了生產現場條件的不確定、物料轉運到達時間不穩定等問題，且加工時間因設備和人員具有一定的波動性等問題，使得離散制造企業的計劃和排程變成一個巨復雜的系統問題。

傳統通過富有經驗的技術人員依據經驗完成計劃與排程，但是會出現排程不合理、資源分配后沖突的現象，造成企業生產效率低下。而基于啟發式算法存在計劃與排程效果差問題，基于(非)線性規劃的計劃與排程存在計算時間過長，無法滿足生產現場突發狀況下的敏捷計劃與排程需求，例如設備突發故障、用戶要求緊急插單等問題。

具體的，對于啟發式算法，例如遺傳算法、蟻群和模擬退火算法等，其初始化隨機解后通過隨機探索、優選的方式獲得局部最優解，該算法獲得的解僅僅是局部最優，無法保證全局最優，且結果依賴初始化的隨機解，不同的分布的隨機解會出現不同結果；對于線性/非線性最優化算法，例如整數(實數)線性規劃方法，通過構建所有約束條件在全局范圍求解最優解，該算法復雜度隨著規模的增加呈現非線性增加，在工業排程等復雜場景中，所需要的求解時間長達小時級或者更長，是現實應用中無法容忍的。

隨著云計算、大數據和強化學習的不斷發展，基于強化學習解決巨復雜的運籌優化問題成為了可能，例如Google公司基于強化學習開發的阿法狗(AlphaGo)，在分鐘級的時間內成功求解了圍棋的最優解或者近似最優解。因此，亟需一種基于強化學習的離散制造行業生產排程方法用于在多請求、多工序和多生產設備等約束條件下，可在較短的時間內獲得較好的計劃與排程效果。

發明內容

本發明提出了一種基于強化學習的離散制造行業生產排程方法及系統，旨在解決現有離散制造行業生產排程方法效果差、生產效果低的問題。

根據本申請實施例的第一個方面，提供了一種基于強化學習的離散制造行業生產排程方法，具體包括以下步驟：

啟動原計劃與排程方案，監測計劃與排程的相關條件是否發生變化；

判斷發生變化的相關條件是否對計劃與排程結果產生影響；

將對計劃與排程結果產生影響的相關條件對應的加工請求進行優先級排序，得到請求優先級排序表；

根據請求優先級排序表將加工請求依次通過計劃與排程網絡，輸出新的計劃與排程方案。

可選地，將對計劃與排程結果產生影響的相關條件對應的加工請求進行優先級排序之前，還包括以下步驟：

判斷加工請求中是否有新加工請求，并輸出新加工請求；