[發(fā)明專利]一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110506250.2
• 申請日: 2021-05-10
• 公開（公告）號: CN113344332A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 杜宇;李俊青
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q10/04;G06Q50/04;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 武博

1.一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，包括：

獲取工件參數(shù)、機(jī)器全過程運(yùn)輸參數(shù)；

以最大完工時(shí)間和總能耗最小為優(yōu)化目標(biāo)，利用強(qiáng)化學(xué)習(xí)方法構(gòu)建深度Q網(wǎng)絡(luò)模型；

采用雙重深度Q網(wǎng)絡(luò)和軟目標(biāo)權(quán)重更新策略訓(xùn)練深度Q網(wǎng)絡(luò)，并采用softmax選擇策略通過概率選擇調(diào)度規(guī)則提高解的質(zhì)量，得到柔性車間調(diào)度最優(yōu)解決方案。

2.根據(jù)權(quán)利要求1所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，在深度Q網(wǎng)絡(luò)中，首先觀測初始狀態(tài)s₀并計(jì)算初始狀態(tài)特征值；之后利用ε貪婪規(guī)則增強(qiáng)在線網(wǎng)絡(luò)在柔性車間調(diào)度中的泛化能力；

根據(jù)變化的環(huán)境計(jì)算得到獎(jiǎng)賞，根據(jù)計(jì)算誤差通過梯度下降法訓(xùn)練在線網(wǎng)絡(luò)Q；觀測得到新的狀態(tài)和新的狀態(tài)特征。

3.根據(jù)權(quán)利要求2所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，當(dāng)在線網(wǎng)絡(luò)更新時(shí)，目標(biāo)網(wǎng)絡(luò)通過軟目標(biāo)權(quán)重更新策略同步更新。

4.根據(jù)權(quán)利要求1所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，采用多個(gè)狀態(tài)特征描述柔性車間調(diào)度的環(huán)境，根據(jù)優(yōu)化目標(biāo)，將多個(gè)狀態(tài)特征分為若干組，同組的狀態(tài)特征在深度Q網(wǎng)絡(luò)中共享設(shè)定層網(wǎng)絡(luò)節(jié)點(diǎn)，不同組的狀態(tài)特征在深度Q網(wǎng)絡(luò)中互不鏈接。

5.根據(jù)權(quán)利要求4所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，所述狀態(tài)特征劃分為關(guān)于調(diào)度過程的狀態(tài)特征、關(guān)于最大完工時(shí)間的狀態(tài)特征、關(guān)于總能耗的狀態(tài)特征、關(guān)于能量效率的狀態(tài)特征；所有的狀態(tài)特征通過特征向量Φ管理。

6.根據(jù)權(quán)利要求1所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，以概率ε利用softmax策略選擇動作a_i，其中i為自然數(shù)；根據(jù)插入策略完成其中的一個(gè)動作，插入策略的步驟為：

在插入新工序之前記錄所有已安排工序的機(jī)器安排；

選擇一個(gè)未完成的工件插入到加工向量中；

在機(jī)器向量中，更新已安排工序的機(jī)器安排；

計(jì)算插入后的新解的適應(yīng)度值，選擇適應(yīng)度值最優(yōu)的點(diǎn)為插入點(diǎn)；

檢查是否所有未完成工件在所有可插入位置上都已嘗試；

根據(jù)最優(yōu)適應(yīng)度值對應(yīng)的工件和插入點(diǎn)進(jìn)行插入操作。

7.根據(jù)權(quán)利要求1所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法，其特征在于，采用GTHS策略提高解的質(zhì)量，在GTHS策略基礎(chǔ)上添加基于對最大完工時(shí)間和總能耗的優(yōu)化策略；調(diào)整后的GTHS策略包括策略1-載重搬運(yùn)能耗優(yōu)化、策略2-等待過程能耗優(yōu)化、策略3-最大完工時(shí)間優(yōu)化；每一次對機(jī)器向量按照“策略1→策略2→策略3”的順序執(zhí)行。

8.一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度系統(tǒng)，其特征在于，包括：

參數(shù)獲取模塊，被配置為：獲取工件參數(shù)、機(jī)器全過程運(yùn)輸參數(shù)；

深度Q網(wǎng)絡(luò)模型構(gòu)建模塊，被配置為：以最大完工時(shí)間和總能耗最小為優(yōu)化目標(biāo)，利用強(qiáng)化學(xué)習(xí)方法構(gòu)建深度Q網(wǎng)絡(luò)模型；

尋優(yōu)模塊，被配置為：采用雙重深度Q網(wǎng)絡(luò)和軟目標(biāo)權(quán)重更新策略訓(xùn)練深度Q網(wǎng)絡(luò)，并采用softmax選擇策略通過概率選擇調(diào)度規(guī)則提高解的質(zhì)量，得到柔性車間調(diào)度最優(yōu)解決方案。

9.一種介質(zhì)，其上存儲有程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法中的步驟。

10.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的一種帶運(yùn)輸過程和機(jī)器狀態(tài)的車間調(diào)度方法中的步驟。