[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的裝備制造車間智能調(diào)度方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310362124.3
• 申請(qǐng)日: 2023-04-07
• 公開（公告）號(hào): CN116542445A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 王艷紅;趙天睿;張俊;于洪霞
• 申請(qǐng)（專利權(quán)）人: 沈陽工業(yè)大學(xué)
• 主分類號(hào): G06Q10/0631
• 分類號(hào): G06Q10/0631;G06Q50/04;G06F30/27;G06N7/01;G06N3/045;G06N3/084;G06N3/092;G06F111/04;G06F111/08
• 代理公司: 沈陽智龍專利事務(wù)所(普通合伙) 21115
• 代理人: 王聰耀;宋鐵軍

1.基于深度強(qiáng)化學(xué)習(xí)的裝備制造車間智能調(diào)度方法，其特征在于，所述智能調(diào)度方法包括以下步驟：

步驟1：考慮車間作業(yè)過程中常存在的動(dòng)態(tài)事件的情況，以作業(yè)總延遲時(shí)間最小作為性能指標(biāo)，建立柔性作業(yè)車間動(dòng)態(tài)調(diào)度模型；

步驟2：以車間當(dāng)前狀態(tài)為輸入，以調(diào)度規(guī)則為輸出，通過設(shè)計(jì)狀態(tài)S、動(dòng)作A、策略π、獎(jiǎng)勵(lì)R和回報(bào)G5個(gè)要素，將柔性作業(yè)車間動(dòng)態(tài)調(diào)度模型的求解過程轉(zhuǎn)化為一個(gè)多智能體馬爾科夫決策過程；

步驟3：基于近端策略優(yōu)化算法，得到由策略網(wǎng)絡(luò)(2)和價(jià)值網(wǎng)絡(luò)(3)構(gòu)成的改進(jìn)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)；

步驟4：采用Adam隨機(jī)優(yōu)化算法，通過改進(jìn)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中智能體與環(huán)境的不斷交互，對(duì)改進(jìn)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練和更新；

步驟5：智能體利用訓(xùn)練好的改進(jìn)深度強(qiáng)化學(xué)習(xí)算法，得到馬爾科夫決策過程在不同狀態(tài)下的延遲時(shí)間最小的調(diào)度方案，生成使性能指標(biāo)最優(yōu)的調(diào)度規(guī)則，進(jìn)而完成在動(dòng)態(tài)作業(yè)環(huán)境下的優(yōu)化調(diào)度。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的裝備制造車間智能調(diào)度方法，其特征在于，步驟1中調(diào)度模型的約束條件為：

s.t.:

其中，n為工件總數(shù)，m為機(jī)器總數(shù)，J_i表示第i個(gè)工件，n_i表示加工J_i需要的工序總數(shù)，M_k表示第k臺(tái)機(jī)器，O_ij表示工件J_i的第j道工序，M_ij表示加工工序O_ij的可用機(jī)器集合，t_ijk表示工序O_ij在機(jī)器M_k上的加工時(shí)間，A_i為工件的到達(dá)時(shí)間，D_i為工件的交貨期，C_ij為工序O_ij的完成時(shí)間，C_i為工件J_i的完成時(shí)間，i,l表示工件索引，i,l＝1,2,...,n，j,g表示工序索引，j,g＝1,2,...,p，k表示機(jī)器索引，k＝1,2,...,m。

3.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的裝備制造車間智能調(diào)度方法，其特征在于，步驟2中所述狀態(tài)S包括7個(gè)狀態(tài)變量，分別為機(jī)器平均利用率U_ave(t)、機(jī)器利用率的標(biāo)準(zhǔn)差U_std(t)、工序的平均完成率CRO_ave(t)、作業(yè)的平均完成率CRJ_ave(t)以及作業(yè)完成率的標(biāo)準(zhǔn)差CRJ_std(t)、機(jī)器平均負(fù)載機(jī)器負(fù)載的標(biāo)準(zhǔn)差它們經(jīng)歸一化取值在[0,1]之間，

1)機(jī)器平均利用率U_ave(t)：

2)機(jī)器利用率的標(biāo)準(zhǔn)差U_std(t)：

3)工序的平均完成率CRO_ave(t)：

4)作業(yè)的平均完成率CRJ_ave(t)：

5)作業(yè)完成率的標(biāo)準(zhǔn)差CRJ_std(t)：

6)機(jī)器平均負(fù)載

7)機(jī)器負(fù)載的標(biāo)準(zhǔn)差

其中，n為當(dāng)前要完成的作業(yè)數(shù)量，n_i為作業(yè)J_i需要的工序總數(shù)，U_k(t)表示在時(shí)刻t時(shí)機(jī)器k的利用率，OP_i(t)表示工作J_i在t時(shí)刻已完成的工序數(shù)量，CR_j(t)表示作業(yè)J_i在t時(shí)刻的作業(yè)完成率，表示機(jī)器M_k在t時(shí)刻的負(fù)載率。