[發(fā)明專利]動(dòng)態(tài)調(diào)度方法、系統(tǒng)、電子設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210653870.3
• 申請(qǐng)日: 2022-06-10
• 公開(kāi)（公告）號(hào): CN115061436A
• 公開(kāi)（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 呂雅瓊;張嘉桐;白玥
• 申請(qǐng)（專利權(quán)）人: 武漢理工大學(xué)
• 主分類號(hào): G05B19/418
• 分類號(hào): G05B19/418;G06N3/04;G06N3/08
• 代理公司: 武漢智嘉聯(lián)合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 42231
• 代理人: 張璐

1.一種動(dòng)態(tài)調(diào)度方法，其特征在于，包括：

獲取智能車間的當(dāng)前調(diào)度析取圖、AGV當(dāng)前位置信息及預(yù)設(shè)狀態(tài)特征的當(dāng)前狀態(tài)特征值；

將所述當(dāng)前調(diào)度析取圖、AGV當(dāng)前位置信息及預(yù)設(shè)狀態(tài)特征的當(dāng)前狀態(tài)特征值輸入到預(yù)先建立的調(diào)度模型中，輸出調(diào)度規(guī)則，其中，所述調(diào)度規(guī)則包括待處理工件在機(jī)器的處理順序及運(yùn)輸所述待處理工件的AGV的調(diào)度順序；

執(zhí)行所述調(diào)度規(guī)則，并更新執(zhí)行所述調(diào)度規(guī)則之后的下一步調(diào)度析取圖、AGV下一步位置信息及預(yù)設(shè)狀態(tài)特征下一步狀態(tài)特征值；

將更新后的下一步調(diào)度析取圖、AGV下一步位置信息及預(yù)設(shè)狀態(tài)特征下一步狀態(tài)特征值重新輸入至所述預(yù)先建立的調(diào)度模型中，迭代輸出并執(zhí)行新的調(diào)度規(guī)則，直至所述待處理工件處理完成。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，調(diào)度析取圖包括機(jī)器及工件的狀態(tài)信息；

所述預(yù)設(shè)狀態(tài)特征包括機(jī)器平均利用率、機(jī)器利用率的標(biāo)準(zhǔn)差、調(diào)度動(dòng)作的平均完成率、工件平均完成率、工件完成率的標(biāo)準(zhǔn)差、估計(jì)遲到率和實(shí)際遲到率。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)先建立的調(diào)度模型是基于改進(jìn)型DQN網(wǎng)絡(luò)進(jìn)行建立的，其中，所述改進(jìn)型DQN網(wǎng)絡(luò)的結(jié)構(gòu)包括圖神經(jīng)網(wǎng)絡(luò)、在線網(wǎng)絡(luò)、目標(biāo)網(wǎng)絡(luò)、經(jīng)驗(yàn)回放池和損失函數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述預(yù)先建立的調(diào)度模型的訓(xùn)練過(guò)程，包括：

獲取歷史調(diào)度析取圖、AGV歷史位置信息及預(yù)設(shè)狀態(tài)特征的歷史狀態(tài)特征值，并將所述歷史調(diào)度析取圖輸入到圖神經(jīng)網(wǎng)絡(luò)中得到機(jī)器與工件的歷史狀態(tài)信息；

將所述歷史狀態(tài)信息、AGV歷史位置信息及預(yù)設(shè)狀態(tài)特征的歷史狀態(tài)特征值作為歷史狀態(tài)輸入到在線網(wǎng)絡(luò)中進(jìn)行迭代訓(xùn)練得到歷史經(jīng)驗(yàn)數(shù)據(jù)，并將所述歷史經(jīng)驗(yàn)數(shù)據(jù)存儲(chǔ)到經(jīng)驗(yàn)回放池，其中，所述歷史經(jīng)驗(yàn)數(shù)據(jù)包括歷史狀態(tài)、歷史調(diào)度動(dòng)作及下一步歷史狀態(tài)；

選取所述歷史經(jīng)驗(yàn)數(shù)據(jù)中的歷史狀態(tài)輸入到在線網(wǎng)絡(luò)中，輸出歷史估計(jì)Q值；

選取所述歷史經(jīng)驗(yàn)數(shù)據(jù)中的下一步歷史狀態(tài)輸入到目標(biāo)網(wǎng)絡(luò)中，輸出歷史目標(biāo)Q值；

利用BP算法計(jì)算所述歷史估計(jì)Q值與所述歷史目標(biāo)Q值的損失函數(shù)，并更新所述在線網(wǎng)絡(luò)的參數(shù)；

重復(fù)上述步驟，并根據(jù)所述在線網(wǎng)絡(luò)的參數(shù)調(diào)整所述目標(biāo)網(wǎng)絡(luò)的參數(shù)，直至損失函數(shù)的損失結(jié)果在預(yù)設(shè)范圍內(nèi)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述當(dāng)前調(diào)度析取圖、AGV當(dāng)前位置信息及預(yù)設(shè)狀態(tài)特征的當(dāng)前狀態(tài)特征值輸入到預(yù)先建立的調(diào)度模型中，輸出調(diào)度規(guī)則，包括：

將所述當(dāng)前調(diào)度析取圖輸入到圖神經(jīng)網(wǎng)絡(luò)中得到機(jī)器與工件的當(dāng)前狀態(tài)信息，并將當(dāng)前狀態(tài)信息、AGV當(dāng)前位置信息及預(yù)設(shè)狀態(tài)特征的當(dāng)前狀態(tài)特征值作為當(dāng)前狀態(tài)輸入到在線網(wǎng)絡(luò)中進(jìn)行計(jì)算，輸出當(dāng)前狀態(tài)下每一候選調(diào)度規(guī)則的估計(jì)Q值；

根據(jù)所述每一候選調(diào)度規(guī)則的估計(jì)Q值確定所述調(diào)度規(guī)則。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述當(dāng)前調(diào)度析取圖、AGV當(dāng)前位置信息及預(yù)設(shè)狀態(tài)特征的當(dāng)前狀態(tài)特征值輸入到預(yù)先建立的調(diào)度模型中，還包括：

確定在當(dāng)前狀態(tài)執(zhí)行所述調(diào)度規(guī)則后進(jìn)入的下一步狀態(tài)，其中，所述下一步狀態(tài)包括機(jī)器與工件的下一步狀態(tài)信息、AGV下一步位置信息及預(yù)設(shè)狀態(tài)特征的下一步狀態(tài)特征值，并將當(dāng)前狀態(tài)、所述調(diào)度規(guī)則與下一步狀態(tài)輸入經(jīng)驗(yàn)回放池；

將下一步狀態(tài)輸入到目標(biāo)網(wǎng)絡(luò)中，輸出每一候選調(diào)度規(guī)則的目標(biāo)Q值；

計(jì)算所述估計(jì)Q值與所述目標(biāo)Q值在所述損失函數(shù)中的損失結(jié)果；

基于所述損失結(jié)果更新所述在線網(wǎng)絡(luò)的參數(shù)，并間隔預(yù)設(shè)循環(huán)步數(shù)更新目標(biāo)網(wǎng)絡(luò)的參數(shù)。