[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的多層工廠車間調(diào)度方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310436057.5
• 申請(qǐng)日: 2023-04-20
• 公開（公告）號(hào): CN116594358A
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計(jì)）人: 歐陽(yáng)雅捷;劉曉翔
• 申請(qǐng)（專利權(quán)）人: 暨南大學(xué)
• 主分類號(hào): G05B19/418
• 分類號(hào): G05B19/418
• 代理公司: 廣東金穗知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44852
• 代理人: 鐘文華

1.基于強(qiáng)化學(xué)習(xí)的多層工廠車間調(diào)度方法，其特征在于，所述方法包括：

S1：建立多層工廠車間物流網(wǎng)絡(luò)模型；

S2：收集數(shù)據(jù)，采用邊緣計(jì)算算法對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)處理和分析，再采用聯(lián)邦學(xué)習(xí)技術(shù)對(duì)分散在不同設(shè)備上的數(shù)據(jù)進(jìn)行分布式學(xué)習(xí)；

S3：設(shè)計(jì)強(qiáng)化學(xué)習(xí)模型，包括對(duì)S，A，R，T部分的建模，其中，S表示狀態(tài)空間，A表示動(dòng)作空間，R表示獎(jiǎng)勵(lì)函數(shù)，T表示轉(zhuǎn)移函數(shù)；

S4：實(shí)時(shí)調(diào)度執(zhí)行，使用模型預(yù)測(cè)控制技術(shù)，生成針對(duì)不確定性和動(dòng)態(tài)環(huán)境的魯棒調(diào)度策略，然后采用事件驅(qū)動(dòng)調(diào)度方法，提高調(diào)度系統(tǒng)的適應(yīng)性；

S5：采用多層工廠在線強(qiáng)化學(xué)習(xí)方法，強(qiáng)化學(xué)習(xí)模型在生產(chǎn)過程中實(shí)時(shí)更新參數(shù)，然后采用遷移學(xué)習(xí)技術(shù)，同時(shí)利用其他工廠車間的經(jīng)驗(yàn)數(shù)據(jù)，提升強(qiáng)化學(xué)習(xí)模型的學(xué)習(xí)效果和泛化能力；

S6：采用貝葉斯優(yōu)化算法，自動(dòng)調(diào)整強(qiáng)化學(xué)習(xí)模型的超參數(shù)，然后采用進(jìn)化算法，通過模擬自然選擇過程，不斷優(yōu)化物流網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的多層工廠車間調(diào)度方法，其特征在于，所述S1，具體包括：采用層次化建模方法，將多層工廠的物流網(wǎng)絡(luò)拆分為不同的層級(jí)，并使用圖神經(jīng)網(wǎng)絡(luò)對(duì)物流網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，捕獲多層工廠車間中的復(fù)雜物流關(guān)系；

其中，所述層次化建模方法包括：將物流網(wǎng)絡(luò)劃分為樓層層級(jí)和電梯層級(jí)；在所述樓層層級(jí)中，建立樓層子網(wǎng)絡(luò)模型，包括生產(chǎn)線、倉(cāng)庫(kù)和物流路徑；在電梯層級(jí)中，建立電梯子網(wǎng)絡(luò)模型，包括電梯和樓層之間的物流路徑；

所述圖神經(jīng)網(wǎng)絡(luò)對(duì)物流網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，具體包括：

S1.1、初始化一個(gè)有向圖G(V,E)，其中V是節(jié)點(diǎn)集合，E是邊集合，節(jié)點(diǎn)表示生產(chǎn)線、倉(cāng)庫(kù)或電梯，邊表示物流路徑，節(jié)點(diǎn)特征包括生產(chǎn)速率、庫(kù)存量和電梯運(yùn)行速度，邊特征包括物流路徑長(zhǎng)度和最大搬運(yùn)能力；

S1.2、使用以下GNN架構(gòu)進(jìn)行表示學(xué)習(xí)：

輸入層：將所述節(jié)點(diǎn)特征和所述邊特征輸入GNN模型；

隱藏層：包含多個(gè)卷積層，每一層利用相鄰節(jié)點(diǎn)和邊的信息更新節(jié)點(diǎn)表示，采用ReLU激活函數(shù)進(jìn)行非線性變換；

輸出層：輸出節(jié)點(diǎn)和邊的特征表示，用于后續(xù)的強(qiáng)化學(xué)習(xí)模型；

S1.3、使用實(shí)際物流網(wǎng)絡(luò)數(shù)據(jù)作為訓(xùn)練集，訓(xùn)練GNN模型以學(xué)習(xí)節(jié)點(diǎn)和邊的表示；

S1.4、利用訓(xùn)練好的GNN模型，提取節(jié)點(diǎn)和邊的特征表示，用于后續(xù)的強(qiáng)化學(xué)習(xí)模型。

3.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的多層工廠車間調(diào)度方法，其特征在于，所述S2中，所述采用邊緣計(jì)算算法對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)預(yù)處理和分析包括：

S2.1、將輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型部署在邊緣計(jì)算節(jié)點(diǎn)上；

S2.2、收集實(shí)時(shí)數(shù)據(jù)；

S2.3、使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行預(yù)處理和分析，生成特征表示；

S2.4、使用Huffman編碼對(duì)特征表示進(jìn)行數(shù)據(jù)壓縮；

S2.5、將壓縮后的數(shù)據(jù)實(shí)時(shí)傳輸至強(qiáng)化學(xué)習(xí)模型。

4.根據(jù)權(quán)利要求4所述的基于強(qiáng)化學(xué)習(xí)的多層工廠車間調(diào)度方法，其特征在于，所述再采用聯(lián)邦學(xué)習(xí)技術(shù)對(duì)分散在不同設(shè)備上的數(shù)據(jù)進(jìn)行分布式學(xué)習(xí)，具體步驟包括：

S2.6、在每個(gè)邊緣計(jì)算節(jié)點(diǎn)上，使用本地?cái)?shù)據(jù)訓(xùn)練輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型；

S2.7、將各個(gè)邊緣計(jì)算節(jié)點(diǎn)的模型權(quán)重傳輸至中心服務(wù)器；

S2.8、在中心服務(wù)器上，使用加權(quán)平均法聚合各個(gè)邊緣計(jì)算節(jié)點(diǎn)的模型權(quán)重，得到全局模型權(quán)重；

S2.9、將全局模型權(quán)重發(fā)送回各個(gè)邊緣計(jì)算節(jié)點(diǎn)，更新本地模型。