[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的鋼鐵企業(yè)氧氣系統(tǒng)調(diào)度方法

在審

• 申請?zhí)枺?/td>: 202210024176.5
• 申請日: 2022-01-10
• 公開（公告）號: CN114219366A
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 李麗娟;高瀟雨;楊世品;張印強(qiáng)
• 申請（專利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/04;G06N3/08
• 代理公司: 廣州市紅荔專利代理有限公司 44214
• 代理人: 胡仿

1.一種基于深度強(qiáng)化學(xué)習(xí)的鋼鐵企業(yè)氧氣系統(tǒng)調(diào)度方法，其特征在于，包括：

獲取每個(gè)環(huán)節(jié)氧氣系統(tǒng)對應(yīng)設(shè)備的處理數(shù)據(jù)，對數(shù)據(jù)進(jìn)行預(yù)處理，并構(gòu)建訓(xùn)練集；

基于訓(xùn)練集構(gòu)建深度強(qiáng)化學(xué)習(xí)DDPG模型，其中，深度強(qiáng)化學(xué)習(xí)DDPG模型包括DDPG深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)和DDPG強(qiáng)化學(xué)習(xí)模塊；

訓(xùn)練深度強(qiáng)化學(xué)習(xí)DDPG模型，得到調(diào)度過程中對應(yīng)設(shè)備出力規(guī)則；

將待生產(chǎn)、運(yùn)輸、使用的氧氣任務(wù)調(diào)度數(shù)據(jù)輸入到訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)DDPG模型，并據(jù)設(shè)備出力規(guī)則得到鋼鐵企業(yè)氧氣的調(diào)度安排。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取每個(gè)環(huán)節(jié)氧氣系統(tǒng)對應(yīng)設(shè)備的處理數(shù)據(jù)，對數(shù)據(jù)進(jìn)行預(yù)處理，并構(gòu)建訓(xùn)練集，其中，對數(shù)據(jù)進(jìn)行預(yù)處理，包括：

將氧氣任務(wù)調(diào)度數(shù)據(jù)轉(zhuǎn)換成五維矩陣，包括氧氣需求量矩陣、氧氣放散量矩陣、液氧外銷量矩陣、液氧儲存量矩陣以及調(diào)度時(shí)間矩陣。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于訓(xùn)練集構(gòu)建深度強(qiáng)化學(xué)習(xí)DDPG模型，其中，深度強(qiáng)化學(xué)習(xí)DDPG模型包括DDPG深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)和DDPG強(qiáng)化學(xué)習(xí)模塊，其中，DDPG深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的隱含層層數(shù)為2層，每層有100個(gè)神經(jīng)元，隱含層激活函數(shù)為ReLU(Rectified Linear Units)激活函數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述DDPG強(qiáng)化學(xué)習(xí)模塊包括價(jià)值網(wǎng)絡(luò)單元、策略網(wǎng)絡(luò)單元、回報(bào)設(shè)定單元。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓(xùn)練深度強(qiáng)化學(xué)習(xí)DDPG模型，得到調(diào)度過程中對應(yīng)設(shè)備出力規(guī)則，其中，

訓(xùn)練深度強(qiáng)化學(xué)習(xí)DDPG模型，包括：

步驟S31：采用經(jīng)驗(yàn)回訪池進(jìn)行采樣，建立一個(gè)容量為D的經(jīng)驗(yàn)回訪池，存儲由強(qiáng)化學(xué)習(xí)策略得到的過往狀態(tài)經(jīng)歷序列，用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練；

步驟S32：每次從經(jīng)驗(yàn)回訪池中隨機(jī)提取小批量的經(jīng)驗(yàn)樣本，使用Adam優(yōu)化器通過梯度下降來更新權(quán)重、偏置。

步驟S33：每隔一定訓(xùn)練時(shí)間步長，將當(dāng)前DDPG神經(jīng)網(wǎng)絡(luò)參數(shù)傳入目標(biāo)網(wǎng)絡(luò)中，返回步驟S31直到當(dāng)前訓(xùn)練輪次達(dá)到訓(xùn)練預(yù)設(shè)要求。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待生產(chǎn)、運(yùn)輸、使用的氧氣任務(wù)調(diào)度數(shù)據(jù)輸入到訓(xùn)練好的深度強(qiáng)化學(xué)習(xí)DDPG模型，并據(jù)設(shè)備出力規(guī)則得到鋼鐵企業(yè)氧氣的調(diào)度安排，包括：

根據(jù)實(shí)際真實(shí)的氧氣生產(chǎn)調(diào)度環(huán)境，輸出當(dāng)前時(shí)刻系統(tǒng)內(nèi)氧氣需求量、氧氣放散量、液氧外銷量、液氧存儲量數(shù)據(jù)作為狀態(tài)信息，將其傳輸給氧氣系統(tǒng)深度強(qiáng)化學(xué)習(xí)模型，該氧氣系統(tǒng)深度強(qiáng)化學(xué)習(xí)模型根據(jù)輸入的狀態(tài)信息輸出最優(yōu)調(diào)度動(dòng)作，將該最優(yōu)調(diào)度動(dòng)作返回氧氣調(diào)度控制器；

氧氣調(diào)度控制器收到最優(yōu)調(diào)度動(dòng)作，執(zhí)行該動(dòng)作并且進(jìn)入下一個(gè)環(huán)節(jié)狀態(tài)，同時(shí)獲得回報(bào)；采集下一時(shí)段系統(tǒng)的狀態(tài)信息并進(jìn)行該時(shí)段決策，如此獲得動(dòng)態(tài)調(diào)度動(dòng)作。