[發(fā)明專(zhuān)利]一種信息處理方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910159710.1
• 申請(qǐng)日: 2019-03-01
• 公開(kāi)（公告）號(hào): CN111639828B
• 公開(kāi)（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 肖昌南
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京國(guó)雙科技有限公司
• 主分類(lèi)號(hào): G06Q10/0631
• 分類(lèi)號(hào): G06Q10/0631;G06N3/045;G06N3/08;G06F18/214
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種信息處理方法，其特征在于，包括：

確定狀態(tài)空間以及動(dòng)作空間；

確定油氣集輸聯(lián)合站庫(kù)對(duì)應(yīng)的初始動(dòng)作模型，所述初始動(dòng)作模型包括第一模塊以及第二模塊，所述第一模塊以及所述第二模塊均由人工神經(jīng)網(wǎng)絡(luò)構(gòu)成；

構(gòu)建所述油氣集輸聯(lián)合站庫(kù)對(duì)應(yīng)的預(yù)設(shè)內(nèi)部好奇心模型；

步驟1、將第二運(yùn)行狀態(tài)輸入所述第一模塊，以輸出第一動(dòng)作，所述第二運(yùn)行狀態(tài)為所述狀態(tài)空間中的任意一個(gè)運(yùn)行狀態(tài)，所述第一動(dòng)作為所述動(dòng)作空間中與所述第二運(yùn)行狀態(tài)對(duì)應(yīng)的動(dòng)作；

步驟2、根據(jù)所述第一動(dòng)作確定模擬系統(tǒng)的第三運(yùn)行狀態(tài)；

步驟3、基于所述預(yù)設(shè)內(nèi)部好奇心模型，確定所述第一動(dòng)作的預(yù)測(cè)動(dòng)作、所述第三運(yùn)行狀態(tài)的特征編碼以及所述第三運(yùn)行狀態(tài)的預(yù)測(cè)特征編碼；

步驟4、基于所述第三運(yùn)行狀態(tài)的獎(jiǎng)勵(lì)值以及第一距離確定所述第三運(yùn)行狀態(tài)的綜合獎(jiǎng)勵(lì)值，所述第一距離為所述第三運(yùn)行狀態(tài)的特征編碼與所述第三運(yùn)行狀態(tài)的預(yù)測(cè)特征編碼之間的距離，所述第三運(yùn)行狀態(tài)的獎(jiǎng)勵(lì)值指示所述模擬系統(tǒng)處于所述第三運(yùn)行狀態(tài)時(shí)是否正常運(yùn)行；

步驟5、確定所述第一動(dòng)作與所述第一動(dòng)作的預(yù)測(cè)動(dòng)作之間的第二距離；

步驟6、基于策略梯度下降，通過(guò)所述第二運(yùn)行狀態(tài)、所述第一距離、所述第二距離、所述第三運(yùn)行狀態(tài)的綜合獎(jiǎng)勵(lì)值更新所述第一模塊的第一參數(shù)的參數(shù)值；

步驟7、確定時(shí)序差分誤差；

步驟8、根據(jù)所述時(shí)序差分誤差更新所述第二模塊的第二參數(shù)的參數(shù)值；

重復(fù)執(zhí)行步驟1至步驟8，直至滿(mǎn)足預(yù)置迭代終止條件；

將迭代終止時(shí)的所述第一模塊以及迭代終止時(shí)的所述第二模塊確定為預(yù)設(shè)動(dòng)作模型；

獲取所述油氣集輸聯(lián)合站庫(kù)中設(shè)備的第一運(yùn)行狀態(tài)；

將所述第一運(yùn)行狀態(tài)進(jìn)行向量化處理；

將向量化處理后的所述第一運(yùn)行狀態(tài)輸入所述預(yù)設(shè)動(dòng)作模型以確定目標(biāo)動(dòng)作概率分布，所述目標(biāo)動(dòng)作概率分布中的動(dòng)作用于對(duì)所述油氣集輸聯(lián)合站庫(kù)中的設(shè)備進(jìn)行操作，所述預(yù)設(shè)動(dòng)作模型為基于所述預(yù)設(shè)內(nèi)部好奇心模型，通過(guò)對(duì)所述狀態(tài)空間和所述動(dòng)作空間進(jìn)行訓(xùn)練后得到，所述狀態(tài)空間包括所述油氣集輸聯(lián)合站庫(kù)中的設(shè)備的靜態(tài)參數(shù)，所述動(dòng)作空間包括所述油氣集輸聯(lián)合站庫(kù)中的設(shè)備的操作動(dòng)作，且所述操作動(dòng)作與所述靜態(tài)參數(shù)具有關(guān)聯(lián)關(guān)系。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)內(nèi)部好奇心模型包括第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)以及第三神經(jīng)網(wǎng)絡(luò)，所述基于所述預(yù)設(shè)內(nèi)部好奇心模型，確定所述第一動(dòng)作的預(yù)測(cè)動(dòng)作、所述第三運(yùn)行狀態(tài)的特征編碼以及所述第三運(yùn)行狀態(tài)的預(yù)測(cè)特征編碼包括：

將所述第二運(yùn)行狀態(tài)以及所述第三運(yùn)行狀態(tài)輸入所述第一神經(jīng)網(wǎng)絡(luò)，以確定所述第二運(yùn)行狀態(tài)的特征編碼以及所述第三運(yùn)行狀態(tài)的特征編碼；

將所述第二運(yùn)行狀態(tài)的特征編碼以及所述第一動(dòng)作輸入所述第二神經(jīng)網(wǎng)絡(luò)，以確定所述第三運(yùn)行狀態(tài)的預(yù)測(cè)特征編碼；

將所述第二運(yùn)行狀態(tài)的特征編碼以及所述第三運(yùn)行狀態(tài)的特征編碼輸入所述第三神經(jīng)網(wǎng)絡(luò)，以確定所述第一動(dòng)作的預(yù)測(cè)動(dòng)作。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于策略梯度下降，通過(guò)所述第二運(yùn)行狀態(tài)、所述第一距離、所述第二距離以及所述第三運(yùn)行狀態(tài)的綜合獎(jiǎng)勵(lì)值更新所述第一模塊的第一參數(shù)的參數(shù)值包括：

通過(guò)計(jì)算如下公式，對(duì)所述第一模塊的第一參數(shù)的參數(shù)值進(jìn)行更新：

其中，π為所述第一模塊的函數(shù)，θ_P為所述第一模塊的第一參數(shù)的參數(shù)值，θ_I為第三神經(jīng)網(wǎng)絡(luò)的參數(shù)的參數(shù)值，θ_F為第二神經(jīng)網(wǎng)絡(luò)的參數(shù)的參數(shù)值，st為所述第二運(yùn)行狀態(tài)，rt為所述第三運(yùn)行狀態(tài)的綜合獎(jiǎng)勵(lì)值，β為大于0小于1的常數(shù)，λ為大于0的正數(shù)，LF為所述第一距離，LI為所述第二距離。