[發(fā)明專利]一種基于動(dòng)作檢測(cè)機(jī)制的CGF行為建模方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211683042.0
• 申請(qǐng)日: 2022-12-27
• 公開（公告）號(hào): CN115906664A
• 公開（公告）日: 2023-04-04
• 發(fā)明（設(shè)計(jì)）人: 黃林;潘昕;龔立;劉亞杰;施連會(huì);王康勃;朱一鑫
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍海軍工程大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06F18/214;G06N3/0442;G06N3/08
• 代理公司: 武漢開元知識(shí)產(chǎn)權(quán)代理有限公司 42104
• 代理人: 劉琳

1.一種基于動(dòng)作檢測(cè)機(jī)制的CGF行為建模方法，其特征在于，所述方法包括如下步驟：

S1基于LSTM-SAC算法框架構(gòu)建CGF行為預(yù)測(cè)模型；

S2對(duì)所述CGF行為預(yù)測(cè)模型進(jìn)行訓(xùn)練；

S3將環(huán)境信息和狀態(tài)信息輸入至所述CGF行為預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，所述CGF行為預(yù)測(cè)模型依據(jù)環(huán)境和狀態(tài)輸出預(yù)測(cè)的動(dòng)作；

其中，步驟S2中所述CGF行為預(yù)測(cè)模型的訓(xùn)練過程包括：

S21所述CGF行為預(yù)測(cè)模型與輸入的環(huán)境信息交互后輸出下一步動(dòng)作；

S22采用動(dòng)作檢測(cè)機(jī)制對(duì)所述CGF行為預(yù)測(cè)模型輸出的動(dòng)作進(jìn)行判斷，當(dāng)輸出的動(dòng)作正確則被賦予負(fù)反饋，當(dāng)輸入的動(dòng)作不正確則被賦予正反饋，所有反饋信息與動(dòng)作信息一同被記錄至經(jīng)驗(yàn)回放池；

S23基于所述經(jīng)驗(yàn)回放池更新所述CGF行為預(yù)測(cè)模型的參數(shù)；

S24循環(huán)步驟S21~S23直至達(dá)到設(shè)定的循環(huán)次數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于動(dòng)作檢測(cè)機(jī)制的CGF行為建模方法，其特征在于：步驟S1）中，所述基于LSTM-SAC算法框架的CGF行為預(yù)測(cè)模型的最佳策略π*滿足：

其中，s、a為狀態(tài)和動(dòng)作，E_(st,at)~π表示CGF在策略π、動(dòng)作a_t和狀態(tài)s_t下獲得獎(jiǎng)勵(lì)的期望，下標(biāo)t表示時(shí)刻，r(s_t,a_t)為t時(shí)刻的獎(jiǎng)勵(lì)，H(π(·|?s_t))為t時(shí)刻的狀態(tài)熵，α表示溫度調(diào)整參數(shù)；

優(yōu)化目標(biāo)函數(shù)為：

其中，E_π表示CGF在策略π下獲得獎(jiǎng)勵(lì)的期望。

3.根據(jù)權(quán)利要求2所述的一種基于動(dòng)作檢測(cè)機(jī)制的CGF行為建模方法，其特征在于：步驟S23中，更新所述CGF行為預(yù)測(cè)模型參數(shù)的方法為：

初始化兩個(gè)Soft-Q函數(shù)網(wǎng)絡(luò)參數(shù)θ和策略網(wǎng)絡(luò)參數(shù)φ，初始化經(jīng)驗(yàn)回放池；在每一次循環(huán)迭代中，根據(jù)接收的觀察量o_t策略網(wǎng)絡(luò)選出動(dòng)作a_t，并將訓(xùn)練過程放入經(jīng)驗(yàn)回放池R；從所述經(jīng)驗(yàn)回放池R中選取N個(gè)片段，訓(xùn)練LSTM網(wǎng)絡(luò)，更新兩個(gè)Soft-Q函數(shù)網(wǎng)絡(luò)參數(shù)θ，更新策略網(wǎng)絡(luò)參數(shù)φ，更新溫度調(diào)整參數(shù)α，更新網(wǎng)絡(luò)目標(biāo)參數(shù)θ_i直至循環(huán)停止。