[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110904687.1
• 申請(qǐng)日: 2021-08-07
• 公開（公告）號(hào): CN113743583A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 郝一行;樸海音;陳永紅;陶曉洋;王漢;于津;韓玥;楊晟琦;彭宣淇;孫陽;葉超;樊松源
• 申請(qǐng)（專利權(quán)）人: 中國(guó)航空工業(yè)集團(tuán)公司沈陽飛機(jī)設(shè)計(jì)研究所;沈陽飛機(jī)設(shè)計(jì)研究所揚(yáng)州協(xié)同創(chuàng)新研究院有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N20/00;G05D1/12
• 代理公司: 北京航信高科知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11526
• 代理人: 劉傳準(zhǔn)

1.一種基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，包括：

步驟S1、在記憶庫中采樣一個(gè)batch的樣本數(shù)據(jù)，所述記憶庫中存儲(chǔ)了進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練的交互數(shù)據(jù)；

步驟S2、更新強(qiáng)化學(xué)習(xí)模型的內(nèi)層模型策略網(wǎng)絡(luò)與價(jià)值網(wǎng)絡(luò)；

步驟S3、固定內(nèi)層網(wǎng)絡(luò)參數(shù)，更新外層模型策略網(wǎng)絡(luò)與價(jià)值網(wǎng)絡(luò)，其中，引入智能體無效行為切換算子，并在外層模型相對(duì)于內(nèi)層模型執(zhí)行無效行為時(shí)，降低其價(jià)值網(wǎng)絡(luò)的獎(jiǎng)勵(lì)；

步驟S4、以外層模型策略網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)策略作為智能體實(shí)時(shí)交互策略并采集數(shù)據(jù)，更新所述記憶庫的交互數(shù)據(jù)；

步驟S5、重復(fù)上述步驟，直至模型收斂。

2.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，步驟S1中，所述交互數(shù)據(jù)包括智能體的當(dāng)前時(shí)刻狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)以及回合是否結(jié)束的信息。

3.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，步驟S1之前進(jìn)一步包括：

步驟S0、通過智能體與模擬環(huán)境進(jìn)行交互實(shí)現(xiàn)交互數(shù)據(jù)的采集，并存入所述記憶庫。

4.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，所述內(nèi)層模型與所述外層模型采用相同的強(qiáng)化學(xué)習(xí)算法。

5.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，所述內(nèi)層模型與所述外層模型采用不同的強(qiáng)化學(xué)習(xí)算法。

6.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，所述內(nèi)層模型與所述外層模型之間的關(guān)系為：

π^out(s_t，a_t)＝ε(s_t，a_t-1,a_t-2,……,a_t-k)+[1-ε(s_t，a_t-1,a_t-2,……,a_t-k)]*πⁱⁿ(s_t，a_t)

其中，s_t表示第t步的環(huán)境狀態(tài)；a_t表示第t步時(shí)智能體所采取的動(dòng)作；πⁱⁿ表示內(nèi)層強(qiáng)化學(xué)習(xí)的策略模型；π^out表示外層強(qiáng)化學(xué)習(xí)的策略模型；ε表示內(nèi)外層智能體策略間的權(quán)重。

7.如權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，步驟S5中，模型訓(xùn)練采用minibatch法，batch尺寸選為64，每2次狀態(tài)轉(zhuǎn)移后更新一次內(nèi)外層神經(jīng)網(wǎng)絡(luò)參數(shù)，當(dāng)模型損失函數(shù)降低到預(yù)設(shè)閾值時(shí)，停止訓(xùn)練，輸出最終神經(jīng)網(wǎng)絡(luò)，即為前向傳播過程中的權(quán)重矩陣和偏置項(xiàng)，作為智能體最終策略。

8.如權(quán)利要求7所述的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法，其特征在于，步驟S5之后，進(jìn)一步包括評(píng)估智能體最終的動(dòng)作切換率，動(dòng)作切換率由以下公式所得：

式中：R(π^out)表示智能體最終策略在一條軌跡中的動(dòng)作切換率；T表示軌跡長(zhǎng)度；sign(a_t＝a_t-1)表示相鄰兩步智能體所采取的動(dòng)作是否相同，若相同，則sign值為1，若不同則sign值為0。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器中并能夠在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上的基于強(qiáng)化學(xué)習(xí)的智能體無效行為切換抑制方法。