[發(fā)明專利]一種基于強化學(xué)習(xí)的智能體無效行為切換抑制方法

在審

• 申請?zhí)枺?/td>: 202110904687.1
• 申請日: 2021-08-07
• 公開（公告）號: CN113743583A
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計）人: 郝一行;樸海音;陳永紅;陶曉洋;王漢;于津;韓玥;楊晟琦;彭宣淇;孫陽;葉超;樊松源
• 申請（專利權(quán)）人: 中國航空工業(yè)集團公司沈陽飛機設(shè)計研究所;沈陽飛機設(shè)計研究所揚州協(xié)同創(chuàng)新研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N20/00;G05D1/12
• 代理公司: 北京航信高科知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11526
• 代理人: 劉傳準

本申請涉及機器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于強化學(xué)習(xí)的智能體無效行為切換抑制方法。該方法包括：步驟S1、在記憶庫中采樣一個batch的樣本數(shù)據(jù)；步驟S2、更新強化學(xué)習(xí)模型的內(nèi)層模型策略網(wǎng)絡(luò)與價值網(wǎng)絡(luò)；步驟S3、固定內(nèi)層網(wǎng)絡(luò)參數(shù)，更新外層模型策略網(wǎng)絡(luò)與價值網(wǎng)絡(luò)，其中，引入智能體無效行為切換算子，并在外層模型相對于內(nèi)層模型執(zhí)行無效行為時，降低其價值網(wǎng)絡(luò)的獎勵；步驟S4、以外層模型策略網(wǎng)絡(luò)的強化學(xué)習(xí)策略作為智能體實時交互策略并采集數(shù)據(jù)，更新所述記憶庫的交互數(shù)據(jù)；步驟S5、重復(fù)上述步驟，直至模型收斂。本申請在不引入額外人工標注的條件下有效降低智能體的頻繁動作切換，不影響模型收斂性能，并提升強化學(xué)習(xí)模型的魯棒性與實用性。

技術(shù)領(lǐng)域

本申請涉及機器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于強化學(xué)習(xí)的智能體無效行為切換抑制方法。

背景技術(shù)

強化學(xué)習(xí)本質(zhì)上是一個智能體采取一定的策略與環(huán)境不斷的交互，學(xué)習(xí)新的外部知識，并迭代更新自身策略的過程。智能體最終所學(xué)習(xí)到的最優(yōu)策略是設(shè)計強化學(xué)習(xí)算法模型的目的，也是評價強化學(xué)習(xí)算法優(yōu)劣的主要指標。故為了保證強化學(xué)習(xí)算法的收斂性與策略的魯棒性和多樣性，在訓(xùn)練過程中加入隨機性是必不可少的技巧。

目前強化學(xué)習(xí)訓(xùn)練過程隨機性主要體現(xiàn)在智能體實時探索策略中隨機噪聲的加入、目標函數(shù)中加入多樣性指標(如信息熵等)和采用神經(jīng)網(wǎng)絡(luò)逼近價值函數(shù)等方面。此類方法在加速模型收斂、防止模型陷入局部最優(yōu)等方面已取得很好的效果。隨機性的加入在實現(xiàn)上述優(yōu)勢同時，也導(dǎo)致了最終模型執(zhí)行時產(chǎn)生較多無效動作切換的問題。過多無效動作切換的發(fā)生在仿真環(huán)境中影響有限，但在真實環(huán)境中(如機器人)會產(chǎn)生資源的較大浪費，降低動作執(zhí)行效率，甚至可能會產(chǎn)生諸多意想不到的后果(直接導(dǎo)致任務(wù)失敗)。過多的無效動作切換產(chǎn)生的緣由是智能體探索策略所具有的隨機性，而降低隨機性可能會直接導(dǎo)致模型收斂性產(chǎn)生問題，故無效動作切換的多少與隨機性大小是一對矛盾體，需要在算法層面進行權(quán)衡，以達到在降低無效動作切換產(chǎn)生的同時，對算法收斂性不產(chǎn)生影響。

發(fā)明內(nèi)容

本發(fā)明的目的旨在改善強化學(xué)習(xí)智能體行為策略產(chǎn)生較多無效動作的缺陷。為此，本發(fā)明提供一種基于雙層強化學(xué)習(xí)算法的無效行為抑制方法，此算法所訓(xùn)練出的最終智能體能夠在降低無效行為切換率的同時不降低模型精度，對于工業(yè)機器人等對行為效率有較高要求的實際應(yīng)用場景具有較大意義，可有效地促進強化學(xué)習(xí)算法的實際應(yīng)用落地。

本申請基于強化學(xué)習(xí)的智能體無效行為切換抑制方法，主要包括：

步驟S1、在記憶庫中采樣一個batch的樣本數(shù)據(jù)，所述記憶庫中存儲了進行強化學(xué)習(xí)訓(xùn)練的交互數(shù)據(jù)；

步驟S2、更新強化學(xué)習(xí)模型的內(nèi)層模型策略網(wǎng)絡(luò)與價值網(wǎng)絡(luò)；

步驟S3、固定內(nèi)層網(wǎng)絡(luò)參數(shù)，更新外層模型策略網(wǎng)絡(luò)與價值網(wǎng)絡(luò)，其中，引入智能體無效行為切換算子，并在外層模型相對于內(nèi)層模型執(zhí)行無效行為時，降低其價值網(wǎng)絡(luò)的獎勵；

步驟S4、以外層模型策略網(wǎng)絡(luò)的強化學(xué)習(xí)策略作為智能體實時交互策略并采集數(shù)據(jù)，更新所述記憶庫的交互數(shù)據(jù)；

步驟S5、重復(fù)上述步驟，直至模型收斂。

優(yōu)選的是，步驟S1中，所述交互數(shù)據(jù)包括智能體的當前時刻狀態(tài)、動作、獎勵以及回合是否結(jié)束的信息。

優(yōu)選的是，步驟S1之前進一步包括：

步驟S0、通過智能體與模擬環(huán)境進行交互實現(xiàn)交互數(shù)據(jù)的采集，并存入所述記憶庫。

優(yōu)選的是，所述內(nèi)層模型與所述外層模型采用相同的強化學(xué)習(xí)算法。

優(yōu)選的是，所述內(nèi)層模型與所述外層模型采用不同的強化學(xué)習(xí)算法。

優(yōu)選的是，所述內(nèi)層模型與所述外層模型之間的關(guān)系為：