[發明專利]一種在強化學習中基于變分自動編碼器的內部激勵方法

在審

• 申請號: 202310247094.1
• 申請日: 2023-03-15
• 公開（公告）號: CN116306816A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 曹俊豪;孔燕
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

1.一種在強化學習中基于變分自動編碼器的內部激勵方法，其特征在于，包括以下步驟：

(1)對穿越熔巖迷宮環境信息進行預處理；

(2)利用Advantage?Actor-Critic構建深度強化學習框架；

(3)將狀態數據集輸入變分自動編碼器得到智能體對于狀態好奇度的度量，并將其定義為在潛在空間上后驗分布偏離先驗分布的程度；

(4)每經過N個時間步，訓練actor網絡和critic網絡，并返回累計獎勵G_t；

(5)在數據集D中，對被收集的狀態s上訓練變分自動編碼器；

(6)重新初始化數據集D，將狀態s_t插入數據集D中。并在MiniGrid平臺上進行可視化展示。

2.根據權利要求1所述的一種在強化學習中基于變分自動編碼器的內部激勵方法，其特征在于，所述步驟(1)具體為：

采集智能體在迷宮中的初始觀測值和初始狀態s₀，形成數據集D。

3.根據權利要求1所述的一種在強化學習中基于變分自動編碼器的內部激勵方法，其特征在于，所述步驟(2)具體為：

在時間步t＝0，1…T內，采取動作a_t，觀測下一狀態s_t+1和外部獎勵r_extrinsic(s_t+1)。

4.根據權利要求1所述的一種在強化學習中基于變分自動編碼器的內部激勵方法，其特征在于，所述步驟(3)具體為：

(3.1)將狀態數據集輸入變分自動編碼器得到智能體對于狀態好奇度的度量，并將其定義為在潛在空間上后驗分布偏離先驗分布的程度，其公式如下：

其中L為損失函數，Z為潛在空間，S為狀態集合，p_θ(Z|S)為狀態的后驗分布，為狀態的變分分布，W表示Wasserstein距離，p(Z)為狀態先驗分布；

(3.2)根據Wasserstein距離計算得出智能體處于該狀態的內部獎勵r_intrinsic(s_t+1)，即狀態的變分分布與狀態先驗分布之間的差距：

(3.3)將四元組(s_t+1,a_t,r_extrinsic(s_t+1),r_intrinsic(s_t+1))存儲到數據集D中。

5.根據權利要求1所述的一種在強化學習中基于變分自動編碼器的內部激勵方法，其特征在于，所述步驟(4)具體為：

每經過N個時間步，訓練actor網絡和critic網絡，并返回累計獎勵G_t：

式中，G_t為累計獎勵，r_extrinsic(s_t+1)是在狀態s_t+1下的外部獎勵，β為折扣因子在0到1之間，W表示Wasserstein距離，p(Z)為狀態先驗分布，為狀態的變分分布。

6.一種計算機存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1-5中任一項所述的一種在強化學習中基于變分自動編碼器的內部激勵方法。

7.一種計算機設備，包括儲存器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-5中任一項所述的一種在強化學習中基于變分自動編碼器的內部激勵方法。