[發明專利]基于GP與PPO實現連續性動作決策的智能決策方法和系統

有效

• 申請號: 202210404484.0
• 申請日: 2022-04-18
• 公開（公告）號: CN114647986B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 方文其;吳冠霖;葛品;平洋;欒紹童;戴迎楓;繆正元;沈源源;金新竹
• 申請（專利權）人: 南湖實驗室
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N5/01;G06N20/00
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 張曉英

1.一種用于實現連續性動作決策的智能決策模型訓練方法，其特征在于，包括以下步驟：

S1.策略模型針對狀態s選擇執行動作a，環境響應狀態s’，回報值r和終止標志符t，保存經驗(s，a，r，t)至經驗池策略區以用于直接訓練策略模型，保存(s，a，s’，r)至經驗池世界區以用于訓練世界模型；

策略模型用經驗池中的模擬經驗進行強化學習，模擬經驗由世界模型基于真實經驗模仿環境而生成；

S2.世界模型從經驗池世界區中采樣，利用損失函數L_world＝αL_NLL+βL_ppo更新模型參數θ_w；

S3.訓練后的世界模型從經驗池策略區中采樣得到狀態s，動作a和終止標志符t’，并響應狀態差Δs和回報值r，s’＝s+Δs，將(s，a，r，t’)作為模擬經驗保存至經驗池策略區；

S4.策略模型從經驗池策略區中采樣，利用損失函數L＝L_policy-c₁L_value+c₂L_entropy更新模型參數θ_Q，并保存本次訓練中每一步的L；

S5.對L取平均值作為L_ppo后代入L_world＝αL_NLL+βL_ppo，用于下一次世界模型的訓練；

所述的策略模型包括策略損失函數，以及值函數損失函數和/或熵損失函數：

L＝L_policy-c₁L_value+c₂L_entropy????(1)

其中，L_policy為策略損失函數，L_value表示值函數損失函數，L_entropy為熵損失函數，c₁，c₂是權重值；

策略損失函數包括：

E_t表示求平均值，min表示取小的值，r_t(θ)表示新舊策略變化比例，表示PPO算法的優勢函數，clip表示截斷函數，∈是截斷系數；

值函數損失函數包括：

L_value＝E_t[(R_t-V_θ(s_t))²]????(3)

其中，R_t表示跟隨軌跡所積累的回報值，V_θ(s_t)為值函數，E_t表示求平均值；

用于訓練世界模型的損失函數包括：

L_world＝αL_NLL+βL_ppo????(4)

α、β分別為可調系數，L_NLL為世界模型優化函數，L_ppo為策略模型的損失函數；

世界模型優化函數L_NLL包括：

其中，∑為預測得到的協方差，D是N*M維的對角矩陣，I表示單位矩陣，K^f用于描述不同任務之間的關聯，K^x表示訓練數據之間的關聯矩陣，y表示訓練數據中的輸出值。

2.根據權利要求1所述的用于實現連續性動作決策的智能決策模型訓練方法，其特征在于，所述的世界模型由多維輸出的GP模型構建而成。