[發明專利]一種基于強化學習的敵-友深度確定性策略方法及系統

在審

• 申請號: 202010977621.0
• 申請日: 2020-09-17
• 公開（公告）號: CN112215364A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 薛超;姜浩;金松昌;康穎;史殿習;郝峰;王弢
• 申請（專利權）人: 天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種基于強化學習的敵-友深度確定性策略方法，其特征在于，包括：

構建強化學習環境，所述學習環境包括：多種場景、基于每種場景設計的多個智能體以及多個智能體之間的關系；

基于每種場景，獲取各智能體動作；

基于所有智能體動作以及智能體之間的關系，以使敵方最壞、友方最好為目標，對估計評論家網絡和估計演員網絡進行訓練，確定各智能體動作策略；

其中，所述智能體之間的關系包括：處于友方的合作者和處于對方的對抗者。

2.如權利要求1所述的方法，其特征在于，所述強化學習環境的構建，包括：

為學習環境構建多個場景；

基于各場景為學習環境構建設定數量的友方合作者關系的智能體和設定數量的敵方對抗者關系的智能體，并對所有智能體進行編號；

其中，場景包括：追捕場景、物理欺騙場景、私密通信場景和推離場景。

3.如權利要求2所述的方法，其特征在于，所述基于所有智能體動作以及智能體之間的關系，以使敵方最壞、友方最好為目標，對估計評論家網絡和估計演員網絡進行訓練，確定各智能體動作策略，包括：

基于所有智能體動作以及智能體之間的關系構建樣本集；

基于樣本集，以敵方最壞、友方最好為目標，對估計評論家網絡進行訓練得到Q值；

基于各智能體從環境中獲取的其他智能體的動作和所述各智能體的估計Q值，對估計演員網絡進行訓練，得到各智能體的執行動作。

4.如權利要求3所述的方法，其特征在于，所述基于所有智能體動作以及智能體之間的關系構建樣本集，包括：

從學習環境中采樣到的所有智能體對學習環境的聯合觀測值、執行動作、動作執行完成后的獎勵反饋、在下一時刻對學習環境的聯合觀測值信息存入到回憶池中；

基于所述回憶池中的所有智能體對學習環境的聯合觀測值、執行動作、動作執行完成后的獎勵反饋以及下一時刻對學習環境的聯合觀測值得到樣本集。

5.如權利要求4所述的方法，其特征在于，所述基于樣本集，以敵方最壞、友方最好為目標，對估計評論家網絡進行訓練得到Q值，包括：

基于樣本集中的針對敵方關系的其他智能體，采用單步梯度方法將學習環境中友方智能體視為一個整體，對以敵方最壞、友方最好為目標的目標函數進行計算，得到使得敵方處于最壞情況時的敵方輔助參數；

基于樣本集中的針對友方關系的其他智能體，采用單步梯度方法將學習環境中敵方智能體視為一個整體，對以敵方最壞、友方最好為目標的目標函數進行求解得到友方處于最好情況的友方輔助參數；

基于所述敵方輔助參數和所述友方輔助參數確定敵方最差、友方最好情況下的Q值，并通過損失函數進行優化，直到損失函數收斂。

6.如權利要求1所述的方法，其特征在于，所述目標函數的計算式如下：

其中，表示優化目標函數，表示集中訓練分步執行框架，xⁿ表示在t時刻的學習環境信息，表示t時刻友方智能體的動作，表示t時刻敵方智能體的動作，表示t時刻第i個智能體的觀測的確定性策略函數，表示t時刻在敵方最壞的情況下使得增加最快的友方動作，表示t時刻使得減少最快的敵方動作，表示友方智能體在t時刻的友方輔助參數，表示敵方智能體在t時刻的敵方輔助參數。

7.如權利要求6所述的方法，其特征在于，所述基于各智能體從環境中獲取的其他智能體的動作和所述各智能體的估計Q值，對估計演員網絡進行訓練，得到各智能體的執行動作包括：

將各智能體的估計Q值作為所述估計演員網絡的輸入，將各智能體從環境中獲取的其他智能體的動作作為所述估計演員網絡的輸出對所述估計演員網絡進行訓練。