[發明專利]一種多智能體深度強化學習方法、系統及應用

有效

• 申請號: 202110216405.9
• 申請日: 2021-02-26
• 公開（公告）號: CN112801290B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 張婷婷;董會;張賽男
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 何春廷

1.一種多智能體深度強化學習方法，其特征在于，包括：

獲取預先構建的智能體與外界環境交互式時進行動作回饋的獎勵函數，根據獎勵函數獲取整個獎勵空間，并依據獎勵的屬性將獎勵空間劃分為若干層緩存區；

為每個智能體構建多個克隆體，多個克隆體一一對應多個線程，通過線程獲取對應克隆體每次與環境副本進行交互后的樣本經驗，包括：

獲取線程中克隆體的環境副本、該線程的神經網絡以及該神經網絡的初始參數，獲取克隆體利用初始參數的神經網絡與環境副本交互后的樣本經驗；根據樣本經驗更新神經網絡的參數，重復樣本經驗獲取過程，直到交互次數的總數到達預先設定的次數；

所述樣本經驗包括智能體當前狀態s、行為a、智能體下一狀態′和通過執行行為a實現從當前狀態s轉移到下一狀態′得到的獎勵值r；

匯總所有線程的樣本經驗；

對于每個所述樣本經驗，關聯它的獎勵的屬性，并根據獎勵的屬性將所述樣本經驗放入對應的緩存區中；

通過分層隨機抽樣的采樣方式從所有緩存區中抽取經驗樣本，訓練多智能體深度強化學習神經網路。

2.根據權利要求1所述的多智能體深度強化學習方法，其特征在于，所述緩存區用于存放固定數量的樣本經驗，當達到預先設定的固定數量后，若有新的樣本經驗輸入時，刪除最舊的經驗。

3.根據權利要求1所述的多智能體深度強化學習方法，其特征在于，所述分層隨機抽樣中，

每層緩存區的抽樣的權重依據每個緩存區內經驗的數量占所有緩存區經驗的總數的比重進行確定。

4.根據權利要求1所述的多智能體深度強化學習方法，其特征在于，將訓練后的所述多智能體深度強化學習神經網路的參數覆蓋所有線程的神經網絡的參數。

5.根據權利要求1所述的多智能體深度強化學習方法，其特征在于，應用于多智能體的協同追蹤目標。

6.一種多智能體深度強化學習系統，其特征在于，包括：

劃分模塊，用于獲取預先構建的智能體與外界環境交互式時進行動作回饋的獎勵函數，根據獎勵函數獲取整個獎勵空間，并依據獎勵的屬性將獎勵空間劃分為若干層緩存區；

克隆模塊，用于為每個智能體構建多個克隆體，多個克隆體一一對應多個線程，通過線程獲取對應克隆體每次與環境副本進行交互后的樣本經驗，具體過程包括：

獲取線程中克隆體的環境副本、該線程的神經網絡以及該神經網絡的初始參數，獲取克隆體利用初始參數的神經網絡與環境副本交互后的樣本經驗；根據樣本經驗更新神經網絡的參數，重復樣本經驗獲取過程，直到交互次數的總數到達預先設定的次數；

所述樣本經驗包括智能體當前狀態s、行為a、智能體下一狀態′和通過執行行為a實現從當前狀態s轉移到下一狀態′得到的獎勵值r；

匯總模塊，用于匯總所有線程的樣本經驗；

關聯模塊，用于對于每個所述樣本經驗，關聯它的獎勵的屬性，并根據獎勵的屬性將所述樣本經驗放入對應的緩存區中；

抽取模塊，用于通過分層隨機抽樣的采樣方式從放入所述樣本經驗的所有緩存區中抽取經驗樣本；

訓練模塊，用于通過分層隨機抽樣的采樣方式從所有緩存區中抽取經驗樣本，訓練多智能體深度強化學習神經網路。

7.根據權利要求6所述的多智能體深度強化學習系統，其特征在于，所述克隆模塊包括線程處理模塊，線程處理模塊包括：

獲取模塊，獲取線程中克隆體的環境副本、該線程的神經網絡以及該神經網絡的初始參數，獲取克隆體利用初始參數的神經網絡與環境副本交互后的樣本經驗；

更新模塊，用于根據樣本經驗更新神經網絡的參數，重復樣本經驗獲取過程，直到交互次數的總數到達預先設定的次數。

8.根據權利要求6所述的多智能體深度強化學習系統，其特征在于，所述訓練模塊包括覆蓋模塊，用于將訓練后的多智能體深度強化學習神經網路的參數覆蓋所有線程的神經網絡的參數。