[發明專利]一種面向多智能體任務規劃的復雜優化方法

在審

• 申請號: 202210401273.1
• 申請日: 2022-04-18
• 公開（公告）號: CN114819316A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 江光德;陳豪;李冬雪;何浩東;魏國強;宮樹香;馬靖;杜林峰;劉慶國;伍樊成;魏慶棟;周穎;粱燕
• 申請（專利權）人: 中國人民解放軍96901部隊
• 主分類號: G06Q10/04
• 分類號: G06Q10/04
• 代理公司: 中國人民解放軍火箭軍專利服務中心 11040
• 代理人: 李麗梅

1.一種面向多智能體任務規劃的復雜優化方法，其特征在于，所述多智能體任務規劃基于馬爾可夫決策和博弈論理論實現，包括多目標任務分配和多智能體路徑規劃；

所述多目標任務分配采用雙向競標，即由智能體競標目標任務和由目標任務競標智能體的循環競標策略；

記所有智能體的狀態量為全局狀態量，所述多智能體路徑規劃是采用多智能體交互模塊對所述全局狀態量進行降維，降維后的狀態量經動作決策，得到最優動作集合，即最優路徑規劃結果；其中，為第m個智能體在t時刻的狀態量，，其任務規劃結果是獲得最優動作；

所述多智能體交互模塊包括依次連接的相關性排序單元和循環交互單元；所述相關性排序單元用于進行相關性排序，所述循環交互單元采用循環遞推結構對所述相關性排序單元輸出的狀態量進行降維，所述循環交互單元的輸出記為，與的拼接記為緊湊全局狀態量；

任意給定輸入和，輸出，所述智能體m循環交互單元的循環遞推結構的表達式為：

(1)

(2)

(3)

其中，為逐元素的乘積，是sigmoid函數，分別為權值方陣，記為循環交互單元參數，i為所述循環交互單元的循環次數索引；

所述多目標任務分配具體步驟包括：

S11：環境建模

以數字化地圖構建所述多智能體任務規劃的環境，描述環境中要素的坐標位置，所述要素至少包括智能體、目標點、障礙物，將智能體和目標點抽象為質點，環境中的障礙物抽象為幾何區域；設智能體個數為M，目標任務個數為N，且M≥N；n記為目標任務的索引，所述多目標任務分配的總價值P最大化為約束條件；

S12：智能體競標目標任務

選擇總價值最大的方案X為智能體競標目標任務的最優任務分配方案，X為矩陣，記為正向分配方案；

（4）

其中，v_n是目標任務n的執行收益，k_mn為第m個智能體對目標任務n的匹配系數，q_mn為智能體m對目標任務n成功完成的概率，其取值范圍為[0,1]，x_mn代表競標方案矩陣X的元素，定義為：

（5）

x_mn=1時，表示智能體m執行目標任務n；x_mn=0時，表示智能體m不執行目標任務n；

S13：目標任務競標智能體

選擇總價值最大化的方案Y為目標任務競標智能體的最優任務分配方案，記為反向分配方案；

（6）

其中，u_m是智能體m對目標任務的執行收益，g_nm為第n個目標任務對智能體m的匹配系數，q_nm為目標任務n采用智能體m成功完成的概率，且q_nm=q_mn，y_nm代表競標方案矩陣Y的元素，定義為：

（7）

y_mn=1時，表示目標任務n選擇智能體m執行任務；y_mn=0時，表示目標任務n不采用智能體m執行任務；

S14：將方案X和方案Y的轉置矩陣進行逐元素比對，若對應位置的元素取值相同，則取該位置對應的智能體和目標任務作為分配結果；若對應位置的元素取值不一致，則對方案X的不一致元素記錄相應的值，對方案Y的不一致元素記錄相應的值；將所有記錄的值按取值大小確定未分配智能體或目標任務的優先級，取值越大的對應的智能體與目標任務分配結果越優先被采納，直至所有目標任務均分配了智能體；

所述多智能體路徑規劃具體步驟包括：

S21：初始化設置

在t=0階段，觀測全局狀態量；設定t的上限值；遍歷所有智能體，完成所有智能體的初始化，具體方法是：

對于智能體m，采用隨機初始化的方式，隨機生成動作策略的參數，并設置的最優參數，隨機生成評判策略的參數，并設置的最優參數；隨機初始化循環交互單元的所有參數；

S22：設置從第m=0個智能體開始，逐個智能體執行步驟S23-S29；

S23：計算多智能體交互信息

將多智能體的全局狀態量輸入相關性排序單元進行相關性排序，相關性排序單元的輸出是除智能體m的狀態量之外的，且經排序后的其他智能體的狀態量，將相關性排序單元的輸出按照大至小的順序依次輸入循環交互單元按照公式（1）-（3）進行迭代，得到循環交互單元輸出；

智能體m每完成一次任務規劃，將其循環交互單元參數共享給下一個智能體m+1的循環交互單元，循環交互單元參數通過共享更新，即

（8）

式中，的取值范圍為[0.05，0.5]；

S24：生成最優動作

基于動作策略生成最優動作為：

（9）

其中，為隨機噪聲，表示參數為時的動作策略；

S25：評估路徑規劃結果

依據最優動作，智能體m完成一次任務規劃，評估此時智能體和目標任務所產生的獎勵，以及其下一時刻達到的狀態；

S26：獲取多智能體路徑規劃參數優化的數據包

存儲t時刻的到由緊湊全局狀態量、最優動作和獎勵構成的任務規劃歷史數據庫，采用隨機取樣方式，從歷史數據庫中抽取一批數據，構成多智能體路徑規劃參數優化數據包，數據包包含K組樣本，k為樣本索引，，第k組樣本包括某一時刻的緊湊全局狀態量、最優動作、獎勵及其下一時刻的緊湊全局狀態量；

S27：根據K個樣本逐一計算智能體m的總獎勵期望的目標值

(10)

其中，表示以當前最優動作策略參數計算的最優動作，表示當前獎勵的期望以最優的評價策略參數計算，，為相鄰兩次多智能體路徑規劃獎勵的權重系數；

S28：智能體m，動作策略、評判策略和循環交互單元參數通過最小化損失函數值L來優化

(11)

其中，；

則評判策略參數更新為，動作策略的參數更新為，更新為，；

S29：更新智能體m的動作策略和評判策略的最優模型參數

(12)

其中，為更新權重，；

所有智能體完成步驟S23-S29后，在t的上限值范圍內，通過不斷重復S22-S29，實現動作策略的最優模型參數的逐步優化，并以最終的為動作策略的最優動作，即最優路徑規劃結果。

2.根據權利要求1所述的方法，其特征在于，所述相關性排序具體方法是：

智能體m與其他的任一智能體l的相關性通過其狀態量間的距離來度量，采用范數計算：

(13)

其中，j表示狀態量，的維度索引，p一般取1或2。