[發明專利]多智能體協作信息處理方法、系統、存儲介質、智能終端

在審

• 申請號: 202010211670.3
• 申請日: 2020-03-23
• 公開（公告）號: CN111582469A
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 鄒長杰;鄭皎凌;張中雷
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/02;G06N20/00
• 代理公司: 北京元本知識產權代理事務所(普通合伙) 11308
• 代理人: 王紅霞

1.一種多智能體協作信息處理方法，其特征在于，所述多智能體協作信息處理方法包括以下步驟：

第一步，每個agent在環境中每采取下一步行為在環境中留下自己的信息微量，當其它agent到達環境中這個狀態時會先搜索周圍的信息微量，把信息微量加入到神經網絡中進行訓練；

第二步，分組模型找到多智能體之間更好的合作策略，分組模型使用RNN網絡設計出多智能體之間的分組關系，稱為G模型，并且通過G模型能夠預測出多智能體在下一時刻的最優分組；

第三步，在每次經過G模型訓練一回合結束時，把每個agent的損失函數公式看作適應度，統計每一回合智能體軌跡的損失值均值，匯總每一回合所有agent軌跡的損失值。

2.如權利要求1所述的多智能體協作信息處理方法，其特征在于，所述第一步每個agent在環境中每采取下一步行為在環境中留下自己的信息微量，當其它agent到達環境中這個狀態時會先搜索周圍的信息微量，把信息微量加入到神經網絡中進行訓練具體包括：智能體agent_i的信息微量X_i，信息微量用x表示，X＝R^n×n到其中n×n表示環境大小；

x′_i＝x_i+Δs；

Agent_i每到達下一個狀態都會更新信息微量表中對應狀態的數量值，Δs表示agent_i到達對應狀態記為1，否則記為0；所有agent信息微量匯總方式如下：

x_all＝λ₁x₁+λ₂x₂+…+λ_nx_n；

λ_i是x_i的權重，如果agent_i在一回合內完成目標，那么信息微量x_i就是正反饋λ_i＝1，反之λ_i＝-1；每回合結束后環境中的信息微量匯總x_all，對匯總表x_all的信息微量進行歸一化，

兩個智能體agent₁和agent₂，x₁和x₂過程如下：

x₁+x₂＝x_all；

得到x_all后對其歸一化，當agent_i到達x_all中某一狀態是獲取周圍4個方向的信息微量數值，放到actor中訓練，在訓練過程中agent_i利用這四個數值優化行為策略，在學習過程中agent_i會朝信息微量相對多的方向行動的概率會增大。

3.如權利要求1所述的多智能體協作信息處理方法，其特征在于，所述第二步組隊策略G_t，使用分組模型找到多智能體之間更好的合作策略，分組模型使用RNN網絡設計出多智能體之間的分組關系，稱為G模型，并且通過G模型能夠預測出多智能體在下一時刻的最優分組；

每個agent通過自己的Actor網絡選出下一步行為a，通過Critic網絡更新Actor策略，經過G模型的組隊，agent₁和agent₃組隊訓練Critic1網絡，agent₂和agent₁、agent₃組隊訓練Critic2網絡，agent₃和agent₂組隊訓練Critic3網絡用有向圖表示agent組隊。