[發明專利]一種提高多智能體系統合作水平的多跳學習方法

在審

• 申請號: 202010094720.4
• 申請日: 2020-02-16
• 公開（公告）號: CN111294242A
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 王濤;韓樂;關潤宇;熊偉明;周達;秦宇;王卓婭;金鑫
• 申請（專利權）人: 湖南大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06N5/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種提高多智能體系統合作水平的多跳學習方法，屬于人工智能和計算機網絡領域。基于網絡演化博弈理論，通過增強智能體學習范圍來促進智能體采用合作策略，提高系統的整體收益。首先將智能體關鍵的，重復的交互活動建模到獵鹿博弈或囚徒博弈，智能體采用合作或者背叛策略，并將智能體系統部署到網格網絡；然后智能體之間進行博弈，累計各自的收益；接著智能體根據無條件學習方法或復制子動態方法學習多跳范圍(2～5跳)的鄰居，調整自己的策略，并重新開始博弈。該方法對建模在獵鹿博弈下的系統合作率最高比經典方法提升數十倍，可以應用于P2P網絡，無線傳感器網絡等群體智能領域。

技術領域

本發明涉及一種加強多智能體系統中協同能力的方法，特別涉及一種基于演化博弈的通過多跳學習來增強智能體之間合作水平的方法。

背景技術

多智能體系統是由多個交互智能體組成的計算機化系統。是由在一個環境中交互的多個智能體組成的計算系統。多智能體系統也能被用在解決分離的智能體以及單層系統難以解決的問題。智能可以由一些方法，函數，過程，搜索算法或加強學習來實現。多智能體系統與單智能體差異非常大，其中一個很重要的問題是在一個去中心化的系統中，多智能體之間如何進行有效管理和協同利用，實現群體收益最大化。合作現象普遍存在于現實世界與網絡世界，在個人利益與集體利益相權衡下，自私個體為了謀求自身利益最大化，常常使得系統陷入困境。因此如何促進自私個體之間展開合作以及合作的維持仍然是一個挑戰。演化博弈論的出現，成為研究群體間合作行為的一個有力工具。演化博弈中常見的困境研究模型有囚徒困境博弈模型，雪堆博弈模型獵鹿博弈模型，公共物品博弈模型等。此類困境博弈的根本特點是整體合作收益大于非合作，而納什均衡卻不是合作策略。

與本方法相似的文獻有：2016年，崔光海在博士論文“P2P網絡中基于網絡演化博弈論的節點合作激勵機制及其有效性研究”中，提出了“勝利者樂觀，失敗者謹慎”的策略提高系統的合作水平；專利“基于動態博弈論的交通服務信息轉發方法”(公開號CN107181793B)提出了通過獎懲機制抑制車聯網中的自私行文的方法。現有方法和機制沒有考慮到智能體學習能力的調整對系統合作水平的影響。

我們主要提出了網絡機制下的一種多智能體系統的合作促進方法——多跳學習機制，也稱為學習范圍增強機制，即增加智能體的學習范圍，使其學習范圍不拘泥于近鄰，并在兩種常見的策略更新規則上引入該方法。

發明內容

本發明的目的是基于博弈理論，提出通過擴展智能體的學習范圍從而增強智能體之間的協同合作的方法。智能體之間的博弈，是對智能體之間交互作用的一個抽象建模，具體在不同應用場景中代表不同的行為，如群智系統中合作完成某個任務，無線傳感網絡中的合作消息傳遞，等等，具體而言，本發明適合于能夠建模到困境博弈(如獵鹿博弈和囚徒博弈)的多智能體活動，為促進其合作提供一種理論方法。

為了實現上述目的，本發明采用的技術方案是：

步驟一、判斷該多智能體系統是否滿足本方法的3個條件：

(1)智能體之間的交互模式能夠建模到獵鹿博弈或囚徒博弈模型；此類博弈為困境博弈，獵鹿博弈納什均衡策略有2個，為(背叛，背叛)和(合作，合作)，囚徒博弈納什均衡為(背叛，背叛)，但是系統收益水平最高的策略是(合作，合作)，也就是相互作用的兩個智能體只有采取合作策略，系統才能達到最優；獵鹿博弈的收益矩陣是囚徒博弈的收益矩陣是r為代價收益比，滿足該矩陣關系的其他收益矩陣表述也是此兩類博弈，適用于本方法；根據收益矩陣可以看出，系統收益近似正比于合作比率，合作比率為主要考察指標；

此類博弈是對智能體之間交互作用的一個抽象建模，具體在不同應用場景中代表不同的行為，如群智系統中合作完成某個任務，無線傳感網絡中的合作消息傳遞，等等，適合于所有能夠使用獵鹿博弈和囚徒博弈模型描述的群體行為；

(2)智能體之間交互作用多次重復，參與智能體能根據環境調整自己的行為；