[發(fā)明專利]一種協(xié)作多智能體強(qiáng)化學(xué)習(xí)方法

在審

• 申請?zhí)枺?/td>: 202011267908.0
• 申請日: 2020-11-13
• 公開（公告）號: CN112364984A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 譚曉陽;姚興虎
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 梁耀文

本發(fā)明公開了一種協(xié)作多智能體強(qiáng)化學(xué)習(xí)方法，步驟如下：獲取每個智能體的觀測信息和系統(tǒng)的全局狀態(tài)；將獲取的每個智能體的觀測信息傳入深度神經(jīng)網(wǎng)絡(luò)計算得到智能體所有動作的狀態(tài)動作值；利用貪心規(guī)則進(jìn)行動作選擇；將采取的動作對應(yīng)的狀態(tài)動作值和全局觀測信息傳入獎勵高速路網(wǎng)絡(luò)中；獎勵高速路網(wǎng)絡(luò)進(jìn)行信息融合并輸入聯(lián)合的狀態(tài)動作值；利用環(huán)境給出的獎勵信號進(jìn)行梯度的反向傳播并更新神經(jīng)網(wǎng)絡(luò)的參數(shù)從而得到每個智能體的策略模型。本發(fā)明能夠降低多智能體系統(tǒng)訓(xùn)練過程中所需的數(shù)據(jù)量，并適合推廣到大規(guī)模的多智能體系統(tǒng)中。

技術(shù)領(lǐng)域

本發(fā)明屬于自動控制領(lǐng)域，特別涉及一種協(xié)作多智能體強(qiáng)化學(xué)習(xí)方法。

背景技術(shù)

現(xiàn)實世界中的很多問題可被視作協(xié)作多智能體問題，例如：無人機(jī)集群控制，多玩家電子游戲，傳感器網(wǎng)絡(luò)的控制等。使用強(qiáng)化學(xué)習(xí)算法控制多智能體系統(tǒng)也在上述領(lǐng)域得到了廣泛的應(yīng)用。然而，協(xié)作多智能體強(qiáng)化學(xué)習(xí)算法面臨著三個主要的挑戰(zhàn)，使得其很難在復(fù)雜場景下取得較好的效果。首先是智能體的聯(lián)合動作空間隨著智能體數(shù)量的增加指數(shù)爆炸，這使得直接將單智能體控制算法用到多智能體系統(tǒng)中會帶來維數(shù)災(zāi)難。其次，多智能體系統(tǒng)所處的環(huán)境往往僅給出所有智能體的聯(lián)合行為所對應(yīng)的全局反饋信號，這一信號通常是標(biāo)量形式的全局獎勵值。如何將這一全局獎勵值合理分配到每個智能體的過程被稱為全局獎勵分配問題。此外，多智能體系統(tǒng)中的每個智能體相互作用，并且所處的環(huán)境具有嚴(yán)重的不穩(wěn)定性和非馬爾可夫性，這使得即使得到了每個智能體的獎勵信號，僅對每個智能體進(jìn)行分散訓(xùn)練同樣無法進(jìn)行多個智能體之間的協(xié)同。

針對利用強(qiáng)化學(xué)習(xí)算法進(jìn)行多智能體控制中存在的上述問題，目前業(yè)界流行的解決方案是采用“中心訓(xùn)練-分散執(zhí)行”的框架。所謂“中心訓(xùn)練”，指的是在模型的訓(xùn)練過程中，通過一個中心化的結(jié)構(gòu)來進(jìn)行多智能體之間的協(xié)調(diào)并輔助進(jìn)行全局獎勵的分配；所謂分散執(zhí)行，是指在模型訓(xùn)練好后，每個智能體可以根據(jù)其自身的局部觀測信息單獨的執(zhí)行動作。這一框架中優(yōu)化代價僅隨智能體數(shù)量的增加線性增長，并且中心化的結(jié)構(gòu)天然地起到了全局獎勵分配和多智能體協(xié)調(diào)的作用。這一框架下的主流算法包括VDN，QMIX和QTRAN。這三種算法都是基于值函數(shù)迭代的方法，VDN算法假設(shè)單個智能體的值函數(shù)和等價于智能體的聯(lián)合值函數(shù)，QMIX則將這種簡單的加性約束推廣為非負(fù)單調(diào)約束，QTRAN則是在一個更大的優(yōu)化空間中進(jìn)行優(yōu)化。然而，這些算法的問題在于其均假設(shè)全局最優(yōu)的聯(lián)合動作等價于每個智能體按照自己的值函數(shù)求得的局部最優(yōu)動作的聯(lián)合。然而，復(fù)雜場景下的全局最優(yōu)動作可能需要某些智能體做出一些不能使自己利益最大化的行為。而基于這一假設(shè)的算法最終會收斂到問題的一個局部最優(yōu)值。此外，上述算法中的獎勵分配方式完全是一種無監(jiān)督的方式，中心化結(jié)構(gòu)的表達(dá)能力大大影響了全局獎勵分配機(jī)制的有效性。

針對目前的多智能體強(qiáng)化學(xué)習(xí)問題中存在的上述問題，在“中心訓(xùn)練-分散執(zhí)行”的框架下，本方法提出了一種新的全局信用分配算法，稱之為：獎勵高速路網(wǎng)絡(luò)(rewardhighway network,RHWNet)。這一新的結(jié)構(gòu)不僅使得每個智能體在決策時能夠同時考慮自身所分得的獎勵和全局獎勵從而松弛了已有算法的不合理假設(shè)；同時在算法復(fù)雜度方面，這一方法所提出的獎勵高速路網(wǎng)絡(luò)幾乎不需要額外的優(yōu)化代價。

發(fā)明內(nèi)容

發(fā)明目的：針對現(xiàn)有技術(shù)存在的問題，提供一種協(xié)作多智能體強(qiáng)化學(xué)習(xí)方法，能夠降低多智能體系統(tǒng)訓(xùn)練過程中所需的數(shù)據(jù)量，并適合推廣到大規(guī)模的多智能體系統(tǒng)中。

技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明提供一種協(xié)作多智能體強(qiáng)化學(xué)習(xí)方法，包括如下步驟：

(1)采集每個智能體的觀測信息和環(huán)境的全局狀態(tài)；

(2)將步驟(1)中采集的每個智能體的觀測信息傳入值函數(shù)網(wǎng)絡(luò)，經(jīng)過值函數(shù)網(wǎng)絡(luò)的計算得到智能體所有狀態(tài)動作值；

(3)根據(jù)步驟(2)中得到的每個智能體的狀態(tài)動作值，采用∈貪心算法進(jìn)行單個智能體的策略選擇；

(4)將每個智能體所采取的動作的狀態(tài)動作值和全局狀態(tài)傳入獎勵高速路網(wǎng)絡(luò)；