[發(fā)明專(zhuān)利]動(dòng)態(tài)環(huán)境下基于層級(jí)關(guān)系圖學(xué)習(xí)的多機(jī)器人協(xié)同導(dǎo)航方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110500608.0
• 申請(qǐng)日: 2021-05-08
• 公開(kāi)（公告）號(hào): CN113296502B
• 公開(kāi)（公告）日: 2022-11-01
• 發(fā)明（設(shè)計(jì)）人: 王廷;杜梟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華東師范大學(xué)
• 主分類(lèi)號(hào): G05D1/02
• 分類(lèi)號(hào): G05D1/02
• 代理公司: 上海藍(lán)迪專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種動(dòng)態(tài)環(huán)境下基于層級(jí)關(guān)系圖學(xué)習(xí)的多機(jī)器人協(xié)同導(dǎo)航方法，其特征在于，該方法包括以下具體步驟：

步驟1：建模機(jī)器人和障礙物環(huán)境為有向圖模型，利用先驗(yàn)知識(shí)對(duì)觀察到的智能體進(jìn)行聚類(lèi)，將智能體聚類(lèi)成機(jī)器人組、動(dòng)態(tài)障礙物組和靜態(tài)障礙物組；

步驟2：依據(jù)有向圖模型和智能體組別，對(duì)于每個(gè)機(jī)器人，根據(jù)其觀察到的局部環(huán)境中智能體的狀態(tài)，把屬于三個(gè)不同智能體組的智能體分別聚合為一個(gè)子組，對(duì)每個(gè)子組利用相似函數(shù)和圖卷積神經(jīng)網(wǎng)絡(luò)推斷機(jī)器人與這個(gè)子組中的智能體之間的關(guān)系；從而，每個(gè)機(jī)器人得到三個(gè)蘊(yùn)含其與觀察到的智能體關(guān)系的節(jié)點(diǎn)狀態(tài)嵌入向量；

步驟3：對(duì)于每個(gè)機(jī)器人，依據(jù)獲得的三個(gè)節(jié)點(diǎn)狀態(tài)嵌入向量，利用圖注意神經(jīng)網(wǎng)絡(luò)GAT提取出其與其觀測(cè)到的三個(gè)智能體子組間的權(quán)重關(guān)系，然后，依據(jù)權(quán)重關(guān)系，把三個(gè)節(jié)點(diǎn)狀態(tài)嵌入向量聚合成對(duì)局部環(huán)境理解的狀態(tài)編碼向量；

步驟4：對(duì)于每個(gè)機(jī)器人，依據(jù)獲得的對(duì)局部環(huán)境理解的狀態(tài)向量，通過(guò)圖注意力神經(jīng)網(wǎng)絡(luò)獲得其與鄰近的機(jī)器人之間的交流權(quán)重，然后，經(jīng)過(guò)多輪交流使其獲得一個(gè)全局狀態(tài)編碼向量；

步驟5：依據(jù)得到的機(jī)器人的全局狀態(tài)編碼向量，結(jié)合設(shè)計(jì)的回報(bào)函數(shù)和提出的基于最大熵強(qiáng)化學(xué)習(xí)的近似策略優(yōu)化算法MEPPO進(jìn)行訓(xùn)練，從而獲得機(jī)器人依據(jù)所處狀態(tài)選擇最優(yōu)行為的策略；其中：

所述結(jié)合設(shè)計(jì)的回報(bào)函數(shù)和提出的基于最大熵強(qiáng)化學(xué)習(xí)的近似策略優(yōu)化算法MEPPO進(jìn)行訓(xùn)練，具體為：對(duì)于機(jī)器人i(i∈(1...N))，設(shè)計(jì)的回報(bào)函數(shù)R_i＝R_e,i+R_c,i，其中R_e,i是機(jī)器人i動(dòng)作的回報(bào)，R_c,i是機(jī)器人i與環(huán)境中其他智能體之間碰撞的懲罰；R_e,i表示為：

其中，t_limit是到達(dá)目的地的最短時(shí)間，α∈(0,1)和β∈(0,1)是溫度系數(shù)，p_i表示機(jī)器人i當(dāng)前所處的位置，p_g表示機(jī)器人i的目的地；公式(1)表示的回報(bào)將隨著時(shí)間單調(diào)衰減，以保證機(jī)器人將被鼓勵(lì)盡快達(dá)到目標(biāo)；是所有機(jī)器人在時(shí)間t離目標(biāo)的總距離的平均值；公式(2)根據(jù)相鄰兩個(gè)時(shí)間步機(jī)器人到目的地的距離，分別給予機(jī)器人一個(gè)正向或負(fù)向的回報(bào)獎(jiǎng)勵(lì)；另外，R_c,i定義為：

其中，d_rr和d_ro分別表示機(jī)器人與其他機(jī)器人和障礙物之間的距離，r_r和r_o分別是機(jī)器人的半徑和障礙物的半徑，d_min表示機(jī)器人當(dāng)前與其他機(jī)器人和障礙物之間的最小距離，η∈(0,1)是溫度系數(shù)，d_disc是智能體之間的最小不適距離，當(dāng)智能體之間小于這個(gè)距離，就給與一定的懲罰，以防止碰撞；

近似策略優(yōu)化算法MEPPO具體描述如下：首先，在最大熵強(qiáng)化學(xué)習(xí)框架中，回報(bào)是由公式r＝r^ex+rⁱⁿ得到，其中，r^ex是環(huán)境給予的獎(jiǎng)勵(lì)，rⁱⁿ是根據(jù)策略熵所得獎(jiǎng)勵(lì)；t時(shí)間步最小化的價(jià)值損失如下：

其中，V_ψ(s_t)是通過(guò)神經(jīng)網(wǎng)絡(luò)估計(jì)的得到的價(jià)值，ψ是可學(xué)習(xí)參數(shù)，S_t表示t時(shí)間的狀態(tài)，R_t是通過(guò)在環(huán)境中采樣而求得的折扣回報(bào)，V_t^targ是目標(biāo)價(jià)值，其值等于R_t；

優(yōu)勢(shì)函數(shù)值如下：

其中，δ_t＝r_t+γV_ψ(s_t+1)-V_ψ(s_t)，r＝r^ex+rⁱⁿ＝r^ex+αH(π(.|s_t))，r_t是t時(shí)間步獲得的真實(shí)回報(bào)，γ是折扣因子，α是穩(wěn)定系數(shù)，H(π(.|s_t))是狀態(tài)s_t時(shí)選擇動(dòng)作空間所有動(dòng)作的熵；

然后，MEPPO算法的策略梯度損失如下：

其中，π_θ(a_t|s_t)表示當(dāng)策略參數(shù)是θ時(shí)，狀態(tài)為s_t時(shí)下一個(gè)動(dòng)作選擇a_t的概率；同理，π_θ'(a_t|s_t)表示當(dāng)策略參數(shù)是θ'，狀態(tài)為s_t時(shí)下一個(gè)動(dòng)作選擇a_t的概率；表示當(dāng)策略為π_θ'，狀態(tài)為s_t，選擇動(dòng)作a_t時(shí)的優(yōu)勢(shì)函數(shù)值；其中，f(ρ,A)＝(1+ρ)A if A＞0else(1-ρ)A，ρ∈(0，1)是超參數(shù)，α∈(0，1)是溫度系數(shù)。