[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210285830.8
• 申請(qǐng)日: 2022-03-23
• 公開(kāi)（公告）號(hào): CN114679699A
• 公開(kāi)（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 熊炫睿;賈鈺梅;張帆;黃楊;席娟
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): H04W4/40
• 分類號(hào): H04W4/40;H04W4/90;H04W16/18;H04B7/185
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法，其特征在于，包括以下步驟：

S1、針對(duì)災(zāi)難發(fā)生后用戶分布不均的特點(diǎn)，建立無(wú)人機(jī)基站與地面用戶之間的通信，在滿足通信條件下將用戶分布復(fù)雜的目標(biāo)區(qū)域進(jìn)行柵格化；

S2、確定目標(biāo)區(qū)域中的重點(diǎn)單元格與普通單元格，分別設(shè)置重點(diǎn)單元格與普通單元格所對(duì)應(yīng)的權(quán)值；

S3、設(shè)置訓(xùn)練過(guò)程中所需要的相關(guān)參數(shù)和評(píng)估指標(biāo)，采用深度強(qiáng)化學(xué)習(xí)算法對(duì)多個(gè)無(wú)人機(jī)進(jìn)行集中式訓(xùn)練、分布式執(zhí)行；

S4、計(jì)算在整個(gè)系統(tǒng)中目標(biāo)區(qū)域的平均覆蓋指數(shù)、目標(biāo)區(qū)域的公平覆蓋指數(shù)以及多無(wú)人機(jī)巡航覆蓋目標(biāo)區(qū)域的能量效率。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法，其特征在于，針對(duì)災(zāi)難發(fā)生后地面用戶存在分布不均的特點(diǎn)，為保證災(zāi)區(qū)快速恢復(fù)通信，同時(shí)節(jié)約無(wú)人機(jī)的能耗，采用多無(wú)人機(jī)以巡航覆蓋的方式輔助災(zāi)區(qū)通信。而災(zāi)難發(fā)生后多無(wú)人機(jī)以巡航覆蓋的方式輔助災(zāi)區(qū)恢復(fù)通信是NP問(wèn)題，因此對(duì)災(zāi)后目標(biāo)區(qū)域進(jìn)行柵格劃分，將目標(biāo)區(qū)域劃分為K個(gè)單元格，取每個(gè)單元格的中心點(diǎn)作為無(wú)人機(jī)需要覆蓋的任務(wù)目標(biāo)點(diǎn)；無(wú)人機(jī)需要巡航覆蓋所有任務(wù)目標(biāo)點(diǎn)才可實(shí)現(xiàn)對(duì)災(zāi)后目標(biāo)區(qū)域的全覆蓋并實(shí)現(xiàn)恢復(fù)通信。

3.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法，其特征在于，由于災(zāi)后用戶分布不均，對(duì)于存在避難所等用戶聚集地所需要的通信要求較高，而對(duì)于用戶較少的稀疏區(qū)域所需要的通信要求較低。因此將存在避難所的重點(diǎn)單元格表示為u,u∈U，其權(quán)重設(shè)置為特殊權(quán)值w_u，而對(duì)于用戶稀疏區(qū)域的普通單元格表示為v,v∈V，權(quán)重設(shè)置為w_v，則目標(biāo)區(qū)域所劃分的總單元格數(shù)目為K＝U+V，且k＝u,v；當(dāng)無(wú)人機(jī)覆蓋到重點(diǎn)單元格時(shí)，無(wú)人機(jī)以懸停-通信的協(xié)議對(duì)重點(diǎn)單元格覆蓋一段時(shí)間而對(duì)于普通單元格，則以飛行-通信協(xié)議輔助通信。

4.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法，其特征在于，采用平均覆蓋指數(shù)、公平覆蓋指數(shù)和無(wú)人機(jī)能量效率來(lái)判斷目標(biāo)區(qū)域中的單元格被覆蓋的情況。

5.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的多無(wú)人機(jī)節(jié)能巡航通信覆蓋方法，其特征在于，我們將多無(wú)人機(jī)覆蓋目標(biāo)區(qū)域任務(wù)建模為一個(gè)隨機(jī)博弈，以便采用深度強(qiáng)化學(xué)習(xí)技術(shù)對(duì)其求解。該任務(wù)中采用深度強(qiáng)化學(xué)習(xí)方法對(duì)多個(gè)無(wú)人機(jī)進(jìn)行集中式訓(xùn)練、分布式執(zhí)行以實(shí)現(xiàn)目標(biāo)，其中深度強(qiáng)化學(xué)習(xí)方法主要是基于MADDPG算法。每個(gè)無(wú)人機(jī)均由Actor-Critic框架訓(xùn)練，Actor網(wǎng)絡(luò)獲取無(wú)人機(jī)狀態(tài)S，進(jìn)行動(dòng)作選擇(空間探索)；Critic網(wǎng)絡(luò)根據(jù)動(dòng)作a和狀態(tài)S進(jìn)行評(píng)價(jià)，采用策略梯度更新Actor和Critic兩個(gè)網(wǎng)絡(luò)的權(quán)重。算法主要使用DNN作為函數(shù)逼近器，通過(guò)最小化損失函數(shù)更新Actor網(wǎng)絡(luò)，則損失函數(shù)L的表達(dá)式為：

其中，表示Critic網(wǎng)絡(luò)參數(shù)，j,j→∞表示迭代次數(shù)，表示由Target Critic網(wǎng)絡(luò)生成的目標(biāo)值，s_j表示無(wú)人機(jī)的狀態(tài)，表示無(wú)人機(jī)的行為，則目標(biāo)值的表達(dá)式為：

其中，表示無(wú)人機(jī)獲取的獎(jiǎng)勵(lì)值；每個(gè)無(wú)人機(jī)的Actor網(wǎng)絡(luò)的權(quán)重參數(shù)由策略梯度進(jìn)行更新，則梯度更新的表達(dá)式為：

兩個(gè)目標(biāo)網(wǎng)絡(luò)的權(quán)重均由對(duì)應(yīng)的Actor和Critic網(wǎng)絡(luò)以θ_i′←τθ_i+(1-τ)θ_i′的形式緩慢更新所得。