[發(fā)明專利]無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210405857.6
• 申請(qǐng)日: 2022-04-18
• 公開（公告）號(hào): CN114980157A
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 張海君;張燕霞;李亞博;隆克平;云翔
• 申請(qǐng)（專利權(quán)）人: 北京科技大學(xué)
• 主分類號(hào): H04W24/02
• 分類號(hào): H04W24/02;H04W4/40;H04B7/185;G06N20/00
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波;付忠林

1.一種無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，所述無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法包括：

針對(duì)多無人機(jī)系統(tǒng)，假設(shè)無人機(jī)系統(tǒng)運(yùn)行時(shí)長為最長飛行時(shí)間，將其等比例劃分為若干個(gè)時(shí)隙，在每個(gè)時(shí)隙中，假定無人機(jī)的速度為勻速；然后基于無人機(jī)燃料消耗問題，以最大化整個(gè)中繼網(wǎng)絡(luò)的容量為目標(biāo)，構(gòu)建優(yōu)化目標(biāo)模型；

中繼無人機(jī)作為局部端采用強(qiáng)化學(xué)習(xí)算法進(jìn)行本地模型訓(xùn)練，獲取無人機(jī)的最優(yōu)飛行方向和發(fā)射功率，以優(yōu)化每個(gè)時(shí)隙內(nèi)的中繼網(wǎng)絡(luò)容量；

基于本地模型訓(xùn)練結(jié)果，采用聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)無人機(jī)中繼網(wǎng)絡(luò)中的軌跡優(yōu)化。

2.如權(quán)利要求1所述的無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，所述優(yōu)化目標(biāo)模型的表達(dá)式為：

其中，約束C1表示無人機(jī)m消耗的燃料不能超過自身所持有的初始燃料F₀；約束C2表示無人機(jī)初始位置(x_0,m,y_0,m,z_0,m)和最終位置(x_K,m,y_K,m,z_K,m)相同，處在發(fā)射節(jié)點(diǎn)位置(x_n,y_n,0)和接收節(jié)點(diǎn)位置(x_n+N,y_n+N,0)中間，距地面高度為H_min處；約束C3表示無人機(jī)的最大速度為v_max；約束C4表示無人機(jī)的最大加速度為a_max；約束C5表示中繼節(jié)點(diǎn)的最小發(fā)射功率為p_min，最大發(fā)射功率為p_max；約束C6限制了無人機(jī)的飛行高度，最低飛行高度為H_min，最高飛行高度為H_max；

K表示時(shí)隙數(shù)量；表示時(shí)隙k時(shí)中繼網(wǎng)絡(luò)的平均容量；表示中繼節(jié)點(diǎn)集合；F_m表示為無人機(jī)的燃料消耗，表示處在發(fā)射節(jié)點(diǎn)(x_n,y_n,0)和接收節(jié)點(diǎn)(x_n+N,y_n+N,0)中間，距地面高度為H_min處；表示發(fā)射端節(jié)點(diǎn)集合，表示接收端節(jié)點(diǎn)集合，N表示無人機(jī)中繼網(wǎng)絡(luò)中的節(jié)點(diǎn)總數(shù)的一半；v_k,m表示無人機(jī)m在時(shí)隙k時(shí)的速度；p_k,m表示無人機(jī)m在時(shí)隙k時(shí)的發(fā)射功率；z_k,m表示無人機(jī)m在時(shí)隙k時(shí)的飛行高度。

3.如權(quán)利要求2所述的無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，所述強(qiáng)化學(xué)習(xí)算法為Q學(xué)習(xí)算法。

4.如權(quán)利要求3所述的無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，中繼無人機(jī)作為局部端采用強(qiáng)化學(xué)習(xí)算法進(jìn)行本地模型訓(xùn)練，獲取無人機(jī)的最優(yōu)飛行方向和發(fā)射功率，以優(yōu)化每個(gè)時(shí)隙內(nèi)的中繼網(wǎng)絡(luò)容量，包括：

在局部端，以無人機(jī)的剩余燃料和所在位置組成狀態(tài)空間，以無人機(jī)的飛行方向和發(fā)射功率變化組成動(dòng)作空間，采用強(qiáng)化學(xué)習(xí)算法進(jìn)行本地模型訓(xùn)練。

5.如權(quán)利要求4所述的無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，在采用強(qiáng)化學(xué)習(xí)算法進(jìn)行本地模型訓(xùn)練時(shí)，即時(shí)獎(jiǎng)勵(lì)定義為：

其中，表示時(shí)隙k時(shí)中繼網(wǎng)絡(luò)的平均容量。

6.如權(quán)利要求5所述的無人機(jī)中繼網(wǎng)絡(luò)中基于聯(lián)邦學(xué)習(xí)的軌跡優(yōu)化方法，其特征在于，所述基于本地模型訓(xùn)練結(jié)果，采用聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)無人機(jī)中繼網(wǎng)絡(luò)中的軌跡優(yōu)化，包括：

迭代執(zhí)行：在全局端采用聯(lián)邦學(xué)習(xí)對(duì)本地模型進(jìn)行整合，將更新后的全局模型廣播至局部端，然后局部端根據(jù)全局模型再次采用強(qiáng)化學(xué)習(xí)算法進(jìn)行本地模型訓(xùn)練；直至達(dá)到預(yù)設(shè)的迭代終止條件，實(shí)現(xiàn)無人機(jī)中繼網(wǎng)絡(luò)中的軌跡優(yōu)化。