[發(fā)明專利]一種多無人機(jī)軌跡和智能反射面相移聯(lián)合優(yōu)化方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110573024.6
• 申請(qǐng)日: 2021-05-25
• 公開（公告）號(hào): CN113364495B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 張超;亓乾月
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;H04B7/01
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 高博

1.一種多無人機(jī)軌跡和智能反射面相移聯(lián)合優(yōu)化方法，其特征在于，包括以下步驟：

S1、建立基于多無人機(jī)和智能反射面輔助的無線通信系統(tǒng)模型，用戶發(fā)送的信號(hào)由安裝在無人機(jī)上的智能反射面反射到基站，確定無線通信系統(tǒng)模型中的信道模型以及無人機(jī)和智能反射面的能量消耗模型，計(jì)算無線通信系統(tǒng)模型的能量效率；

S2、基于步驟S1確定的信道模型以及無人機(jī)和智能反射面的能量消耗模型，利用K-均值聚類算法將地面用戶分簇，將能量效率作為優(yōu)化目標(biāo)，然后利用優(yōu)先級(jí)經(jīng)驗(yàn)回放MATD3方法確定每個(gè)簇中無人機(jī)的位置，由無人機(jī)和智能反射面輔助與基站進(jìn)行通信的用戶，智能反射面被激活的反射元件及被激活反射元件的相移，完成多無人機(jī)軌跡和智能反射面相移的聯(lián)合優(yōu)化；

利用優(yōu)先級(jí)經(jīng)驗(yàn)回放MATD3方法確定每個(gè)簇中無人機(jī)的位置，與基站進(jìn)行通信的用戶的位置，智能反射面被激活的反射元件以及被激活元件的相移，完成多無人機(jī)軌跡和智能反射面相移的聯(lián)合優(yōu)化具體為：

將基于多無人機(jī)和智能反射面輔助的無線通信系統(tǒng)中無人機(jī)軌跡和智能反射面相移的優(yōu)化問題建模成一個(gè)馬爾可夫博弈，每個(gè)安裝有智能反射面的無人機(jī)作為一個(gè)智能體，第k個(gè)智能體觀測(cè)當(dāng)前的環(huán)境狀態(tài)s_k，基于策略π_k選擇一個(gè)行為a_k，行為作用于環(huán)境后獲得獎(jiǎng)勵(lì)r_k，然后環(huán)境將以轉(zhuǎn)移概率P(s'_k|s_k,a₁,…,a_K)轉(zhuǎn)移到新的狀態(tài)s'_k；

在每個(gè)時(shí)刻內(nèi)，第k個(gè)智能體觀測(cè)上一時(shí)刻無人機(jī)k的位置，以及第k個(gè)簇中與基站進(jìn)行通信的用戶的位置作為狀態(tài)s_k，訓(xùn)練策略網(wǎng)絡(luò)的參數(shù)為θ_k，將狀態(tài)s_k作為輸入，輸出當(dāng)前時(shí)刻第k個(gè)無人機(jī)的位置，第k個(gè)簇中與基站進(jìn)行通信的被激活用戶向量，第k個(gè)智能反射面的被激活元件向量以及相移向量作為行為a_k；第一訓(xùn)練價(jià)值網(wǎng)絡(luò)和第二訓(xùn)練價(jià)值網(wǎng)絡(luò)的參數(shù)分別為ω_k1和ω_k2，兩個(gè)訓(xùn)練價(jià)值網(wǎng)絡(luò)將各個(gè)智能體觀測(cè)到的聯(lián)合狀態(tài)s＝(s₁,s₂,…,s_K)和采取的聯(lián)合行為a＝(a₁,a₂,…,a_K)作為輸入，分別輸出聯(lián)合狀態(tài)-行為價(jià)值函數(shù)Q_k1(s,a₁,a₂,…,a_K,ω_k1)和Q_k2(s,a₁,a₂,…,a_K,ω_k2)，目標(biāo)策略網(wǎng)絡(luò)將下一個(gè)狀態(tài)s'_k作為輸入，輸出下一個(gè)行為a'_k，用軟更新的方式根據(jù)訓(xùn)練策略網(wǎng)絡(luò)的參數(shù)θ_k更新目標(biāo)策略網(wǎng)絡(luò)的參數(shù)θ'_k，第一目標(biāo)價(jià)值網(wǎng)絡(luò)和第二目標(biāo)價(jià)值網(wǎng)絡(luò)輸入下一個(gè)狀態(tài)-行為對(duì)(s',a')，分別輸出Q'_k1(s',a'₁,a'₂,…,a'_K,ω'_k1)和Q'_k2(s',a'₁,a'₂,…,a'_K,ω'_k2)，用軟更新的方式根據(jù)第一訓(xùn)練價(jià)值網(wǎng)絡(luò)的參數(shù)ω_k1和第二訓(xùn)練價(jià)值網(wǎng)絡(luò)的參數(shù)ω_k2更新第一目標(biāo)價(jià)值網(wǎng)絡(luò)的參數(shù)ω'_k1和第二目標(biāo)價(jià)值網(wǎng)絡(luò)的參數(shù)ω'_k2；

將(s,a₁,a₂,…,a_K,r₁,r₂,…,r_K,s')作為智能體的一條經(jīng)驗(yàn)存放在經(jīng)驗(yàn)存儲(chǔ)器中，當(dāng)經(jīng)驗(yàn)存儲(chǔ)器達(dá)到最大存儲(chǔ)容量時(shí)，使用優(yōu)先級(jí)經(jīng)驗(yàn)回放的方法從中抽樣小批量經(jīng)驗(yàn)進(jìn)行訓(xùn)練，更新策略網(wǎng)絡(luò)的參數(shù)和價(jià)值網(wǎng)絡(luò)的參數(shù)。