[發(fā)明專利]基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)智能反射面安全傳輸方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210477440.0
• 申請(qǐng)日: 2022-05-04
• 公開（公告）號(hào): CN115052285A
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 東潤澤;王布宏;曹堃銳;程天昊;刁丹玉
• 申請(qǐng)（專利權(quán)）人: 中國人民解放軍空軍工程大學(xué)
• 主分類號(hào): H04W12/02
• 分類號(hào): H04W12/02;H04W24/02;H04W24/06;H04B7/06;G06N7/00
• 代理公司: 西安凱多思知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61290
• 代理人: 劉新瓊

1.一種基于深度強(qiáng)化學(xué)習(xí)的無人機(jī)智能反射面安全傳輸方法，其特征在于步驟如下：

步驟1：假設(shè)UAV作為空中基站向地面的合法通信節(jié)點(diǎn)傳輸毫米波，同時(shí)地面還存在一個(gè)惡意的竊聽者對(duì)保密鏈路進(jìn)行竊聽；其中，UAV裝備多天線，地面節(jié)點(diǎn)均裝備單天線；為了加強(qiáng)通信網(wǎng)絡(luò)的安全性能，進(jìn)一步在網(wǎng)絡(luò)中部署一個(gè)智能發(fā)射面，通過其相位的靈活調(diào)控最大化保密信道與竊聽信道之間的性能差異；當(dāng)無人機(jī)執(zhí)行其任務(wù)即為地面合法接收者提供服務(wù)時(shí)，將在一定時(shí)間段T內(nèi)于固定高度飛行，為了提高通信網(wǎng)絡(luò)的安全性能，需要對(duì)UAV的波束形成向量和軌跡、IRS的相移矩陣進(jìn)行聯(lián)合優(yōu)化；

步驟2：由于連續(xù)的時(shí)間將使得優(yōu)化難以進(jìn)行，首先將飛行時(shí)間T進(jìn)行離散化即T＝NΔ_t，其中N為總時(shí)隙數(shù)，Δ_t為單個(gè)時(shí)隙的長度；這樣，通信網(wǎng)絡(luò)的安全性能增強(qiáng)問題就被歸結(jié)為合法接收者的平均保密速率最大化問題，優(yōu)化變量包括每個(gè)時(shí)隙n時(shí)的UAV的波束形成向量、位置以及IRS的相移矩陣；然而即使對(duì)時(shí)間進(jìn)行了離散化，最優(yōu)化問題仍然是非凸的而難以直接進(jìn)行求解；

步驟3：最優(yōu)化問題難以直接求解，因此提出一種基于DRL的算法對(duì)變量進(jìn)行同時(shí)優(yōu)化；DRL善于求解動(dòng)態(tài)優(yōu)化問題，能夠獲得在特定狀態(tài)下采取某種動(dòng)作的策略π_θ；首先將平均保密速率最大化問題歸結(jié)為一個(gè)馬爾可夫決策過程，其中時(shí)隙n時(shí)的狀態(tài)s_n為合法用戶及竊聽者的CSI與UAV的位置，動(dòng)作a_n為UAV的波束形成向量、位置以及IRS的相移矩陣，回報(bào)r_n為取得的保密速率R_s[n]；這種設(shè)置就能夠使得代理的目標(biāo)為最大化飛行時(shí)間內(nèi)的平均保密速率；在此之后，利用DRL中的近端策略優(yōu)化算法對(duì)其進(jìn)行求解，其中的策略網(wǎng)絡(luò)用于根據(jù)當(dāng)前狀態(tài)輸出要執(zhí)行的動(dòng)作，更新梯度為：

其中用來衡量新舊策略之間的差異，為優(yōu)勢(shì)函數(shù)∈為裁剪參數(shù)；價(jià)值網(wǎng)絡(luò)則用于評(píng)估采用動(dòng)作的預(yù)測(cè)價(jià)值與實(shí)際價(jià)值之間的差異，其更新的目標(biāo)函數(shù)為：

其中表示狀態(tài)s_n的價(jià)值；通過不斷試錯(cuò)并對(duì)策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)進(jìn)行訓(xùn)練就能獲得最優(yōu)的策略，并相應(yīng)給出無人機(jī)智能反射面通信網(wǎng)絡(luò)的安全傳輸方法。

2.一種計(jì)算機(jī)系統(tǒng)，其特征在于包括：一個(gè)或多個(gè)處理器，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)一個(gè)或多個(gè)程序，其中，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)權(quán)利要求1所述的方法。

3.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)權(quán)利要求1所述的方法。

4.一種計(jì)算機(jī)程序，其特征在于包括計(jì)算機(jī)可執(zhí)行指令，所述指令在被執(zhí)行時(shí)用于實(shí)現(xiàn)權(quán)利要求1所述的方法。