[發(fā)明專利]基于DDPG算法的IRS輔助無人機通信聯(lián)合優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 202110353953.6
• 申請日: 2021-04-01
• 公開（公告）號: CN113162679B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計）人: 王保云;熊磊;代海波
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: H04B7/185
• 分類號: H04B7/185;H04W16/18;H04W16/22;H04W16/28
• 代理公司: 南京正聯(lián)知識產(chǎn)權(quán)代理有限公司 32243
• 代理人: 張玉紅

本發(fā)明所述的基于DDPG算法的IRS輔助無人機通信聯(lián)合優(yōu)化方法通過部署智能反射面和多個地面用戶的坐標，無人機攜帶多根天線情況下根據(jù)無人機起始位置和最終位置二維坐標兩點成線原則的設(shè)計移動軌跡，通過可自主學(xué)習(xí)且泛化能力強的智能決策方法，從而獲得速率最大化的波束成形和軌跡。本發(fā)明所述的有益效果為：所述方法可顯著提升無人機空中基站建立空?地通信系統(tǒng)的傳輸速率，通過智能反射面(Intelligent Reflecting Surface，IRS)將無人機到單個用戶單鏈路信道近似為多鏈路信道，來達到增強通信信號提升對用戶服務(wù)性能，采用深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法進行聯(lián)合優(yōu)化，可同時獲得聯(lián)合優(yōu)化解。

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，具體是涉及一種基于DDPG算法的IRS輔助無人機通信聯(lián)合優(yōu)化方法。

背景技術(shù)

面對6G中廣覆蓋和高可靠的通信需求，無人機輔助通信在提高通信網(wǎng)絡(luò)的覆蓋范圍和應(yīng)急通信方面具有無可比擬的優(yōu)勢，同時也面臨著提高能效實現(xiàn)可靠通信的挑戰(zhàn)。憑借靈活部署和視距無線傳輸?shù)裙逃袃?yōu)勢，高機動性能無人機作為空中通信平臺已廣泛部署于各種無線通信場景中，一般通過聯(lián)合優(yōu)化無人機軌跡和通信資源分配提高通信質(zhì)量；此外，隨著無線網(wǎng)絡(luò)的容量成倍增加，為了滿足多媒體訪問對高數(shù)據(jù)和速率快速增長的需求，可以通過無人機部署天線陣列無線通信來提高網(wǎng)絡(luò)容量。

無人機和地面用戶之間存在障礙物的遮擋會大大降低通信的性能，為了改善傳播環(huán)境并提高通信質(zhì)量，智能反射面(Intelligent Reflecting Surface，IRS)技術(shù)引起了廣泛的關(guān)注。IRS可以通過反射信號繞過障礙物以增強用戶接受的信號，IRS是由多個可重構(gòu)反射元素組成，IRS中的每個元素都可以通過可控的相移來反射入射信號，通過共同調(diào)整所有元素的相移，以實現(xiàn)所需接收器上來自不同傳輸路徑的信號相位對準，這稱為無源波束成形，從而增強信號和提高可達速率。與傳統(tǒng)中繼相比，IRS僅反射從發(fā)射機到接收機的信號，不會引起額外的接收噪聲，反射面成本低廉，可普遍部署在建筑物外墻中以協(xié)助無人機通信。

在IRS輔助無人機通信場景中，通過部署IRS技術(shù)應(yīng)用到無人機通信中可以提高傳輸速率，但是在求解多變量耦合的優(yōu)化問題時，多數(shù)是基于數(shù)學(xué)方式的交替化技術(shù)聯(lián)合優(yōu)化求解，使用了復(fù)雜的數(shù)學(xué)公式和數(shù)值優(yōu)化技術(shù)對優(yōu)化問題進行化簡，此外，在沒有確切情況下找到最佳策略可能很棘手而造成計算時間長。最近，無規(guī)模人工智能(ArtificialIntelligence，AI)作為一項技術(shù)處理數(shù)學(xué)上難以解決的非線性非凸問題和高計算問題。AI技術(shù)對具有大量陣列元素的大規(guī)模多輸入多輸出(Multiple Input Multiple Output，MIMO)系統(tǒng)最為有吸引力，由于設(shè)計超大尺寸優(yōu)化，優(yōu)化問題變得不容易。周等人提出深度學(xué)習(xí)(Deep Learning,DL)用于通過建立信道之間的映射關(guān)系獲得MIMO系統(tǒng)的波束成形矩陣和預(yù)編碼設(shè)計。實際上，基于DL方法能夠利用離線預(yù)測降低復(fù)雜性和計算時間，但是通常需要詳盡的樣本庫來進行在線培訓(xùn)。同時，在無線通信系統(tǒng)的設(shè)計中也采用了深度強化學(xué)習(xí)(Deep Reinforcement Learning,DRL)技術(shù)，該技術(shù)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中具有DL的優(yōu)勢，并提高了學(xué)習(xí)速度和強化學(xué)習(xí)(Reinforcement Learning,RL)算法的性能。但是，大多數(shù)RL可能并不總是適合處理聯(lián)合優(yōu)化問題中的連續(xù)和高維動作空間。DRL對于無線信道隨時間變化的通信系統(tǒng)特別有益，DRL能夠允許無需了解信道模型和移動性模型，只需要了解有關(guān)無線電信道的知識即可，從而通過觀察來自環(huán)境的收益并找出復(fù)雜的優(yōu)化問題的解決方案來進行有效的算法設(shè)計。DRL方法已在一些IRS輔助通信和無人機通信網(wǎng)絡(luò)中使用，然而對于IRS輔助無人機通信中，由于無人機是能量有限的設(shè)備，如何有效地聯(lián)合優(yōu)化波束成形和無人機軌跡使得速率最大化變成了一個很重要的問題。

發(fā)明內(nèi)容