[發明專利]一種基于無線電地圖的無人機軌跡設計和功率分配方法

有效

• 申請號: 201911105810.2
• 申請日: 2019-11-13
• 公開（公告）號: CN110830136B
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 黃瑜薇;邱玲
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04B17/382
• 分類號: H04B17/382;H04B17/391;H04B17/336;H04B17/345;H04W72/04;H04W72/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 汪祥虬

1.一種基于無線電地圖的無人機軌跡設計和功率分配方法，其特征在于：

考慮一個實際環境的場景，其中空對地A2G信道會遭到障礙物的遮擋，并且地面的障礙物分布是不均勻的；包括參考信道功率增益以及路損指數在內的信道參數與無人機以及地面節點的位置緊密相連，設無人機在通信之前可以利用無線電地圖技術來提前獲取這些具體的信道參數；

根據基于無線電地圖技術獲取的信道參數和信道模型，考慮一個無人機用戶通過共享現有地面鏈路的頻譜資源與一個地面基站通信；為了保護現有的地面鏈路，采用了認知無線電網絡下的干擾溫度IT技術，使得共信道地面鏈路受到來自無人機通信的干擾功率不超過給定的閾值；通過優化無人機的軌跡和發送功率來最大化無人機和其相連基站的可得速率，并受限于無人機的飛行速度，初始位置，發送功率的限制，以及共信道地面鏈路的IT限制；

考慮一個頻譜共享的場景，其中一個無人機用戶和一個空閑地面基站available GBS通信，該available GBS沒有利用與無人機相同的工作頻段來服務地面用戶，與此同時有K個被占用的地面基站occupied GBS正在利用與無人機相同的工作頻段來服務相對應的地面用戶；注意到這些地面基站occupied GBS工作在相同的頻段；令定義為occupied GBS的集合；關注一個特定的工作時間段T＝[0,T]，其中T＞0定義為總的通信時間；為了便于分析，將這個連續的時間段離散化為N個時隙，每個時隙有相同的時間δ＝T/N；這里，δ選取的足夠小以至于無人機的位置在每個時隙內可以被假設為近似固定的；進一步定義

不失一般性，考慮一個三維系統，其中available GBS固定在(x,y,0)，每個occupiedGBS固定在(x_k,y_k,0)；為了方便起見，定義和為availableGBS以及每個occupied GBS k的水平位置坐標；設無人機飛行在一個固定的高度H，以及無人機具有時變的水平位置q[n]＝(x[n],y[n])；定義無人機的初始水平位置q_I＝(x_I,y_I)，因此有q[1]＝q_I；設在每個時刻n，無人機可以改變它的位置或者留在原地；定義為無人機位置改變的集合，每個元素分別代表無人機停在原地，向左飛，向右飛，向前飛，向后飛；這里λ是一個常數，代表無人機每個時刻的位移量；令λ[n]定義為無人機每個時刻的位置改變向量；因此，有以及q[n]＝q[n-1]+λ[n-1],

在每個時隙n，無人機和available GBS以及每個occupied GBS k之間的距離分別是

其中||·||代表歐式范數；因此，從無人機到available GBS以及每個occupied GBS k之間的信道功率增益分別表示為

其中β(q[n],w)和β(q[n],w_k)是參考信道功率增益，α(q[n],w)和α(q[n],w_k)是路損指數；注意到在考慮的信道模型下，β(q[n],w)，β(q[n],w_k)，α(q[n],w)和α(q[n],w_k)與無人機的位置q[n]以及地面基站的位置w和w_k有很大的關系；設無人機通信之前通過頻譜感知以及機器學習的方法獲取這些精確的信道參數；

定義p[n]≥0為無人機的發射功率，因此無人機到available GBS之間的瞬時通信速率為

其中σ²為噪聲功率；令P＞0為無人機的最大發送功率，因此0≤p[n]≤P,

每個時刻n，在每個occupied GBS k處收到的干擾能量為

在每個時刻n，每個occupied GBS收到的干擾能量不能超過給定的閾值，定義為Γ≥0，因此

最大化從無人機到available GBS之間的平均通信速率通過優化無人機的水平軌跡以及發送功率；優化可以形成如下形式

q[1]＝q_I[1] (7)

其中式(6)是無人機最大發送功率限制，式(7)是初始位置限制，式(8)是速度限制，式(9)是IT限制；

在任何給定可行的軌跡下，限制式(6)和式(9)合并成

當問題(P1)取得最優解的時候，限制式(10)一定要取等；因此

將公式(11)帶入問題(P1)的目標函數中去，問題(P1)轉換為

s.t.(7)and(8),

其中

采取強化學習算法來設計無人機的軌跡即求解問題(P1.1)，從而基于式(11)設計無人機的功率分配，具體的求解過程如下：

第一步：將問題匹配成一個馬爾科夫決策過程(MDP)，其中MDP的四元組設置如下：

1)狀態空間S：S＝{q[n],n}，其包括無人機的實時位置以及時間；

2)動作空間A：以至于在每個時刻n，無人機可以留在原地，向左飛，向右飛，向前飛或者向后飛；

3)轉移概率P：狀態轉移概率為

4)獎勵函數R：獎勵函數為在available GBS處的實時通信速率；

第二步：利用如下所示算法1來設計無人機的軌跡；

該算法主要步驟如下：

首先，初始化：初始化最大迭代次數N_ite，最大飛行時間N，學習速率α，探索概率ò，以及打折因子γ，將Q-table的初始值全部設置為0，迭代次數為n_ite＝1；

然后，重復：

A)初始化狀態空間為s＝{q_I,1}，時間為n＝1,探索概率ò隨時間下降；

B)重復：

1)利用ò-greedy方法選取動作a＝λ∈A，即無人機以概率ò隨機的選取動作，以概率1-ò選取可以使Q-function最大的動作其中定義Q-function是在狀態s下采取動作a以及遵循策略π獲得的未來打折獎勵的一個均值函數，并且

Q^π(s,a)＝E_π{R_n|s_n＝s,a_n＝a}，E{·}是指均值函數，以及定義的是所有未來獎勵的打折和以打折因子γ∈[0,1)來平衡長期與短期的收益；

2)移動到新位置q′＝q+λ，相對應新狀態s′＝{q′,n+1}，收到的第n+1時刻獎勵

3)更新并且代表學習率；

4)更新s＝s′和n＝n+1；

C)直到最大飛行時間，即n＝N；

D)更新n_ite＝n_ite+1；

直到最大迭代次數n_ite＝N_ite；

第三步：基于上述算法得到的無人機軌跡以及公式(11)來設計無人機的功率分配，具體為

其中，q[n]是利用算法1得到的問題(P1.1)的解。