[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的無人機(jī)能耗優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 202110598760.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113406965A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計）人: 趙海濤;唐加文;李天嶼;倪藝洋;夏文超;朱洪波
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 羅運紅

1.一種基于強(qiáng)化學(xué)習(xí)的無人機(jī)能耗優(yōu)化方法，其特征在于，該方法包括如下步驟：

S1：構(gòu)建無人機(jī)與地面?zhèn)鞲衅髦g的通信系統(tǒng)模型；

S2：在上述系統(tǒng)模型基礎(chǔ)上，計算無人機(jī)遍歷單個傳感器的飛行能耗；

S3：在無人機(jī)遍歷單個傳感器的飛行能耗基礎(chǔ)上，計算得到無人機(jī)遍歷所有傳感器的整體能耗，所述能耗包括飛行能耗和通信能耗；

S4：使用基于Q-learning的無人機(jī)的路徑選擇算法，得到無人機(jī)最優(yōu)遍歷路徑，從而得到無人機(jī)遍歷所有傳感器的最優(yōu)能耗。

2.根據(jù)權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的無人機(jī)能耗優(yōu)化方法，其特征在于，所述步驟S1具體包括：

假設(shè)地面?zhèn)鞲衅鱧的海拔高度為h_k，其中，k＝1，...N，N為傳感器的總個數(shù)，地面?zhèn)鞲衅髯畲蟮暮０胃叨葹閔_max＝{h₁，h₂，...，h_k，...，h_N}，并且地表植被的最大高度為h_t，為了保證無人機(jī)的飛行安全和通信質(zhì)量，無人機(jī)的飛行高度h_f滿足如下條件：

h_f≥h_max+h_t

設(shè)定無人機(jī)在懸停時與地面?zhèn)鞲衅鱧進(jìn)行通信，懸停時間為t_h，當(dāng)無人機(jī)懸停在空中時，無人機(jī)與地面?zhèn)鞲衅鱧的海拔高度差H_k為：

H_k＝h_f-h_k

用s_k表示無人機(jī)和傳感器k的水平距離，無人機(jī)和傳感器k之間的距離表示為：

在時刻t，使用β_k(t)作為無人機(jī)和傳感器k之間的信道系數(shù)，滿足如下條件：

其中，代表大尺度衰落造成的路徑損耗，隨機(jī)復(fù)數(shù)變量用來表示小尺度衰落造成接收信號的影響，由于障礙物存在遮擋，考慮視距鏈路(LoS)和非視距鏈路(NLoS)，α_L和α_N分別為對應(yīng)的路徑損耗，滿足如下條件：

其中，p_k，LoS和p_k，NLoS分別表示無人機(jī)和傳感器k之間的視距鏈路(LoS)概率和非視距鏈路(NLoS)概率，p_k，LoS滿足：

其中，b和c為比例系數(shù)，讓p_k，NLoS滿足如下條件：

p_k，NLoS＝1-p_k，LoS

當(dāng)無人機(jī)和傳感器k進(jìn)行通信時，假設(shè)無人機(jī)和傳感器具有相同的通信設(shè)備并且具有相同的傳輸功率P_t，無人機(jī)發(fā)出的干擾信號為x_s(t)，無人機(jī)和傳感器k之間的傳輸速率采用如下公式表示：

其中，表示接收機(jī)的高斯白噪聲N₀和弱干擾之和，為殘余環(huán)路干擾信道，P＝E{|x_s(t)|²}，為無人機(jī)發(fā)出的干擾信號為x_s(t)的均方差，B代表帶寬，t_h為無人機(jī)懸停時間。