[發明專利]一種基于強化學習的無人機能耗優化方法

在審

• 申請號: 202110598760.7
• 申請日: 2021-05-31
• 公開（公告）號: CN113406965A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 趙海濤;唐加文;李天嶼;倪藝洋;夏文超;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

本發明公開了一種基于強化學習的無人機能耗優化方法，方法應用在無人機網絡中，方法步驟如下：首先構建無人機與地面傳感器之間的通信系統模型；然后在上述系統模型基礎上，計算無人機遍歷單個傳感器的飛行能耗；接著在無人機遍歷單個傳感器的飛行能耗基礎上，計算得到無人機遍歷所有傳感器的整體能耗(飛行能耗+通信能耗)；最后使用基于Q?learning的無人機的路徑選擇算法，得到無人機最優遍歷路徑，求解無人機遍歷所有傳感器的最優能耗。本發明相對于已知的其他算法，在能耗表現上得到了提升。

技術領域

本發明涉及一種基于強化學習的無人機能耗優化方法，屬于深度學習及通信技術領域。

背景技術

近年來，隨著5G不斷發展，現在的通信系統不再滿足于普通的地面通信。地空通信成為通信網絡中重點發展的一部分。無人機因其高機動性非常適合大范圍的通信，同時在高空中與地面通信可以降低很多干擾已成為地空通信網絡的重要組成部分。但是，無人機在野外空曠地區與大量傳感器進行通信也存在一些問題。無人機的能量有限，如何合理的設計飛行路線，降低飛行能耗成為關鍵。

因此，本發明主要考慮無人機在缺乏基礎設施的野外空曠地帶上與地面上大量分布的傳感器進行通信。無人機接受傳感器采集到的數據同時也向傳感器發送一些模型參數信息。如何在完成通信任務的基礎上，優化無人機的飛行路線和數據傳輸策略，最小化無人機的能耗消耗是問題的核心。本發明依此展開，主要研究整個無人機和傳感器通信系統的模型，推導無人機的通信和飛行能耗模型，并研究相關的路徑選擇方法，考慮了無人機的飛行速度、地理信息、傳輸速率等因素，分析了無人機的動作空間和狀態空間。提出了一種基于強化學習的無人機能耗優化方法。

發明內容

本發明提出一種基于強化學習的無人機能耗優化方法，通過制定無人機的飛行策略和優化內容。然后從強化學習算法出發，提出了一種基于Q-learning的無人機的路徑選擇算法，有效降低了無人機飛行及通信能耗。

為實現上述目的，本發明采用的技術方案如下：本發明提出的一種基于強化學習的無人機能耗優化方法，該方法包括如下步驟：

S1：構建無人機與地面傳感器之間的通信系統模型；

S2：在上述系統模型基礎上，計算無人機遍歷單個傳感器的飛行能耗；

S3：在無人機遍歷單個傳感器的飛行能耗基礎上，計算得到無人機遍歷所有傳感器的整體能耗，所述能耗包括飛行能耗和通信能耗；

S4：使用基于Q-learning的無人機的路徑選擇算法，得到無人機最優遍歷路徑，從而得到無人機遍歷所有傳感器的最優能耗。

進一步的，所述步驟S1具體包括：

假設地面傳感器k的海拔高度為h_k，其中，k＝1，...N，N為傳感器的總個數，地面傳感器最大的海拔高度為h_max＝{h₁，h₂，...，h_k，...，h_N}，并且地表植被的最大高度為h_t，為了保證無人機的飛行安全和通信質量，無人機的飛行高度h_f滿足如下條件：

h_f≥h_max+h_t

設定無人機在懸停時與地面傳感器k進行通信，懸停時間為t_h，當無人機懸停在空中時，無人機與地面傳感器k的海拔高度差H_k為：

H_k＝h_f-h_k

用s_k表示無人機和傳感器k的水平距離，無人機和傳感器k之間的距離表示為：