[發明專利]基于深度強化學習的多無人機節能巡航通信覆蓋方法

在審

• 申請號: 202210285830.8
• 申請日: 2022-03-23
• 公開（公告）號: CN114679699A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 熊炫睿;賈鈺梅;張帆;黃楊;席娟
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W4/40
• 分類號: H04W4/40;H04W4/90;H04W16/18;H04B7/185
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明屬于空天地一體領域，涉及多無人機巡航和無人機輔助通信技術領域，具體涉及基于深度強化學習的多無人機節能巡航通信覆蓋方法。包括：建立無人機與地面用戶之間的通信，在滿足地面用戶通信條件下將目標區域進行柵格化；確定目標區域中的重點聚集點區域與普通目標區域，分別設置重點聚集點區域與普通目標區域的所對應的權值；設置環境中所需要的相關變量和評估指標，采用深度強化學習方法對多個無人機進行集中式訓練、分布式執行；計算在整個網絡中多無人機巡航覆蓋目標區域的能量效率、目標區域的平均覆蓋指數以及目標區域的公平覆蓋指數。本發明能實現災后全區域的通信覆蓋，相比與其他方法，該發明在平均覆蓋指數、公平覆蓋指數以及能量效率上取得的效果更佳，在提升系統可行性的同時實現多無人機通信的節能降耗。

技術領域

本發明屬于空天地一體化領域，涉及多無人機協調控制和無人機輔助通信技術領域，具體涉及基于深度強化學習的多無人機節能巡航通信覆蓋方法。

背景技術

無人機由于其部署迅速、操作方便、成本較低、容量大和覆蓋廣等特點，被大量用于空天地一體化領域，尤其用于無人機輔助通信等，但由于單無人機所覆蓋的區域范圍有限，而大量部署無人機則往往造成能源和成本的浪費，為最大程度地為地面節點提供通信條件并節約成本，有必要研究在滿足通信情況下的多無人機節能巡航覆蓋通信。多無人機節能巡航覆蓋通信主要涉及節約無人機能量消耗、巡航覆蓋目標區域，多無人機巡航覆蓋目標區域所涉及的方面比較多，包括避免多個無人機之間發生碰撞、巡航覆蓋完全整個目標區域、公平覆蓋目標區域等，從而實現多無人機節能巡航覆蓋通信。多無人機巡航覆蓋通信的方法有多種，有的將目標區域進行柵格化，再將柵格化后的目標區域劃分為多個子任務區域，多個無人機巡航覆蓋多個子任務區域的形式實現多無人機巡航覆蓋通信；而有的則采用強化學習或深度強化學習算法智能地實現多無人機巡航覆蓋通信。

目前已有關于基于深度強化學習的多無人機輔助通信的研究，但對于地面用戶分布復雜情況下基于深度強化學習的多無人機輔助通信的相關研究還比較缺乏。此外，現有技術中，一些研究分析了滿足通信下基于普通單元格劃分的多無人機巡航覆蓋，但還缺乏滿足通信條件下對單元格設置一定獎勵值的多無人機巡航覆蓋。因此，設計一種基于深度強化學習的多無人機節能巡航通信覆蓋方法對災后輔助救援以及偏遠地區的無線通信有重要意義。

發明內容

為了解決上述問題，本發明提供一種基于深度強化學習的多無人機節能巡航通信覆蓋方法，該方法采用多個無人機以“飛行-通信”和“懸停-通信”兩種協議實現用戶分布復雜情況下目標區域的巡航覆蓋，從而輔助災區通信；在無人機公平覆蓋完全目標區域的同時優化無人機能耗。

基于深度強化學習的多無人機節能巡航通信覆蓋方法，包括以下步驟：

S1、針對災難發生后用戶的分布特點，建立無人機基站與地面用戶之間的通信，在滿足通信條件下將用戶分布不均的目標區域進行柵格化；

S2、確定目標區域中的重點單元格與普通單元格，分別設置重點單元格與普通單元格的所對應的權值；

S3、設置環境中所需要的相關變量和評估指標，并采用基于深度強化學習的方法對多無人機進行集中式訓練、分布式執行；

S4、計算在整個系統中目標區域的平均覆蓋指數、目標區域的公平覆蓋指數以及多無人機巡航覆蓋目標區域的能量效率。

在一種優選實施方式中，針對災難發生后地面用戶存在分布不均的特點，為保證災區快速恢復通信，同時節約無人機的能耗，采用多無人機以巡航覆蓋的方式輔助災區通信。而災難發生后多無人機以巡航覆蓋的方式輔助災區恢復通信是NP問題，因此對災后目標區域進行柵格劃分，取每個單元格的中心點作為無人機需要覆蓋的任務目標點；無人機需要巡航覆蓋所有中心點才可實現對災后目標區域的全覆蓋并實現恢復通信。