[發明專利]基于深度強化學習的無人機軌跡及功率聯合優化方法

有效

• 申請號: 202011079226.7
• 申請日: 2020-10-10
• 公開（公告）號: CN112118556B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 趙楠;程一強;蕭灑;裴一揚;劉聰;劉澤華
• 申請（專利權）人: 湖北工業大學
• 主分類號: H04W4/44
• 分類號: H04W4/44;H04W24/02;H04W52/14;H04W52/24;H04W52/26;H04W52/28;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于深度強化學習的無人機軌跡及功率聯合優化方法，其特征在于：建立無人機系統模型，對無人機軌跡控制和功率分配問題進行描述；建立馬爾可夫模型，包括通過設置狀態、動作空間和獎勵函數，確定馬爾可夫決策過程；采用深度確定性策略梯度方法，實現軌跡控制和功率分配的聯合優化。應用本發明無人機可以準確移動到目標用戶設備附近以提供無線服務，這可以減輕對未服務的用戶設備的同信道干擾，同時控制無人機的發射功率，以實現頻譜效率與避免干擾之間的平衡。

技術領域

本發明屬于無線通信技術領域，具體涉及一種基于深度強化學習的無人機軌跡設置和功率分配聯合優化方法。

背景技術

最近，無人機被認為是未來無線網絡中的有效技術。由于其快速的部署，靈活的配置，廣泛的覆蓋范圍和較低的成本，無人機可以用作與地面用戶設備之間的中繼以進行協作通信。此外，由于無人機可以智能地改變其位置以為地面用戶設備提供按需無線服務，所以無人機還被設計用于無線通信的空中基站。因此，無人機輔助蜂窩網絡已被應用于各種應用，例如遙感，交通監控，公共安全和軍事。

但是，當前在無人機輔助的蜂窩網絡中，還存在一些技術挑戰，包括軌跡控制，資源分配和干擾管理。通過適當地設計無人機的軌跡，無人機可以移動到目標用戶設備附近以提供無線服務，這可以減輕對未服務的用戶設備的同信道干擾。此外，還應該控制無人機的發射功率，以實現頻譜效率與避免干擾管理之間的平衡。因此，本發明提出，應該共同考慮軌跡控制和功率分配的優化實現技術問題。

發明內容

為了克服現有軌跡控制和功率分配問題的非凸性，本發明的目的在于提出一種基于深度強化學習的聯合軌跡控制和功率分配的最優技術方案。

為了達到上述目的，本發明所采用的技術方案是一種基于深度強化學習的無人機軌跡及功率聯合優化方法，建立無人機系統模型，對無人機軌跡控制和功率分配問題進行描述；建立馬爾可夫模型，包括通過設置狀態、動作空間和獎勵函數，確定馬爾可夫決策過程；采用深度確定性策略梯度方法，實現軌跡控制和功率分配的聯合優化，實現方式如下，

所述深度確定性策略梯度方法結合actor網絡和critic網絡，并設置相應目標網絡；核心地面基站首先初始化經驗回放存儲器D、actor-critic網絡的權重以及相應的目標網絡；

設訓練過程有EP個訓練集，每個訓練集都有T時隙；在每個訓練集中，首先初始化網絡狀態，在每一訓練集的每一個時隙，動作由帶有隨機噪音的actor網絡發出；核心地面基站將選定的動作發送給所有無人機后，所有無人機都會相應地設置自己的軌跡和傳輸功率；當某些無人機飛出網絡區域時，它將選擇一個隨機方向角，如果某些無人機的高度h_i(t)超過[H_min,H_max]，無人機將停留在H_min或H_max高度，其中H_min和H_max分別表示無人機的最小高度和最大高度；一旦某些無人機學習到最好的軌跡和功率，并為覆蓋范圍內的用戶設備提供無線服務時，訓練過程全部結束；

此外，通過導頻信號，每個用戶設備測量來自所有無人機的接收功率；基于最大接收信號功率，用戶設備與無人機相關聯；在用戶關聯之后，用戶設備給關聯的無人機報告自己的當前狀態；

最后，在回程鏈路的幫助下，核心地面基站獲得全局網絡下一狀態和即時獎勵，相應信息保存在經驗回放存儲器D中，所述信息包括狀態S(t)、下一狀態S′(t)、動作A(t)和獎勵R(t)；從經驗回放存儲器D中隨機抽取mini-batch轉移樣本，以更新actor網絡和critic網絡；目標網絡的權重相應被緩慢更新；

重復上述訓練過程，直到所有無人機覆蓋所有熱點而沒有重疊，并且所有用戶設備的服務質量要求都得到滿足。

而且，所述建立無人機系統模型，實現如下，