[發明專利]基于深度強化學習的無人機軌跡及功率聯合優化方法

在審

• 申請號: 202010136467.4
• 申請日: 2020-03-02
• 公開（公告）號: CN111263332A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 趙楠;程一強;蕭灑;裴一揚;劉聰;劉澤華
• 申請（專利權）人: 湖北工業大學
• 主分類號: H04W4/44
• 分類號: H04W4/44;H04W24/02;H04W52/14;H04W52/24;H04W52/26;H04W52/28;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 嚴彥

本發明提供一種基于深度強化學習的無人機軌跡及功率聯合優化方法，其特征在于：建立無人機系統模型，對無人機軌跡控制和功率分配問題進行描述；建立馬爾可夫模型，包括通過設置狀態、動作空間和獎勵函數，確定馬爾可夫決策過程；采用深度確定性策略梯度方法，實現軌跡控制和功率分配的聯合優化。應用本發明無人機可以準確移動到目標用戶設備附近以提供無線服務，這可以減輕對未服務的用戶設備的同信道干擾，同時控制無人機的發射功率，以實現頻譜效率與避免干擾之間的平衡。

技術領域

本發明屬于無線通信技術領域，具體涉及一種基于深度強化學習的無人機軌跡設置和功率分配聯合優化方法。

背景技術

最近，無人機被認為是未來無線網絡中的有效技術。由于其快速的部署，靈活的配置，廣泛的覆蓋范圍和較低的成本，無人機可以用作與地面用戶設備之間的中繼以進行協作通信。此外，由于無人機可以智能地改變其位置以為地面用戶設備提供按需無線服務，所以無人機還被設計用于無線通信的空中基站。因此，無人機輔助蜂窩網絡已被應用于各種應用，例如遙感，交通監控，公共安全和軍事。

但是，當前在無人機輔助的蜂窩網絡中，還存在一些技術挑戰，包括軌跡控制，資源分配和干擾管理。通過適當地設計無人機的軌跡，無人機可以移動到目標用戶設備附近以提供無線服務，這可以減輕對未服務的用戶設備的同信道干擾。此外，還應該控制無人機的發射功率，以實現頻譜效率與避免干擾管理之間的平衡。因此，本發明提出，應該共同考慮軌跡控制和功率分配的優化實現技術問題。

發明內容

為了克服現有軌跡控制和功率分配問題的非凸性，本發明的目的在于提出一種基于深度強化學習的聯合軌跡控制和功率分配的最優技術方案。

為了達到上述目的，本發明所采用的技術方案是：

根據權利要求定稿待補，暫不處理

和現有技術相比，本發明的優點在于，將深度強化學習技術引入到無人機網絡中，提供軌跡控制和功率分配的聯合優化技術方案。在大型應用場景中，用戶設備的數量可能是非常巨大的，本發明的智能化自動優化方案能夠應對這種復雜情況，提供高效合理的無人機網絡支持。

具體實施方式

為了便于本領域普通技術人員理解和實施本發明，下面結合實施例對本發明作進一步的詳細描述，應當理解，此處所描述的實施示例僅用于說明和解釋本發明，并不用于限定本發明。

本發明實施例提供的一種基于深度強化學習的無人機軌跡及功率聯合優化方法，首先，建立無人機系統模型，對無人機軌跡控制和功率分配問題進行描述。其次，針對軌跡控制和功率分配問題的非凸性，本專利提出了一種基于強化學習的方法，通過設置狀態、動作空間和獎勵函數，確定了馬爾可夫決策過程。在此基礎上，由于馬爾可夫模型具有連續的動作空間，研究了深度強化學習方法，提出了深度確定性策略梯度方法，實現軌跡控制和功率分配的聯合優化。實施例所提供方法的具體實現包括以下步驟：

步驟1，建立無人機系統模型：

在一般的無人機輔助蜂窩網絡中，將N個無人機部署為空中基站，以在N個非重疊熱點中為M個用戶設備提供無線服務，用戶設備和無人機的集合分別表示為和在熱點i中的用戶設備數量表示為M(i)。為了簡化討論，實施例假設第i個無人機使用相同的頻帶向第i個熱點提供服務，考慮到每個用戶設備僅屬于一個熱點，得出

同時，所有的無人機都由一個核心地面基站控制，在t時刻，同一熱點中的用戶設備都將由相同的無人機同時提供服務。表示第m個用戶設備的平面坐標，其中，x_m和y_m是第m個用戶設備的坐標，分別為X坐標和Y坐標。其中，表示域。