[發明專利]一種基于知識梯度的無人機最優信道快速選擇方法

在審

• 申請號: 202110681497.8
• 申請日: 2021-06-18
• 公開（公告）號: CN113573323A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 杜豐;林艷;李駿
• 申請（專利權）人: 南京理工大學
• 主分類號: H04W16/22
• 分類號: H04W16/22;H04W36/30;H04B17/391;H04B17/336;H04B17/345
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

本發明公開了一種基于知識梯度的無人機最優信道快速選擇方法。該方法為：基于貝葉斯定理將所有信道的信道容量建模為查找表信念模型；根據無人機以往的通信任務經驗，初始化信念模型；根據當前時刻的關于信道容量的信念狀態，計算得到關于各信道的知識梯度值，選擇知識梯度最大的信道為當前時刻信道；無人機在選擇的信道上進行通信，同時監測傳輸速率，根據監測的傳輸速率對信道容量的信念狀態進行更新；重復上述過程直至超出每次信道選擇的時間限制即預算。本發明適用于高動態無人機網絡的快速信道選擇，有效提高了最優信道選擇的速度。

技術領域

本發明屬于無人機通信技術領域，特別是一種基于知識梯度的無人機最優信道快速選擇方法。

背景技術

隨著無人機技術的大規模發展應用，無人機通信領域的抗干擾問題變得日益嚴峻。無人機通信過程中的干擾不僅來自于背景噪聲，甚至有可能來自干擾機。干擾機通過在信道上發射一定干擾強度的信號來占用信道資源，無人機端則可以制定相應策略來選擇沒有被干擾或者受到干擾較小的信道，在這些信道上無人機可以獲得更高的傳輸速率。

目前在無人機抗干擾的諸多方法中，跳頻是一個普遍且易于實現的方向。但是相關算法的提出并不多，主要是受到無人機對抗這種特定環境的限制。基于認知無線電的假設，將無人機的信道選擇過程建模為MDP，通過強化學習算法(如Q學習)選擇將無人機的效益最大化，從而在每個時隙選擇干擾小且效益高的信道(張新宇.無人機網絡抗干擾方法研究[D].北京郵電大學.2019)。或者同樣將信道選擇過程建模為MDP，通過Q學習最小化感知到的干擾功率來選擇最佳信道(黃家邦.基于機器學習的通信抗干擾技術研究[D].電子科技大學.2020)。通過強化學習的方法可以很好應對擁有固定策略的干擾機，但是當干擾機的干擾功率和干擾信道呈現較大隨機性時，強化學習算法很難收斂且耗時很長，很難應對無人機對抗的環境。另外也有著將無人機信道選擇建模為多臂賭博機的方法，通過貪婪算法或者UCB算法估計最佳信道，雖然這種基于統計的方法更好地處理了隨機性問題，但是也面臨著同樣的需要大量訓練才能收斂的問題。

發明內容

本發明的目的在于提供一種基于知識梯度的無人機最優信道快速選擇方法，從而提高干擾功率隨機動態變化場景下無人機最優信道選擇的速度。

實現本發明目的的技術解決方案為：一種基于知識梯度的無人機最優信道快速選擇方法，包括以下步驟：

步驟1、基于貝葉斯定理將所有信道的信道容量建模為查找表信念模型；

步驟2、根據無人機通信任務經驗，初始化查找表信念模型；

步驟3、根據當前時刻關于信道容量的信念狀態，計算得到關于各信道的知識梯度值，選擇知識梯度最大的信道為當前時刻的通信信道；

步驟4、無人機在選擇的信道上進行通信，同時監測傳輸速率，根據傳輸速率對信道容量的信念狀態進行更新。

進一步地，步驟1所述的查找表信念模型，基于貝葉斯定理，具體如下：

查找表信念模型是對信道容量的建模，由信道容量的信念均值和信念方差組成，統稱信念狀態；前一時刻更新后的信念狀態屬于信道容量的后驗分布，用做當前時刻先驗分布參與運算。

進一步地，步驟2中所述初始化查找表信念模型，其中信念狀態初始值根據經驗聚合得來，包括信道容量的信念均值。

進一步地，步驟3所述根據當前時刻關于信道容量的信念狀態，計算得到關于各信道的知識梯度值，選擇知識梯度最大的信道為當前時刻的通信信道，具體為：

利用基于查找表模型的知識梯度算法，將關于信道容量的信念狀態作為此次迭代的先驗分布，該先驗分布服從高斯分布，是一個由信念均值和信念方差組成的二維表格；

根據知識梯度的計算公式計算得到所有信道在當前信念狀態下的知識梯度值，選擇知識梯度值最大的信道為當前時刻的通信信道，同時對被選擇信道進行監測。