[發明專利]一種基于強化學習與隨機優化算法的天線陣列設計方法

有效

• 申請號: 202110284035.2
• 申請日: 2021-03-17
• 公開（公告）號: CN113010986B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 陳曉江;趙宇航;王夫蔚;王基;房鼎益
• 申請（專利權）人: 西北大學
• 主分類號: G06F30/18
• 分類號: G06F30/18;G06F30/20;G06N3/006
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 王芳

本發明公開了一種基于強化學習與隨機優化算法的天線陣列設計方法：步驟1，選取隨機優化算法，建立待優化初始天線陣列模型；步驟2，設計適應度函數；步驟3，在MATLAB中編寫VB腳本；步驟4，創建多個HFSS線程來并行處理VB腳本，得到與隨機粒子對應的結果；步驟5，迭代產生多組xt；步驟6，利用多組xt得到所有適應度函數的最優解作為訓練集；步驟7，設計Q?Learning算法對訓練集進行訓練得到Q表；步驟8，將新緩存獎勵與Q表輸入Q?Learning算法得出待設計天線陣列的最優結果。本發明的方法無需額外人為干預，完全依靠強化學習的智能體來對天線優化結果做出判斷，相較于傳統的天線優化設計方式，本發明的方法整體效率提高到50％以上。

技術領域

本發明屬于天線陣列優化應用領域，涉及一種基于強化學習與隨機優化算法的天線陣列設計方法。

背景技術

隨著無線通信技術的發展，通信設備已經走入千家萬戶，成為人們日常生活中的一部分。而天線作為無線通信系統中的一個重要媒介，其性能的好壞直接影響到整個無線通信系統的傳輸質量。單個天線可以實現基本的電磁波輻射以及信號的無線傳輸，但是對于一些特定的功能以及性能的大幅提升，單個天線就顯得有點捉襟見肘。而陣列天線，可以完美的彌補單個天線的缺點，既可以大幅提高天線的輻射增益，還可以實現波束賦形等對于特定場景下需要實現的功能。

天線陣列最明顯的優勢就在于其高增益和方向性，在點對點的通信系統中，往往要求天線具有較強的方向性，也就是要求天線能將絕大部分能量集中到一點發送出去，這樣既實現了方向性也實現了高增益。對于方向性的調整，反映到天線上就是相位的調整，而對于陣列來說，相位的調整就涉及到了較多的參數，當陣元較多或優化目標較為復雜時，人為調整的方法就顯得過于緩慢，因此我們使用一些常用的隨機優化算法對天線的部分參數進行優化，常用的隨機優化算法有粒子群算法、模擬退火算法、差分進化算法等。

算法優化參數相對于人力來說速度有了很大方面的提升，但無論是采用哪種隨機優化算法，由于天線最優目標很難一次描述出最優的適應度函數來用于優化，因此設計人員在進行天線陣列優化的過程中需要多次觀察設計出適應度函數優化后的最優結果來修函數參量，而每次修改適應度函數進行優化都需要幾個或幾十個小時的優化時間。特別是對于多參數，多目標的優化過程來說，由于涉及的變量較多，人工操作可能需要嘗試很多次才可以達到一個較優的結果。因此這種方式由于始終需要人為的干預對適應度函數進行不斷的調整，其在優化時間上來說是比較漫長且隨機，優化效率低。

發明內容

針對上述傳統優化算法進行陣列優化設計的效率低的問題，本發明的目的在于，提供一種基于強化學習與隨機優化算法的天線陣列設計方法。

為了解決上述技術問題，本發明采用如下技術方案予以實現：

一種基于強化學習與隨機優化算法的天線陣列設計方法，具體包括如下步驟：

步驟1，選取隨機優化算法，使用HFSS建立待優化初始天線陣列模型并仿真導出對應的輻射與散射結果x；

步驟2，設計適應度函數f(x)＝a1*f1+a2*f2+…+an*fn，根據匹配 f1-fn的量級的需要，確定a1-an的取值分別為[a1₁-a1_k]、[a2₁- a2_k]…[an₁-an_k]；

式中，x包括陣列的輻射方向圖x₁與散射方向圖x₂；f1-fn分別為評價x的不同評價函數；a1-an分別為不同評價函數的系數，共有kⁿ個適應度函數；

步驟3，在MATLAB中編寫選取的隨機優化算法，按照隨機優化算法的初始隨機粒子編寫多個VB腳本；運行步驟4.2；

步驟4，創建多個HFSS線程來并行處理VB腳本，得到與隨機粒子對應的一組輻射和散射結果xt，具體包括如下子步驟：