[發明專利]一種基于強化學習與隨機優化算法的天線陣列設計方法

有效

• 申請號: 202110284035.2
• 申請日: 2021-03-17
• 公開（公告）號: CN113010986B
• 公開（公告）日: 2023-02-14
• 發明（設計）人: 陳曉江;趙宇航;王夫蔚;王基;房鼎益
• 申請（專利權）人: 西北大學
• 主分類號: G06F30/18
• 分類號: G06F30/18;G06F30/20;G06N3/006
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 王芳

1.一種基于強化學習與隨機優化算法的天線陣列設計方法，其特征在于，具體包括如下步驟：

步驟1，選取隨機優化算法，使用HFSS建立待優化初始天線陣列模型并仿真導出對應的輻射與散射結果x；

步驟2，設計適應度函數f(x)＝a1*f1+a2*f2+…+an*fn，根據匹配f1-fn的量級的需要，確定a1-an的取值分別為[a1₁-a1_k]、[a2₁-a2_k]…[an₁-an_k]；

式中，x包括陣列的輻射方向圖x₁與散射方向圖x₂；f1-fn分別為評價x的不同評價函數；a1-an分別為不同評價函數的系數，共有kⁿ個適應度函數；

步驟3，在MATLAB中編寫選取的隨機優化算法，按照隨機優化算法的初始隨機粒子編寫多個VB腳本；運行步驟4.2；

步驟4，創建多個HFSS線程來并行處理VB腳本，得到與隨機粒子對應的一組輻射和散射結果xt，具體包括如下子步驟：

步驟4.1，按照隨機優化算法的隨機粒子編寫多個VB腳本；

步驟4.2，采用MATLAB的并行計算功能創建多個HFSS線程，用HFSS線程處理VB腳本，得到每個HFSS線程導出的輻射和散射結果xt，xt與隨機粒子中的每個粒子對應，從而得到與當代隨機粒子一一對應的一組xt；

步驟5，在適應度函數f(x)中隨機選取一個f(x)，將步驟4得到的一組xt分別代入選取的f(x)進行計算，得到新的一組xt，從而得到該組xt對應的一組隨機粒子，將該組新的隨機粒子作為隨機優化算法的隨機粒子，返回并迭代執行步驟4，直到得到的當代隨機粒子滿足收斂條件，最終得到迭代過程中產生的多組xt；

步驟6，將多組新的xt分別作為x，代入步驟2中所得的所有適應度函數中，對于每個適應度函數的結果取最小值，作為該適應度函數的最優解，從而得到所有適應度函數的最優解共kⁿ個，將這kⁿ個最優解作為訓練集；

步驟7，設計Q-Learning算法對訓練集進行訓練，得到智能體尋優策略Q表；

具體包括如下子步驟：

步驟7.1，確定Q-Learning算法中的狀態s、動作a、獎勵r；其中，狀態s為步驟6得到的kⁿ個最優解，動作a為狀態s的轉移，動作a包括2(k-1)n種不同的動作；

生成緩存獎勵tr：將狀態s集合中的每個數據與目標波束做差，得到所有緩存獎勵值tr，并對其歸一化處理；

設置獎勵r：對歸一化后的tr取最小值，將所有轉移到最小tr的動作a處的獎勵r設為100，將所有動作a前后的狀態對應tr做比對，若轉移后的tr更小，則將獎勵r設為+1，否則設為-1；同時將與目標波束相差較大狀態的所有指向動作a處的獎勵r設置為-50；

相差較大狀態指生成緩存獎勵tr大于0.7；

所述目標波束的生成函數如下：

式中，Target為設計所需指向角度，取45-135°之間任一個角度代入函數；deg為度數，取值為0-180，以步長為1全部代入函數，得到目標波束；

步驟7.2，應用步驟7.1確定的狀態s、動作a、獎勵r，使智能體從初始位置出發，逐步迭代尋找最優解路徑，得到Q-Learning算法所得的智能體尋優策略Q表；

步驟8，將Q表的隨機位置上的狀態s對應的適應度函數用于隨機優化算法中，用該隨機優化算法對待設計陣列進行尋優，得到由HFSS導出的優化后的輻射和散射結果x’，使用x’與目標波束做差得到該狀態s處的新緩存獎勵tr’；將該新緩存獎勵tr’與Q表輸入Q-Learning算法，得出待設計天線陣列的最優結果。

2.如權利要求1所述的基于強化學習與隨機優化算法的天線陣列設計方法，其特征在于，所述步驟1中，所述隨機優化算法為粒子群算法、模擬退火算法或差分進化算法。

3.如權利要求1所述的基于強化學習與隨機優化算法的天線陣列設計方法，其特征在于，所述步驟8中，所述待設計的天線陣列與步驟1中初始天線陣列具有相似排布；

所述具有相似排布是指與初始天線陣列在排布上相似，包括：(1)橫向或縱向天線數目不變只修改另外一維數目；(2)在天線陣列排布狀態不變情況下使用不同的陣元。