[發明專利]高密度AP分布場景GCN-DDPG無線局域網絡參數調優方法和系統

有效

• 申請號: 202110447007.8
• 申請日: 2021-04-25
• 公開（公告）號: CN113163426B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李春國;李成祥;楊綠溪
• 申請（專利權）人: 東南大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W24/06
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

1.一種高密度AP分布場景GCN-DDPG無線局域網絡參數調優方法，其特征在于，包括如下步驟：

(1)通過數學建模的方式構建出無線局域網絡的參數方案評估模型，參數方案評估模型的輸入是所有AP的信號發射功率P和空閑信道評估閾值C；輸出是所有AP的信號發射功率P、空閑信道評估閾值C以及對無線局域網絡的飽和吞吐量的估計值R；

(2)通過GCN圖卷積神經網絡將參數方案評估模型的輸出作為輸入，進行特征的提取，處理成特征向量；

(3)構建深度強化學習DDPG算法模型，使其與構建的無線局域網絡的參數方案評估模型交互，通過試錯的方式提高算法性能使其收斂，深度強化學習DDPG算法模型收斂后的無線局域網絡參數配置就是最優的無線局網絡參數配置方案；深度強化學習DDPG算法模型的輸入是GCN圖卷積神經網絡的輸出特征向量，輸出是所有AP的信號發射功率P和空閑信道評估閾值C，也就是參數配置方案；

步驟(1)的具體步驟包括：

(1.1)收集要仿真的真實的無線局域網絡的參數信息，包括每個AP的信號發射功率、空閑信道評估閾值、所處信道以及整個無線局域網絡的固有參數信息，固有參數信息包括網絡中最大包長L，MAC幀頭長度、PHY幀頭長度、ACK、RTS、CTS、SIFS、DCF幀長度、最大隨機退避窗口CWmax和最小隨機退避窗口CWmin；將要仿真區域的三維坐標系，標出每個AP的位置；

(1.2)利用無線信號自由空間路徑損耗公式計算出AP_i發射的信號到AP_j位置時的信號強度，計算出每一對AP強度，構成AP到AP信號強度矩陣；用同樣的方法，計算出AP到UE的信號強度矩陣；

(1.3)利用上述兩個信號強度矩陣，計算AP對于UE的信噪比以及信干噪比，根據信噪比選擇連接的AP，根據信干噪比選擇信號傳輸速率，然后計算AP對UE的一階干擾和二階干擾；

(1.4)利用參數方案評估模型，根據輸入的AP的信號發射功率和空閑信道評估閾值，計算出無線局域網絡的飽和吞吐量估計結果R，然后將AP的信號發射功率P和空閑信道評估閾值C和R，作為環境狀態一起輸出；

步驟(2)的具體步驟包括：

(2.1)將AP到AP的信號強度矩陣中，假設其中一行為AP_i，空閑信道評估閾值為C_i，將該行每一個值與C_i做比較，大于C_i該位置被賦值為1，小于為0，矩陣對角線元素置0；便可得到AP的鄰接矩陣A，為1表示該位置的兩個AP相互干擾；

(2.2)利用鄰接矩陣A，計算度矩陣D；度矩陣只有對角線有值，且為鄰接矩陣A相應行的所有值的累加；假設參數矩陣為X，然后利用公式便可得到該參數的拉普拉斯矩陣變換；這個公式里面都是矩陣的乘法公式，因此H為一個矩陣，維度是AP的數量N*N；

步驟(3)的具體步驟包括：

(3.1)利用深度強化學習DDPG算法模型中的策略網絡隨機生成一個參數配置方案，即每一個AP的信號發射功率和空閑信道評估閾值，然后向配置中加入一定的隨機數后，送入參數方案評估模型，獲得這個配置的飽和吞吐量；將配置和飽和吞吐量一起存到記憶庫中，重復N次這個操作；

(3.2)重復N次后，繼續利用策略網絡成參數配置，加入的噪聲值，要隨訓練次數增多，逐漸減小；并且要從記憶庫隨機提取一批數據，利用策略梯度算法，更新深度強化學習DDPG算法模型中的策略網絡和價值網絡；

(3.3)不斷重復訓練的過程，直到策略網絡收斂，交互環境給與的飽和吞吐量值趨于穩定；

步驟(3.1)的具體步驟包括：

(3.1.1)將所有的AP的信號發射功率以及空閑信道評估閾值進行歸一化，然后同其余參數一起送入參數方案評估模型；

(3.1.2)利用AP路損信息表計算AP之間的干擾關系；建立AP到AP信號強度矩陣，建立AP到UE的信號強度矩陣；

(3.1.3)因此根據上面兩步計算出的信號強度矩陣，計算出每一個AP，在UE所處的位置的信噪比；UE根據信噪比排序，選擇信噪比最大的AP進行連接；然后利用兩個信號強度矩陣計算出該AP在當前位置的信干噪比，并根據信干噪比選擇信號傳輸速率；

(3.1.4)根據AP與AP之間的信號強度矩陣，假設AP₁的空閑信道評估閾值是C₁，那么將其他AP對AP₁的干擾與這個值比較，如果大于C₁，則認為是該AP是AP₁的一階干擾；用同樣的方法計算出其他AP的一階干擾AP；從AP組中刪除AP₁的一階干擾AP，然后將剩下的AP兩兩組合，將它們的信號強度相加如果大于C₁，則認為該組是AP₁的二階干擾AP；用同樣的方法計算其他AP的二階干擾AP；

(3.1.5)根據以上計算出來的參數，通過參數方案評估模型，計算出無線局域網在該參數下的飽和吞吐量估計值。

2.基于權利要求1所述方法的一種高密度AP分布場景GCN-DDPG無線局域網絡參數調優系統，其特征在于，包括：

環境交互模塊：所述環境交互模塊中配置有參數方案評估模型，將DDPG模塊生成的無線局域網絡參數配置送入環境交互模塊，模塊輸出該參數配置下，無線局域網絡的飽和吞吐量估計值；

GCN模塊：將交互環境模塊輸出的，無線局域網絡的參數信息和結構信息，通過矩陣的拉普拉斯變換，將二者結合在一起，生成特征矩陣送入DDPG模塊；

DDPG模塊：策略網絡評估當前無線局域網絡參數狀態下，應該配置的AP參數，價值網絡評估該參數的好壞；然后利用策略梯度算法，更新兩個網絡的參數。