[發明專利]一種基于強化學習的雙頻WLAN調優方案

在審

• 申請號: 202111568905.5
• 申請日: 2021-12-21
• 公開（公告）號: CN114501494A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 張軍超;靳豪杰;許浩;劉健;高東懷
• 申請（專利權）人: 中國人民解放軍空軍軍醫大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W84/12;G06N20/00
• 代理公司: 北京壹川鳴知識產權代理事務所(特殊普通合伙) 11765
• 代理人: 楊艷平

1.一種基于強化學習的雙頻WLAN調優方案，其特征在于，包括以下步驟：

S1.數據上報

通過AP模塊(2)采集相關射頻信息，上報給AI調優模塊(1)的數據采集模塊(6)，這些信息由2.4G終端(3)和5G終端(4)分為2.4G射頻信息和5G射頻信息；

S2.信息整理

AI調優模塊(1)的數據采集模塊(6)接收完整射頻信息之后，整理成統一的格式發送給AI調優模塊(1)的收益評估模塊(7)，這個統一的格式可以是收集齊整網的AP上報信息，然后以一個固定的時間頻率發送；

S3.整理傳輸

AI調優模塊(1)收益評估模塊(7)把接收到的數據整理為state和reward后，發給AI調優模塊(1)的強化學習決策模塊(8)；

S4.數據處理

AI調優模塊(1)的強化學習決策模塊(8)收到reward和state后，會做兩個處理：a.根據reward優化自身的決策模型，b.根據state輸出action，包括每個2.4G射頻的功率、每個5G射頻的功率；

S5.最終處理

AC模塊(5)收到AI調優模塊(1)的強化學習決策模塊(8)下發的action后，向各個AP的2.4G射頻和5G射頻發送功率配置命令，AP模塊(2)收到功率配置后，更改功率。

2.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S1中2.4G射頻信息具體的為整網的2.4G射頻個數，每個2.4G射頻的功率、信道、頻寬、吞吐率、信道利用率、同頻干擾率、連接終端數、終端平均下行RSSI、終端平均上行RSSI、終端平均吞吐率、終端平均連接速率、終端平均時延、終端平均丟包率。

3.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S1中5G射頻信息具體的為整網的5G射頻個數，每個5G射頻的功率、信道、頻寬、吞吐率、信道利用率、同頻干擾率、連接終端數、終端平均下行RSSI、終端平均上行RSSI、終端平均吞吐率、終端平均連接速率、終端平均時延、終端平均丟包率。

4.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S3中state具體的為整網的2.4G射頻個數，每個2.4G射頻的功率、信道、頻寬、吞吐率、連接終端數、終端平均吞吐率，整網的5G射頻個數，每個5G射頻的功率、信道、頻寬、吞吐率、連接終端數、終端平均吞吐率。

5.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S3中reward具體的為每個2.4G射頻的信道利用率、同頻干擾率、終端平均下行RSSI、終端平均上行RSSI、終端平均連接速率、終端平均時延、終端平均丟包率，每個5G射頻的信道利用率、同頻干擾率、連接終端數、終端平均下行RSSI、終端平均上行RSSI、終端平均連接速率、終端平均時延、終端平均丟包率。

6.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S1中數據采集模塊(6)用于采集各種射頻信息，包括AP模塊(2)的功率、頻寬、信道、吞吐率、信道利用率、同頻干擾率，2.4G射頻連接終端的個數，5G射頻連接終端個數，終端的速率、丟包率、時延。

7.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述S3中的強化學習決策模塊(8)是AI調優模塊(1)的核心模塊，內部有根據歷史調優數據建立的決策模型，它會基于收益評估模塊(7)上報當前的state，給出一個傾向于把網絡調整的更好的action，每個射頻的推薦功率配置，同時它還會根據收益評估模塊(7)上報的reward是正向收益或者負向收益來優化自己的決策模型，實現網絡越跳越好。

8.根據權利要求1所述的一種基于強化學習的雙頻WLAN調優方案，其特征在于：所述的步驟能夠循環進行其循環間隔根據需求進行調節。