[發明專利]一種基于強化學習的雙頻WLAN調優方案

在審

• 申請號: 202111568905.5
• 申請日: 2021-12-21
• 公開（公告）號: CN114501494A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 張軍超;靳豪杰;許浩;劉健;高東懷
• 申請（專利權）人: 中國人民解放軍空軍軍醫大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W84/12;G06N20/00
• 代理公司: 北京壹川鳴知識產權代理事務所(特殊普通合伙) 11765
• 代理人: 楊艷平

本發明提供一種基于強化學習的雙頻WLAN調優方案，涉及無線局域網技術領域。該基于強化學習的雙頻WLAN調優方案，包括以下步驟：S1.數據上報，通過AP模塊采集相關射頻信息，上報給AI調優模塊的數據采集模塊，這些信息由2.4G終端和5G終端分為2.4G射頻信息和5G射頻信息；S2.信息整理，AI調優模塊的數據采集模塊接收完整射頻信息之后，整理成統一的格式發送給AI調優模塊的收益評估模塊，這個統一的格式可以是收集齊整網的AP上報信息。本發明提供一種基于強化學習的雙頻WLAN調優方案，該方案能夠通過強化學習和用戶體驗反饋進行調優，同時也能夠使得2.4G射頻和5G射頻做協同調優，從而實現網絡調優的次數越多，整網用戶體驗越好的作用。

技術領域

本發明涉及無線局域網技術領域，具體為一種基于強化學習的雙頻WLAN調優方案。

背景技術

WLAN技術讓家庭用戶或者企業用戶方便靈活地接入網絡，并且提供高速的上傳/下載速率，這個特點讓WLAN走入了千家萬戶，WLAN的定義有廣義和狹義兩種：廣義上講WLAN是以各種無線電波(如激光、紅外線)的無線信道來代替有線局域網的部分或全部傳輸介質所構成的網絡，WLAN的狹義定義是基于IEEE802.11系列標準，利用高頻無線射頻(如2.4GHz或5GHz頻段的無線電磁波)作為傳輸介質的無線局域網，WLAN有兩種基本架構，一種是FTAAP架構，又叫自治式網絡架構，一種是AC+FITAP架構，又叫集中式網絡架構，我們最熟悉的家庭無線路由器就是采用的FATAP架構，也有很多人直接稱為胖AP，FITAP英文全稱是FITAccessPoint，中文稱為瘦接入點，也有很多人直接稱為瘦AP。

正常一個AP，會同時開啟2.4G頻段的射頻和5G頻段的射頻，2.4G信號頻寬較窄，而且因為可選的信道范圍少，所以無線環境比較擁擠，干擾比較大，5G信號頻寬比較寬，可選信道范圍大，無線環境干凈，干擾少，網速穩定，無線速率更高，但5G的頻率高，信號傳播時衰減比較大，穿墻能力遠小于2.4G，傳播距離相對較近，負載均衡技術只能實現不同AP在相同射頻的負載均衡，比如AP1和AP2的5G射頻的負載均衡，而不能實現AP1的5G射頻與AP1的2.4G射頻的負載均衡，即便有也不適用AC+FITAP大規模組網。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于強化學習的雙頻WLAN調優方案，解決了業界WLAN調優方案缺少在大規模組網中針對2.4G和5G聯合功率調優方案的問題。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：一種基于強化學習的雙頻WLAN調優方案，包括以下步驟：

S1.數據上報

通過AP模塊采集相關射頻信息，上報給AI調優模塊的數據采集模塊，這些信息由2.4G終端和5G終端分為2.4G射頻信息和5G射頻信息；

S2.信息整理

AI調優模塊的數據采集模塊接收完整射頻信息之后，整理成統一的格式發送給AI調優模塊的收益評估模塊，這個統一的格式可以是收集齊整網的AP上報信息，然后以一個固定的時間頻率發送；

S3.整理傳輸

AI調優模塊收益評估模塊把接收到的數據整理為state和reward后，發給AI調優模塊的強化學習決策模塊；

S4.數據處理

AI調優模塊的強化學習決策模塊收到reward和state后，會做兩個處理：a.根據reward優化自身的決策模型，b.根據state輸出action，包括每個2.4G射頻的功率、每個5G射頻的功率；

S5.最終處理