[發明專利]一種基于強化學習的無線網絡接入點切換方法

有效

• 申請號: 202011334205.5
• 申請日: 2020-11-25
• 公開（公告）號: CN112492656B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 雷建軍;劉昕
• 申請（專利權）人: 重慶郵電大學
• 主分類號: H04W36/00
• 分類號: H04W36/00;H04W36/08;H04W36/16
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 王海軍

本發明涉及無線通信技術領域，具體涉及一種基于強化學習的無線網絡接入點切換方法，使用SDN控制器控制站點切換至不同的AP，收集站點與AP之間的RSSI；使用SDN控制器收集站點與AP之間的RSSI，控制站點切換至不同的AP；在當前動作調整周期，使用ε?貪婪策略選擇出站點要關聯的AP集合；控制器從AP集合中選擇出當前狀態下的最佳AP；控制器控制站點進行AP切換；切換完畢后，根據系統的吞吐量以及公平性計算獎勵；更新動作價值函數；判斷是否滿足終止條件，若不滿足，則進入下一個動作調整周期后返回不斷優化最佳AP的選擇；若滿足，終止流程。本發明能夠提高系統吞吐量和公平性，即站點關聯最佳AP后，實現與最佳AP相關聯的其他站點的吞吐量公平。

技術領域

本發明涉及無線通信技術領域，具體涉及一種基于強化學習的無線網絡接入點切換方法。

背景技術

無線局域網(Wireless Local Area Network，WLAN)因其高速、便利等優點得到了廣泛地應用。無線局域網規模的擴大導致AP接入點的數量越來越多。在這種情況下，移動站點可能會被多個AP覆蓋。在WiFi通信中，移動站點(STA)通過接入點AP實現Internet的接入，由于一個AP接入點的覆蓋范圍有限，通常只有50-300m，對站點移動性的支持十分有限，因此需要在不同AP間執行快速切換，以減少AP間切換導致的網絡中斷時間。在傳統的切換方案中，移動站點(STA)以接收信號強度信息(RSSI)為切換的閾值，并且移動站點在切換過程中會和AP交換一些信息。由于遍歷AP需要花費一定的時間，因此移動站點切換的時間會更長。

隨著軟件定義網絡(SDN)技術的出現，傳統的網絡架構開始改變。SDN技術通過將網絡的控制面與數據面解耦，并由控制器提供開放的接口和協議，使得網絡管理者能夠通過編程實現對網絡的控制和管理。通過將SDN技術應用到無線局域網，管理員可以更好地管理無線節點，進而實現無縫切換和負載均衡等應用。但是仍然存在STA何時切換以及如何選擇AP的問題。

傳統的WiFi網絡站點切換根據RSSI，當RSSI小于閾值時，站點斷開與當前AP的連接，然后隨機關聯其他大于閾值的AP。這存在以下幾個問題：第一個，站點并不能根據當前的網絡狀況動態地調整閾值，進而實現智能切換；第二個，站點在傳統切換過程，不能選擇最佳的AP，導致網絡資源利用率低。

AP接入點切換遵循的是“先斷后連”的思想，即當前的連接質量變得不可接受時，移動站點(STA)才會轉而試著去連接其他AP，移動站點(STA)在正常通信的時候并不會為可能的切換做準備，所以它對于周圍的AP資源一無所知，那么在切換的時候它就必須首先搜索周圍可用的AP，這個掃描過程耗時巨大。

發明內容

為了解決上述問題，本發明提供一種基于強化學習的無線網絡接入點切換方法。

一種基于強化學習的無線網絡接入點切換方法，包括以下步驟：

S1、使用SDN控制器控制站點切換至不同的AP，收集站點與AP之間的RSSI；

S2、在當前動作調整周期，使用ε-貪婪策略選擇出站點要關聯的AP集合；

S3、控制器從AP集合中選擇出當前狀態下的最佳AP；

S4、控制器控制站點進行AP切換：與當前關聯的AP去關聯，并且與最佳AP進行關聯；

S5、當前動作調整周期結束后，根據系統的吞吐量以及公平性計算獎勵；

S6、根據當前動作調整周期系統的獎勵更新動作價值函數(動作價值函數能記錄歷史經驗，反饋到算法中，控制器根據最大化價值，調整AP的選擇)；

S7、判斷是否滿足終止條件(終止條件為：動作價值的估計值等于真實值時)，若不滿足終止條件，則進入下一個動作調整周期后返回步驟S2不斷優化最佳AP的選擇；若滿足終止條件，則終止流程；