[發明專利]一種基于歷史強化學習的車聯網負載均衡接入方法

有效

• 申請號: 201710537715.4
• 申請日: 2017-07-04
• 公開（公告）號: CN107509220B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 蔣昌俊;李重;李德敏;任佳杰;齊誠嗣
• 申請（專利權）人: 東華大學
• 主分類號: H04W28/08
• 分類號: H04W28/08;H04W48/06;H04W48/10;H04L29/08
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;吳小麗

本發明提供了一種基于歷史強化學習的車聯網負載均衡接入方法，首先通過初始強化學習模塊獲得車輛的接入基站分配模式，并不斷地積累于接入模式積累庫中；經過學習積累，令歷史強化學習模塊代替初始強化學習模塊持續在系統中駐留運行，當基站再次遇到網絡變化時，歷史強化學習模塊調用接入模式積累庫中的歷史記錄，自適應地學習出新的車輛接入分配模式，并記錄，形成一個自適應處理網絡動態變化的運行環，從而在動態變化的車聯網環境中，保證車輛接入的網絡負載均衡。本發明利用交通流的時空分布潛在規律性，從與環境迭代反饋中，學習和利用歷史負載均衡的車輛接入時空經驗，從而在動態環境中持續獲得能保證網絡負載均衡的車輛接入基站分配方案。

技術領域

本發明涉及車聯網網絡負載均衡技術領域，尤其涉及一種基于歷史強化學習的車聯網負載均衡接入方法。

背景技術

隨著車聯網的發展，越來越多的車輛在網絡中需要接入異構基站，這些異構基站在發射功率、物理尺寸和建設成本上均有不同。在一個城市中，這些接入需求有很大差異，如在交通密集區域，車輛接入基站的需求比交通稀疏區域的需求要大很多。在傳統的最大SINR(Signal to Interference plus Noise Ratio)方案下，功率較強的基站可以吸引更多的車輛接入，即使在交通密集區域部署了很多功率低的基站，大多數車輛仍然從功率較強基站接收到強的下行鏈路信號，這便會導致功率較強的基站負載過重，而功率較小的基站基本空閑。同樣對于車輛而言，即使他們接入功率較強的基站，所能得到的服務速率也會很差，因為強基站服務了太多的接入車輛。因此，車聯網需要一個負載均衡的接入方法。

但是，目前流行的優化技術，如梯度下降、拉格朗日乘子法等只適用于移動用戶流量穩定的場景下，他們假設信道質量是穩定的，這些方法通常采用均勻泊松點過程(PPP)對系統中的用戶，即車輛，的位置進行建模。PPP模型的確簡化了系統分析，然而，在許多情況下，均勻PPP模型是不現實的。在車聯網中，車流量變化是不穩定，以上的不合理假設將導致無效的車輛接入，負載不均衡。即使將他們應用于未知的動態環境，缺少來自環境的反饋信號將導致梯度下降失去正確的方向。此外，一旦網絡場景改變，這些方法必須在整個網絡中重新運行，導致高成本開銷。

面向異構基站、未知復雜的車聯網環境、車輛高動態性變化的情況，現有的車聯網接入方法無法保證車輛接入基站時網絡的負載均衡。

發明內容

本發明要解決的技術問題是面向異構基站、未知復雜的車聯網環境、車輛高動態性變化的情況，如何保證車輛接入基站時網絡的負載均衡。

為了解決上述技術問題，本發明的技術方案是提供一種基于歷史強化學習的車聯網負載均衡接入方法，其特征在于步驟為：

步驟1：首先，通過初始強化學習模塊獲得車輛的接入基站分配模式，所述接入基站分配模式隨著時間推移，作為經驗，不斷的積累于每個基站的接入模式積累庫中；

步驟2：經過設定時間的學習積累，令歷史強化學習模塊代替初始強化學習模塊持續在系統中駐留運行，當基站再次遇到網絡變化時，歷史強化學習模塊調用所述接入模式積累庫中的歷史記錄，自適應地學習出新的車輛接入分配模式；

步驟3：新的車輛接入分配模式在每個基站的接入模式積累庫中再次被記錄，形成一個自適應處理網絡動態變化的運行環，從而在動態變化的車聯網環境中，保證車輛接入的網絡負載均衡。

優選地，所述初始強化學習模塊，在系統運行一開始，通過基于價格和獎勵的動態迭代調整網絡負載均衡，得出接入基站分配模式。

優選地，所述歷史強化學習模塊，在初始強化學習模塊運行設定時間并有經驗積累后，直接利用積累的歷史經驗，學習相似性，發掘接入特征，并按接入特征學得匹配的車輛接入分配模式。