[發明專利]電力物聯網網絡資源分配決策方法、系統、設備及介質

在審

• 申請號: 202210148221.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114500561A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 丁慧霞;張慧;孟薩出拉;王智慧;汪洋;朱思成;馬世乾;郭曉艷
• 申請（專利權）人: 中國電力科學研究院有限公司;國網天津市電力公司
• 主分類號: H04L67/1074
• 分類號: H04L67/1074;H04L67/1001;H04L67/12;H04L41/14;G16Y10/35
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 孟大帥

本發明公開了一種電力物聯網網絡資源分配決策方法、系統、設備及介質，所述方法包括以下步驟：基于以強化學習訓練獲取的分配決策模型，獲取電力物聯網已輸入數據信息的當前節點的下一跳節點，實現網絡資源分配決策；其中，所述分配決策模型獲取時，基于待資源分配的電力物聯網的每個節點的屬性信息，構建獲得MDP圖；所述MDP圖中每個狀態點分別用于表述電力物聯網的每個節點，點的權重用于表示節點的可使用資源；MDP圖中兩個點間的邊用于表示兩個狀態點分別對應的兩個節點間能夠通信。本發明具體提供了一種基于強化學習的分配決策優化方法，通過強化學習算法可以動態地平衡網絡負載，可提升網絡資源使用率。

技術領域

本發明屬于網絡資源分配決策技術領域，特別涉及一種電力物聯網網絡資源分配決策方法、系統、設備及介質。

背景技術

現有傳統的云計算需要依托傳輸網絡獲取用戶數據，并將處理后的結果反輸給用戶，這種模式帶來的傳輸延遲、處理延遲等問題在海量信息處理中變得非常明顯且不可忽略。鑒于邊緣計算可在用戶的“邊緣地帶”處理數據，具有較低延遲的特點，采用邊緣計算可以較好地解決上述問題。

基于上述技術特點，未來通信協議網關會作為邊緣計算服務節點，在支撐海量終端通信的同時，還將承載大量的數據處理業務(示例性的，如視頻編解碼、AI大數據分析和機器學習等任務)；數據處理業務勢必會搶占通信傳輸的算力資源，造成吞吐能力的下降以及時延的不確定性。

綜上，電力物聯網網絡本身非常復雜，內含大量的網關，如何實現網關之間的負載平衡，充分利用網絡資源是一個亟待解決的問題。

發明內容

本發明的目的在于提供一種電力物聯網網絡資源分配決策方法、系統、設備及介質，以解決上述存在的一個或多個技術問題。本發明具體提供了一種基于強化學習的分配決策優化方法，通過強化學習算法可以動態地平衡網絡負載，可提升網絡資源使用率。

為達到上述目的，本發明采用以下技術方案：

本發明第一方面提供的一種電力物聯網網絡資源分配決策方法，包括以下步驟：

基于以強化學習訓練獲取的分配決策模型，獲取電力物聯網已輸入數據信息的當前節點的下一跳節點，實現網絡資源分配決策；

其中，所述分配決策模型獲取時，基于待資源分配的電力物聯網的每個節點的屬性信息，構建獲得MDP圖；所述MDP圖中每個狀態點分別用于表述電力物聯網的每個節點，點的權重用于表示節點的可使用資源；MDP圖中兩個點間的邊用于表示兩個狀態點分別對應的兩個節點間能夠通信。

本發明方法的進一步改進在于，所述每個節點的屬性信息包括可使用資源、物理位置、信號覆蓋半徑與支持的通信協議中的一種或多種。

本發明方法的進一步改進在于，在獲取電力物聯網已輸入數據信息的當前節點的下一跳節點，實現網絡資源分配決策后還包括：

跟蹤獲取所述數據信息跳轉至獲取的當前節點的下一節點的收益，基于收益更新所述分配決策模型；

采用更新后的分配決策模型，處理電力物聯網后續網絡資源分配決策。

本發明方法的進一步改進在于，所述分配決策模型通過輸入的數據信息類型、當前節點與下一跳節點，唯一地定位到存放的收益值并輸出；其中，q_predict(i,x,y)＝qtable(i,x,y)；式中，i為數據信息類型、x為當前節點、y為下一跳節點、q_predict(i,x,y)為當前分配決策模型認為的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心的收益值；所述分配決策模型維護兩個qtable；其中一個為QT_predict，用于更新預估收益值；另一個為QT_target，用于存放當前分配決策模型的預估收益值；