[發明專利]電力物聯網網絡資源分配決策方法、系統、設備及介質

在審

• 申請號: 202210148221.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114500561A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 丁慧霞;張慧;孟薩出拉;王智慧;汪洋;朱思成;馬世乾;郭曉艷
• 申請（專利權）人: 中國電力科學研究院有限公司;國網天津市電力公司
• 主分類號: H04L67/1074
• 分類號: H04L67/1074;H04L67/1001;H04L67/12;H04L41/14;G16Y10/35
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 孟大帥

1.一種電力物聯網網絡資源分配決策方法，其特征在于，包括以下步驟：

基于以強化學習訓練獲取的分配決策模型，獲取電力物聯網已輸入數據信息的當前節點的下一跳節點，實現網絡資源分配決策；

其中，所述分配決策模型獲取時，基于待資源分配的電力物聯網的每個節點的屬性信息，構建獲得MDP圖；所述MDP圖中每個狀態點分別用于表述電力物聯網的每個節點，點的權重用于表示節點的可使用資源；MDP圖中兩個點間的邊用于表示兩個狀態點分別對應的兩個節點間能夠通信。

2.根據權利要求1所述的一種電力物聯網網絡資源分配決策方法，其特征在于，所述每個節點的屬性信息包括可使用資源、物理位置、信號覆蓋半徑與支持的通信協議中的一種或多種。

3.根據權利要求1所述的一種電力物聯網網絡資源分配決策方法，其特征在于，在獲取電力物聯網已輸入數據信息的當前節點的下一跳節點，實現網絡資源分配決策后還包括：

跟蹤獲取所述數據信息跳轉至獲取的當前節點的下一節點的收益，基于收益更新所述分配決策模型；

采用更新后的分配決策模型，處理電力物聯網后續網絡資源分配決策。

4.根據權利要求3所述的一種電力物聯網網絡資源分配決策方法，其特征在于，所述分配決策模型通過輸入的數據信息類型、當前節點與下一跳節點，唯一地定位到存放的收益值并輸出；其中，q_predict(i，x，y)＝qtable(i，x，y)；式中，i為數據信息類型、x為當前節點、y為下一跳節點、q_predict(i，x，y)為當前分配決策模型認為的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心的收益值；所述分配決策模型維護兩個qtable；其中一個為QT_predict，用于更新預估收益值；另一個為QT_target，用于存放當前分配決策模型的預估收益值；

所述分配決策模型的初訓練步驟包括：獲取歷史樣本數據集；所述歷史樣本數據集中的每一條歷史樣本數據均包括一次傳輸的數據信息類型、當前節點、下一跳節點以及本次傳輸至數據中心實際收益值；基于每一條歷史樣本數據同步更新所述兩個qtable，更新表達式為，

式中，代表在使用第n條歷史樣本數據訓練決策模型之前，QT_predict中存放的對于數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的預估收益值；rr_n是第n條歷史樣本數據中記錄的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的實際收益值；代表在使用第n+1條歷史樣本數據訓練決策模型之前，QT_target中存放的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的預估收益值；α是學習因子；n是從1開始的正整數；其中，

所述分配決策模型使用時的自訓練步驟包括：所述QT_predict的更新方式為，

式中，代表t時刻QT_predict中存放的對于數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的預估收益值，R_t+1是第t+1時刻得到的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的實際收益值，代表在收到實際收益值的t+1時刻QT_target中存放的數據信息類型i的數據信息在當前節點x經過下一跳節點y到達數據中心處的預估收益值；在預設定的更新周期T后，QT_target更新為QT_predict中的值。