[發明專利]一種基于強化學習的配電物聯網智能決策方法

有效

• 申請號: 202010540833.2
• 申請日: 2020-06-15
• 公開（公告）號: CN111654027B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 蔣超;單華;宋慶武;徐妍;蔣峰;李春鵬
• 申請（專利權）人: 江蘇方天電力技術有限公司
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J13/00;G06Q10/04;G06Q50/06
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 王磊

本發明公開了一種基于強化學習的配電物聯網智能決策方法，包括決策模型的構建方法和決策模型的應用方法，通過獲取配電物聯網的N個狀態參數和狀態參數對應的決策結果，構建樣本集，將樣本集輸入到強化學習模型中，對強化學習模型進行訓練，獲取決策模型，引入數據流觸發機制，采集配電物聯網當前的狀態參數，構成狀態參數集，將狀態參數集輸入到決策模型中，獲取當前的決策結果，將當前的決策結果發送至配電物聯網的執行設備中，由執行設備對當前的決策結果進行執行；本發明提供的方法，解決了配電物聯網自主感知與智能決策之間的耦合矛盾，用于配電物聯網的智能決策。

技術領域

本發明涉及電氣工程技術領域，具體涉及一種基于強化學習的配電物聯網智能決策方法 。

背景技術

物聯網是在互聯網基礎上延伸和擴展的網絡，通過將各種信息傳感設備和互聯網結合起來而形成的一個巨大網絡，實現在任何時間、任何地點，對人機的互聯互通。配電物聯網體系架構涵蓋配電運行自主感知等功能，實現電網運維全壽命周期下的人機交互、時標信息提取等，為高度市場化下的電網運維提供借鑒。

配電網現有的監測體系缺乏配電設備泛在互聯、配電策略全局最優自主決策方法，不能很好的解決配電物聯網自主感知和智能決策之間的耦合矛盾，為電網的自動化運維帶來了不便。

發明內容

本發明的目的：在于提供一種基于強化學習的配電物聯網智能決策方法，解決配電物聯網自主感知和智能決策之間的耦合問題。

技術方案：本發明提供的方案包括決策模型的構建方法和決策模型的應用方法，方法具體包括如下步驟：

決策模型的構建方法具體包括如下步驟：

步驟1、獲取配電網的N個狀態參數和所述狀態參數對應的決策結果，構建樣本集；所述決策結果包括是否對配電網中軟硬件進行深度解耦；

步驟2、選取樣本集中的M個狀態參數和對應的決策結果作為訓練集，選取樣本集中剩余的（N-M）個狀態參數和對應的決策結果作為測試集，將所述訓練集和測試集輸入強化學習模型中，對強化學習模型進行訓練，獲取決策模型；

決策模型的應用方法包括實時執行如下步驟：

步驟A、引入數據流觸發機制，采集配電網當前的狀態參數，構成狀態參數集；

步驟B、將所述狀態參數集輸入決策模型中，獲取當前的決策結果；

步驟C、將當前的決策結果發送至配電物聯網的執行設備中；由執行設備對當前的決策結果進行執行。

還包括步驟D如下，執行完步驟C之后，進入步驟D：

步驟D、偵測執行設備是否收到干預決策并執行，如果是，將干預決策和對應的當前的狀態參數的構成樣本，并將構成的樣本加入樣本集中，對樣本集進行更新；否則，樣本集中的樣本保持不變。

進一步的，還包括決策模型優化方法，按照預設的周期對決策模型進行優化，對決策模型的優化具體包括如下步驟：采集更新的樣本集中最新更新的N個狀態參數和對應的決策結果構建新的樣本集，使用所述新的樣本集對強化學習模型進行訓練，獲取優化的決策模型。

進一步的，方法還包括在配電網中安裝有多個用于采集配電網狀態參數的傳感器；

在步驟1中，數據流觸發機制為：控制系統檢測到配電網上電運維時，控制配電網中的各傳感器對配電網進行狀態參數的采集；所述狀態參數包括配電網的電流參數、電壓參數。

在步驟A中，方法還包括對當前采集的配電網的狀態參數進行清洗。

在步驟C中，將決策結果發送至配電物聯網的執行設備的方法為：采用直接序列擴頻技術構建數據包多線程傳輸機制，融入基于Mesh協議的節點網絡自組織和自愈功能，通過協調網絡拓撲結構的自組網協調器實現多線程傳輸。