[發明專利]一種基于強化學習的配電物聯網智能決策方法

有效

• 申請號: 202010540833.2
• 申請日: 2020-06-15
• 公開（公告）號: CN111654027B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 蔣超;單華;宋慶武;徐妍;蔣峰;李春鵬
• 申請（專利權）人: 江蘇方天電力技術有限公司
• 主分類號: H02J3/00
• 分類號: H02J3/00;H02J13/00;G06Q10/04;G06Q50/06
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 王磊

1.一種基于強化學習的配電物聯網智能決策方法，其特征在于，所述方法包括如下步驟：

決策模型的構建方法具體包括如下步驟：

步驟1、獲取配電網的N個狀態參數和所述狀態參數對應的決策結果，構建樣本集；所述決策結果包括是否對配電網中軟硬件進行深度解耦；

步驟2、選取樣本集中的M個狀態參數和對應的決策結果作為訓練集，選取樣本集中剩余的(N-M)個狀態參數和對應的決策結果作為測試集，將所述訓練集和測試集輸入強化學習模型中，對強化學習模型進行訓練，獲取決策模型；

決策模型的應用方法包括實時執行如下步驟：

步驟A、引入數據流觸發機制，采集配電網當前的狀態參數，構成狀態參數集；

步驟B、將所述狀態參數集輸入決策模型中，獲取當前的決策結果；

步驟C、將當前的決策結果發送至配電物聯網的執行設備中；由執行設備對當前的決策結果進行執行；

在步驟C中，將決策結果發送至配電網的執行設備的方法為：采用直接序列擴頻技術構建數據包多線程傳輸機制，融入基于Mesh協議的節點網絡自組織和自愈功能，通過協調網絡拓撲結構的自組網協調器實現多線程傳輸；

通過協調網絡拓撲結構的自組網協調器實現多線程傳輸具體包括如下步驟：

步驟C₁、多節點無線物聯網上電啟動后對自組網協調器的協調器軟件進行初始化，并實時監測傳感器集群硬件自組網是否成功；

步驟C₂、開啟節點網絡監測機制，若監測到網絡，則選擇協調器或者路由節點作為初始父節點申請加入網絡，否則把節點屬性設置為協調器組建網絡機制；

步驟C₃、開啟子節點入退網監測機制，如果申請入網，則根據組網需求增加子節點并為子節點分配NWK參數，如果申請退網，釋放原有的NWK參數關聯；

步驟C₄、開啟多維數據傳輸機制，選擇被測數據傳輸子節點，接收終端節點的多維數據進行數據上傳。

2.根據權利要求1所述的基于強化學習的配電物聯網智能決策方法，其特征在于，還包括步驟D如下，執行完步驟C之后，進入步驟D：

步驟D、偵測執行設備是否收到干預決策并執行，若是，將干預決策和對應的當前的狀態參數的構成樣本，并將構成的樣本加入樣本集中對樣本集進行更新；否則，樣本集中的樣本保持不變。

3.根據權利要求2所述的基于強化學習的配電物聯網智能決策方法，其特征在于，還包括決策模型優化方法，按照預設的周期對決策模型進行優化，對決策模型的優化具體包括如下步驟：

采集更新的樣本集中最新更新的N個狀態參數和對應的決策結果構建新的樣本集，使用所述新的樣本集對強化學習模型進行訓練，獲取優化的決策模型。

4.根據權利要求1所述的基于強化學習的配電物聯網智能決策方法，其特征在于，配電網中安裝有多個用于采集配電網狀態參數的傳感器；在步驟1中，所述數據流觸發機制為：控制系統檢測到配電網上電運維時，控制配電網中的各傳感器對配電網進行狀態參數的采集；所述狀態參數包括配電網的電流參數、電壓參數。

5.根據權利要求1所述的基于強化學習的配電物聯網智能決策方法，其特征在于，在步驟3中，所述方法還包括對當前采集的配電網的狀態參數進行清洗。

6.根據權利要求1至5任一項所述的基于強化學習的配電物聯網智能決策方法，其特征在于，所述強化學習模型為雙重Q網絡模型。