[發明專利]基于深度強化學習的變電站監測系統及其資源調度方法

有效

• 申請號: 202011478035.8
• 申請日: 2020-12-15
• 公開（公告）號: CN112637806B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 李奇越;朱亞東;丁津津;高博;孫輝;張峰;汪勛婷;孫偉;李帷韜;鄧玉星
• 申請（專利權）人: 合肥工業大學;國網安徽省電力有限公司電力科學研究院
• 主分類號: H04W4/38
• 分類號: H04W4/38;H04W72/04;H04W24/02;H04W24/06
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于深度強化學習的變電站監測系統及其資源調度方法，該系統包含N種不同類型傳感器的無線傳感器網絡節點、深度強化學習智能體、電力無線專網基站、擁有多個神經網絡的邊緣設備和遠程云端的系統，該系統采集電網狀態進行基于神經網絡的異常監測，有兩種數據傳輸的方法：一是將傳感器采集的數據通過LTE?A無線通信接口傳輸到電力無線專網基站，再通過互聯網傳輸到云端進行處理；二是將傳感器采集的數據通過WIFI傳輸到邊緣設備，選擇不同的神經網絡處理。本發明在時變的互聯網時延的環境中，并在滿足數據傳輸時延的要求下，能優化分配無線通信資源與邊緣設備的計算資源，使得最大化系統的吞吐量。

技術領域

本發明涉及變電站監測和資源分配與調度領域，尤其涉及一種基于深度強化學習的變電站監測系統及其資源調度方法，適用于變電站中對數據進行實時異常監測。

背景技術

變電站的智能化是電網發展的必然產物，物聯網技術應用于變電站是信息通信技術發展到一定階段的必然趨勢。將物聯網技術廣泛應用在變電站中，能夠使信息通信技術更好的服務于電力行業，有效地為電網中的發電、輸電、變電、配電、用電、調度等環節提供重要技術支撐，提高電力系統信息化水平，從而改善現有電力系統基礎設施的利用效率，促進能源的高效利用。變電站的故障監測一直都是一個不可避免的問題，是通過測量和分析故障后電網中電流、電壓等電氣量以及保護和斷路器動作的開關量變化信息，識別故障原因。良好的監控系統對于及時發現和處理故障以及預防事故具有重要意義。

邊緣計算是在靠近物或數據源頭的網絡邊緣側，融合網絡、計算、存儲、應用核心能力的分布式開放平臺，就近提供邊緣智能服務，滿足行業數字化在敏捷聯接、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求。眾所周知，邊緣計算是將基礎設施資源進行分布式部署再統一管理的。資源較為集中的稱為“云”，資源量較少的部署點稱為“邊緣”，并在邊緣計算云平臺中存在少數的云和多數的邊緣，因此如何進行平臺的資源調度變成十分重要。

北京郵電大學高輝等考慮了一個多用戶MEC系統(WCNC，2018.8377343)，其中多用戶設備可以通過無線信道進行計算卸載到一個MEC服務器上。將所有問題的延遲成本和能量消耗的總和表示為優化目標。為了使所考慮的MEC系統的總代價最小，共同優化了卸載決策和計算資源分配。為此，提出了基于強化學習的優化框架來解決無線MEC中的資源分配問題。具體來說，分別提出了基于Q-learning和基于深度強化學習的方案。但是，該文獻僅對資源分配后的情況進行了分析，卻沒有考慮分配的必要性。而且，Q-learning算法會造成大的狀態和動作空間，導致計算的復雜度極高。

福建農林大學計算機與信息學院劉慶年等實現了智能電網大數據異常狀態實時監測仿真(計算機仿，1006-9348(2019)03-0364-04)，針對當前方法存在的監測速度慢、準確率低的問題，提出了一種基于熵序列的智能電網數據流異常狀態監測方法。該方法具有較高的監測精度，實用性較強。但是該方法算法較為復雜，實時性還可以提高。

南昌諾匯醫藥科技有限公司何月順發明了一種智能變電站監測系統(公開號：CN110830945A)，該系統包括環境感知模塊、數據收集模塊、云服務器和智能監測中心，所述環境感知模塊利用傳感器節點監測變電站環境參數，并通過無線傳感器網絡將監測所得的環境參數信息傳輸至數據收集模塊，由數據收集模塊將收集的環境參數監測信息傳輸至云服務器，云服務器對接收到的環境參數監測信息進行存儲，智能監測中心從云服務器中調取所述環境參數監測信息，并根據所述環境參數監測信息對變電站的安全狀態進行評估，當評估變電站存在危險時即進行預警。但是文章沒有利用云邊協同，無法解決云端延遲大的缺點，系統的實時性較差。

發明內容

本發明是為避免上述現有技術所存在的不足之處，提供了一種基于深度強化學習的變電站監測系統及其資源調度方法，以期能在滿足數據傳輸時延的要求下，優化分配無線通信資源與邊緣設備的計算資源，使得最大化系統的吞吐量，從而提高云邊協同系統的時間效率、資源利用率。

本發明為解決技術問題采用如下技術方案：