[發明專利]一種大規模電力設備監測報警數據實時處理方法及系統

有效

• 申請號: 201711353258.X
• 申請日: 2017-12-15
• 公開（公告）號: CN107968840B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 宋亞奇;李莉
• 申請（專利權）人: 華北電力大學（保定）
• 主分類號: H04L29/08
• 分類號: H04L29/08;H02J13/00
• 代理公司: 石家莊開言知識產權代理事務所(普通合伙) 13127
• 代理人: 趙俊嬌

1.一種大規模電力設備監測報警數據實時處理方法,其包括數據接收與分發平臺、SparkStreaming實時數據處理平臺、Spark內存計算平臺和HBase、Hadoop分布式文件系統，其特征在于，對監測數據的處理過程包括：

1)負責報警數據接收與分發的數據收集服務器集群，是采用高可擴展性的分布式集群，使用分布式Kafka軟件實現訂閱式的消息接收與發布，設置有冗余的多條優先級隊列；

2)實時數據處理平臺內的異常檢測模塊基于SparkStreaming實時數據處理技術實現，接收來自Kafka實時轉發的監測數據流，以內存計算的方式，使用SparkStreaming閾值處理程序對監測數據值進行越線判別，對未越線數據，推送至HBase存儲；對于越線數據，發送至特征提取模塊，執行步驟3)的數據處理；

3)特征提取模塊基于SparkStreaming實時數據處理技術實現，接收來自Kafka實時轉發的報警數據以及來自異常檢測模塊轉發的越線數據，使用預定的特征提取算法和預處理方法，計算數據特征，用于步驟4)的異常數據模式識別；

4)模式識別模塊基于SparkStreaming實時數據處理技術實現，接收來自特征提取模塊的待測特征樣本，利用來自步驟5)的機器學習算法模型，對特征樣本進行實時的模式識別；將分類結果數據存入HBase，更新樣本庫，當新增樣本數量超過閾值x，觸發全量的數據訓練過程；

5)機器學習模塊基于Spark大數據技術實現；由用戶為機器學習任務配置調度策略，使機器學習任務按照固定周期執行；或者，由SparkStreaming模式識別模塊來觸發新的訓練任務，訓練接收后將產生新的模型，并將新模型發送至模式識別模塊進行模型更新。

2.根據權利要求1所述的一種大規模電力設備監測報警數據實時處理方法,其特征在于，在步驟1)中，所述數據收集服務器集群的冗余度默認設置為2。

3.根據權利要求1所述的一種大規模電力設備監測報警數據實時處理方法,其特征在于，在步驟2)中，同時選擇對HBase存儲數據進行數據可視化處理。

4.根據權利要求1所述的一種大規模電力設備監測報警數據實時處理方法,其特征在于，在步驟1)中，當報警事件或監測數據進入Kafka時，對處于不同級別的報警和監測數據分別發送至與之級別匹配的消息隊列，根據冗余度R，將消息發送至R條消息隊列；對高優先級的優先向下轉發；數據按照不同的類別分發到SparkStreaming實時數據處理平臺不同的計算節點進行分類處理；實時監測數據分發到異常檢測模塊，報警數據分發至特征提取模塊。

5.根據權利要求1所述的一種大規模電力設備監測報警數據實時處理方法,其特征在于，數據收集服務器集群與Storm云平臺之間、以及Storm和Spark云平臺內部的節點服務器之間采用千兆或萬兆以太網交換機連接。