[發(fā)明專利]一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201711353258.X
• 申請日: 2017-12-15
• 公開（公告）號: CN107968840B
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 宋亞奇;李莉
• 申請（專利權(quán)）人: 華北電力大學(xué)（保定）
• 主分類號: H04L29/08
• 分類號: H04L29/08;H02J13/00
• 代理公司: 石家莊開言知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 13127
• 代理人: 趙俊嬌

一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理方法及系統(tǒng),其包括數(shù)據(jù)接收與分發(fā)平臺、SparkStreaming實時數(shù)據(jù)處理平臺、Spark內(nèi)存計算平臺和HBase、Hadoop分布式文件系統(tǒng)，其對監(jiān)測數(shù)據(jù)的處理過程包括：1)負責報警數(shù)據(jù)接收與分發(fā)的數(shù)據(jù)收集服務(wù)器集群，2)實時數(shù)據(jù)處理平臺內(nèi)的異常檢測模塊基于SparkStreaming實時數(shù)據(jù)處理技術(shù)實現(xiàn)；3)特征提取模塊基于SparkStreaming實時數(shù)據(jù)處理技術(shù)實現(xiàn)；4)模式識別模塊基于SparkStreaming實時數(shù)據(jù)處理技術(shù)實現(xiàn)；5)機器學(xué)習(xí)模塊基于Spark大數(shù)據(jù)技術(shù)實現(xiàn)。其實現(xiàn)了應(yīng)對大規(guī)模高并發(fā)的報警數(shù)據(jù)和持續(xù)遠方監(jiān)測的流式數(shù)據(jù)的快速收集和處理的方法，可以用于構(gòu)建新一代輸變電設(shè)備遠程監(jiān)測系統(tǒng)或大規(guī)模新能源電站群監(jiān)控系統(tǒng)的建設(shè)。

技術(shù)領(lǐng)域

本發(fā)明涉及電力設(shè)備監(jiān)測領(lǐng)域，尤指種一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理方法及系統(tǒng)。

背景技術(shù)

隨著電網(wǎng)規(guī)模增長迅速，電網(wǎng)結(jié)構(gòu)越來越復(fù)雜，信息化與電力生產(chǎn)深度融合，智能化電力一次設(shè)備和常規(guī)電力設(shè)備的在線監(jiān)測都得到了較大發(fā)展并成為趨勢，監(jiān)測數(shù)據(jù)變得日益龐大，設(shè)備中進行獲取與傳輸?shù)谋O(jiān)測數(shù)據(jù)成幾何級增長。電力設(shè)備在線監(jiān)測系統(tǒng)在數(shù)據(jù)存儲、查詢和數(shù)據(jù)分析等方面面臨巨大的技術(shù)挑戰(zhàn)。如何對電力設(shè)備監(jiān)測大數(shù)據(jù)進行高效、可靠地存儲，并快速訪問和分析，是當前電力信息處理領(lǐng)域和大數(shù)據(jù)處理領(lǐng)域重要的研究課題。

當前，電力設(shè)備監(jiān)測大數(shù)據(jù)的特點和所面臨的技術(shù)挑戰(zhàn)包括：

(1)電力設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)的規(guī)模非常巨大，從TB級別往PB級別發(fā)展。

在線監(jiān)測系統(tǒng)的計算處理速度及響應(yīng)時間受限于硬件性能，在發(fā)生電網(wǎng)故障情況下，短時間內(nèi)大量數(shù)據(jù)若得不到及時處理，可能面臨信息延遲甚至丟失的風(fēng)險。

(2)處理速度快。

對海量的輸變電設(shè)備監(jiān)測歷史數(shù)據(jù)進行離線分析處理的過程包括數(shù)據(jù)清洗、格式轉(zhuǎn)換、信號去噪、特征提取、模式識別等，任何一個環(huán)節(jié)處理速度慢，都會成為應(yīng)用系統(tǒng)的性能瓶頸。因而數(shù)據(jù)處理平臺要能夠提供并行化、高吞吐量、批處理的能力。而且除歷史數(shù)據(jù)的離線分析處理外，其他的一些應(yīng)用場景，包括：Ad Hoc數(shù)據(jù)分析查詢、監(jiān)測大數(shù)據(jù)流式處理]等，都對系統(tǒng)的數(shù)據(jù)處理速度提出了挑戰(zhàn)。

(3)數(shù)據(jù)存儲與處理平臺的架構(gòu)。

如何根據(jù)輸變電設(shè)備監(jiān)測大數(shù)據(jù)的特點和應(yīng)用需求，選擇、組合、合理利用現(xiàn)有大數(shù)據(jù)技術(shù)(Hadoop、Spark、多核計算、云計算等)構(gòu)建高可靠性及高可用性的分布式存儲與計算平臺，并利用并行計算技術(shù)(MapReduce、MR2、MPI等)，滿足海量歷史數(shù)據(jù)查詢分析、數(shù)據(jù)挖掘、在線服務(wù)等各類計算任務(wù)性能需求，助力電力大數(shù)據(jù)價值釋放極具挑戰(zhàn)性。

由于常規(guī)的數(shù)據(jù)存儲與管理方法大都構(gòu)建在大型服務(wù)器、磁盤陣列(存儲硬件)以及關(guān)系數(shù)據(jù)庫系統(tǒng)(數(shù)據(jù)管理軟件)上，系統(tǒng)擴展性差、訪問性能低下、成本高，面對上述挑戰(zhàn)，其在存儲和處理監(jiān)測大數(shù)據(jù)時遇到了極大的困難。

因而發(fā)明人考慮，應(yīng)對這些挑戰(zhàn)，需要綜合運用包括批量計算、在線計算和流式計算等場景的大數(shù)據(jù)處理工具來應(yīng)對。本發(fā)明綜合考慮上述挑戰(zhàn)，設(shè)計實現(xiàn)了一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理方法。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，達到實現(xiàn)了一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理的目的。

本發(fā)明提供了一種大規(guī)模電力設(shè)備監(jiān)測報警數(shù)據(jù)實時處理方法,其包括數(shù)據(jù)接收與分發(fā)平臺、SparkStreaming實時數(shù)據(jù)處理平臺、Spark內(nèi)存計算平臺和HBase、Hadoop分布式文件系統(tǒng)，其對監(jiān)測數(shù)據(jù)的處理過程包括：

1)負責報警數(shù)據(jù)接收與分發(fā)的數(shù)據(jù)收集服務(wù)器集群，是采用高可擴展性的分布式集群，使用分布式Kafka軟件實現(xiàn)訂閱式的消息接收與發(fā)布，設(shè)置有冗余的多條優(yōu)先級隊列；