[發(fā)明專(zhuān)利]一種基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110326335.2
• 申請(qǐng)日: 2021-03-26
• 公開(kāi)（公告）號(hào): CN112988729A
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 蘇浩輝;王奇;常安;陳彥州;肖耀輝;孫萌;鄭文堅(jiān);何森;張厚榮;賴光霖;崔曼帝;侯俊;張治然
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)南方電網(wǎng)有限責(zé)任公司超高壓輸電公司檢修試驗(yàn)中心
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06F16/2457;G06F16/25;G06Q50/06
• 代理公司: 廣州科粵專(zhuān)利商標(biāo)代理有限公司 44001
• 代理人: 鄧潮彬;黃培智

1.一種基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述方法包括：

將電力系統(tǒng)的數(shù)據(jù)采集后定期存入FTP服務(wù)器，在Storm前添加消息隊(duì)列Kafka；

對(duì)所采集到的數(shù)據(jù)進(jìn)行判斷，判斷其是否滿足數(shù)據(jù)處理要求，如果不滿足，則進(jìn)行數(shù)據(jù)預(yù)處理操作，以獲得合格數(shù)據(jù)；

對(duì)合格數(shù)據(jù)使用Storm進(jìn)行處理分析，并將結(jié)果存入HBase。

2.如權(quán)利要求1所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述進(jìn)行數(shù)據(jù)預(yù)處理操作包括：

數(shù)據(jù)格式化：根據(jù)傳感器的類(lèi)型實(shí)現(xiàn)相應(yīng)的解析方案，并對(duì)數(shù)據(jù)中的空值、噪聲數(shù)據(jù)進(jìn)行處理；

去除冗余信息：根據(jù)實(shí)際業(yè)務(wù)選擇保留有用的字段，使數(shù)據(jù)變得精簡(jiǎn)，以提高性能；

判斷是否將數(shù)據(jù)存入歷史數(shù)據(jù)庫(kù)以及生成日志記錄，之后將合格數(shù)據(jù)傳給數(shù)據(jù)處理模塊進(jìn)行處理。

3.如權(quán)利要求1或2所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述對(duì)合格數(shù)據(jù)使用Storm進(jìn)行處理分析包括：

數(shù)據(jù)流分組，以保證數(shù)據(jù)在Topology中的各組件之間能夠進(jìn)行交換和處理，包括7種分組方式，分別為隨機(jī)分組、按字段分組、廣播分組、全局分組、不分組、直接分組、自定義分組。

4.如權(quán)利要求3所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述隨機(jī)分組為將Tuple隨機(jī)分配，使得同一級(jí)螺栓中每個(gè)任務(wù)處理的Tuple一樣多；

所述按字段分組為根據(jù)Tuple中段的值來(lái)劃分，將數(shù)據(jù)流中此字段具有相同值的Tuple分發(fā)到一個(gè)任務(wù)中；

所述廣播分組為所有的Tuple都會(huì)被分發(fā)到所有的Task上；

所述全局分組為整個(gè)Stream會(huì)選擇一個(gè)Task作為分發(fā)的目的地，該目的地為具有最新ID的Task；

所述不分組，等同于隨機(jī)分組。

5.如權(quán)利要求3所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述直接分組：為產(chǎn)生數(shù)據(jù)的Spout、Bolt自己明確決定這個(gè)Tuple被Bolt的哪些Task消費(fèi)，如果使用直接分組，需要使用outputcollector的emitDirect方法來(lái)實(shí)現(xiàn)；

所述自定義分組為通過(guò)實(shí)現(xiàn)back.type.storm.grouping.CustormStreamGouping接口可創(chuàng)建自己需要的分組策略，使用戶自行決定每個(gè)Tuple會(huì)被哪些BOlt進(jìn)行處理。

6.如權(quán)利要求3所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述對(duì)合格數(shù)據(jù)使用Storm進(jìn)行處理分析還包括實(shí)時(shí)數(shù)據(jù)無(wú)損處理：

Storm采用Ack框架對(duì)Topology中的消息進(jìn)行跟蹤：

Storm中每條發(fā)送出去的消息都會(huì)對(duì)應(yīng)一個(gè)隨機(jī)的消息ID，Spout發(fā)送消息后，將向Acker Bolt發(fā)送一條消息，該消息的內(nèi)容為＜RootID，消息ID＞，Acker Bolt將為該消息創(chuàng)建一條跟蹤項(xiàng)；Bolt產(chǎn)生新的消息時(shí)，會(huì)計(jì)算其ID，并將ID發(fā)送至Acker Bolt，Acker Bolt對(duì)消息ID異或后存儲(chǔ)，于是Storm對(duì)新發(fā)送的消息進(jìn)行了跟蹤；Bolt對(duì)輸入的消息進(jìn)行Ack時(shí)，也會(huì)將該消息ID發(fā)送到Acker Bolt，Acker Bolt同樣進(jìn)行異或后存儲(chǔ)，由于該消息在被發(fā)送時(shí)，已經(jīng)向Acker Bolt發(fā)送過(guò)消息ID，之后在被Ack時(shí)又再次發(fā)送該消息ID，根據(jù)異或的語(yǔ)義。

7.如權(quán)利要求1所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述HBase為一表的存儲(chǔ)結(jié)構(gòu)。

8.如權(quán)利要求7所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述HBase表包括RowKey，用于檢索采樣數(shù)據(jù)，由監(jiān)測(cè)點(diǎn)傳感器Mac地址與通道ID構(gòu)成。

9.如權(quán)利要求7或8所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述HBase表中每行數(shù)據(jù)都帶有時(shí)間戳，代表該數(shù)據(jù)的采集時(shí)間，數(shù)據(jù)插入數(shù)據(jù)庫(kù)時(shí)自動(dòng)生成。

10.如權(quán)利要求9所述的基于storm輸電監(jiān)測(cè)數(shù)據(jù)處理方法，其特征在于，所述HBase表的列由列族構(gòu)成，列族包含多列。