[發(fā)明專利]電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法、裝置及終端設(shè)備

在審

• 申請?zhí)枺?/td>: 202110759000.X
• 申請日: 2021-07-05
• 公開（公告）號(hào): CN113486063A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 尚立;趙煒;蘇漢;陳方正;袁欣雨;紀(jì)春華;李毅超;蔡碩;崔俊彬;李保罡;張珂
• 申請（專利權(quán)）人: 國網(wǎng)河北省電力有限公司信息通信分公司;華北電力大學(xué)（保定）;國家電網(wǎng)有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/215;G06F16/182;G06K9/62;G06Q50/06
• 代理公司: 石家莊國為知識(shí)產(chǎn)權(quán)事務(wù)所 13120
• 代理人: 付曉娣

1.一種電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，基于分布式流數(shù)據(jù)處理框架Apache Storm對電力物聯(lián)網(wǎng)中的流數(shù)據(jù)進(jìn)行處理；所述方法包括：

通過Spout，接收流數(shù)據(jù)并發(fā)送至第一Bolt節(jié)點(diǎn)和第二Bolt節(jié)點(diǎn)；

通過所述第一Bolt節(jié)點(diǎn)，將接收到的流數(shù)據(jù)保存至分布式文件系統(tǒng)中；

通過所述第二Bolt節(jié)點(diǎn)，對接收到的流數(shù)據(jù)進(jìn)行預(yù)處理得到處理后的流數(shù)據(jù)；通過第三Bolt節(jié)點(diǎn)，對所述處理后的流數(shù)據(jù)進(jìn)行分類，并將不同類別的流數(shù)據(jù)發(fā)送至不同的第四Bolt節(jié)點(diǎn)；通過第四Bolt節(jié)點(diǎn)，選取出參考數(shù)據(jù)，并將所述參考數(shù)據(jù)與其他數(shù)據(jù)發(fā)送至第五Bolt節(jié)點(diǎn)；通過所述第五Bolt節(jié)點(diǎn)，將其他數(shù)據(jù)與所述參考數(shù)據(jù)對比，得到正常數(shù)據(jù)、異常數(shù)據(jù)和故障數(shù)據(jù)，并將所述正常數(shù)據(jù)、所述異常數(shù)據(jù)和所述故障數(shù)據(jù)存儲(chǔ)至所述分布式文件系統(tǒng)中。

2.根據(jù)權(quán)利要求1所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，第四Bolt節(jié)點(diǎn)的數(shù)量為兩個(gè)；

所述通過第三Bolt節(jié)點(diǎn)，對所述處理后的流數(shù)據(jù)進(jìn)行分類，并將不同類別的流數(shù)據(jù)發(fā)送至不同的第四Bolt節(jié)點(diǎn)，包括：

通過所述第三Bolt節(jié)點(diǎn)，將所述處理后的流數(shù)據(jù)劃分為用于預(yù)測的數(shù)據(jù)和用于分類的數(shù)據(jù)，并將所述用于預(yù)測的數(shù)據(jù)發(fā)送至第一個(gè)第四Bolt節(jié)點(diǎn)，將所述用于分類的數(shù)據(jù)發(fā)送至第二個(gè)第四Bolt節(jié)點(diǎn)；

相應(yīng)的，所述通過第四Bolt節(jié)點(diǎn)，選取出參考數(shù)據(jù)，并將所述參考數(shù)據(jù)與其他數(shù)據(jù)發(fā)送至第五Bolt節(jié)點(diǎn)，包括：

通過所述第二個(gè)第四Bolt節(jié)點(diǎn)，從所述用于分類的數(shù)據(jù)中選取出參考數(shù)據(jù)，并將所述參考數(shù)據(jù)與所述用于分類的數(shù)據(jù)中的其他數(shù)據(jù)發(fā)送至第五Bolt節(jié)點(diǎn)；

所述電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法還包括：

通過所述第一個(gè)第四Bolt節(jié)點(diǎn)，基于所述用于預(yù)測的數(shù)據(jù)進(jìn)行預(yù)測。

3.根據(jù)權(quán)利要求2所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，所述通過所述第一個(gè)第四Bolt節(jié)點(diǎn)，基于所述用于預(yù)測的數(shù)據(jù)進(jìn)行預(yù)測，包括：

通過所述第一個(gè)第四Bolt節(jié)點(diǎn)，基于所述用于預(yù)測的數(shù)據(jù)和支持向量機(jī)模型進(jìn)行預(yù)測。

4.根據(jù)權(quán)利要求1所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，所述電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法還包括：

采用流水線模式對電力物聯(lián)網(wǎng)中流數(shù)據(jù)進(jìn)行處理。

5.根據(jù)權(quán)利要求1所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，所述電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法還包括：

基于循環(huán)隊(duì)列和流轉(zhuǎn)算子實(shí)現(xiàn)流數(shù)據(jù)和各個(gè)節(jié)點(diǎn)的處理邏輯的流轉(zhuǎn)。

6.根據(jù)權(quán)利要求1所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，所述通過所述第二Bolt節(jié)點(diǎn)，對接收到的流數(shù)據(jù)進(jìn)行預(yù)處理得到處理后的流數(shù)據(jù)，包括：

通過所述第二Bolt節(jié)點(diǎn)，對接收到的流數(shù)據(jù)進(jìn)行數(shù)據(jù)的冗余屬性刪除處理、重復(fù)數(shù)據(jù)刪除處理、屬性缺失率大于預(yù)設(shè)百分比的數(shù)據(jù)刪除處理以及屬性缺失率不大于所述預(yù)設(shè)百分比的數(shù)據(jù)中的缺失數(shù)據(jù)補(bǔ)全處理，得到處理后的流數(shù)據(jù)。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法，其特征在于，所述電力物聯(lián)網(wǎng)中流數(shù)據(jù)處理方法還包括：

基于Map Reduce，對電力物聯(lián)網(wǎng)中流數(shù)據(jù)進(jìn)行清洗，刪除不合格數(shù)據(jù)，保留有用數(shù)據(jù)。