[發(fā)明專利]基于大數(shù)據(jù)處理用電表碼數(shù)據(jù)的方法、裝置和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111661734.0
• 申請日: 2021-12-30
• 公開（公告）號: CN114356944A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 王祥;武占俠;魏本海;劉國川;張笑巖;馬楠
• 申請（專利權(quán)）人: 深圳市國電科技通信有限公司;深圳智芯微電子科技有限公司;國網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/245;G06F16/27;G06F16/28;G01R35/04;G06F9/50
• 代理公司: 北京興智翔達(dá)知識產(chǎn)權(quán)代理有限公司 11768
• 代理人: 郭衛(wèi)芹

本發(fā)明公開了基于大數(shù)據(jù)處理用電表碼數(shù)據(jù)的方法，涉及電能計量領(lǐng)域，該方法包括：S1：對表碼原始采集數(shù)據(jù)進(jìn)行實時異常甄別；S2：對異常數(shù)據(jù)進(jìn)行修復(fù)；S3：將檔案數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中預(yù)加載到緩存，根據(jù)業(yè)務(wù)需求定期更新緩存中的檔案數(shù)據(jù)；S4：基于修復(fù)后表碼數(shù)據(jù)，開展實時電量計算；S5：在NoSQL庫中將修復(fù)后數(shù)據(jù)預(yù)加載到內(nèi)存中，生成結(jié)構(gòu)化內(nèi)存表，利用內(nèi)存表關(guān)聯(lián)能力在內(nèi)存中完成多表關(guān)聯(lián)數(shù)據(jù)檢索；S6：基于多表關(guān)聯(lián)檢索的表碼數(shù)據(jù)，進(jìn)行批量電量計算，并將新增和變化的數(shù)據(jù)保存/更新到緩存和NoSQL存儲；S7：將電量結(jié)果數(shù)據(jù)由NoSQL存儲同步到關(guān)系型數(shù)據(jù)庫。本發(fā)明能夠基于大數(shù)據(jù)提升用電表碼數(shù)據(jù)處理效率和存儲性能。

技術(shù)領(lǐng)域

本發(fā)明涉及電能計量領(lǐng)域，特別是關(guān)于一種基于大數(shù)據(jù)處理用電表碼數(shù)據(jù)的方法、裝置和存儲介質(zhì)。

背景技術(shù)

用戶用電信息采集系統(tǒng)是通過對配電變壓器和終端用戶的用電數(shù)據(jù)的采集和分析，實現(xiàn)用電監(jiān)控、推行階梯定價、負(fù)荷管理、線損分析，最終達(dá)到自動抄表、錯峰用電、用電檢查(防竊電)、負(fù)荷預(yù)測和節(jié)約用電成本等目的。建立全面的用戶用電信息采集系統(tǒng)需要建設(shè)系統(tǒng)主站、傳輸信道、采集設(shè)備以及電子式電能表。

隨著用電信息采集系統(tǒng)數(shù)據(jù)采集頻率不斷提升，系統(tǒng)對用電表碼數(shù)據(jù)處理的實時性和存取的效率均提出了新的要求，基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫集群的數(shù)據(jù)處理和存儲方案已無法滿足系統(tǒng)對表碼數(shù)據(jù)管理的需求，主要存在以下問題。

1、基于關(guān)系型數(shù)據(jù)庫的全量數(shù)據(jù)存儲，隨著數(shù)據(jù)采集頻率的增加，數(shù)據(jù)庫表查詢性能和穩(wěn)定性逐步下降，嚴(yán)重影響系統(tǒng)正常業(yè)務(wù)功能服務(wù)的開展；

2、當(dāng)前關(guān)系型數(shù)據(jù)庫負(fù)責(zé)數(shù)據(jù)存儲的同時，還承擔(dān)著數(shù)據(jù)計算任務(wù)，計算效率隨著表碼數(shù)據(jù)量的增長而不斷下降，無法滿足業(yè)務(wù)系統(tǒng)對數(shù)據(jù)計算結(jié)果時效性的要求；

3、對表碼數(shù)據(jù)最新的處理需求為秒級及亞秒級，目前基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)計算任務(wù)時長以分鐘級為單位，無法滿足業(yè)務(wù)系統(tǒng)的需求；

4、關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)備份容載及存儲空間橫向擴(kuò)展方面無法滿足海量數(shù)據(jù)管理的要求。

公開于該背景技術(shù)部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于大數(shù)據(jù)處理用電表碼數(shù)據(jù)的方法、裝置和存儲介質(zhì)，其能夠基于大數(shù)據(jù)提升用電表碼數(shù)據(jù)處理效率和存儲性能。

為實現(xiàn)上述目的，本發(fā)明提供了一種基于大數(shù)據(jù)處理用電表碼數(shù)據(jù)的方法，包括以下步驟：

S1：對表碼原始采集數(shù)據(jù)進(jìn)行實時異常甄別；

S2：對異常數(shù)據(jù)進(jìn)行修復(fù)，并將修復(fù)后的表碼數(shù)據(jù)分別保存/更新到緩存和NoSQL存儲，原始采集數(shù)據(jù)保存/更新到NoSQL存儲；

S3：將檔案數(shù)據(jù)從關(guān)系型數(shù)據(jù)庫中預(yù)加載到緩存，根據(jù)業(yè)務(wù)需求定期更新緩存中的檔案數(shù)據(jù)；

S4：基于修復(fù)后表碼數(shù)據(jù)，開展實時電量計算，并且將電量計算結(jié)果分別保存/更新到緩存和NoSQL存儲；

S5：在NoSQL庫中將修復(fù)后數(shù)據(jù)預(yù)加載到內(nèi)存中，生成結(jié)構(gòu)化內(nèi)存表，利用內(nèi)存表關(guān)聯(lián)能力在內(nèi)存中完成多表關(guān)聯(lián)數(shù)據(jù)檢索；

S6：基于多表關(guān)聯(lián)檢索的表碼數(shù)據(jù)，進(jìn)行批量電量計算，并將新增和變化的數(shù)據(jù)保存/更新到緩存和NoSQL存儲；

S7：將電量結(jié)果數(shù)據(jù)由NoSQL存儲同步到關(guān)系型數(shù)據(jù)庫。

在本發(fā)明的一實施方式中，所述步驟S1中，電量異常甄別為對電表倒走和飛走進(jìn)行判斷，對電表停走不進(jìn)行判斷。

在本發(fā)明的一實施方式中，所述步驟S2中，當(dāng)天采集有缺失部分節(jié)點，但有同期歷史電量數(shù)據(jù)情況下，異常數(shù)據(jù)進(jìn)行修復(fù)方法如下：