[發明專利]基于大數據處理用電表碼數據的方法、裝置和存儲介質

在審

• 申請號: 202111661734.0
• 申請日: 2021-12-30
• 公開（公告）號: CN114356944A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 王祥;武占俠;魏本海;劉國川;張笑巖;馬楠
• 申請（專利權）人: 深圳市國電科技通信有限公司;深圳智芯微電子科技有限公司;國網信息通信產業集團有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/245;G06F16/27;G06F16/28;G01R35/04;G06F9/50
• 代理公司: 北京興智翔達知識產權代理有限公司 11768
• 代理人: 郭衛芹

1.一種基于大數據處理用電表碼數據的方法，其特征在于，包括以下步驟：

S1：對表碼原始采集數據進行實時異常甄別；

S2：對異常數據進行修復，并將修復后的表碼數據分別保存/更新到緩存和NoSQL存儲，原始采集數據保存/更新到NoSQL存儲；

S3：將檔案數據從關系型數據庫中預加載到緩存，根據業務需求定期更新緩存中的檔案數據；

S4：基于修復后表碼數據，開展實時電量計算，并且將電量計算結果分別保存/更新到緩存和NoSQL存儲；

S5：在NoSQL庫中將修復后數據預加載到內存中，生成結構化內存表，利用內存表關聯能力在內存中完成多表關聯數據檢索；

S6：基于多表關聯檢索的表碼數據，進行批量電量計算，并將新增和變化的數據保存/更新到緩存和NoSQL存儲；

S7：將電量結果數據由NoSQL存儲同步到關系型數據庫。

2.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，所述步驟S1中，電量異常甄別為對電表倒走和飛走進行判斷，對電表停走不進行判斷。

3.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，所述步驟S2中，當天采集有缺失部分節點，但有同期歷史電量數據情況下，異常數據進行修復方法如下：

連續時間點內缺點數小于等于2個點時，取該計量點表計缺點區間內前后時間點的區間電量的算術平均值做為電量擬合值；

連續時間點內缺點數大于2個點時，按照工作日、雙休日、國家法定節假日分類擬合電量；

缺少24:00點表碼時，當連續時間點內缺點且含24:00時，如果為工作日、雙休日，則按照前推4個同期日，以各點電量的平均值進行擬合；如果為法定節假日，則按去年同類型節假日區間數據擬合，無歷史類比數據的區分大小長假，按上一個大小長假數據擬合；

缺少00:00點表碼時，當連續時間點內缺點含00:00時，對于00:00時數據不再重復擬合；對于連續時間點內其他缺點電量，以及當天首個抄見表碼的電量，分類擬合，其中，工作日、雙休日按照前推4個同期日，以各點電量的平均值進行擬合；法定節假日按去年同類型節假日區間數據擬合，無歷史類比數據的區分大小長假，按上一個大小長假數據擬合。

4.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，所述步驟S2中，當天采集有缺失部分節點，無同期日歷史電量數據但有環比日電量數據情況下，異常數據進行修復方法如下：

當天采集有缺失部分節點，無同期日歷史電量數據但有環比日電量數據時，電量擬合按環比比例擬合；若環比電量缺失且影響擬合計算。

5.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，所述步驟S2中，當天采集有缺失部分節點，無同期日歷史電量數據情況下，異常數據進行修復方法如下：

當天采集有缺失部分節點，無同期日歷史電量數據也無環比日電量數據時，電量擬合按成功節點間的等分的算術平均值進行擬合。

6.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，修復后的數據和電量計算結果在緩存中保留周期為3～7天。

7.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，表碼原始采集數據的異常甄別和電量計算均采用了Kafka+Storm+Redis+HBase的計算框架來實現。

8.如權利要求1所述的基于大數據處理用電表碼數據的方法，其特征在于，所述步驟S7中，關系型數據庫中只存儲6～12個月的數據，其他數據遷移到大數據集群中進行存儲；在大數據存儲集群中，NoSQL存儲保存2～3年數據，Hive保存全量數據。