[發明專利]一種用電信息數據質量分析系統

有效

• 申請號: 201610091425.7
• 申請日: 2016-02-18
• 公開（公告）號: CN105786996A
• 公開（公告）日: 2016-07-20
• 發明（設計）人: 潘森;朱力鵬;胡斌;周愛華;楊佩;裘洪彬;喬俊峰
• 申請（專利權）人: 國網智能電網研究院;國家電網公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q50/06
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種用電信息數據質量分析系統，其特征在于，所述系統包括數據準備模塊、 數據集成模塊和數據分析模塊；

所述數據準備模塊用于采集并存儲用電信息數據；

所述數據集成模塊基于所述數據準備模塊中的所述用電信息數據，建立用于查詢及 計算的數據表；

所述數據分析模塊根據所述數據集成模塊中的所述數據表，計算所述用電信息數據 的指標集，得到所述用電信息數據的有效率。

2.如權利要求1所述的系統，其特征在于，所述數據準備模塊包括數據采集單元、 數據交換單元及數據存儲單元；

所述數據采集單元用于采集用電信息數據，并將所述用電信息數據存儲為關系數據 庫形式；

所述數據交換單元用數據交換工具將關系數據庫形式的所述用電信息數據導入到 數據存儲單元；

所述數據存儲單元為分布式存儲系統，且所述數據存儲單元以文本的形式存儲所述 用電信息數據。

3.如權利要求1或2所述的系統，其特征在于，所述用電信息數據包括用電數據 及輔助數據；

所述用電數據包括用電客戶信息、電能表信息、計量點信息、實時采集信息及歷史 用電量信息，其中，所述實時采集信息包括用電負荷、電壓及電流；

所述輔助數據包括分類標準數據及編碼標準數據。

4.如權利要求1所述的系統，其特征在于，所述數據集成模塊基于所述數據準備 模塊中的所述用電信息數據根據Hive建表語句建立Hive數據表、及根據關聯關系建立 Hive數據總表。

5.如權利要求4所述的系統，其特征在于，所述Hive數據表包括用電客戶Hive 數據表、電能表Hive數據表、計量點Hive數據表、用電負荷Hive數據表、用電電壓 Hive數據表、用電電流Hive數據表及歷史用電量Hive數據表。

6.如權利要求4所述的系統，其特征在于，所述Hive數據總表包括以用電客戶信 息為基礎的數據總表、以計量點信息為基礎的數據總表及基于HBase的Hive總表；

所述以用電客戶信息為基礎的數據總表包括電能表信息及計量點信息，且所述以用 電客戶信息為基礎的數據總表存儲至HBase數據表中；

所述以計量點信息為基礎的數據總表包括實時采集信息以及歷史用電量信息，且所 述以計量點信息為基礎的數據總表存儲至HBase數據表中，其中，所述實時采集信息 包括用電負荷、電壓及電流數據；

所述基于HBase的Hive大表通過Hive建立。

7.如權利要求1所述的系統，其特征在于，計算所述指標集中包括分別計算一致 性指標、完整性指標、準確度指標及有效性指標；

所述用電信息數據的一致性指標及完整性指標均用基于查詢統計的質量分析方法 求得；

所述用電信息數據的準確度指標及有效性指標均用基于數據挖掘的質量分析方法 求得。

8.如權利要求7所述的系統，其特征在于，所述用電信息數據的一致性指標及完 整性指標均用基于查詢統計的質量分析方法求得包括：

計算所述一致性指標包括構建SQL語句，查詢相關聯的數據表，得到查詢結果并 用公式1計算得到所述用電信息數據的一致率數據；其中，公式1為：一致數據記錄數 /總記錄數*100％；

計算所述完整性指標包括構建SQL語句，查詢已建立的Hive數據總表，通過統計 所述Hive數據總表中自動填充為null的記錄數，通過公式2計算得到所述用電信息數 據的完整率，其中，公式2為：(1-null記錄數/總記錄數據)*100％。

9.如權利要求7所述的系統，其特征在于，所述用電信息數據的準確度指標及有 效性指標均用基于數據挖掘的質量分析方法求得包括：

計算所述準確度指標及所述有效性指標中的指標項為針對用電信息采集中用電客 戶的負荷曲線數據、電壓曲線數據以及電流曲線數據而設置的指標項，所述基于數據挖 掘的質量分析方法是通過對要驗證的所述用電信息數據進行聚類，獲得所述用電信息數 據的準確度指標及有效性指標。

10.如權利要求9所述的系統，其特征在于，對要驗證的所述用電信息數據進行聚 類，獲得所述用電信息數據的準確度指標及有效性指標包括：

計算所述準確度指標包括：用并行化的Kmeans算法對用電客戶的曲線數據的曲線 特征進行聚類，從聚類結果中獲取曲線變化特征異常的類族，用公式3來計算曲線數據 的準確率；其中，公式3為：(1-變化特征異常的記錄數/總記錄數)*100％；

計算所述有效性指標包括：用并行化的Kmeans算法對數據取值范圍特征進行聚類， 從聚類結果中獲取異常值分布情況，用公式4計算得到所述用電信息數據的有效率；其 中，公式4為：(1-異常值記錄數/總記錄數)*100％。