[發明專利]一種不可算臺區數據治理方法及系統

在審

• 申請號: 201911298485.6
• 申請日: 2019-12-17
• 公開（公告）號: CN111125075A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 李剛;劉浩宇;李野;顧強;趙寶國;楊光;季浩;何澤昊;董得龍;呂偉嘉;張兆杰;盧靜雅;翟術然;喬亞男;陳娟;許迪;趙紫敬;孫虹;衛天超
• 申請（專利權）人: 國網天津市電力公司電力科學研究院;國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q50/06
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

本發明涉及一種不可算臺區數據治理系統，其特征在于：包括如下步驟：(1)建立持久化原始數據區；(2)建立數據整合區；(3)建立數據匯總區；(4)建設數據質量管理；(5)數據完整性管理、對數據合理性規則進行判定。本發明首先將用電數據中的不可算數據進行了梳理，并針對異常數據情況，提出使用離群點檢測來標識異常數據。在此基礎上，從數據挖掘的需求出發，綜合運用剔除數據，線性插值補齊等方法，針對每一小類數據提出相應的清洗措施，從而獲得合格高質量的用電數據，實現自貿區不可算臺區的數據的治理，大幅提升整體數據質量。

技術領域

本發明屬于電力數據治理領域，特別是一種不可算臺區數據治理方法及系統。

背景技術

2009年以來，國家電網公司大力建設用電信息采集系統，目前已實現全域4.5億只電表運行。系統經過多年運營，積累了海量的用電數據。通過數據分析，挖掘出有效的用電信息，如電能表運行誤差，用戶的用電行為模式等，既可以開發出海量數據的潛力，又可以大幅降低運營成本，為電網公司提供決策支持。

隨著自貿區電能計量裝置自動檢定系統發展和應用，積累了海量的用電數據，這些數據蘊含著海量的用電信息。然而，原始數據質量受到多樣性、不確定性和復雜性的影響，使得采集到的實際數據比較凌亂，存在著缺失、異常等現象，很多情況下不符合數據挖掘工具進行知識獲取的規范要求。所以需要對自貿區不可算臺區數據進行治理。

發明內容

本發明的目的在于克服現有技術的不足，提供一種不可算臺區數據治理方法及系統。

本發明解決其技術問題是采取以下技術方案實現的：

一種基于元數據管理的不可算臺區數據治理系統，包括如下步驟：

(1)建立持久化原始數據區；

(2)建立數據整合區，針對原始數據區的數據進行整合，使數據與數據間建立主外鍵關系，加強各類匯聚數據的關聯性；

(3)建立數據匯總區，用于將各能源類基礎數據按照統一分析模型進行整合，并進行數據的抽取和分發，制定數據清洗規則，淘汰無用的無效的數據；

(4)對清洗后的數據進行質量管理，形成用于描述數據的元數據，同時完成對元數據本身質量的檢查；

(5)利用元數據對數據描述條件的完整性進行管理，并通過圖形化方式對數據合理性進行判定。

數據的合理性是業務數據反映到數據業務本身價值體現，數據應集中在某一個正常合理的區間范圍之內，超出該異常范圍，定義為不合理數據，為避免對分析結果產生影響，對異常數據在參與計算過程中進行剔除。

而且，所述的原始數據區分為結構化數據和非結構化數據兩個區域，其中兩個區域中均劃分為檔案、數據、設備。

而且，所述元數據本身質量的檢查包括元數據屬性填充率檢查、屬性和法律檢查、名稱重復性檢查、關系健全性檢查。

而且，所述的數據完整性管理包括從數據的數據量，字段獲取的值兩層維度對數據完整性進行的判斷；對同一采集頻度下，數據量的條數進行統計，確定數據的數據量；對同一類數據數據表中存在空值的字段進行判斷，根據規則確定其空值是否合理。

一種不可算臺區數據治理系統，包括

原始數據區建立模塊，用于建立持久化原始數據區；

數據整合區建立模塊，用于針對原始數據區的數據進行整合，使數據與數據間建立主外鍵關系；

數據匯總區建立模塊，用于將整合后的各能源類基礎數據按照統一分析模型進行整合，并進行數據的抽取和分發，制定數據清洗規則，淘汰無用的無效的數據；

元數據形成模塊，用于對清洗后的數據進行質量管理，形成用于描述數據的元數據，同時完成對元數據本身質量的檢查；