[發明專利]基于電網任意分割區域的多源數據糾錯處理方法及系統

有效

• 申請號: 201910169921.3
• 申請日: 2019-03-06
• 公開（公告）號: CN109902133B
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 王維洲;劉道新;胡航海;李文娟;拜潤卿;劉福潮;史玉杰;何欣;陳仕彬;邢延東;張震雷;劉文飛;張海龍
• 申請（專利權）人: 北京中電普華信息技術有限公司;國網信息通信產業集團有限公司;國家電網有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06Q10/06;G06Q50/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 古利蘭;王寶筠

本發明公開了一種基于電網任意分割區域的多源數據糾錯處理方法及系統，方法包括：基于大數據Kettle工具，對同期線損數據進行處理，得到各層級數據；基于網格自動布圖算法和正交自動布圖算法，完成自動成圖；在電網理論線損計算的基礎上，對電網進行分割；根據聚類分析方法，確定影響線損率的聚類因子集；利用正負相關分析方法對電網數據進行分析，確定出異常數據；定位電網異常數據并進行分割，利用電網任意分割區域多源數據糾錯方法，結合潮流計算方法，對電網異常數據進行修正；根據數據修正結果，記錄電網異常數據修正過程，提供異常數據糾錯處理工單。本發明利用任意分割區域的多源數據糾錯方法，提升了數據質量。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種基于電網任意分割區域的多源數據糾錯處理方法及系統。

背景技術

目前，傳統的電力數據修復方法主要有缺失數據處理和不一致數據處理。其中，缺失數據處理包括單一填補法和多重填補法，其中單一填補法即對缺失值構造單一替代值進行填補，常用方法有平均值或中間數填補法、回歸填補法、最大期望填補法等。但是單一值填補法往往不能反映出原有數據集的不確定性，可能造成較大偏差。多重填補法即采用多個數值進行填充，然后用針對完整數據集的方法對它們進行分析，從而得出綜合結果，常見方法有趨勢得分法等。該類計算往往復雜且算法需要根據業務需求不斷完善。不一致數據處理，目前常采用的方法有排序、融合和依據規則等方式。數據的不一致可以劃分為兩種類型，即上下文獨立的沖突和上下文依賴的沖突兩種。上下文獨立沖突是指一些外部的隨機因素造成的不一致，這類問題的解決一般為人工干預或特定的方法。上下文依賴的沖突是指源于不同數據源的數據由于各系統或應用間固有的數據設計差異或表達因素造成的不一致，這種類型的沖突采用機器學習的方法學習轉換規則來解決不一致的問題，也可對每個數值從不同的屬性參數來評估，其整體評估值是各個特征評估值的線性組合，最后根據評估值確定哪個數據為唯一正確的。

由此可以看出，利用傳統的數據修復方法，無論是缺失數據處理方法還是不一致數據處理方法，均無法實現對數據的準確治理，甚至還需人工干預，對于海量的電網數據來說，粗略的數據治理方法，已無法滿足電網精益化管理分析的要求。另外，利用傳統的數據修復方法，無法人為的選擇對關心區域進行數據糾錯治理，僅能夠對指定區域或特定電壓等級進行數據治理。

因此，如何有效的實現電網異常數據的準確定位、自動糾錯、過程記錄的全過程管理，是一項亟待解決的問題。

發明內容

有鑒于此，本申請提供了一種基于電網任意分割區域的多源數據糾錯處理方法，基于同期線損多源融合數據，利用大數據Kettle工具對同期數據進行抽取、轉換、分析，對異常數據采用基于任意分割區域的多源數據糾錯處理方法，逐層、逐區域對電網異常數據進行糾錯處理，實現了電網異常數據的準確定位、自動糾錯、過程記錄的全過程管理。

本申請提供了一種基于電網任意分割區域的多源數據糾錯處理方法，包括：

基于大數據Kettle工具，對同期線損數據進行處理，得到各層級數據；

基于網格自動布圖算法和正交自動布圖算法，完成自動成圖；

在電網理論線損計算的基礎上，對電網進行分割；

根據聚類分析方法，確定影響線損率的聚類因子集；

利用正負相關分析方法對電網數據進行分析，確定出異常數據；

定位電網異常數據并進行分割，利用電網任意分割區域多源數據糾錯方法，結合潮流計算方法，對電網異常數據進行修正；

根據數據修正結果，記錄電網異常數據修正過程，提供異常數據糾錯處理工單。

優選地，所述基于大數據Kettle工具，對同期線損數據進行處理，得到各層級數據包括：

基于大數據Kettle工具，對同期線損數據進行抽取、轉換處理，得到各層級數據。