[發明專利]電網調控多源業務流即時處理的數據清洗方法及相關裝置

在審

• 申請號: 202211616538.6
• 申請日: 2022-12-15
• 公開（公告）號: CN116226101A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 謝琳;李立新;葉瑞麗;狄方春;王巖;馮瓊;陶蕾;朱靖愷;封超涵;李大鵬;王治華;王佳琪;夏文岳;陳宏福;崔燦;高峰;張周杰;武書舟
• 申請（專利權）人: 中國電力科學研究院有限公司;國網上海市電力公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/26;G06Q50/06
• 代理公司: 北京中巡通大知識產權代理有限公司 11703
• 代理人: 李宏德

本發明公開了一種電網調控多源業務流即時處理的數據清洗方法及相關裝置，本發明融合以電網運行設備為中心的模型數據，充分分析電網調控多源數據的時序關系及變化趨勢特征，通過多類型異常問題分析方法的合理集成，彌補了單一方法在數據識別和修正效果上存在的不穩定性，而多源業務流即時處理方法則是在一定時間窗口內業務系統產生的流動數據到達后不進行存儲，直接導入內存進行實時計算，從流動的、無序的數據中獲取有價值的信息輸出，有效解決了批量數據處理時效差、速度慢、數據I/O多次占用的問題，還可通過在線增加節點的形式來擴充整個業務流數據處理能力，提高了電網調控多源數據清洗的準確性、時效性、高可伸縮性。

技術領域

本發明屬于數據處理技術領域，涉及一種電網調控多源業務流即時處理的數據清洗方法及相關裝置。

背景技術

隨著特高壓交直流互聯電網的建設、新能源的發展、以及電力市場改革的深化，電網運行特性發生了較大的變化，電網調控系統服務范圍快速擴大，使獲取的電力調度數據及數據類型出現爆炸式增長，給電網調控系統數據存儲和處理造成了很大的壓力。目前電網調控系統采用分級建設，同時電網調度業務的云服務平臺為滿足電網調控系統業務連續性、實時性和協同性的要求，采用統一和分布相結合的分級部署設計，形成主導節點和協同節點的兩級部署，主導節點作為各類模型及數據的中心，負責元數據和字典數據的管理，并負責各類數據的數據模型建立以及調管轄范圍內模型及數據的匯集，協同節點負責本省模型及數據的匯集并向主導節點同步/轉發相關數據主導節點和協同節點數據通過同步/轉發方式，實現電網調控系統數據共享匯集與存儲全網模型和數據。

而在實際電網調控系統運行和數據采集過程中，采集誤差、ID映射錯誤、網絡阻塞、模型維護錯誤等多種原因往往導致各地區電力調度中心采集上報數據存在大量不一致、不正常現象，難以支撐全網信息綜合運用和集中分析決策，因此對電網調控多源異常數據進行清洗是提升數據使用價值的重要手段。

發明內容

本發明的目的在于解決現有技術中的問題，提供一種電網調控多源業務流即時處理的數據清洗方法及相關裝置。

為了實現上述目的，本發明采用以下技術方案予以實現：

第一方面，本發明提供一種電網調控多源業務流即時處理的數據清洗方法，包括以下步驟：

對電網調控多源運行數據的數據流進行解析，按單對象對解析后的數據進行數據分流形成多個非連續時間片集合；

分析電網調控多源運行數據的時序關系及變化趨勢特征，根據時序關系及變化趨勢特征對多個非連續時間片集合重排序形成時間有序的運行數據；

將運行數據的主鍵信息與電網調控模型數據進行關聯，提取運行數據的特征，對運行數據的特征進行維度分解、聚合重組，形成待清洗數據流；

對待清洗數據流進行多數據源識別，識別得到多個數據源，利用多源數據最優源選擇算法對多個數據源進行篩選，獲取唯一源數據；

對唯一源數據進行異常數據識別，識別得到異常數據，利用數據修復算法對異常數據進行對應修復處理，形成清洗后數據。

第二方面，本發明提供一種電網調控多源業務流即時處理的數據清洗系統，包括：

數據解析及分流模塊，用于對電網調控多源運行數據的數據流進行解析，按單對象對解析后的數據進行數據分流形成多個非連續時間片集合；

數據分級及排序模塊，用于分析電網調控多源運行數據的時序關系及變化趨勢特征，根據時序關系及變化趨勢特征對多個非連續時間片集合重排序形成時間有序的運行數據；

特征提取及重組模塊，用于將運行數據的主鍵信息與電網調控模型數據進行關聯，提取運行數據的特征，對運行數據的特征進行維度分解、聚合重組，形成待清洗數據流；