[發明專利]監測數據在線清洗的方法和設備

有效

• 申請號: 201811593041.0
• 申請日: 2018-12-25
• 公開（公告）號: CN109684320B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 劉書明;吳以朋;吳雪
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 蔣冬梅;龍洪

本發明公開了一種監測數據在線清洗的方法和設備，其中，所述方法包括：根據歷史監測數據構建參照數據集和參照標準分數z?score序列；獲取在線監測數據，對所述在線監測數據進行清洗操作，所述清洗操作包括如下至少之一：去除所述在線監測數據中的重復數據、根據參照數據集和參照z?score序列對所述在線監測數據中的缺失數據進行估計和填補、根據參照數據集和參照z?score序列對所述在線監測數據中的異常數據進行識別；存儲清洗后的在線監測數據。通過本發明實施例，可有效控制監測數據的數據質量，提升監測數據的可用性。

技術領域

本發明涉及數據處理領域，尤指一種監測數據在線清洗的方法和設備。

背景技術

中國近幾年發展起來的物聯網、互聯網等產業背后是海量數據的支持與先進數據分析技術的發展。然而，這些產業在某些傳統行業(例如，供水、供電行業)的應用及對企業管理模式的影響速度卻沒有這些技術本身發展的那樣迅速，甚至還存在著較大的距離。

在線監測數據反映系統的運行狀況，是開展復雜系統(例如供水管網、電網)智能管理的依據，對各類數據的實時監管能力直接影響到開展系統智能化管理的成敗。然而，多數傳統行業的在線監測管理系統僅僅是傳統意義上的SCADA(Supervisory Control AndData Acquisition，數據采集與監視控制)系統，主要有數據的采集、存儲、展示、報表和曲線查詢等功能。對于監測過程中出現的數據重復、數據缺失以及數據異常等問題，傳統的SCADA系統都不能對其進行處理，直接把原始數據存儲進入數據庫。數據質量的失控對后續的數據分析與應用造成了極大障礙。

近年來，眾多行業已經逐步重視起數據的質量控制，開發了針對圖像數據、保單分紅數據、醫療數據以及風力機組運行數據等數據的清洗方法。但是，相關技術中，大部分只是針對數據重復等單一問題進行清洗，并不能滿足對數據進行全面的處理的需要。

發明內容

為了解決上述技術問題，本發明提供了一種監測數據在線清洗的方法和設備。

為了達到本發明目的，本發明提供了一種監測數據在線清洗的方法，包括：

根據歷史監測數據構建參照數據集和參照標準分數z-score序列；

獲取在線監測數據，對所述在線監測數據進行清洗操作，所述清洗操作包括如下至少之一：去除所述在線監測數據中的重復數據、根據參照數據集和參照z-score序列對所述在線監測數據中的缺失數據進行估計和填補、根據參照數據集和參照z-score序列對所述在線監測數據中的異常數據進行識別；

存儲清洗后的在線監測數據。

可選地，所述根據歷史監測數據構建參照數據集和參照z-score序列，包括：

為所述歷史監測數據添加時間標識屬性，所述時間標識屬性表示監測數據對應于一天中第i個時刻，其中i為整數，范圍是1～g，g為每天的采樣個數；

按照所述時間標識屬性，根據所述歷史監測數據生成g個第一向量v_i，所述第一向量v_i代表p天中所有第i個時刻的數據，使用每個第一向量中所有非空數據的均值填補相應的第一向量中的空值；p為所述歷史監測數據的天數；

刪除所述第一向量v_i中的異常數據，得到第二向量w_i，所述第二向量w_i中的元素構成參照數據集；

計算所述第二向量w_i的均值μ_i和標準差σ_i，根據所述均值μ_i和標準差σ_i對每個第二向量w_i進行z-score標準化操作，選取標準化操作后得到的每個向量中的最后一個值，構成含有g個數據的參照z-score序列r_z。