[發明專利]監測數據在線清洗的方法和設備

有效

• 申請號: 201811593041.0
• 申請日: 2018-12-25
• 公開（公告）號: CN109684320B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 劉書明;吳以朋;吳雪
• 申請（專利權）人: 清華大學
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 蔣冬梅;龍洪

1.一種監測數據在線清洗的方法，包括：

根據歷史監測數據構建參照數據集和參照標準分數z-score序列；

獲取在線監測數據，對所述在線監測數據進行清洗操作，所述清洗操作包括如下至少之一：去除所述在線監測數據中的重復數據、根據參照數據集和參照z-score序列對所述在線監測數據中的缺失數據進行估計和填補、根據參照數據集和參照z-score序列對所述在線監測數據中的異常數據進行識別；

存儲清洗后的在線監測數據；

其中，所述根據歷史監測數據構建參照數據集和參照z-score序列，包括：

為所述歷史監測數據添加時間標識屬性，所述時間標識屬性表示監測數據對應于一天中第i個時刻，其中i為整數，范圍是1～g，g為每天的采樣個數；

按照所述時間標識屬性，根據所述歷史監測數據生成g個第一向量v_i，所述第一向量v_i代表p天中所有第i個時刻的數據，使用每個第一向量中所有非空數據的均值填補相應的第一向量中的空值；p為所述歷史監測數據的天數；

刪除所述第一向量v_i中的異常數據，得到第二向量w_i，所述第二向量w_i中的元素構成參照數據集；

計算所述第二向量w_i的均值μ_i和標準差σ_i，根據所述均值μ_i和標準差σ_i對每個第二向量w_i進行z-score標準化操作，選取標準化操作后得到的每個向量中的最后一個值，構成含有g個數據的參照z-score序列r_z；

所述根據參照數據集和參照z-score序列對所述在線監測數據中的缺失數據進行估計和填補，包括：

在當前時刻的在線監測數據為空時，計算參照z-score序列r_z中，后k個值的均值μ_k作為該當前時刻的z-score值，根據所述參照數據集中第二向量w_i的均值μ_i和標準差σ_i估計該當前時刻的真實值x’，使用所述真實值x’進行填補，其中

x′＝μ_kσ_i+μ_i，k為小于g的整數，i為當前時刻對應的時間標識；

所述根據參照數據集和參照z-score序列對所述在線監測數據中的異常數據進行識別，包括：

在當前時刻的在線監測數據不為空時，根據所述參照數據集中第二向量w_i的均值μ_i和標準差σ_i計算當前時刻的在線監測數據x的z-score值z：

i為當前時刻對應的時間標識；

根據參照z-score序列r_z的均值μ_z和標準差σ_z計算z的z-score值z’：

通過將z’與預設的異常值閾值進行比較，識別當前時刻的在線監測數據是否是異常數據。

2.根據權利要求1所述的方法，其特征在于，所述刪除所述第一向量v_i中的異常數據，包括：

計算第一向量v_i中所有數據的上四分位數Q₃、下四分位數Q₁和四分位距IQR，從而確定數據的上限U和下限L，刪除超出上下限的異常數據；

其中，IQR＝Q₃-Q₁，上限U＝Q₃+1.5IQR，下限L＝Q₁-1.5IQR。

3.根據權利要求1所述的方法，其特征在于，所述為所述歷史監測數據添加時間標識屬性之前，還包括：

從數據庫中獲取m天的歷史數據作為歷史監測數據，m為正整數；

去除所述歷史監測數據中的重復數據；

標記所述歷史監測數據中的空值；

計算所述歷史監測數據中每天數據的空值比例，在所述空值比例超過空值比例閾值L_m時，則刪除該天的數據，得到剩余p天的歷史監測數據。