[發明專利]一種水環境監測數據中異常值的檢測和修復方法

在審

• 申請號: 202111255406.0
• 申請日: 2021-10-27
• 公開（公告）號: CN114020730A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 宋金玲;黃達;黃立明;康燕
• 申請（專利權）人: 河北科技師范學院
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 石家莊知住優創知識產權代理事務所(普通合伙) 13131
• 代理人: 林艷艷

本發明涉及水環境監測技術領域，特別是涉及一種水環境監測數據中異常值的檢測和修復方法。該方法包括以下步驟：(1)利用滑動窗口對水環境監測數據進行短期環比來檢測異常值；(2)將水環境監測數據進行動態分割劃分為各個子序列；(3)針對異常值所在子序列，分別計算和其他子序列的相似性并選取相似性最大的子序列；(4)根據最相似子序列中相應位置數據的變化趨勢修復所述異常值。本發明針對水環境監測數據不依賴任何模型進行異常值修復，采用短期環比法對異常值進行檢測，基于子序列相似性對異常值進修復，使修復后的數據具有更好的平滑性，數據的短期趨勢更加明顯，數據質量得到有效提高。

技術領域

本發明涉及水環境監測技術領域，特別是涉及一種水環境監測數據中異常值的檢測和修復方法。

背景技術

隨著大數據應用的不斷深入，數據質量問題已成為影響大數據應用發展的關鍵問題。水環境監測數據是利用傳感器檢測的各個水環境指標(水溫、PH值、溶解氧、電導率、濁度、氨氮、高錳酸鹽指數、總磷、總氮、葉綠素、藍綠藻等)的時間序列，它們是典型的大數據。由于傳感器的故障、數據傳輸、讀取錯誤等因素影響，導致水環境監測數據中出現異常值，異常值的存在降低了監測數據的數據質量，異常值的及時檢測和修復對后期的知識獲取、水環境指標預測建模等應用具有重要意義。

為了提高數據的可用性，研究者們對大數據采用擬合方法和預測方法進行異常值修復，但水環境監測數據受外界影響(如污染、天氣原因等)較大，導致按照長期趨勢擬合后的模型誤差較大，而水環境監測中的異常值一般包括缺失值，從而導致預測方法失效。異常值修復的前期步驟是異常值檢測，傳統的異常值檢測技術主要基于分類、基于距離、基于聚類、基于統計學、基于信息理論等，但是對特定的應用場景則需要給出更加有針對性的異常值檢測方法。

發明內容

為解決以上問題，本發明提供一種水環境監測數據中異常值的檢測和修復方法，針對水環境監測數據不依賴任何模型進行異常值修復，采用短期環比法對異常值進行檢測，基于子序列相似性對異常值進修復，使修復后的數據具有更好的平滑性，數據的短期趨勢更加明顯，數據質量得到有效提高。

本發明是采用下述技術方案實現的：

一種水環境監測數據中異常值的檢測和修復方法，包括以下步驟：

(1)利用滑動窗口對水環境監測數據進行短期環比來檢測異常值；

(2)將水環境監測數據進行動態分割劃分為各個子序列；

(3)針對異常值所在子序列，分別計算和其他子序列的相似性并選取相似性最大的子序列；

(4)根據最相似子序列中相應位置數據的變化趨勢修復所述異常值。

在其中一個實施例中，所述步驟(1)中檢測異常值的方法具體為：對時間序列V上的每個監測值v_i，與k-最近鄰居窗口大小逐一計算差值，并記錄差值超過閾值ε的點數量countnum，當所有比較結束后，即可以根據countnum值是否大于τ，檢驗v_i是否為異常值，如果v_i是異常值則將其位置記錄下來；其中V為水環境監測數據V＝(v₁，v₂，…，v_n)，其中點v_i(1≤i≤n)為t_i時刻對應的監測值，表示點v_i的k-最近鄰居窗口，若在中存在或者則判定v_i為異常值，其中ε為差值閾值，τ為數量閾值。