[發明專利]一種水文遙測實時數據異常檢測方法

有效

• 申請號: 202011608442.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112783938B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 周曉峰;周艾晶
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/29
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 顏盈靜

本發明公開了一種水文遙測實時數據異常檢測方法，包括以下幾個步驟：1)根據原始時間序列的特點采用分段聚集近似劃分成若干個子序列，對每一組經過分割的子序列進行特征提取；2)基于改進的Leader聚類方法對特征向量進行聚類，聚類過程中不斷的更新簇的質心，保證高質量的聚類；3)基于聚類的異常檢測，根據聚類的結果，計算簇中每個對象的異常因子，根據異常因子的計算結果對水文遙測實時數據進行異常判斷。

技術領域

本發明屬于數據挖掘領域，具體涉及一種基于PAA-ILeader的水文遙測實時數據異常檢測方法。

背景技術

隨著水文遙測技術的不斷發展和廣泛應用，水文遙測系統已成為獲取水文數據最主要的手段。與傳統的人工水文觀測手段相比，水文遙測系統具有采集頻率高、采集點密集、自動化程度高等特點。但是由于遙測系統自身、數據通信與網絡，以及自然環境等各方面因素的影響，會導致所采集的水位數據出現異常的問題。而當前水情預測測報與水資源調度和管理自動化系統在工作過程中需要大量調用并分析歷史時間序列，異常值的存在直接影響系統相關決策的正確性。

水文行業中的水位、流量數據都是典型的時間序列數據。水文序列中的異常值可能潛藏著更有價值和意義的水文信息和知識。因此，正確檢測出時間序列中的異常值具有十分重要的現實意義，可以減少異常值對數據分析的干擾，提高預報等活動的準確性。現有的異常檢測的方法包括：

(1)基于特征空間的方法；該類方法首先通過核函數的方法，在樣本中選取出基向量，然后通過特征空間進一步擴展開來，并在子空間中獲取投影數據進行檢測。通過實驗表明算法具有良好的精確度，但是該方法的檢測效率不高，消耗的時間較長并且穩定性不高。

(2)基于頻率的方法；該類方法采用后輟樹來編碼時間序列中所有出現的模式，用馬爾可夫模型(Markov model)預測沒有被觀測到的模式期望發生的概率，然后通過閾值來判斷異常，但是此方法檢測出的結果準確率不高。

(3)基于窗口的方法；該類方法首先利用固定大小窗口劃分時序數據，在劃分后的子序列中構造相應的算法定位異常點。但是此方法在應對大數據檢測時依然沒有解決時間復雜度過高的問題。

(4)基于預測的方法；該類方法首先通過分析某個水文遙測站的歷史數據并對歷史數據進行建模求得預測值，再將預測值與實際值之間的差值與閾值進行比較，進一步判斷異常，但是每次的預測模型都需要進行重新訓練，這樣導致算法的重復使用性不高，耗時耗力。

綜上所述，水文遙測數據的異常檢測得到了廣泛的關注，但是現有的方法還是存在很多的不足，因此如何正確檢測出時間序列中的異常值具有十分重要的現實意義及價值。

發明內容

發明目的：為解決現有技術中水文遙測數據異常檢測精度低、檢測效率低、穩定性不高等問題，本發明提出了一種基于PAA-ILeader的水文遙測實時數據異常檢測方法，充分利用水文遙測數據的時間序列特征，通過數據挖掘技術，通過將水文遙測數據具有的時間序列特征進行聚類并結合異常數據本身定義閾值，實現水文遙測數據的自動化異常檢測。

為實現上述目的，本發明通過以下技術方案來實現：一種水文遙測實時數據異常檢測方法，包括以下步驟：

步驟1：獲取水文遙測站的原始時間序列，采用分段聚集近似方法對原始時間序列進行劃分，得到多個子序列，計算每個子序列的特征；

步驟2：基于每個子序列的特征，采用I-Leader聚類方法對所有子序列進行聚類，得到聚類結果；

步驟3：根據聚類結果，判斷數據異常；

S210：將第一個子序列放入第一個簇中，并作為第一個簇的質心；

S220：計算第二個子序列到第一個簇的距離，若距離小于等于閾值，則將第二個子序列聚類到第一個簇中，并進行簇質心更新，否則創建第二個簇，將第二個子序列聚類到第二個簇中，并進行簇質心更新；