[發明專利]一種基于空間關系的流域水質監測異常值檢測方法

有效

• 申請號: 201910830881.2
• 申請日: 2019-09-02
• 公開（公告）號: CN110737874B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 高錫章;翟德超;李寶林;袁燁城
• 申請（專利權）人: 中國科學院地理科學與資源研究所
• 主分類號: G06F17/18
• 分類號: G06F17/18;G06Q10/06
• 代理公司: 北京匯智勝知識產權代理事務所(普通合伙) 11346
• 代理人: 趙立軍;石輝

本發明涉及一種基于空間關系的流域水質監測異常值檢測方法。該方法包括對單一河道和非單一河道進行異常值檢測，適用于檢測水質監測數據中的點異常與集合異常值。對于單一河道：在河流段上生成等距且密集的數據點，通過提取等距密集點的高程值并結合其周邊的地勢判斷河流的流向；利用最小二乘法對同一月份同一水質指標的數據進行線性模擬，根據模擬直線的斜率分離出集合異常值；通過計算均方誤差并設置相應的閾值，對剩余數據進行點異常判定。對于非單一河道：利用一維水質模型計算干流和支流在干支流交匯處的水質指標值，通過對比將非單一河道的異常值檢測轉化成單一河道的異常值檢測。該方法利用了水質斷面的空間位置、地形和水系之間的關系進行水質異常值檢測，既分離出了點異常與集合異常又提高了異常值檢測的準確率。

技術領域

本發明為地理信息系統與水文水資源交叉的信息領域，特別涉及一種基于空間關系的流域水質監測異常值檢測方法。

背景技術

隨著世界人口的急劇增長與社會經濟的不斷發展，嚴重的水污染問題也隨之出現。近年來，國家的相關部門在各大河流、湖泊、水庫等處建設了大量的水質監測站點，每隔一定的周期監測每個斷面的水質情況，因此獲得了海量的水質監測數據。然而在對其進行加工的過程中，異常值會極大地干擾到水質數據的分析結果，因此如何有效的識別水質數據中的異常值成為了目前需要解決的重難點問題。

異常值檢測是在大量的數據集中提取出小概率的異常數據點，目前主流的水質異常值檢測方法有以下幾類：(1)基于統計學的檢測方法；(2)基于聚類的檢測方法；(3)基于機器學習的檢測方法。

統計學方法是最早應用于水質數據異常值檢測之中的，對于正態分布、對數分布、指數分布、Weibull等都有較成熟的檢測方法。其中基于正態分布的檢測應用最為廣泛，常見的檢測方法有3σ原則、t檢測法、Dixon法等。對于不服從正態分布的數據，一般需要將其轉化為正態分布，如冪變換是常用的正態變化方法。對于那些轉換后正態效果不明顯的分布，可以采用非參數方法，如箱型圖和Walsh檢測法。

基于聚類的異常值檢測方法的基本思想是將異常檢測過程轉換為聚類的過程，聚類的目的在于將數據集劃分為若干簇，并且簇內實體間距離盡可能小，簇間實體間距離盡可能大，將聚類后那些不隸屬與任何簇的實體識別為異常。聚類方法常見的有：K均值聚類(k-means clustering algorithm，K-Means)和K最近鄰聚類(K-Nearest Neighbor，KNN)算法。通過聚類可以高效地從數據集中發現異常實體，但是聚類的主要目的在于發現簇，異常實體僅是一種副產物，使得異常檢測精度不夠高。

機器學習的檢測方法應用較多的主要是人工神經網絡(Artificial NeuralNetwork，ANN) 和支持向量機技術(Support vector machines，SVM)。基于人工神經網絡的異常值檢測方法可以根據自身特點挖掘數據中存在的異常，自動調節網絡節點之間的權重。該方法的基本思想是將訓練數據分為正常數據和異常數據兩類，經過訓練的神經網絡能夠對目標數據進行分類。基于支持向量機技術的異常檢測算法是通過構造最優分類超平面來實現正常數據和異常數據的分類，為提高檢測效率常采取一定的改進方法對特征參數進行優化。

上述所述的所有檢測方法有一個共同的特征，即它們都是針對異常值的通用檢測方法，只是將其應用于水質異常檢測中，忽略了水質異常值的特性，使得水質異常值檢測的精度較低。

發明內容

本發明的目的在于設計一種基于空間關系的流域水質監測異常值檢測方法，通過對水質監測斷面的空間位置、地形以及水系之間的關系進行綜合分析，找出各監測斷面水質指標數據分布的規律，進而檢測出水質指標數據中存在的異常值，提高水質異常值的檢測精度。

為實現本發明所述的水質異常值檢測方法，設計如下步驟：

1、水流方向提取。水流方向提取包括以下兩個步驟：