[發明專利]一種基于環境監測數據關聯關系的異常數據判定方法

在審

• 申請號: 202010801821.0
• 申請日: 2020-08-11
• 公開（公告）號: CN112036075A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 孫康;尤洋;郭月;鄭皓皓;秦少立;汪太明;孟雙雙;張霞;楊子成
• 申請（專利權）人: 中國環境監測總站;廣東旭誠科技有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 曹江;周增元

本發明涉及一種基于環境監測數據關聯關系的異常數據判定方法，主要包括：首先監測數據分為訓練數據、驗證數據和測試數據，用訓練數據構建模型，再用驗證數據根據MAE選擇模型的最佳參數；模型構建并完成調試后，經過測試數據測試，嵌入環境監測平臺。在監測平臺上根據實時監測數據與模型給出下一時刻的預測值，計算預測結果與真實值的絕對值bia，bia與MAE±30％真實值比較后判斷實測值是否異常。本發明充分考慮了氣象條件對監測數據的影響，以及監測數據的時間連續性和變化特點，最終解決多源監測數據缺少自動化質量控制手段的問題，實現了自動化、智能化的對可疑數據進行篩選和判斷功能，保障了數據的質量，為后期數據使用和環境預報預警提供有力支撐。

技術領域

本發明涉及環境實時監測的數據質量控制技術領域，主要用于顆粒物和氣態污染物實時監測數據的異常值自動判斷。

背景技術

對于大氣環境數據質量的控制和監測，目前使用數據篩選方法大多采用手工形式，即通過繪制日均圖、月均圖判斷各監測指標的異常波動和離群程度等。這樣的方法增加了大量的人力資源，面對海量的監測數據，人工審核往往會有遺漏的情況。鑒于環境監測儀器輸出監測物的濃度指標一般以分鐘或小時為單位，人工手動審核數據存在一定的滯后性，通過自動化的審核機制可以做到實時對數據進行質量控制。

針對大氣監測數據缺少自動化質量控制手段的狀況，現依據環境監測總站數據監控和復合采用的技術方案設計算法，實現大氣環境監測數據自動化智能質量控制技術，解決多源監測數據缺少自動化質量控制手段的問題，使大氣監測設備的質量控制遵從同一套方法體系，推進監測設備遠程自動化質控技術的發展。

發明內容

本發明的目的在于提供一種基于環境監測數據關聯關系的異常數據判定方法，以解決多源監測數據缺少自動化質量控制手段等問題。

一種基于環境監測數據關聯關系的異常數據判定方法，包括以下步驟：

S1.對歷史數據及待分析的環境監測數據進行預處理：對歷史數據及待分析的環境監測數據監測數據用數采軟件判斷缺失值和異常值，再替換缺失值和異常值；

S2.將數據劃分為訓練數據、驗證數據，并將訓練數據和驗證數據轉換為模型所需的序列數據；其中訓練集和驗證集數據均包括正常數據以及人工標識為異常的數據，其異常原因包括數據突升/突降、未出現晝夜變化、持續性低值等，異常數據判斷均與前后監測數據連續性相關；訓練集和驗證集數據的比例可以是7:3；

S3.用訓練數據構建模型，再用驗證數據根據平均絕對誤差MAE選擇模型的最佳參數；模型構建并完成調試后，嵌入環境監測平臺中，t-1時刻的待分析的環境監測數據c_t-true作為輸入數據，不斷得到t時刻的預測值c_t-pre；

S4.將預測值c_t-pre與t時刻的待分析的環境監測數據c_t-true比較，求出絕對值bia，與MAE±30％真實值的經驗誤差相比，來判定異常，超過該范圍的數據即標記為異常數據，此過程中MAE隨輸入數據變化，因此閾值為動態閾值。

其中bia＝|c_t-pre-c_t-true|。

優選的，步驟S1所述替換缺失值和異常值的方法包括：

S11.線性插值的插值函數為一次多項式，首先假設已知函數y＝f(x)在區間[a,b]上(n+1)個互異點x_i(i＝0,1,2,3...,n)上的值分別為y_i，求多項式：

使滿足

由解析幾何可知：