[發明專利]一種基于環境監測數據關聯關系的異常數據判定方法

在審

• 申請號: 202010801821.0
• 申請日: 2020-08-11
• 公開（公告）號: CN112036075A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 孫康;尤洋;郭月;鄭皓皓;秦少立;汪太明;孟雙雙;張霞;楊子成
• 申請（專利權）人: 中國環境監測總站;廣東旭誠科技有限公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 曹江;周增元

1.一種基于環境監測數據關聯關系的異常數據判定方法，其特征在于，包括以下步驟：

S1.對歷史數據及待分析的環境監測數據進行預處理：對歷史數據及待分析的環境監測數據用數采軟件判斷缺失值和異常值，再替換缺失值和異常值；

S2.將處理后的歷史數據劃分為訓練數據、驗證數據，并將訓練數據和驗證數據轉換為模型所需的序列數據；

S3.用訓練數據構建模型，再用驗證數據根據MAE選擇模型的最佳參數；模型構建并完成調試后，嵌入環境監測平臺中，t-1時刻的待分析的環境監測數據c_t-1-true作為輸入數據，不斷得到t時刻的預測值c_t-pre；

S4.將預測值c_t-pre與t時刻的待分析的環境監測數據c_t-true比較，求出絕對值bia與MAE±30％真實值的經驗誤差相比，來判定異常，超過范圍的數據即標記為異常數據

其中bia＝|c_t-pre-c_t-true|。

2.根據權利要求1所述基于環境監測數據關聯關系的異常數據判定方法，其特征在于，步驟S1所述替換缺失值和異常值的方法包括：

S11.首先假設已知函數y＝f(x)在區間[a,b]上(n+1)個互異點x_i(i＝0,1,2,3...,n)上的值分別為y_i，求多項式：

使滿足

由解析幾何可知：

其中x₀、x₁、y₀、y₁——已知的統計數據

x——x₀,x₁間的任何數據

y——與x對應的插值數據；

S12.利用缺失或異常值前后2個時刻的數據，根據以上公式進行插值。

3.根據權利要求1所述基于環境監測數據關聯關系的異常數據判定方法，其特征在于，環境監測數據包括氣象五參數氣壓、溫度、濕度、風向、風速和污染物濃度。

4.根據權利要求3所述基于環境監測數據關聯關系的異常數據判定方法，其特征在于，將步驟S1中歷史數據及待分析的環境監測數據按照季節和地域分組，分別構建每個污染物對應的二維表

5.根據權利要求4述基于環境監測數據關聯關系的異常數據判定方法，其特征在于，步驟S3中訓練數據構建模型，包括以下步驟：使用t時刻的某污染物濃度和氣象條件作為輸入，t+1時刻的某污染物濃度和氣象條件作為輸出，使用訓練集數據經過學習后得到t+1時刻的污染物濃度和氣象條件；

模型構建時經過輸入層、隱藏層和輸出層，隱藏層中可以選擇保留t₁、t₂......t時刻的信息，并將其作為輸入信息作用于t+1時刻；各單元的計算步驟和方法如下：

輸入門：

遺忘門：

輸出門：

當前時刻隱藏層候選記憶單元值：

當前時刻隱藏層記憶單元狀態值：

當前時刻隱藏層輸出值：

i、φ、ω分別是輸入門、遺忘門和輸出門，h為隱藏層輸出，c為隱藏層記憶單元值，θ、σ分別表示幾個門的非線性激活函數，θ一般取tanh函數，σ一般為lOgistic sigmOid函數，表示輸入-輸入門權重矩陣，表示上一時刻隱藏層單元-輸入門權重矩陣，表示輸入門-隱藏層記憶單元權重矩陣，是輸入層-遺忘門的權重矩陣，是上一時刻隱藏層單元-遺忘門的權重矩陣，是隱藏層記憶單元-遺忘門的權重矩陣，是輸入層-輸出門權重矩陣，是上一時刻隱藏層單元-輸出門的權重矩陣，是隱藏層記憶單元-輸出門的權重矩陣，是輸入層-隱藏層記憶單元的權重矩陣，是上一時刻隱藏層單元到隱藏層記憶單元的權重矩陣，分別是輸入門、遺忘門、輸出門和隱藏層記憶單元的偏置。

6.根據權利要求4述基于環境監測數據關聯關系的異常數據判定方法，其特征在于，步驟S3中驗證數據選擇模型的最佳參數MAE的方法為：驗證數據作為模型輸入，將模型預測值c_pre與真實值c_ture對比，采用MAE評價，當MAE最小時得到最優的模型參數；

其中，n代表樣本數，c_true代表真實值，c_pre代表預測值。