[發明專利]基于相似距離判別的單指標數據質量控制方法

有效

• 申請號: 201710565035.3
• 申請日: 2017-07-12
• 公開（公告）號: CN107436277B
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 徐偉嘉;劉永紅;馮夢思;黃建彰;盧志想;王家恒
• 申請（專利權）人: 中山大學;廣東旭誠科技有限公司
• 主分類號: G01N15/06
• 分類號: G01N15/06;G01D1/14
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 溫旭;張澤思

本發明涉及一種基于相似距離判別的單指標數據質量控制方法，大氣環境單個監測指標，包括：S1.比較每一個站點對應PM2.5與PM10的濃度大小判斷是否為異常檢測值，反之進行下一步計算；S2.按照時間順序導入檢測數據；S3.通過離群程度P篩選正常值，剩余為疑似異常值；S4.當S3篩選的疑似異常值在1倍標準差范圍內判斷為正常監測，反之確認為疑似異常值；S5.計算S4確定的疑似異常值的波動程度q，并判斷是否為正常監測，反之再次確認為疑似異常值；S6.計算S5中疑似異常值所在時刻的各站點的波動性w，通過w_95％值判斷是否異常；S7.S1和S6最終確認的值為異常值。本發明從數據距離、數據波動性、站點之間的關聯性出發判斷數據是否存在異常現象。實現數據自動化審核機制，有效保障數據質量。

技術領域

本發明涉及監測物的質量控制技術領域，尤其涉及一種基于相似距離判別的單指標數據質量控制方法。

背景技術

針對大氣監測數據缺少自動化質量控制手段的狀況，現依據環境監測總站數據監控和復合采用的技術方案設計算法，實現大氣環境監測數據自動化智能質量控制技術，解決多源監測數據缺少自動化質量控制手段的問題，使大氣監測設備的質量控制遵從同一套方法體系，推進監測設備遠程自動化質控技術的發展。

現階段由于各類環境觀測設備監測的數據結構、類型、質量等情況不統一，探索相關數學模型在質量控制方面的應用,從大氣環境監測數據特征出發,提出有效且可實施的大氣監測數據自動化、智能化質量控制技術。基于環境監測數據質量監控體系的海量監測數據信息,實現自動化智能化的可疑監測數據的篩選和判斷及數據質量分析預判等功能，保障數據質量成為現分析急需解決的問題。

對于大氣環境數據質量的控制和監測，現使用數據篩選方法大多采用手工形式，通過繪制日均圖、月均圖判斷各監測指標的異常波動和離群程度等。這樣的方法增加了大量的人力資源，在海量數據的基礎上進行人工審核往往會有審漏或者誤判的情況。鑒于環境監測儀器輸出監測物的濃度指標一般以分鐘為單位，人工手動審核數據存在一定的滯后性，通過自動化的審核機制可以做到實時對數據進行質量控制。

發明內容

本發明的目的在于提供一種基于相似距離判別的單指標數據質量控制方法，解決現有技術存在的問題。

一種基于相似距離判別的單指標數據質量控制方法，所述單指標數據為大氣環境單個監測指標，主要包括以下步驟：

S1.基于倒掛的原理計算每一個站點PM2.5與PM10的濃度大小，當PM2.5的濃度>PM10的濃度便視為倒掛情況判斷為異常檢測值，反之進行下一步計算；

S2.由于污染物濃度會隨著季節的變化表現出不同的特征，因此按照時間序列的格式導入同一個城市不同站點的單個大氣環境監測物的檢測數據；

S3.依據單個大氣環境監測物之間的濃度差值來判斷監測物的離群程度P，通過離群程度P篩選出正常值，剩余為疑似異常值；

S4.計算S3篩選的疑似異常值對應時刻各站點檢測數據的均值和標準差，當S3篩選的疑似異常值在均值范圍的1倍標準差內判斷為正常監測，反之進一步確認為疑似異常值；

S5.將S4進一步確認為疑似異常值的數據作為待檢測樣本，通過波動程度q判斷是否為正常監測，反之再次確認為疑似異常值；

S6.計算S5再次確認為疑似異常值所在時刻各站點檢測數據的波動性w，通過w_95％值判斷是否異常；

S7.S1和S6判斷異常的最終確認為異常值。

進一步的，步驟S3通過離群程度P篩選出正常值主要包括以下步驟：

S21.根據時間序列的格式導入同一個城市不同站點的單個大氣環境監測物的檢測數據：