[發明專利]環境自動監測網絡的數據異常值標識方法及系統

有效

• 申請號: 201410367544.1
• 申請日: 2014-07-29
• 公開（公告）號: CN104135521B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 黎如昊;肖文;向運榮;張苒
• 申請（專利權）人: 廣東省環境監測中心
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭瑩

本發明公開了一種環境自動監測網絡的數據異常值標識方法及系統，方法包括：根據基站系統自動識別、基站人工審核和實時數據平臺的專家識別、平臺人工審核這四個數據來源對環境監測網絡的數據標識體系進行統一定義，得到來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構；根據來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構，對基站層和平臺層的異常值進行識別，并采用改進的數據標識同步算法實現基站層異常值和平臺層異常值的同步。本發明增設了模式跟蹤數據和標識演繹標識，并提出了實時數據平臺的異常值識別算法，溯源效率高、精確度高、全面、可靠、科學和準確，可廣泛應用于環境監測領域。

技術領域

本發明涉及環境監測領域，尤其是環境自動監測網絡的數據異常值標識方法及系統。

背景技術

環境自動監測網絡是環境質量科學表征的重要數據來源，其目的是獲得高質量的環境監測數據，并由此推斷整個環境現有的質量特征。環境自動監測網絡除了擁有一般環境監測的要素外，自身還具備基站長期實時不間斷監測、基站與實時數據平臺數據同步對接、實時數據平臺對海量數據自動分析統計等特點。針對環境自動監測網絡獨有的技術特點，研發異常值標識技術，將提升環境自動監測網絡數據審核工作的科學性和邏輯性，極大提高了環境自動監測網絡的數據質量，保證數據審核質量和效率。

目前，監測網絡數據的異常值標識技術存在以下問題：

（一）數據標識的不完善

目前對網絡數據的異常值采取在其后嵌入數據標識的技術方法。這種方法可有效地避免異常值納入數據統計，但因其對質控工作溯源時沒有對異常值的原因（如儀器質控和外界環境因素等）進行垂直的追蹤，平臺數據管理人員無法追蹤判斷數據質量的真實情況。為解決此問題，數據管理人員需查詢基站的工作日志和詢問基站維護人員，質控工作的溯源工作效率低下且導致容易因詢問導致出錯。

（二）識別來源的缺失或不統一

環境自動監測網絡的數據異常值的來源包括基站系統自動識別、基站人工審核和實時數據平臺的專家識別和平臺人工審核等，這四種來源在網絡的數據審核體系里是互相聯系、互相制約和不可割裂的，應作為一個系統整體的有機結合。

但目前仍沒有相關的技術把四類數據標識歸納統一，導致不同階層的數據審核者往往只能考慮一個來源的數據標識，不夠全面和可靠。

（三）環境自動監測實時數據平臺統計算法的缺失

實時數據平臺識別異常值的技術源自統計學、軟件工程和計算機科學。統計學對統計數據異常值的識別雖有很多研究成果，但大多是從數學的角度并針對一些特殊分布例如多維正態分布、r分布等來實現的。然而，環境自動監測數據大多不符合這些分布，難以直接采用這些研究成果來進行檢驗和識別。因此環境自動監測實時數據平臺缺乏能檢查和審核統計數據可靠性和準確性的統計算法。

此外，目前的異常值識別技術將監測數據的異常值直接刪除，很難容納統計學理論識別異常值的方法。因為統計學理論能推算監測數據里的異常值，但不代表該異常值在真實環境是絕對錯誤的，如果直接刪除被推算為異常的數據則不尊重客觀現實，不夠科學和準確。

發明內容

為了解決上述技術問題，本發明的目的是：提供一種溯源效率高、精確度高、全面、可靠、科學和準確的環境自動監測網絡的數據異常值標識方法及系統。

本發明解決其技術問題所采用的技術方案是：

環境自動監測網絡的數據異常值標識方法，包括：

A、根據基站系統自動識別、基站人工審核和實時數據平臺的專家識別、平臺人工審核這四個數據來源對環境監測網絡的數據標識體系進行統一定義，從而得到來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構；