[發明專利]環境自動監測網絡的數據異常值標識方法及系統

有效

• 申請號: 201410367544.1
• 申請日: 2014-07-29
• 公開（公告）號: CN104135521B
• 公開（公告）日: 2018-06-05
• 發明（設計）人: 黎如昊;肖文;向運榮;張苒
• 申請（專利權）人: 廣東省環境監測中心
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 鄭瑩

1.環境自動監測網絡的數據異常值標識方法，其特征在于：包括：

A、根據基站系統自動識別、基站人工審核和實時數據平臺的專家識別、平臺人工審核這四個數據來源對環境監測網絡的數據標識體系進行統一定義，從而得到來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構；

B、根據來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構，對基站層和平臺層的異常值進行識別，并采用改進的數據標識同步算法實現基站層異常值和平臺層異常值的同步；

所述來源類型標識根據數據的來源進行定義，包括網絡命令標識、基站系統標識、基站儀器自動執行命令標識、基站人工審核標識、實時數據平臺標識；所述模式標識用于對基站自動監測網絡各種形式的信息進行表征、描述和分類，由信息名稱的英文或漢語拼音的第一個字母的縮寫組成，包括監測數據狀態標識、質控質保任務標識和基站監測系統及儀器故障標識；所述刪除標識，用于表示不能參與統計的監測數據，具體數據格式為：刪除標識/來源類型標識；

所述模式跟蹤數據標識包括結果導向標識和過程導向標識，

所述結果導向標識的數據結構為：模式標識(特征標識1，特征標識2，……，特征標識n)/來源類型標識；所述結果導向標識的生成過程為：選擇結果導向標識的數據結構，然后把代表結果的模式標識、以及與該模式標識相關聯的特征標識1到特征標識n導入到選擇的數據結構中；其中，特征標識是指基站監測系統開發者定義的關于系統、儀器的狀況標識或基站采集系統的環境狀況標識，特征標識1，特征標識2，……，特征標識n是指與代表結果的模式標識相關聯的特征標識；

所述過程導向標識的數據結構為：模式標識(數值基準標識1，數值過程標識1，……，數值基準標識1，數值過程標識m)/來源類型標識；所述過程導向標識的生成過程為：選擇過程導向標識的數據結構；然后把代表過程的模式標識、以及與該模式標識產生過程相關聯的基準標識1，數值過程標識1……數值基準標識1，數值過程標識m導入到選擇的數據結構中；

其中，基準標識是指執行質控任務時所采用標準樣品的濃度值，數值過程標識是執行質控任務時監測儀器測標準樣品所得的結果濃度值，數值過程標識1，數值過程標識2，……，數值過程標識m是指與代表過程的模式標識相關聯的數值過程標識，且數值過程標識m按數據標識產生過程的時間先后順序排列；

所述演繹標識是指容納統計學理論異常值識別方法的標識，具體數據格式為：演繹標識/來源類型標識；所述演繹標識并不參與數據統計，只用于反映和記錄計算機智能診斷出來的異常值，若人工診斷確認該異常值為真實的異常值，演繹標識會自動轉為刪除標識；

所述步驟B中根據來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構，對基站層異常值進行識別這一步驟，其包括：

B11、對基站層數據進行監測，從而獲得異常數據信號；

B12、將異常數據信號轉換成計算機可識別的數據信號；

B13、將轉換后的異常數據信號與數據標識知識庫的數據進行匹配，判斷數據標識知識庫是否存在與異常數據信號相匹配的數據，若是，則執行步驟B14，反之，則結束基站層異常值識別流程；

B14、判斷異常數據信號所屬的數據標識類型，并根據判斷結果執行相應的數據標識賦予流程；

B15、將新賦予的數據標識記錄存入基站數據庫和同步數據庫；

所述步驟B中根據來源類型標識、模式標識、模式跟蹤數據標識、演繹標識和刪除標識的數據結構，對平臺層異常值進行識別這一步驟，其包括：

B21、從平臺數據庫中提取監測數據，判斷提取的數據是否包含不合理的值，若是，則為提取的數據賦予刪除標識，反之，則執行步驟B22，所述不合理的值是指負值、超出儀器量程范圍的值、連續不變的值或基于箱線圖統計方法判別為離群值的數據；

B22、判斷提取的數據是否包含連續4次以上的不變值，若是，則為提取的數據賦予演繹標識，反之，則執行步驟B23；

B23、自當前時刻開始往前追溯，從監測數據中獲取連續的x個監測值，其中，x為預設的數值，且滿足y≤x≤3y，y為維修人員在基站儀器發生故障時趕到現場進行維護的最長允許時間；

B24、對獲取的x個監測值進行計算，從而得到這x個監測值的下四分位數Q1、中位數Q2、上四分位數Q3和四分位距IQR，所述x個監測值的四分位距IQR的計算公式為：IQR＝Q3－Q1；

B25、根據計算的結果自動對x個監測值的異常值進行識別，并為識別出的異常值賦予相應的演繹標識；

B26、對含有演繹標識的監測數據進行人工審核，若確認監測數據為異常值，則將監測數據的演繹標識取消，并重新為監測數據賦予刪除標識；

所述步驟B中采用改進的數據標識同步算法實現基站層和平臺層異常值的同步這一步驟，其包括：

S1、基站與平臺建立socket連接；

S2、判斷是否需要同步數據標識數據庫，若是，則執行步驟S3，反之，則執行步驟S4；

S3、基站向平臺發送修改數據標識數據庫的請求，并在平臺同意修改和同步標識匹配檢查完成后向平臺發送數據標識記錄數據包，從而使平臺進行應答修改；

S4、平臺向基站發送修改數據標識知識庫的請求，并在基站同意修改后向基站發送數據標識知識庫修改數據包，從而使基站進行應答修改。