[發明專利]浮標自動監測系統數據質量控制方法

在審

• 申請號: 201810833400.9
• 申請日: 2018-07-26
• 公開（公告）號: CN109033037A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 張彩云
• 申請（專利權）人: 廈門大學
• 主分類號: G06F17/18
• 分類號: G06F17/18
• 代理公司: 廈門南強之路專利事務所(普通合伙) 35200
• 代理人: 馬應森;張凡忠

1.浮標自動監測系統數據質量控制方法，其特征在于包括以下步驟：

1)數據質量分析，在數據質控之前需對數據的質量進行分析，數據質量分析是浮標數據特征分析中數據準備過程中的重要一環，是數據預處理的前提；

2)異常值剔除，針對自動監測系統獲得的異常值，采用以下方法剔除：

(1)極值控制：極值控制方法是根據各要素的物理特性、統計經驗給定各要素的極大值和極小值；所述極值控制方法有效地檢驗出極端異常的數據，浮標所配探頭的量程范圍作為判斷標準，超出量程范圍的數據被當作異常點剔除；

(2)標準差檢驗法：根據誤差理論，隨機誤差σ服從正態分布，δ是標準差，通常用貝塞爾公式算得S代替σ，用平均值代替真值，若某個觀測數據的殘差滿足>3S，則可疑，應該標記為異常值；

(3)與相鄰數據的比較：針對檢驗氣泡、沾污因素對各探頭的影響；當某一時刻值與相鄰時刻的絕對值大于某一個閾值時，即被當作異常值剔除；

(4)均方差檢驗：當某一時刻值與當天平均值大于標準方差n倍時，被當作異常值，其中n取5；

(5)圖形檢驗法：畫出時間序列圖，對明顯異常的數據進行人工剔除；

(6)參數互較：分析浮標所采集的數據，發現部分參數彼此之間會存在比較好的相關觀測，如果通過實際分析發現在港灣中布放的浮標系統所獲取的CDOM和Nitrate與鹽度存在較好的相關關系，那么當測量數據遠偏離這一相關關系，即判斷為異常值；

(7)特定天氣事件的檢驗：當發生特定天氣事件時，海洋環境參數會有明顯的變化，但浮標數據在此種條件并沒有出現明顯的響應，那么數據可能會出現異常值；

3)現場驗證評估：通過現場采樣、實驗室測量方式對浮標監測參數進行驗證評估，對生物、化學探頭所測數據，確保數據的可靠性；比對參數包括NO₃、DO、Chl、CDOM；在浮標布放地點采集水樣，帶回實驗室進行分析；然后將實驗室分析數據與浮標數據畫出相關曲線圖，分布趨勢上判斷浮標所采集數據的可靠性。

2.如權利要求1所述浮標自動監測系統數據質量控制方法，其特征在于在步驟1)中，所述數據質量分析包括以下方法：

(1)缺失值分析：數據缺失主要指監測數據因種種原因而缺失的數據，包括記錄的缺失和記錄中某個字段信息的缺失，以比觀測值大很多或小很多的數據表示，缺失值分析如表1所示，-6999即為缺失值；

表1

(2)重復數據分析：數據出現重復測量的情況，一種是數據整理過程，出現采樣數據具有同樣的時間；另一種是由于儀器與傳輸的問題，記錄的數據與表1相同，重復數據見表2，其中，下劃線部分與前兩個數據觀測時間一致；

表2

(3)異常值分析：異常值分析是指檢驗數據中是否含有不合理的數據，其數值明顯偏離其他的觀測值，采用以下三種方法分析：

a.統計量分析：利用儀器的量程范圍判斷其最大值和最小值取值范圍是否超出合理的范圍，若常用水質自動監測系統YSI儀器中葉綠素的量程超過0～400ppb，則判定該變量為異常；

b.3σ分析：如果數據服從正態分布，在3σ原則下，異常值常被定義為一組測定值中與平均值的偏差超過3倍標準偏差的值，在正態分布的假設下，距離平均值3σ之外的值出現的概率為P≤0.003，屬于極個別的小概率事件；

c.箱型圖分析：箱型圖提供識別異常值的一個標準：異常值通常被定義為小于QL-1.5IQR或QU+1.5IQR的值，QL稱為下四分位數，Qu為上四分位數。