[發明專利]一種產地環境監測數據的自動化清洗方法

有效

• 申請號: 202011593565.7
• 申請日: 2020-12-29
• 公開（公告）號: CN112597144B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 安毅;秦莉;武麗娜;林大松;霍莉莉;杜兆林;丁健;姚彥坡
• 申請（專利權）人: 農業農村部環境保護科研監測所
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 蘇州國卓知識產權代理有限公司 32331
• 代理人: 劉靜宇

1.一種產地環境監測數據的自動化清洗方法，其特征在于，所述方法包括：

(1)異常數據定位

所述異常數據定位采用梯形收斂對位t檢驗方法，所述梯形收斂對位t檢驗方法包括：

(1.1)計算待入庫土壤Cd數據的分位監測數據，同步計算研究區域內原數據庫與待入庫數據對應監測指標的分位監測數據；

所述原數據庫的土壤Cd數據的分位監測數據數列記為W1，待入庫數據的土壤Cd數據的分位監測數據數列記為W2，

(1.2)將所述W1、W2兩個數列合并為一個數列組進行t檢驗，若檢驗結果在0.05水平下無顯著性差異，則結束本步驟；若檢驗結果在0.05水平下存在顯著性差異，則將待入庫數據中的土壤Cd數據排序后，將前50％的數據記為小組1，將后50％的數據記為大組1，同時將原庫數據的土壤Cd數據排序后，將前50％的數據記為小組2，將后50％的數據記為大組2，同時分別計算所述小組1、大組1、小組2、大組2的分位監測數據數列，分別記為W11、W12、W21、W22；

(1.3)分別將所述W11、W21和所述W12、W22分別合并為數列組，并對新合并形成的兩個所述數列組分別做t檢驗，對于在0.05水平下無顯著性差異的數列結束篩查，所述在0.05水平下無顯著性差異的數列對應點位數據記為合格點位₁；對于存在顯著性差異的數列繼續執行第(1.2)步操作，循環直至相鄰分位值間點位數據不足3個；按照等值梯度法獲取所述分位監測數據：將所述土壤Cd數據的數據按等值梯度遞增，提取各分位值對應的監測指標的監測結果，所述分位值按1％-10％中的任意值梯度遞增；

(1.4)提取全部存在顯著性差異的待入庫土壤Cd數據的點位數據并記為不合格點位₁，所述不合格點位₁對應的土壤Cd數據數據清洗；

(2)擾動性分析：

(2.1)獲取異常數據，計算所述異常數據對應的不合格點位₁中待入庫土壤Cd數據每個點位數據的信息度，從大到小排序，選出信息度大于1/n的監測點位，其中n為待入庫數據中具有所述土壤Cd數據檢測結果的所有監測點位數量，所述信息度計算公式如下：

其中，i為待入庫數據土壤Cd數據指標點位數據；

(2.2)隨機選擇原數據庫中不少于n/2個對應監測指標的點位數據，利用空間插值算法計算第(2.1)步中篩查出的點位相應指標的預測值；所述空間插值算法選用一種或多種空間差值算法，所述空間差值算法計算過程中，針對插值算法中的參數進行不同隨機調整，計算出5種或5種以上結果，基于所述結果計算預測值容差量，

計算預測值容差量，計算公式如下：D＝μ_X±2δ_X

其中，D為土壤Cd數據指標容差量，μ_x為土壤Cd數據指標預測值均值，δ_x為土壤Cd數據指標預測值的標準差；

若待入庫數據超出容差量范圍，則判定該點位數據擾動性過高，記為不合格點位₂，不可入庫；若待入庫數據未超出容差量范圍則記為合格點位₂；

(3)邊界差異合理性篩查：

(3.1)設置若干篩查單元，所述篩查單元面積不超過M²，且確保所述篩查單元內至少包括10個合格點位，計算公式如下：

其中，M²為篩查單元面積的最小值，S為待入庫數據所在區域面積，畝；

結合篩查單元尺寸及單元內最少點位要求，確定篩查單元數量；

(3.2)計算所有篩查單元內土壤Cd數據指標的原數據庫點位數據異常程度和待入庫數據異常程度，異常程度計算步驟具體如下：

(3.2.1)分別確定土壤Cd數據指標的原數據庫點位數據和待入庫數據的平均值(記為μ1、μ2)和標準偏差(記為δ1、δ2)；

(3.2.2)計算集合1(μ1-2δ1，μ1+2δ1)，集合2(μ2-2δ2，μ2+2δ2)；

(3.2.3)計算集合1與集合2的交集和并集，分別記為集合3集合4；

(3.2.4)分別計算集合3和集合4上下限差值，比計算得到的差值的比值，若比值小于0.15，則該單元點位數據異常程度大，所述異常程度大的篩查單元內合格點位₂對應土壤Cd數據指標檢測數據不得融合入庫；若比值大于0.15，則該篩查單元點位數據異常程度小，所述異常程度小的篩查單元內合格點位₂對應土壤Cd數據指標檢測數據入庫存儲。