[發明專利]基于EMD-DTW的土壤水分觀測數據異常值檢測方法

在審

• 申請號: 202110544620.1
• 申請日: 2021-05-19
• 公開（公告）號: CN113391052A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 周笑天;陳益玲;李懷剛;李蕓;李長軍;張平;張茜茹
• 申請（專利權）人: 山東省氣象信息中心（山東省氣象檔案館）
• 主分類號: G01N33/24
• 分類號: G01N33/24
• 代理公司: 重慶市信立達專利代理事務所(普通合伙) 50230
• 代理人: 任葦

本發明公開了基于EMD?DTW的土壤水分觀測數據異常值檢測方法，涉及土壤水分觀測數據質量檢測技術領域，其技術方案要點：包括以下步驟：S1、將可能存在異常值的時間序列數據作為待檢序列X，將已通過質量檢驗的時間序列數據作為參照序列Y；S2、對X和Y進行EMD分解，得X的本征模態函數重構序列IMFs(X)和Y的本征模態函數重構序列IMFs(Y)，對IMFs(X)和IMFs(Y)進行首尾延展，得序列C和Q；S3、對C和Q進行DTW相似度匹配和長度對齊，得序列C’和序列Q’；S4、計算C’和Q’的幅值差序列D’；S5、利用異常判定門限值定位輸出待檢序列中的異常點。本發明通過提取觀測站點土壤水分觀測數據變化特征實現異常值檢測，檢測過程中無須選擇本觀測站點以外的他站數據作為參考，具有較高普適性。

技術領域

本發明涉及土壤水分觀測數據質量檢測技術領域，更具體地說，它涉及基于EMD-DTW的土壤水分觀測數據異常值檢測方法。

背景技術

土壤水分觀測數據與其他氣象觀測資料一樣，在投入使用之前，應當先經過數據質量的檢測，剔除和訂正異常(可疑)數據，保證數據的可靠性。

目前對于土壤水分觀測數據異常值檢測的研究成果，通常是利用土壤中水分因子與水文常數之間的關系理論，并參考地面氣象要素質量控制中的空間一致性、時間一致性和內部一致性等方法，以單位時間內數據變化率計算為主要研究目標，通過臨近觀測站之間數據變化趨勢對比，人工設定變化率閾值范圍以查找異常數據。但是，由于土壤水分受土壤質地、水文環境、氣象條件和人類活動等多重因素影響，其變化規律具有極強的個性化特征，因而在現有條件下，無論是利用傳統的統計回歸方法還是采用臨近站參考方法，都會造成數據特征值的丟失和變化率誤判，也就無法準確實現異常數據檢測。

因此，本發明旨在設計提供基于EMD-DTW的土壤水分觀測數據異常值檢測方法，方法采用觀測站點數據自檢的方式，以自身數據序列為參照，有效提取土壤水分變化特征，以解決上述問題。

發明內容

本發明的目的是針對上述技術問題，提供基于EMD-DTW的土壤水分觀測數據異常值檢測方法，本發明以土壤水分觀測站點自身數據序列為參照，通過提取土壤水分觀測數據變化特性實現異常值檢測，檢測過程中不需本觀測站點以外的他站數據作為參考，具有較高普適性。

本發明的上述技術目的是通過以下技術方案得以實現的：基于EMD-DTW的土壤水分觀測數據異常值檢測方法，利用EMD分解和重構操作，將土壤水分時間序列數據特有變化特征提取出來，對提取出來的變化特征進行DTW相似度的匹配和序列長度對齊，并通過計算變化幅度差異來確定異常點的位置，以實現土壤水分異常值檢測，具體包括以下步驟：

S1、將某觀測站可能存在異常值的一定時間段內連續的土壤水分觀測數據作為待檢序列X，長度為T，則待檢序列為X＝[x₁，x₂...，x_T]；將該站已經通過質量檢驗的土壤水分觀測數據序列作為參照序列Y，長度為S，則Y＝[y₁，y₂，...，y_S]；

S2、采用EMD算法對步驟S1中的待檢序列X和參照序列Y進行EMD分解，分別得到本征模態函數重構序列IMFs(X)和IMFs(Y)；并對IMFs(X)和IMFs(Y)進行首尾延展，分別形成序列C＝[0，IMFs(X)，0]和序列Q＝[0，IMFs(Y)，0]，序列C的長度為M，M＝T+2，序列Q的長度為N，N＝S+2；

S3、采用動態時間規整算法DTW對步驟S2中的序列C和序列Q進行DTW相似度匹配和序列長度對齊，并輸出DTW對齊后的序列C’和序列Q’，和K為對齊后序列的長度；

S4、計算序列C’和序列Q’的幅值差序列D’，即：

其中，D’＝(C’-Q’)的長度為K，diff(c，q)表示c和q圍繞原點(縱坐標0值線)的振幅值的差；