[發明專利]一種邊坡形變監測數據的數據清洗方法

在審

• 申請號: 202110887596.1
• 申請日: 2021-08-03
• 公開（公告）號: CN113609115A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 張小松;黃河;劉中帥;溫輝波;徐峰;楊光清;徐建強;王立洪
• 申請（專利權）人: 招商局重慶交通科研設計院有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G01B21/32;G06F17/18
• 代理公司: 重慶鼎慧峰合知識產權代理事務所(普通合伙) 50236
• 代理人: 徐璞

本發明提供一種邊坡形變監測數據的數據清洗方法，包括以下步驟：S1、對原始監測數據采用時間序列分解法對異常跳變數據進行刪除，得到第一清洗數據；S2、對第一清洗數據采用線性回歸填充對缺失數據進行填充，得到第二清洗數據；S3、對第二清洗數據依次采用肖維涅準則、羅曼諾法斯基準則，對粗差數據進行刪除，得到第三清洗數據。本發明可以處理掉邊坡形變原始監測數據存在的數據異常跳變、數據丟失和粗差數據，減少對后續數據分析處理的影響。

技術領域

本發明涉及數據處理技術領域，具體涉及一種邊坡形變監測數據的數據清洗方法。

背景技術

邊坡形變監測是一個長時間的過程，采集到的監測數據多種多樣。為了保證后續數據分析結果的正確性，有必要對收集到的監測數據進行數據清洗預處理，濾除掉因外界干擾產生的不可靠數據，提高邊坡監測數據分析的準確性。

在目前邊坡形變監測數據的采集過程中，很多數據超出了數據的正常范圍，或不符合正常變化趨勢。采集到的邊坡形變原始監測數據通常存在以下問題：1、受工程機械、人員、動植物影響導致的數據異常跳變；2、受監測環境通信信道、供電影響導致的數據丟失；3、由于監測設備本身問題，以及受外界環境的干擾導致的粗差數據。而目前在現有技術中，并沒有一種技術方案可以對存在以上異常情況的邊坡形變原始監測數據進行數據清洗，從而會影響后續的數據處理分析工作。

發明內容

針對現有技術存在的不足，本發明提出一種邊坡形變監測數據的數據清洗方法，以解決現有技術中存在的邊坡形變原始監測數據存在的數據異常跳變、數據丟失和粗差數據，影響后續數據分析處理的技術問題。

本發明采用的技術方案是，一種邊坡形變監測數據的數據清洗方法，包括以下步驟：

對原始監測數據采用時間序列分解法對異常跳變數據進行刪除，得到第一清洗數據；

對第一清洗數據采用線性回歸填充對缺失數據進行填充，得到第二清洗數據；

對第二清洗數據依次采用肖維涅準則、羅曼諾法斯基準則對粗差數據進行刪除，得到第三清洗數據。

進一步的，采用時間序列分解法對異常跳變數據進行刪除，具體如下：

S11、對原始監測數據進行趨勢去除，得到多個子序列；

S12、對多個子序列使用局部多項式回歸擬合進行平滑，將平滑后的多個子序列組合得到第一時間序列；

S13、對第一時間序列進行低通濾波，得到第二時間序列；

S14、根據第二時間序列對第一時間序列進行趨勢去除，得到第三時間序列；

S15、根據第三時間序列對原始監測數據進行季節項去除，得到第四時間序列；

S16、對第四時間序列進行趨勢平滑；

S17、判斷第四時間序列是否收斂：如收斂，得到第一清洗數據；如未收斂，重復步驟S11～S16。

進一步的，對每個子序列使用局部多項式回歸擬合進行平滑時，前后各延展1個時間點。

進一步的，對第一時間序列進行低通濾波具體采用以下方式：對第一時間序列進行3次滑動平均，進行1次局部多項式回歸擬合。

進一步的，采用線性回歸填充對缺失數據進行填充時，線性回歸填充模型具體如下：

在上式中，z_k表示第k個缺失值的填充值，a₀、a_i表示線性參數，X_ik表示自變量，ε_k表示隨機變量。