[發明專利]基于KNN-SVR的海底管道漏磁數據缺失插補方法

有效

• 申請號: 201711068452.3
• 申請日: 2017-11-03
• 公開（公告）號: CN107842713B
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 劉金海;張化光;馮健;馬大中;汪剛
• 申請（專利權）人: 東北大學
• 主分類號: F17D5/02
• 分類號: F17D5/02
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙) 21234
• 代理人: 張志偉

本發明的基于KNN?SVR的海底管道漏磁數據缺失插補方法，包括步驟1：從不含缺失點的原始漏磁數據中分割出特征數據塊構成完備數據集，構建完備數據集的KD樹；步驟2：對含缺失點的漏磁數據進行范化處理，獲得由待插補數據塊構成的待插補數據集，對待插補數據集進行補零處理；步驟3：在完備數據集中搜索待插補數據塊的K近鄰，獲得K個完備數據塊；步驟4：基于K個完備數據塊，構建訓練集，對訓練集進行歸一化處理；步驟5：利用支持向量回歸機對訓練集進行訓練；步驟6：預測待插補數據塊中的缺失特征值。本發明將基于歐式距離的KNN算法與SVR算法相結合，提高了預測準確度，減少了過擬合問題，同時對于信號噪聲具有較好的魯棒性。

技術領域

本發明涉及數據處理和人工智能領域，具體涉及一種基于KNN-SVR的海底管道漏磁數據缺失插補方法。

背景技術

通常情況下輸油管道的工作條件很惡劣，易使其出現腐蝕裂紋等損傷，對其進行無損檢測是必要的。漏磁檢測就是一種常用的無損檢測方法，該方法是通過對內檢測器采集的漏磁數據進行綜合分析進而判斷管道的損傷情況。內檢測器運行期間，難免由于傳感器的非正常行為，導致部分采樣數據的異常或者缺失。在分析漏磁數據之前對數據進行預處理，其中重要的一部分是對缺失數據進行插補，以保證數據的完整性，為后續的數據處理打下基礎。

漏磁內檢測器得到的數據量很龐大，這些數據與漏磁內檢測器所在的里程位置等因素并不是簡單的函數關系，各個因素之間的關系的數學模型通常是非線性的復雜模型，傳統的建模方法很難實現這種數學模型，因此對缺失數據的預測和插補也是很困難的。漏磁信號的插補是盡可能地利用缺失點附近的數據信息來預測插補點的特征值。數據插補問題中采取的方法有很多種，總的來說可以分為直接線性插值法和回歸擬合插值法。

直接線性插值法是一種非模型的插值方法。它的主要步驟是：確定缺失點所在位置；提取缺失點前后的完備數據；利用缺失點與完備數據點之間的位置信息以及傳感器間的關聯特征建立與缺失點數據的線性關系。通過上述步驟，就可以得到缺失點的預測值。但直接線性插值法具有一定局限性：對線性擬合度不高的情況預測結果不夠理想；預測結果受信號噪聲和信號畸變的影響較大。需要確保缺失點附近數據的完備性，否則直接線性插值得到的預測值誤差較大。

回歸擬合方法是一種基于模型的插值方法。它的主要步驟是：判斷缺失點周圍的缺失情況；提取缺失點前后合適距離的完備數據點，以及傳感器間的相同位置點的數據；利用大量的完備數據通過回歸擬合得出數據點與所在位置之間的非線性模型。通過上述步驟，就可以得到缺失點的預測值。回歸擬合插值法相比直接線性插值法精度更高。但回歸擬合插值法仍然存在以下缺點：難以保證非線性模型的準確性；預測結果容易陷入局部最優解；需要對傳感器間的關聯特征具有一定的提前認知。預測結果受信號噪聲和信號畸變的影響較大。

發明內容

本發明實施例提供一種基于KNN-SVR的海底管道漏磁數據缺失插補方法，解決現有異常判定與填補方法計算時間長，大量過擬合，數據缺失點情況復雜等問題。

本發明提供一種基于KNN-SVR的海底管道漏磁數據缺失插補方法，包括以下步驟：

步驟1：從不含缺失點的原始漏磁數據中分割出特征數據塊構成完備數據集，構建完備數據集的KD樹；

步驟2：對含缺失點的漏磁數據進行范化處理，以獲得由待插補數據塊構成的待插補數據集，并對待插補數據集進行補零處理；

步驟3：在完備數據集中搜索待插補數據塊的K近鄰，獲得K個完備數據塊；

步驟4：基于K個完備數據塊，構建訓練集，對訓練集進行歸一化處理；

步驟5：利用支持向量回歸機對訓練集進行模型訓練；

步驟6：預測待插補數據塊中的缺失特征值，完成對缺失數據的插補。