[發明專利]一種基于改進KNN的船舶監控數據缺失值填補方法

在審

• 申請號: 201710227883.3
• 申請日: 2017-04-10
• 公開（公告）號: CN107038460A
• 公開（公告）日: 2017-08-11
• 發明（設計）人: 陳俊;鄭洪源
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30;G07C5/08
• 代理公司: 南京理工大學專利中心32203
• 代理人: 馬魯晉

技術領域

本發明屬于信息感知與識別技術領域，特別是一種基于改進KNN的船舶監控數據缺失值填補方法。

背景技術

數據缺失普遍存在于計算機、通信、工業等領域，船舶故障診斷系統通過數據采集將船舶設備運行狀態參數收集、匯總、處理，但由于儀器精度、環境條件、人為因素等導致獲取的船舶設備實時狀態數據存在缺失。在對船舶設備運行進行采集時，采集設備由于在惡劣不穩定的環境中，采集到的數據有可能丟失，也有可能會變成不可用的異常數據，通常異常數據也被當作缺失數據處理，在數據傳輸過程中，由于網絡通信的延遲，也會因網絡傳輸的不可靠導致丟失數據，大量缺失數據降低了船舶故障診斷系統中數據的可靠性和可用性，為船舶設備故障診斷帶來一定的困難，因此對缺失數據的處理是船舶故障診斷系統不可缺少的過程。

目前國內外研究人員針對數據缺失已開展了很多相關的研究工作。一般的缺失數據處理方法有刪除缺失數據的條目、忽略含缺失數據的條目和對缺失數據進行填補。刪除缺失數據條目是指，若發現某條數據存在某個屬性值的缺失，則直接刪除整條數據或者根據該缺失屬性是否會影響后續數據處理而決定是否刪除。忽略含缺失數據的條目方法與前者類似，刪除、忽略數據條目的方法雖然可以有效處理數據缺失，但會對整個樣本空間產生潛在的影響，將缺失數據刪除或忽略往往會導致對整個樣本空間的數據分布形成干擾，降低樣本數據的可靠性和可用性，降低智能算法的學習能力，增加船舶設備故障診斷的難度。

為此，需要一種有效的缺失值填補方法對船舶監控數據中出現的缺失的屬性值進行估計并填補。

發明內容

本發明的目的在于提供一種基于改進KNN的船舶監控數據缺失值填補方法，該方法能夠提高船舶監控數據缺失值填補的準確性和可靠性。

實現上述目的的技術解決方案為：一種基于改進KNN的船舶監控數據缺失值填補方法，通過將CRITIC(Criteria Importance Though Intercrieria Correlation)法與熵權法結合的綜合賦權法應用到船舶監控數據對象間灰色關聯度值的計算中，并用改進的灰色關聯度代替傳統的歐氏距離表征不同數據對象間的相似程度，選取與待填補數據對象最相似的K個數據對象相應屬性的均值對缺失屬性值進行填補估計。

通過改進KNN的船舶監控數據缺失值填補方法，包括以下步驟：

(1)運用CRITIC(Criteria Importance Though Intercrieria Correlation)賦權法與熵權法結合的綜合賦權法計算船舶監控數據中完整數據集合X＝{X₁,X₂,…,X_m}中的數據各屬性的權重值ω_k，ω_k的計算公式為：

其中ω_k為第k個屬性的權重，k∈[1,n],ω_k∈(0,1)，且σ_k為在含m個完整數據對象的船舶監控數據集合中第k個屬性的所有取值的標準差，r_ik為第i個屬性與第k個屬性的相關系數。m為船舶監控數據集合中完整數據對象的數目，每個數據對象X_i含n個屬性，X_i＝(x_i1,x_i2,...,x_in)，i∈[1,m]，其中x_it代表船舶監控數據對象中的具體的某個屬性的值，且i∈[1,m]，t∈[1,n]。E_j為船舶監控完整數據集中每個屬性的信息熵的值，j∈[1,n]。

船舶監控完整數據集中每個屬性的信息熵E_j的求解過程為：

其中，m為船舶監控數據集合中完整數據對象的數目，n為每個數據對象中屬性的數目，若p_ij＝0，則定義，p_ijlnp_ij＝0。設船舶監控完整數據對象X_i標準化后的數據對象為Y_i，Y_i的屬性為y_ij，i∈[1,m]，j∈[1,n]，數據對象屬性標準化求y_ij的公式為：