[發明專利]一種高維不完整數據特征選擇方法

有效

• 申請號: 201710388939.3
• 申請日: 2017-05-27
• 公開（公告）號: CN107220346B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 李玉諾;尹春福;王妍;楊鈞;李俊;吳陽;付永全
• 申請（專利權）人: 榮科科技股份有限公司;遼寧大學
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 沈陽杰克知識產權代理有限公司 21207
• 代理人: 羅瑩

一種高維不完整數據特征選擇方法，涉及如下步驟：（1）判斷初始數據是否為完整數據；若為不完整數據，則轉到步驟（2）；若為完整數據，則轉到步驟（3）；步驟（2）：假設現在有各個維度的數據,用1表示該數據項是完整的,用0表示該數據項是缺失的.計算每個維度的缺失率,接著計算缺失熵：依次算出每個維度的缺失熵;對結果進行加權平均；步驟（3）：在高維數據中進行特征選擇時，通過比較原始數據矩陣的相關矩陣和隨機矩陣在奇異值上的差異，對相關矩陣進行去噪。得到去噪后的相關矩陣和選擇特征的數量,再進行奇異值分解，通過分解矩陣獲得特征與類的相關性，根據特征與類的相關性和特征之間冗余性完成特征選擇。

技術領域

本發明涉及一種高維不完整數據特征選擇方法，屬于機器學習，數據挖掘技術領域。

背景技術

隨著數據獲取技術的發展,高維數據廣泛應用在于社交網絡,圖像處理,生物醫學等領域中。然而在實際的數據的采集中,由于探測儀器的限制、數據敏感、樣本破損等原因會導致采集數據的不完整,從而形成高維不完整數據。對于不完整數據的預處理通常采用刪除和填補的方法,對于包含了大量冗余信息和噪聲的高維數據,通常先采用特征提取和特征選擇對其進行降維。根據特征子集評估策略的差異,可將特征選擇分為三類：Filter模型、Wrapper模型和Embedded模型。Filter模型僅依賴數據的內在特性來選擇特征,而不依賴任何具體的學習算法指導。Wrapper模型則需要一個預先設定的學習算法,將特征子集在其算法上的表現作為評估來確定最終的特征子集。Embedded模型則是在學習算法的目標分析過程中包含變量選擇,將此作為訓練過程的一部分。共同之處是這三種模型都是通過相關性度量來選擇特征,但是對于高維數據,得到的相關矩陣中會存在大量噪聲。

隨機矩陣理論(random matrix theory,RMT)通過比較隨機的多維序列統計特性,可以體現出實際數據對隨機的偏離程度,并揭示實際數據中整體關聯的行為特征。隨機矩陣理論是在原子物理中由Wigner,Dyson,Mehta等人發展而來,在物理學,通訊理論,金融等方面應用非常廣泛。Laloux(1999)等人研究了如何去掉金融相關系數矩陣的噪聲，Plerou(2002)等人詳細研究了相關矩陣的特征值、特征向量的分布。

本文以隨機矩陣理論為基礎，提出一種特征選擇方法，通過比較原始數據的相關矩陣和隨機數據的相關矩陣在奇異值上的差異,去除原始相關矩陣的噪聲，同時充分利用奇異值分解后的子矩陣來消除特征之間的冗余性,更好的實現特征選擇。又根據熵概率選擇,使這種方法能夠應用于不完整數據。在分類準確率和運行時間上表明了本方法的高效性。

發明內容

本發明針對現有技術的不足，本發明提供一種高維不完整數據特征選擇方法。

本發明的是通過下述技術方案實現的：一種高維不完整數據特征選擇方法，包括如下步驟：

(1)判斷初始數據是否為完整數據；若為不完整數據，則轉到步驟(2)；若為完整數據，則轉到步驟(3)；

(2)采用不完整矩陣計算方法處理數據，具體為：

(2.1)假設現在有各個維度的數據,用1表示該維度的值是完整的,用0表示該維度的值是缺失的,計算每個維度的缺失率,接著通過下式計算缺失熵：

其中p_i是每個維度的缺失率，H(X)表示缺失熵；

(2.2)H(X)越大說明不確定性越高，缺失率越接近0.5，H(x)的極值為0.5；依次算出每個維度的缺失熵；

(2.3)對結果進行加權平均；

(2.4)對每一個維度X的缺失值，P(忽略)＝H_mean(X),P(填補)＝1-H_mean(X)；