[發明專利]一種無監督正則化矩陣分解特征選擇方法

有效

• 申請號: 201710446167.4
• 申請日: 2017-06-14
• 公開（公告）號: CN107203787B
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 易玉根;王建中;齊妙;王婷;郭常祿
• 申請（專利權）人: 江西師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南昌華成聯合知識產權代理事務所(普通合伙) 36126
• 代理人: 張建新

本發明提供了一種無監督正則化矩陣分解特征選擇方法(URMFFS方法)，該方法通過引入內積正則化約束考慮所選特征之間的相關性，使所選的特征子集不僅能夠很好的表示原始高維特征并且具有較低冗余性。本發明還設計了一種迭代優化算法來求解URMFFS方法。將URMFFS方法與目前較為流行的無監督特征選擇方法分別在六個常用數據庫(AR10P、Yale、ORL、Jaffe、PIE10P和TOX?171)上進行了大量對比實驗，實驗結果表明，URMFFS方法的性能顯著優于其它無監督特征選擇方法。

技術領域

本發明涉及信號處理、數據分析技術領域，具體涉及一種無監督正則化矩陣分解特征選擇方法。

背景技術

隨著計算機科技、社會網絡信息化及互聯網的日益普及，涌現出大量高維數據，如：文本、多媒體、視頻、圖像等，而且它們來源于不同的系統、傳感器和移動設備等。這些高維數據通常具有多樣性、復雜性和冗余性等特點，如果利用計算機直接處理這些高維數據，這需要巨大內存存儲空間和計算成本，嚴重則會造成“維數災難”(Curseofdimensionality)問題，這會降低算法的計算效率和性能。“維數災難”是在涉及向量的計算中要確保一定的準確率，進而對變量或者特征有更加精確的估計，隨著樣本維數的增加，其計算量呈指數變化。除了緩解“信息豐富、知識匱乏”的狀況從而降低復雜度，還要從這些數據中提取有價值的特性能更好地認識和理解數據，非常重要的一個步驟就是需要更加新穎的分析方法和工具來預處理高維數據。降維技術的出現有效的改善這類問題。

降維又稱維數約簡，是指高維空間中的數據找到一個最能反映原始高維數據特性的低維表示。最核心的降維技術主要包括兩類：特征提取(Feature Extraction)和特征選擇(Feature Selection)。特征提取是將原始高維空間中的數據點，通過某種映射方法投影到低維空間中，達到在高維特征空間中挖掘出能反映實際本征維度的低維結構的目的。根據不同的映射方式，特征提取被分為線性和非線性兩種。其中，線性特征提取主要包括主成分分析(Principal Component Analysis，PCA)、局部保持投影(Locality PreservingProjection，LPP)、線性判別分析(Linear Discriminant Analysis，LDA)和多維尺度變換(Multidimensional Scaling，MDS)等。而近年來才被廣泛研究的非線性特征提取方法主要包括拉普拉斯特征映射(LaplacianEigenmaps，LE)、局部線性嵌入(Locally LinearEmbedding，LLE)、等距映射(Isometric Mapping，ISOMAP)等。由于特征提取是將原數據通過線性或非線性變換得到較少數量的新特征，會導致提取的這些新特征與樣本類別之間的關系很難解釋，這會給人們的判斷和理解帶來一定程度的影響。

與之不同的特征選擇方法，是根據某種評判標準從原始高維數據中選擇數量少且最優的特征子集，對模式識別領域中的數據預處理有著廣泛的應用。通過特征選擇一組與樣本類別相關性強、特征彼此間相關性弱的特征子集用于構建模型是非常重要的，從而達到降低特征維數，提高模型精確度，減少運行時間，提高數據存儲和處理效率的目的。此外，選取出真正相關的特征簡化模型，將有利于協助理解數據產生的過程，因此，在解決高維數據的機器學習問題上特征選擇扮演一個舉足輕重的角色。經典的特征選擇方法主要包括：拉普拉斯得分(LaplacianScore，LS)、Fisher得分(Fisher Score，FS)、ReliefF、互信息等。特征選擇去掉了無關緊要的特征，保留了選擇的具有代表性特征的原始信息，這有助于提高機器學習算法效率。

此外，特征選擇已成功應用在不同領域中，如基因工程、計算機視覺、生物特征識別和無機化學等。眾所周知，隨著大數據的不斷涌現，數據的規模呈現爆炸式增長，也給研究人員提供了機遇和前所未有的挑戰。