[發明專利]一種基于正交回歸和特征加權的有監督特征選擇方法

在審

• 申請號: 201910831014.0
• 申請日: 2019-09-02
• 公開（公告）號: CN110533114A
• 公開（公告）日: 2019-12-03
• 發明（設計）人: 鄔霞;徐雪遠;魏馥琳
• 申請（專利權）人: 北京師范大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 11463 北京超凡宏宇專利代理事務所(特殊普通合伙)
• 代理人: 安衛靜<國際申請>=<國際公布>=<進入

本申請提供一種基于正交回歸和特征加權的有監督特征選擇方法，該方法通過加入特征加權參數來表達每個特征的重要性，提供了特征選擇的有效指標信息，以挑選出最優特征子集。該方法包括：根據獲得的特征矩陣和與特征矩陣對應的標簽數據構建第一算法模型；對第一算法模型求偏差向量的偏導，獲得偏差向量；將偏差向量代入第一算法模型計算，獲得第二算法模型；交替固定正交回歸矩陣以及固定權重對角矩陣，對第二算法模型進行迭代運算，確定迭代運算后的第二算法模型；根據迭代運算后的第二算法模型的權重對角矩陣確定冗余特征；根據冗余特征從特征矩陣中選擇出有效的特征數據。

技術領域

本申請涉及機器學習和數據挖掘的技術領域，具體而言，涉及一種基于正交回歸和特征加權的有監督特征選擇方法。

背景技術

特征選擇(Feature Selection)，也稱特征子集選擇(Feature SubsetSelection，FSS)，或屬性選擇(Attribute Selection)；特征選擇是指從已有的M個特征中選擇N個特征使得系統的特定指標最優化，是從原始特征中選擇出一些最有效特征以降低數據集維度的過程；特征選擇是一種從原始特征數據中剔除不相關或冗余特征，獲取最優子集的算法，為特征數據的降維處理提供一種解決方案。特征選擇方法也可以看作挑選不相關特征和冗余特征的過程，其實質是從特征數據中將不相關特征及冗余特征去除的過程，從而防止過擬合，提高任務的識別結果和降低模型的時間代價。

最小二乘法，又稱最小平方法，是指通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。

現有技術中，帶有正交約束的最小二乘回歸模型是一種正交回歸模型，帶有正交約束條件的回歸模型本身是一個非均衡普羅克拉斯提斯(Procrustes)的問題，在具體的實踐中發現，上述模型僅考慮了特征選擇得到的特征子集影響后續分類器模型的分類性能，不能表征每種特征對于分類器模型的分類性能的單獨作用，使用上述帶有正交約束的最小二乘回歸模型無法表達每個特征的重要性。

發明內容

為了改善上述問題，本申請實施例提供了一種基于正交回歸和特征加權的有監督特征選擇方法，在傳統正交最小二乘回歸模型的基礎上，引入了新的特征權重參數，并重新構建基于正交回歸和特征加權的特征選擇算法模型，為特征選擇提供有效的指標信息，更清晰的表達每個特征的重要性，去除不相關特征數據和冗余特征數據，從而挑選出最優特征子集，減小特征維度，用于降低機器學習任務的難度，減少時間開銷和內存開銷，以較少的特征數據獲得較高的分類性能。

本申請實施例提供了一種基于正交回歸和特征加權的有監督特征選擇方法，包括：根據獲得的特征矩陣和與所述特征矩陣對應的標簽數據構建第一算法模型，所述第一算法模型包括偏差向量；對所述第一算法模型求所述偏差向量的偏導，獲得所述偏差向量；將所述偏差向量代入所述第一算法模型計算，獲得第二算法模型，所述第二算法模型包括：正交回歸矩陣和權重對角矩陣；交替固定所述正交回歸矩陣以及固定所述權重對角矩陣，對所述第二算法模型進行迭代運算，確定迭代運算后的第二算法模型；根據所述迭代運算后的第二算法模型的權重對角矩陣確定冗余特征；根據所述冗余特征從所述特征矩陣中選擇出特征數據。在上述的實現過程中，通過構造有監督學習的目標函數，在正交最小二乘回歸模型的基礎上重構了特征選擇模型，并引入特征加權參數表示特征權重對特征矩陣進行迭代運算，從而有效地表達了每個特征的重要性，提供了特征選擇的有效指標信息，以挑選出最優特征子集，減小特征維度，使用較少的特征數據獲得較高的分類性能。