[發明專利]基于線性判別分析與多元自適應樣條的數據分類方法

在審

• 申請號: 201910357895.7
• 申請日: 2019-04-30
• 公開（公告）號: CN110097117A
• 公開（公告）日: 2019-08-06
• 發明（設計）人: 李智慧;王帥;劉詠梅
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于線性判別分析與多元自適應樣條的數據分類方法，本發明是一種將降維與分類相結合的方法，首先通過線性判別分析方法確定最有效的分類特征，然后通過多元自適應回歸樣條(Multivariate adaptive regression splines,MARS)實現輸入變量區間分割，將非線性分類轉為線性分類問題，最后通過感知機實現分類，本發明實現了多輸出分段線性分類，通過多元自適應回歸樣條的方式實現遞歸分割，通過感知機方式實現線性分類使得訓練集的分類誤差最小，預測時間在毫秒級以下，該算法有快速準確的特點。

技術領域

本發明涉及一種數據分類方法，特別是一種基于線性判別分析與多元自適應樣條的數據分類方法，屬于機器學習中的數據降維與分類領域。

背景技術

機器學習中的數據降維與分類技術是人工智能的核心技術，有廣泛的應用。傳統的分類算法中，支持向量機(Support Vector Machine,SVM)、決策樹(隨機森林)和深度學習有最好的分類效果。支持向量機與決策樹需要提取特征，其分類性能取決于特征的有效性，支持向量機利用內積核函數代替向高維空間的非線性映射，但它對大規模訓練樣本難以實施，當樣本很大時，對數據的計算將耗費大量的內存和時間，并且對核函數的求解還沒有找到合適的方法。決策樹適合高維數據，計算量相對較小，且容易轉化成分類規則，但對于各類樣本數量不一致的數據，信息增益偏向于那些更多數值的特征，很容易過擬合，忽略屬性之間的相關性。深度學習是目前性能最好的分類器，它讓計算機自動學習出模式特征，并將特征學習融入到了建立模型的過程中，從而減少了人為設計特征造成的不完備性，但深度學習不能夠對數據的規律進行無偏差的估計，為了達到更好的精度，需要大量的訓練樣本和極大的硬件支持。

發明內容

針對上述現有技術，本發明要解決的技術問題是提供一種將降維與分類相結合的、快速準確的基于線性判別分析與多元自適應樣條的數據分類方法。

為解決上述技術問題，本發明一種基于線性判別分析與多元自適應樣條的分類方法，包括以下步驟：

步驟一：對訓練樣本集中的待分類的M維向量x_o進行線性判別分析，得到降維后的向量x，設置降維后的維數為d，具體為：

步驟1：計算類內散度矩陣S_w：

其中，μ_j為第j類樣本的均值向量，μ為所有樣本的均值向量，k為類別數，X_j為第j類樣本集；

步驟2：計算類間散度矩陣S_b：

其中，N_j(j＝1,2,…,k)為第j類樣本的個數；

步驟3：計算矩陣S_w^-1S_b；

步驟4：通過矩陣相似對角化計算S_w^-1S_b的最大的d個特征值和對應的d個特征向量(w₁,w₂,…,w_d)，得到投影矩陣W，W＝[w₁,w₂,…,w_d]，W為M行d列矩陣；

步驟5：對訓練樣本集中的每一個樣本特征x_o，轉化新的樣本x＝W^Tx_o，x即為降成d維的向量；