[發明專利]基于線性判別分析與多元自適應樣條的數據分類方法

在審

• 申請號: 201910357895.7
• 申請日: 2019-04-30
• 公開（公告）號: CN110097117A
• 公開（公告）日: 2019-08-06
• 發明（設計）人: 李智慧;王帥;劉詠梅
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于線性判別分析與多元自適應樣條的數據分類方法，其特征在于，包括以下步驟：

步驟一：對訓練樣本集中的待分類的M維向量x_o進行線性判別分析，得到降維后的向量x，設置降維后的維數為d，具體為：

步驟1：計算類內散度矩陣S_w：

其中，μ_j為第j類樣本的均值向量，μ為所有樣本的均值向量，k為類別數，X_j為第j類樣本集；

步驟2：計算類間散度矩陣S_b：

其中，N_j(j＝1,2,…,k)為第j類樣本的個數；

步驟3：計算矩陣S_w^-1S_b；

步驟4：通過矩陣相似對角化計算S_w^-1S_b的最大的d個特征值和對應的d個特征向量(w₁,w₂,…,w_d)，得到投影矩陣W，W＝[w₁,w₂,…,w_d]，W為M行d列矩陣；

步驟5：對訓練樣本集中的每一個樣本特征x_o，轉化新的樣本x＝W^Tx_o，x即為降成d維的向量；

步驟二：把步驟一得到的x表示成多元自適應回歸樣條基函數B_m(x)的形式，對于x的第m維分量x_m，t_km是第k次直線分段的節點，s_km∈{-1,1}，[·]₊表示方括號中的向量只取大于0的部分，x_km是第k次線性分段后的x_m，{m,s_km,t_km}為B_m(x)的參數，具體為：

步驟1：將每個x值充當節點t_km構成的基函數加入當前基函數參數集basicFunctionList中，basicFunctionList中包括待分割的x的維數dim，節點t_km，對x的basicFunctionList{i}.dim維按照節點值basicFunctionList{i}.t_km劃分成兩個向量，其中一個向量為大于t_km的元素置零，另一個向量為小于t_km的元素置0，將上述兩個向量加入臨時基函數向量集basisTmp中，根據當前基函數建立臨時分類模型，計算當前模型的誤差；

步驟2：將誤差最小值對應的基函數向量加入到基函數向量集basisSet中；

步驟3：根據當前基函數集向量集basisSet建立分類模型；

步驟4：如果當前誤差小于誤差閾值，則退出迭代；basisSet即B_m(x)是用于分類的新的向量，原x由d維變成K_m維，整個B(x)的維數用K_M表示，對x來說，K_m個{m,s_km,t_km}即線性分段模型；

步驟三：得到的所有維的基函數B(x)作為分類器的輸入變量建立分類模型，通過感知機方法求解分類模型，具體為：

步驟1：令z＝B(x)，為z增加一維常數項取值為1，初始化c個K_M+1維向量v為全零矩陣；

步驟2：對每一類循環,在第i次循環中，選擇另一個類j，按e＝<v_i·z_i>-<v_j·z_j>對所有i類樣本z_i計算概率差值e：

在所有z_i中選擇e最小且為負值的樣本z_m，計算v_i＝v_i+z_m，v_j＝v_j-z_m當所有<v_i·z_i>＞<v_j·z_j>時，或迭代次數達到限制值時，退出迭代，得到的模型是(K_M+1)×c維矩陣，用V表示；

步驟四：對于待分類的測試集M維向量x₁，得到c維實數向量P_n，具體為：

步驟1：將測試集中待分類的向量x₁乘以步驟一中得到的投影矩陣W，得到新的樣本x₂＝W^Tx₁；取前d維形成降維后的樣本x₂；

步驟2：根據步驟二中模型參數中{m,s_km,t_km}對x₂中的每一維分量x_m進行分段，形成分段后的向量B(x₂)；

步驟3：令z的第一維為全1向量，第二維以后為B(x₂)，得到z'；

步驟4：按P_n＝Vz'計算出N個c維實數向量P_n；

步驟5：根據每個P_n的最大值得到其類號。