[發明專利]采用最小最大概率機的分離概率的有監督線性降維方法

在審

• 申請號: 201810371801.7
• 申請日: 2018-04-24
• 公開（公告）號: CN108845974A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 宋士吉;鞏延上;張玉利;黃高
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/15
• 分類號: G06F17/15
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 廖元秋

1.一種采用最小最大概率機的分離概率的有監督線性降維方法，其特征在于，該方法包括以下步驟：

1)建立采用最小最大概率機的分離概率的有監督線性降維DR-MPM模型；

令模型的輸入為樣本集樣本集中第i個個樣本x_i對應的類別標簽記為c_i，＝1，2，...，n，樣本集的類別總數為K，模型的輸出為投影矩陣w_i為構成投影矩陣的第i個投影向量；其中，n為輸入的樣本集中的樣本序號，d為樣本原始維數，p為目標維數，p<d，R表示實數集；

2)對p的取值進行判定：若p＝1，則為單一投影向量目標，進入步驟3)；若p＞1，則為多個投影向量目標，進入步驟4)；

3)單一投影向量目標下的降維方法；具體步驟如下：

3-1)確定單一投影向量目標下DR-MPM模型的目標函數；

當p＝1時，投影矩陣W變為一個投影向量記為w；則DR-MPM模型為一個無約束的最大化最優問題，模型的目標函數如式(1)所示：

其中，

式中，為第i類樣本的集合，為第k類樣本的集合，1≤k≤K，∑_ij為第i類樣本和第j類樣本的類間離散度，∑_i為第i類樣本的類內離散度，為第k類樣本的均值；

3-2)對DR-MPM模型求解；

將目標函數式(1)等價為最小化以下目標函數：

式(5)所示的目標函數為一個無約束的最小化非凸問題，采用共軛梯度法對式(5)進行優化求解，具體步驟如下：

3-2-1)設定迭代序號t＝0，允許誤差ε＞0，將投影向量w初始化為一個隨機的d×1向量w⁽⁰⁾；

3-2-2)計算目標函數式(5)在w^(t)上的導數：

其中，

則共軛方向計算如下：

其中，

3-2-3)更新投影向量w；

w^(t+1)＝w^(t)+α^(t)d^(k) (10)

其中，α^(t)由線性搜索得到，使得f(w^(t)+α^(t)d^(t)＝min_αf(w^(t)+αd^(t))；

3-2-4)判定：若達到收斂條件，即||d^(t)||＜ε或‖w^(t+1)-w^(t)‖＜ε時，則迭代終止，得到DR-MPM模型的最優解為w^*＝w^(t+1)，降維完畢；否則，設定t：＝t+1，重新返回至步驟3-2-2),繼續迭代；

4)多個投影向量目標下的降維方法；具體步驟如下：

4-1)確定多個投影向量目標下DR-MPM模型的目標函數；

當p>1時，構成投影矩陣的每一個投影向量的目標函數與式(1)相同；對于該投影矩陣，增加約束：W^TS_tW＝I，即：

其中S_t＝S_w+S_b，且：

其中，對于投影矩陣中第一個投影向量，即投影矩陣的第一列，通過重復步驟3)計算單一投影向量目標下模型的最優解進行獲取，然后，利用求解得到第一個投影向量，求得下一個新的投影向量；當已經求解前r個投影向量w₁，w₂，...，w_r之后，r<p，第r+1個投影向量w_r+1存在于由矩陣的列向量線性擴張的子空間中，即：

其中，

W_r＝(w₁，w₂，…，W_r)

因此，存在一個向量v_r，滿足：

w_r+1＝A_rv_r (14)

將式(14)帶入到目標函數式(1)中，得到無約束優化問題如式(15)所示：

其中，

對式(15)求解，得到w_r+1；

對w_r+1進行歸一化：

則由前r個投影向量求得了第r+1個投影向量；

令W_r+1＝(W_r，w_r+1)，繼續迭代，直至得到所有p個投影向量，則最終求解得到的投影矩陣為：

W^*＝W_p

降維完畢。