[發(fā)明專利]一種基于增量學(xué)習(xí)的魯棒非負(fù)矩陣分解方法

有效

• 申請?zhí)枺?/td>: 201810166689.3
• 申請日: 2018-02-28
• 公開（公告）號: CN108268872B
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計）人: 曹宗杰;曹昌杰;崔宗勇;閔銳;皮亦鳴
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 成都點睛專利代理事務(wù)所(普通合伙) 51232
• 代理人: 孫一峰

1.一種基于增量學(xué)習(xí)的魯棒非負(fù)矩陣分解方法，其特征在于，包括以下步驟：

步驟1、對現(xiàn)有的圖像樣本訓(xùn)練數(shù)據(jù)進行RNMF初始化，得到初始的投影矩陣W、編碼矩陣H以及對角元素矩陣D；具體為：

在RNMF中，對于一個樣本矩陣V∈R^m×n，每一列代表一個具有m個像素點的訓(xùn)練樣本，共計n個訓(xùn)練樣本，將其分解為基矩陣W∈R^m×r、編碼矩陣H∈R^r×n，并得到對角元素矩陣D∈R^r×r，即：

V_mn＝W_mrH_rn

D＝diag(D₁₁,...,D_ii,...,D_rr)

其中W≥0_,H≥0,r代表降維后的維度，D_ii為對角元素矩陣的對角元素，即：

RNMF的目標(biāo)函數(shù)定義為：

||·||_2，1代表一種新定義的2-1范數(shù)形式，采用梯度下降法，得到RNMF迭代規(guī)則為：

其中，i＝1,…,m,j＝1,…,n；

按迭代式所示，迭代至收斂即得到初始的投影矩陣的每一個元素W_mr、編碼矩陣的每一個元素H_rm，從而計算得出對角元素矩陣D；

步驟2、當(dāng)新的訓(xùn)練樣本加入模型訓(xùn)練時，通過新樣本信息實現(xiàn)增量學(xué)習(xí)的魯棒非負(fù)矩陣分解算法的計算，完成對編碼矩陣H的局部更新、對角矩陣D的局部更新以及投影矩陣W的全局更新以實現(xiàn)增量學(xué)習(xí)；

當(dāng)新加入一個訓(xùn)練樣本v_k+1，即訓(xùn)練樣本數(shù)目為k+1時，其代價函數(shù)為：

可知：

其中，F(xiàn)_k+1代表k+1個訓(xùn)練樣本的代價函數(shù)，W_k+1代表k+1個訓(xùn)練樣本的投影矩陣，H_k+1代表k+1個訓(xùn)練樣本的編碼矩陣，h_k+1為H的第k+1列，代表編碼矩陣中的新增樣本，v_k+1為V的第k+1列，代表新增訓(xùn)練樣本，f_k+1為增量部分的代價函數(shù)；

采用梯度下降法，首先求解編碼矩陣新增樣本h_k+1，其每一個元素(h_k+1)_α的迭代規(guī)則為：

其中，步長μ_α選擇如下：

迭代至收斂即得到新的編碼矩陣H_k+1，完成H對單樣本的局部更新；

隨后，實現(xiàn)對對角矩陣最后一個對角元素d_k+1的更新：

令D_k+1,k+1＝d_k+1，從而完成對角矩陣D_k+1對單樣本的局部更新；

得到新的投影矩陣每一個元素(W_k+1)_iα的迭代規(guī)則為：

其中，新的投影矩陣每一個元素(W_k+1)_iα梯度下降所選用的步長為：

迭代至收斂即得到新的投影矩陣W_k+1，完成W對單樣本的更新；

步驟3、投影矩陣W更新完成后，進行訓(xùn)練樣本和待識別樣本在特征空間中的投影；

將所有訓(xùn)練樣本重新投影：

V′_train＝(W^TW)^-1W^TV_train

其中，V′_train∈R^r×n為訓(xùn)練樣本矩陣V_train∈R^m×n在特征空間W的投影；

對待識別樣本進行投影：

h′_test＝(W^TW)^-1W^Th_test

其中，h′_test∈R^r為識別樣本向量h_test∈R^m在特征空間W的投影；

步驟4、特征提取之后進行分類識別，對訓(xùn)練樣本的特征V‘_train進行訓(xùn)練，對待識別樣本h‘_test進行分類識別。

2.如權(quán)利要求1所述一種基于增量學(xué)習(xí)的魯棒非負(fù)矩陣分解方法，其特征在于：所述步驟2在每個新樣本更新結(jié)束后，除了需要保存當(dāng)前迭代結(jié)果h_k+1、d_k+1、W_k+1外，還需要儲存歷史信息供下次更新使用：