[發(fā)明專利]一種基于Fisher準則的嵌入流形回歸模型

有效

• 申請?zhí)枺?/td>: 201410745821.8
• 申請日: 2014-12-08
• 公開（公告）號: CN104462818B
• 公開（公告）日: 2017-10-10
• 發(fā)明（設計）人: 冀中;于云龍
• 申請（專利權）人: 天津大學
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 杜文茹

技術領域

本發(fā)明涉及一種嵌入流形回歸模型。特別是涉及一種利用標注信息和線性回歸模型，對傳統(tǒng)的流形學習和線性判別分析進行改進的基于Fisher準則的嵌入流形回歸模型。

背景技術

子空間學習和特征提取是機器視覺和模式識別領域的一個重要研究方向，當前普遍的方法是尋找一個映射矩陣將原始輸入空間中的特征轉換到低維的子空間中，傳統(tǒng)的方法有主成分分析(Principal component analysis,PCA),獨立成分分析(Independent component analysis，ICA)等未利用標簽信息的無監(jiān)督學習方法；以及線性判別分析(Linear discriminative analysis，LDA)等利用訓練樣本標簽信息的監(jiān)督學習方法，以及這些學習方法的核變種，這些方法大多使用歐式距離來衡量樣本之間的相似度，然而測地線距離能在宏觀層面上較真實地反映數(shù)據(jù)中所隱含的幾何結構，所以利用流形學習方法將原始樣本特征投影到流形空間往往可以得到更好的分類效果，當前利用流形學習的算法主要利用圖嵌入的方式對非線性的方法進行線性近似，如局部保持映射(Locality preserving projection,LPP)，局部嵌入分析(Locally Embedded Analysis,LEA),近鄰保持嵌入(Neighborhood Preserving Embedding,NPE)等，這些算法的基本思想是利用親和圖保持模型的局部流形結構，但這些方法只關注局部保持結構卻忽視了類別間的判別信息。

此外，線性回歸分類模型也可以用于特征提取。例如，Chai等應用線性回歸分類技術利用側臉的人臉樣本來預測其對應的正臉樣本；Naseem等基于同類的人臉圖像位于同一線性子空間的假設提出了用于人臉識別的線性回歸分類模型，通過最小二乘估計法得到回歸系數(shù)，并根據(jù)原始向量和映射向量之間的歐式距離來判斷類別的歸屬。Huang等提出了一種用于人臉識別的增強主成分回歸模型，這種方法可以解決線性回歸模型中多重共線性的問題。2013年，Huang等在線性回歸模型上嵌入線性判別分析的思想，提出了一種線性判別回歸分類模型，該方法利用最大化類間重構誤差和類內重構誤差的比值尋找一個最優(yōu)映射矩陣，通過最優(yōu)映射矩陣將原始樣本特征映射到子空間，在此子空間上利用線性回歸模型以實現(xiàn)更好的判別分類。

發(fā)明內容

本發(fā)明所要解決的技術問題是，提供一種基于Fisher準則的嵌入流形回歸模型，充分利用標簽信息，對屬于同類的樣本之間及屬于不同類的樣本之間分別構建一個親和圖以保持同類樣本之間的局部流形結構，同時切斷屬于不同類別相似度高的樣本之間的聯(lián)系，將原始空間的樣本映射到一個能夠保持局部流形結構并且具有判別能力的子空間。

本發(fā)明所采用的技術方案是：一種基于Fisher準則的嵌入流形回歸模型，包括如下步驟：

1)初始化，設有c個類共有M個訓練圖像樣本，每幅圖像樣本的大小為a×b，可以用矩陣來表示，其中m＝1,2,…,M，將每一個圖像矩陣轉換成列向量，用表示，D＝a×b，所以訓練樣本可以用矩陣x_m對應的類別標簽是l(x_m)∈{1,2,…,c}；

2)對訓練樣本進行預處理：將訓練樣本映射到主成分分析子空間。

3)建立相似矩陣，利用Fisher準則，將類內樣本和類間樣本分開處理，定義兩個都是M個節(jié)點的類內親和圖G_B和類間親和圖G_W，每個節(jié)點代表一個樣本，對于類內親和圖G_B，只考慮屬于同類的樣本數(shù)據(jù)對x_i，x_j，l(x_i)＝l(x_j)，i,j∈{1,…,M}；對于類間親和圖G_W，只考慮不同類別之間的樣本數(shù)據(jù)對x_i，x_j，l(x_i)≠l(x_j)；

4)計算嵌入子空間：定義D×d的映射矩陣W＝[ω₁…ω_d]，d是特征轉換后樣本的維數(shù)，通過求解矩陣的特征向量來尋找映射子空間，其中，為對應的前d個最大特征向量，是第j個樣本在第k類上的線性回歸映像；