[發(fā)明專利]一種基于超限學(xué)習(xí)機(jī)與稀疏表示分類的改進(jìn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201610018444.7
• 申請(qǐng)日: 2016-01-12
• 公開(kāi)（公告）號(hào): CN105701506B
• 公開(kāi)（公告）日: 2019-01-18
• 發(fā)明（設(shè)計(jì)）人: 曹九穩(wěn);郝嬌平;張凱;曾煥強(qiáng);賴曉平;趙雁飛
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 杜軍

1.一種基于超限學(xué)習(xí)機(jī)與稀疏表示分類的改進(jìn)方法，其特征在于包括如下步驟：

步驟1、隨機(jī)產(chǎn)生隱層節(jié)點(diǎn)參數(shù)(w_i,b_i),i＝1,2,…,L，其中w_i是連接第i個(gè)隱層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重，b_i是第i個(gè)隱層節(jié)點(diǎn)的偏差，L是隱層節(jié)點(diǎn)個(gè)數(shù)；

步驟2、計(jì)算出隱層節(jié)點(diǎn)輸出矩陣H(w₁,…w_L,x₁,…,x_N,b₁,…b_i,…,b_L)，且

其中w是連接隱層節(jié)點(diǎn)和輸入神經(jīng)元的輸入權(quán)重，x₁，…，x_N是訓(xùn)練樣本輸入，N是訓(xùn)練樣本個(gè)數(shù)，b_i是第i個(gè)隱層節(jié)點(diǎn)的偏差，g()表示激活函數(shù)；

步驟3、根據(jù)L和N的大小關(guān)系，分別采用不同的公式計(jì)算出連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)重

步驟4、計(jì)算出查詢圖片y的輸出向量

步驟5、對(duì)ELM輸出向量ο中的極大值ο_f和次大值ο_s的差值進(jìn)行判斷，并求出輸出向量中最大值對(duì)應(yīng)的索引即為查詢圖片所屬類別；

如果ELM輸出向量ο中的極大值ο_f和次大值ο_s的差值大于預(yù)先設(shè)定的閾值σ，即ο_f-ο_s＞σ，則直接采用超限學(xué)習(xí)機(jī)(ELM)已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，求出輸出向量中最大值對(duì)應(yīng)的索引即為查詢圖片所屬類別；

如果輸出向量中的極大值ο_f和次大值ο_s的差值小于我們預(yù)先設(shè)定的閾值，即ο_f-ο_s＜σ，則認(rèn)為圖片包含的噪聲較高，采用稀疏表示分類算法進(jìn)行分類；

所述的步驟3中，如果L和N的大小為L(zhǎng)＜＝N，即隱層節(jié)點(diǎn)個(gè)數(shù)小于等于樣本數(shù)，則為了提高計(jì)算效率，對(duì)隱層節(jié)點(diǎn)輸出矩陣進(jìn)行奇異值分解，具體的：

3-1.奇異值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是對(duì)角矩陣，d_i是矩陣H的第i個(gè)奇異值，則HH^T＝VD²V^T；其中U是n階酉矩陣，V是n階酉矩陣；并且UU^T＝U^TU＝I，VV^T＝V^TV＝I；

3-2.設(shè)定好調(diào)整參數(shù)λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范圍內(nèi),分別計(jì)算出正交投影矩陣HAT的每層分解矩HAT_r，HAT_r＝HV(D²+λ_nI)^-1V^TH^T，其中HAT＝HH⁺＝H(H^TH)^-1H^T；

3-3.在λ_i∈[λ_min,λ_max]范圍內(nèi)計(jì)算不同調(diào)整參數(shù)λ對(duì)應(yīng)的統(tǒng)計(jì)均方誤差，計(jì)算公式為：

其中t_j是期望的輸出，而ο_j是實(shí)際的輸出；

3-4.計(jì)算出的最小統(tǒng)計(jì)均方誤差對(duì)應(yīng)的λ，即λ_opt；此時(shí)能夠取得較好的泛化性能，并且也能夠最大化分類邊界；

3-5.計(jì)算出連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)重

所述的步驟3中，如果L和N的大小為L(zhǎng)＞N，即隱層節(jié)點(diǎn)個(gè)數(shù)大于樣本數(shù)，則為了提高計(jì)算效率，對(duì)隱層節(jié)點(diǎn)輸出矩陣進(jìn)行奇異值分解，具體的：

3-6.奇異值分解H＝UDV^T，其中D＝diag{d₁,…d_i,…d_N}是對(duì)角矩陣，d_i是矩陣H的第i個(gè)奇異值，則HH^T＝UD²U^T，并且UU^T＝U^TU＝I，VV^T＝V^TV＝I；

3-7.設(shè)定好調(diào)整參數(shù)λ的上限λ_max和下限λ_min，在λ_i∈[λ_min,λ_max]范圍內(nèi),分別計(jì)算出正交投影矩陣HAT的每層分解矩HAT_r＝HH^TU(D²+λ_iI)^-1U^T，其中HAT＝HH⁺＝H(H^TH)^-1H^T；

3-8.在λ_i∈[λ_min,λ_max]范圍內(nèi),計(jì)算不同調(diào)整參數(shù)λ對(duì)應(yīng)的統(tǒng)計(jì)均方誤差計(jì)算公式為：

其中t_j是期望的輸出，而ο_j是實(shí)際的輸出；

3-9.計(jì)算出的最小統(tǒng)計(jì)均方誤差對(duì)應(yīng)的λ，即λ_opt；此時(shí)能夠取得較好的泛化性能，并且也能夠最大化分類邊界；

3-10.計(jì)算出連接隱層節(jié)點(diǎn)和輸出神經(jīng)元的輸出權(quán)重

2.如權(quán)利要求1所述的一種基于超限學(xué)習(xí)機(jī)與稀疏表示分類的改進(jìn)方法，其特征在于步驟5所述的稀疏表示分類算法首先利用輸出向量ο中前k個(gè)最大值建立自適應(yīng)子字典，然后重構(gòu)出訓(xùn)練樣本的稀疏表示系數(shù)，求出相應(yīng)的殘差，最后找出殘差中最小值對(duì)應(yīng)的索引即為圖片屬于的類別，具體的：

首先找出輸出向量ο中前k個(gè)最大值所對(duì)應(yīng)的類別，然后用輸出向量ο中前k個(gè)最大值對(duì)應(yīng)的向量建立自適應(yīng)子字典向量其中m(i)∈{1,2,...m}；

然后重構(gòu)稀疏表示系數(shù)，公式如下，其中τ是調(diào)整系數(shù)；

最后計(jì)算出相應(yīng)的殘差

其中A_d是第d類的訓(xùn)練樣本；是第d類樣本對(duì)應(yīng)的稀疏表示系數(shù)。