[發(fā)明專利]一種基于稀疏正交神經(jīng)網(wǎng)絡(luò)的圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910454323.0
• 申請(qǐng)日: 2019-05-29
• 公開（公告）號(hào): CN110288002B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 沈項(xiàng)軍;袁旭
• 申請(qǐng)（專利權(quán)）人: 江蘇大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/82;G06N3/082;G06N3/084
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開了一種基于稀疏正交神經(jīng)網(wǎng)絡(luò)的圖像分類方法，將獲取圖像數(shù)據(jù)作為樣本集X和與之對(duì)應(yīng)的樣本標(biāo)簽集Y；先將樣本集X和標(biāo)簽集Y的訓(xùn)練集輸入稀疏正交神經(jīng)網(wǎng)絡(luò)模型，初始化代理變量V，根據(jù)正交權(quán)重Wsubgt;orth/subgt;和稀疏矩陣G獲得稀疏正交權(quán)重Wsubgt;orth_es/subgt;，再通過(guò)設(shè)定遍歷次數(shù)計(jì)算圖像樣本預(yù)測(cè)值跟真實(shí)值之間的損失Loss，反向傳播更新代理變量V后，直到輸出最優(yōu)的稀疏正交權(quán)重Wsubgt;orth_es/subgt;，從而獲得訓(xùn)練好的稀疏正交神經(jīng)網(wǎng)絡(luò)模型；再利用訓(xùn)練后的稀疏正交神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行處理輸出圖像的分類結(jié)果。本發(fā)明引入了稀疏矩陣，從而構(gòu)造出稀疏權(quán)重，再運(yùn)用稀疏權(quán)重實(shí)現(xiàn)網(wǎng)絡(luò)的剪枝，減少網(wǎng)絡(luò)中的參數(shù)使用，從而進(jìn)行了模型的壓縮，減少了計(jì)算機(jī)內(nèi)存的使用，降低了模型訓(xùn)練時(shí)計(jì)算機(jī)的計(jì)算量。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于稀疏正交神經(jīng)網(wǎng)絡(luò)的圖像分類方法。

背景技術(shù)

隨著時(shí)代的發(fā)展，圖像識(shí)別技術(shù)已經(jīng)逐漸應(yīng)用于越來(lái)越多的領(lǐng)域。深度學(xué)習(xí)中圖像識(shí)別的準(zhǔn)確率和可靠性也越來(lái)越高。一個(gè)最主要的因素就是它是由多層非線性變換組成，這些變換具有大量可學(xué)習(xí)的權(quán)重和參數(shù)。由于大量的參數(shù)，深度網(wǎng)絡(luò)需要使用大量的計(jì)算機(jī)內(nèi)存和計(jì)算量來(lái)進(jìn)行訓(xùn)練，并且如果訓(xùn)練數(shù)據(jù)不充分的話可能會(huì)導(dǎo)致過(guò)擬合的問(wèn)題?；谶@個(gè)問(wèn)題，很多研究者通過(guò)減少參數(shù)來(lái)實(shí)現(xiàn)模型的壓縮。

傳統(tǒng)的方法通過(guò)Dropout剪枝方法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝，實(shí)現(xiàn)了網(wǎng)絡(luò)參數(shù)的減少，但是因其隨機(jī)對(duì)神經(jīng)元進(jìn)行剪枝，但是傷害了網(wǎng)絡(luò)的訓(xùn)練效率，往往需要更多的訓(xùn)練次數(shù)來(lái)達(dá)到比較好的準(zhǔn)確率。

Batch?Normalization批歸一化技術(shù)的提出能夠有效的防止網(wǎng)絡(luò)的梯度爆炸和梯度消失的問(wèn)題。但是其在小數(shù)據(jù)量上不能夠發(fā)揮的很好。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類存在著以下一些問(wèn)題：

1.深度神經(jīng)網(wǎng)絡(luò)往往需要很多的參數(shù)進(jìn)行圖像的識(shí)別，圖像的訓(xùn)練和測(cè)試的代價(jià)過(guò)高。

2.深層的神經(jīng)網(wǎng)絡(luò)往往會(huì)帶來(lái)梯度消失和梯度爆炸的問(wèn)題，并且現(xiàn)有的處理技術(shù)還存在一定的缺陷。

發(fā)明內(nèi)容

本發(fā)明根據(jù)現(xiàn)有技術(shù)中存在的問(wèn)題，提出了一種基于稀疏正交神經(jīng)網(wǎng)絡(luò)的圖像分類方法，引入了稀疏矩陣，從而構(gòu)造出稀疏權(quán)重，再運(yùn)用稀疏權(quán)重實(shí)現(xiàn)網(wǎng)絡(luò)的剪枝，減少網(wǎng)絡(luò)中的參數(shù)使用，從而進(jìn)行了模型的壓縮，減少了計(jì)算機(jī)內(nèi)存的使用，降低了模型訓(xùn)練時(shí)計(jì)算機(jī)的計(jì)算量。

本發(fā)明所采用的技術(shù)方案如下：

一種基于稀疏正交神經(jīng)網(wǎng)絡(luò)的圖像分類方法，包括以下步驟：

步驟1，獲取圖像數(shù)據(jù)作為樣本集X和與之對(duì)應(yīng)的樣本標(biāo)簽集Y；

步驟2，先將樣本集X和標(biāo)簽集Y的訓(xùn)練集輸入稀疏正交神經(jīng)網(wǎng)絡(luò)模型，初始化代理變量V，根據(jù)正交權(quán)重W_orth和稀疏矩陣G獲得稀疏正交權(quán)重W_{orth_es}，再通過(guò)設(shè)定遍歷次數(shù)計(jì)算圖像樣本預(yù)測(cè)值跟真實(shí)值之間的損失Loss，反向傳播更新代理變量V后，直到輸出最優(yōu)的稀疏正交權(quán)重W_{orth_es}，從而獲得訓(xùn)練好的稀疏正交神經(jīng)網(wǎng)絡(luò)模型；

步驟3，再利用訓(xùn)練后的稀疏正交神經(jīng)網(wǎng)絡(luò)模型對(duì)測(cè)試集進(jìn)行處理輸出圖像的分類結(jié)果。

進(jìn)一步，所述初始化代理變量V的方法為：對(duì)V做一個(gè)中心化處理：其中，1_d是一個(gè)全都是1的d維向量；

進(jìn)一步，獲得正交權(quán)重W_orth的方法為：

先構(gòu)建正交模型：

min_ptr((W-Vc)(W-Vc)^T)

s.t.W＝PVc?and?WW^T＝I