[發(fā)明專利]一種基于移動(dòng)終端的圖像分類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811119618.4
• 申請(qǐng)日: 2018-09-25
• 公開（公告）號(hào): CN109344893B
• 公開（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 陳靚影;徐如意;饒川;劉樂元;張坤;彭世新;劉小迪
• 申請(qǐng)（專利權(quán)）人: 華中師范大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 方可

本發(fā)明公開了一種基于移動(dòng)終端的圖像分類方法，采用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類器，利用分類器對(duì)圖像進(jìn)行分類。訓(xùn)練中將深度神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重量化為2的指數(shù)，能有效提高嵌入式系統(tǒng)的移位操作運(yùn)算，同時(shí)對(duì)量化碼本進(jìn)行動(dòng)態(tài)更新，能有效減小量化誤差，提升模型的預(yù)測(cè)性能及在移動(dòng)狀態(tài)上的運(yùn)算效率。本發(fā)明還提供了實(shí)現(xiàn)上述方法的系統(tǒng)。本發(fā)明對(duì)深度神經(jīng)網(wǎng)絡(luò)的壓縮效果明顯，可以減小大型深度神經(jīng)網(wǎng)絡(luò)模型在存儲(chǔ)資源和計(jì)算資源上的消耗，促進(jìn)了深度神經(jīng)網(wǎng)絡(luò)在智能手機(jī)等資源受限移動(dòng)終端上的部署，具有極強(qiáng)的現(xiàn)實(shí)應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理與模式識(shí)別領(lǐng)域，具體涉及一種基于移動(dòng)終端的圖像分類方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，智能手機(jī)中高像素拍照功能的實(shí)現(xiàn)以及移動(dòng)通訊網(wǎng)絡(luò)的普遍覆蓋，使得大量的圖像信息涌入我們的生活。因此，如何在智能手機(jī)等移動(dòng)終端上將海量的圖像數(shù)據(jù)中區(qū)分為不同的類別是迫切需要解決的技術(shù)難題。

近年來深度神經(jīng)網(wǎng)絡(luò)從眾多機(jī)器學(xué)習(xí)方法中脫穎而出，使圖像分類的性能取得顯著的突破，從而引起了廣泛的關(guān)注。為了得到更好的特征，提升神經(jīng)網(wǎng)絡(luò)的性能，往往會(huì)構(gòu)建很深的多層網(wǎng)絡(luò)結(jié)構(gòu)。這導(dǎo)致了深度神經(jīng)網(wǎng)絡(luò)具有數(shù)以百萬計(jì)的參數(shù)量，需要消耗大量的計(jì)算和存儲(chǔ)資源。而這給深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到智能手機(jī)等移動(dòng)終端帶來了巨大的困難。

為了將深度神經(jīng)網(wǎng)絡(luò)部署到智能手機(jī)等嵌入式設(shè)備上，目前常用的方法是對(duì)深度模型進(jìn)行壓縮，在保證分類性能的同時(shí)盡可能減少深度模型所需要的存儲(chǔ)空間。目前，該領(lǐng)域已展開諸多研究，但依舊存在壓縮網(wǎng)絡(luò)訓(xùn)練難以收斂、分類精度低以及在移動(dòng)終端運(yùn)算效率低等問題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的問題和改進(jìn)需求，本發(fā)明提出了一種基于移動(dòng)終端的圖像分類方法及系統(tǒng)，將深度神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重量化為 2的指數(shù)，能有效提高嵌入式系統(tǒng)的移位操作運(yùn)算。不同于現(xiàn)有的采用靜態(tài)量化編碼的方法，本發(fā)明提出的方法在模型訓(xùn)練過程中同時(shí)對(duì)量化碼本進(jìn)行動(dòng)態(tài)更新，能有效減小量化誤差，提升模型的預(yù)測(cè)性能及在移動(dòng)狀態(tài)上的運(yùn)算效率。

一種基于移動(dòng)終端的圖像分類方法，包括離線訓(xùn)練階段和在線分類階段：

所述離線訓(xùn)練階段具體為：

S1制定碼本：

采用深度神經(jīng)網(wǎng)絡(luò)模型，獲取深度神經(jīng)網(wǎng)絡(luò)模型的每層中權(quán)重絕對(duì)值最大值，并將其量化為底數(shù)為2的指數(shù)形式，從而得到碼本的量化上限；在量化上限限定下，確定當(dāng)前模型量化的碼本；

S2量化權(quán)重：

對(duì)深度神經(jīng)網(wǎng)絡(luò)模型中的權(quán)重進(jìn)行指數(shù)量化，將權(quán)重量化為最接近碼本的值；

S3網(wǎng)絡(luò)模型重訓(xùn)練：

輸入樣本圖像，對(duì)量化的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在訓(xùn)練的前向過程中得到深度網(wǎng)絡(luò)的交叉熵?fù)p失，在反向過程中根據(jù)交叉熵?fù)p失更新網(wǎng)絡(luò)中的權(quán)重參數(shù)。

S4迭代與終止：

迭代執(zhí)行步驟S2和S3，直到深度神經(jīng)網(wǎng)絡(luò)模型收斂或者達(dá)到設(shè)置的訓(xùn)練次數(shù)，則終止迭代，得到最終分類器；

所述在線分類階段具體為：將待分類圖像送入分類器，得到分類結(jié)果。

進(jìn)一步地，所述碼本的量化上限表示為：其由 n₂＝floor(log₂(max(|W_l|)))，floor(·)為向下取整操作，w_l為深度神經(jīng)網(wǎng)絡(luò)的第l層權(quán)重，max()表示求最大值，| |表示取絕對(duì)值。