[發(fā)明專利]一種裁剪神經(jīng)網(wǎng)絡(luò)模型的方法和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910815213.2
• 申請日: 2019-08-30
• 公開（公告）號: CN110516797A
• 公開（公告）日: 2019-11-29
• 發(fā)明（設(shè)計(jì)）人: 舒紅喬;王奇剛;李遠(yuǎn)輝;楊安榮;鄧建林
• 申請（專利權(quán)）人: 聯(lián)想(北京)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F17/16
• 代理公司: 11227 北京集佳知識產(chǎn)權(quán)代理有限公司
• 代理人: 趙煥<國際申請>=<國際公布>=<進(jìn)入國

本申請?zhí)峁┝艘环N裁剪神經(jīng)網(wǎng)絡(luò)模型的方法，包括：依據(jù)預(yù)設(shè)裁剪參數(shù)，分析得到待裁剪神經(jīng)網(wǎng)絡(luò)模型中待裁剪層；依次選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中至少一個(gè)待裁剪層，基于所述待裁剪層中特征圖的奇異值對所述待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪后的神經(jīng)網(wǎng)絡(luò)模型。本方案中，基于神經(jīng)網(wǎng)絡(luò)模型中待裁剪層中特征圖的奇異值與其所含的特征圖進(jìn)行篩選裁剪，在保證了神經(jīng)網(wǎng)絡(luò)模型的處理準(zhǔn)確度的前提下，簡化了神經(jīng)網(wǎng)絡(luò)模型。

技術(shù)領(lǐng)域

本申請涉及電子設(shè)備領(lǐng)域，更具體的說，是涉及一種裁剪神經(jīng)網(wǎng)絡(luò)模型的方法和電子設(shè)備。

背景技術(shù)

“邊緣智能”作為人工智能落實(shí)到真實(shí)生活的最后一里路，需在終端設(shè)備上運(yùn)行復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)模型。

而隨著人工智能領(lǐng)域?qū)C(jī)器智能化需求的提高，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)得愈加復(fù)雜，所需的計(jì)算量和存儲(chǔ)空間也隨之大大增加，但處于邊緣的便攜設(shè)備(如移動(dòng)手機(jī)的FaceID(刷臉認(rèn)證)、無人機(jī)、去中心化自動(dòng)駕駛系統(tǒng)等)的計(jì)算和存儲(chǔ)等資源有限，這使得深度神經(jīng)網(wǎng)絡(luò)難以在邊緣設(shè)備上的高效的部署。因此需對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行壓縮裁剪以完成輕量級部署。

所以，亟需一種能夠?qū)ι窠?jīng)網(wǎng)絡(luò)模型進(jìn)行裁剪的方法。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┝艘环N裁剪神經(jīng)網(wǎng)絡(luò)模型的方法，解決現(xiàn)有技術(shù)中邊緣設(shè)備的資源有限導(dǎo)致其不能支持神經(jīng)網(wǎng)絡(luò)模型部署的問題。

為實(shí)現(xiàn)上述目的，本申請?zhí)峁┤缦录夹g(shù)方案：

一種裁剪神經(jīng)網(wǎng)絡(luò)模型的方法，包括：

依據(jù)預(yù)設(shè)裁剪參數(shù)，分析得到待裁剪神經(jīng)網(wǎng)絡(luò)模型中待裁剪層；

依次選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中至少一個(gè)待裁剪層，基于所述待裁剪層中特征圖的奇異值對所述待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪后的神經(jīng)網(wǎng)絡(luò)模型。

優(yōu)選的，上述的方法，所述依次選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中至少一個(gè)待裁剪層，基于所述待裁剪層中特征圖的奇異值對所述待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪后的神經(jīng)網(wǎng)絡(luò)模型，包括：

選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中的第一待裁剪層；

將預(yù)設(shè)訓(xùn)練數(shù)據(jù)輸入所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中，基于所述第一待裁剪層中特征圖的奇異值對所述第一待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪完第一待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型；

判斷是否還有待裁剪層，如果否，將所述裁剪完第一待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型記為裁剪后的神經(jīng)網(wǎng)絡(luò)模型；

如果是，選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中的第二待裁剪層，所述第一待裁剪層相對于所述第二待裁剪層更靠近輸入層；

將預(yù)設(shè)訓(xùn)練數(shù)據(jù)輸入所述裁剪完第一待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型中，基于所述第二待裁剪層中特征圖的奇異值對所述第二待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪完第二待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型；

判斷是否還有待裁剪層，如果否，將所述裁剪完第二待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型記為裁剪后的神經(jīng)網(wǎng)絡(luò)模型；

如果是，選擇所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中的第三待裁剪層，并執(zhí)行將預(yù)設(shè)訓(xùn)練數(shù)據(jù)輸入所述裁剪完第二待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型中。

優(yōu)選的，上述的方法，所述將預(yù)設(shè)訓(xùn)練數(shù)據(jù)輸入所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中，基于所述第一待裁剪層中特征圖的奇異值對所述第一待裁剪層中的至少一個(gè)特征圖進(jìn)行裁剪，得到裁剪完第一待裁剪層后的神經(jīng)網(wǎng)絡(luò)模型，包括：

將預(yù)設(shè)訓(xùn)練數(shù)據(jù)輸入所述待裁剪神經(jīng)網(wǎng)絡(luò)模型中，計(jì)算訓(xùn)練數(shù)據(jù)經(jīng)過所述第一待裁剪層時(shí)的至少兩個(gè)特征圖的均值；

依據(jù)所述第一待裁剪層時(shí)的至少兩個(gè)特征圖的均值，分別對所述至少兩個(gè)特征圖進(jìn)行奇異值分解，并分別計(jì)算得到所述至少兩個(gè)特征圖奇異值的和；