[發(fā)明專利]面向嵌入式網(wǎng)絡(luò)模型的剪枝方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811570293.1
• 申請(qǐng)日: 2018-12-21
• 公開（公告）號(hào): CN109754080A
• 公開（公告）日: 2019-05-14
• 發(fā)明（設(shè)計(jì)）人: 袁媛;王琦;華路路
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 王鮮凱

本發(fā)明公開了一種面向嵌入式網(wǎng)絡(luò)模型的剪枝方法，用于解決現(xiàn)有剪枝方法實(shí)用性差的技術(shù)問題。技術(shù)方案是首先建立mobilenetSSD網(wǎng)絡(luò)模型，進(jìn)行一次前向運(yùn)算，獲得剪枝計(jì)算所需數(shù)據(jù)；通過lasso回歸挑選出那些對(duì)卷積層計(jì)算結(jié)果不重要的通道，通過lasso算法挑選出這些通道中對(duì)求和結(jié)果影響較低的通道；Mobilenet把原來一層卷積分解為一個(gè)通道分離卷積層和一個(gè)點(diǎn)卷積層，通道分離卷積層的輸入通道等于其輸出通道。本發(fā)明以降低重構(gòu)誤差為核心，使用lasso挑出所有卷積層中出不重要的通道，然后依照mobilenet的特殊結(jié)構(gòu)，對(duì)所有的卷積層做通道上的修剪，完成mobilenetSSD的壓縮加速，實(shí)用性好。

技術(shù)領(lǐng)域

本發(fā)明涉及一種剪枝方法，特別涉及一種面向嵌入式網(wǎng)絡(luò)模型的剪枝方法。

背景技術(shù)

隨著人工智能領(lǐng)域中深度卷積網(wǎng)絡(luò)模型的發(fā)展，大型網(wǎng)絡(luò)模型的性能越來越高，然而在部署到一些嵌入式設(shè)備上時(shí)，限于有限的計(jì)算資源，其運(yùn)行速度過慢。

對(duì)于神經(jīng)網(wǎng)絡(luò)模型的加速壓縮方法來說，其關(guān)鍵是使用算法來挑出網(wǎng)絡(luò)中那些不重要的節(jié)點(diǎn)，然后刪除這些冗余節(jié)點(diǎn)來完成網(wǎng)絡(luò)模型的壓縮加速。Yang等人在文獻(xiàn)“Designing energyefficient convolutional neural networks using energy-awarepruning.arXiv preprint arXiv:1611.05128,2016.”中基于參數(shù)值的方法進(jìn)行剪枝，把網(wǎng)絡(luò)中那些參數(shù)數(shù)值比較低的節(jié)點(diǎn)剪去，對(duì)模型的影響較低，又可以加快網(wǎng)絡(luò)運(yùn)行速度。但是這種基于閾值的方法剪枝效果過于依賴具體的網(wǎng)絡(luò)模型，當(dāng)模型復(fù)雜時(shí)無法做到有效的優(yōu)化。

Mobilenet是Howard等在“MobileNets:Efficient Convolutional NeuralNetworks forMobile Vision Applications.arXiv preprint arXiv:1704.04861,2017”中提出的一種面向嵌入式設(shè)備提出的輕量級(jí)網(wǎng)絡(luò)，然而在做目標(biāo)檢測(cè)任務(wù)時(shí)，MobilenetSSD在大部分嵌入式設(shè)備上速度還很低，不能達(dá)到實(shí)際應(yīng)用需求，這對(duì)深度網(wǎng)絡(luò)模型的實(shí)用性有著很大影響。

發(fā)明內(nèi)容

為了克服現(xiàn)有剪枝方法實(shí)用性差的不足，本發(fā)明提供一種面向嵌入式網(wǎng)絡(luò)模型的剪枝方法。該方法首先建立mobilenetSSD網(wǎng)絡(luò)模型，進(jìn)行一次前向運(yùn)算，獲得剪枝計(jì)算所需數(shù)據(jù)；通過lasso回歸挑選出那些對(duì)卷積層計(jì)算結(jié)果不重要的通道，卷積計(jì)算是所有通道對(duì)應(yīng)相乘再求和，通過lasso算法挑選出這些通道中對(duì)求和結(jié)果影響較低的通道；Mobilenet把原來一層卷積分解為一個(gè)通道分離卷積層和一個(gè)點(diǎn)卷積層，通道分離卷積層的輸入通道等于其輸出通道。本發(fā)明以降低重構(gòu)誤差為核心，使用lasso挑出所有卷積層中出那些不重要的通道，然后依照mobilenet的特殊結(jié)構(gòu)，對(duì)所有的卷積層做通道上的修剪，完成mobilenetSSD的壓縮加速，實(shí)用性好。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案：一種面向嵌入式網(wǎng)絡(luò)模型的剪枝方法，其特點(diǎn)是包括以下步驟：

步驟一、將駕駛員的狀態(tài)分為左看、右看、低頭、閉眼、打電話、打哈欠和正常駕駛七個(gè)狀態(tài)。先對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，然后修改mobilenetSSD，使其輸出七個(gè)狀態(tài)，基于模型在imagenet數(shù)據(jù)集上訓(xùn)練好的模型，在新任務(wù)上進(jìn)行微調(diào)訓(xùn)練，得到能夠檢測(cè)駕駛狀態(tài)的新模型。

步驟二、建立網(wǎng)絡(luò)模型，進(jìn)行一次前向運(yùn)算，得到網(wǎng)絡(luò)中所有卷積層的數(shù)據(jù)和參數(shù)；對(duì)所有點(diǎn)卷積層做剪枝操作如下：對(duì)一卷積層，先取出該層的卷積核參數(shù)矩陣W，形狀為n×c×h×w，分別指卷積核的個(gè)數(shù)，卷積核的通道數(shù)，卷積核的寬和卷積核的高。然后拿到這個(gè)卷積層中輸入數(shù)據(jù)，進(jìn)行采樣得到X，形狀為N×c×h×w，N指數(shù)據(jù)的采樣個(gè)數(shù)。

步驟三、直接采樣或計(jì)算得到該卷積層的輸出Y，計(jì)算輸出即把輸入X和參數(shù)W對(duì)應(yīng)通道相乘，所有通道求和得到Y(jié)，其形狀為N×n。忽略參數(shù)中的偏置項(xiàng)，其中i指特征通道。