[發(fā)明專利]一種面向事件相機(jī)的神經(jīng)網(wǎng)絡(luò)模型壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011016049.8
• 申請(qǐng)日: 2020-09-24
• 公開（公告）號(hào): CN112215334A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 趙江;曾逸文;蔡志浩;王英勛;陳文軍
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 北京航智知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11668
• 代理人: 黃川;史繼穎

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)領(lǐng)域，特別涉及一種面向事件相機(jī)的神經(jīng)網(wǎng)絡(luò)模型壓縮方法，包括步驟：從事件相機(jī)獲取事件流數(shù)據(jù)，生成事件圖像，完成數(shù)據(jù)集制作；構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，并利用預(yù)訓(xùn)練模型初始化所述神經(jīng)網(wǎng)絡(luò)模型參數(shù)，之后利用數(shù)據(jù)集進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)；設(shè)置學(xué)習(xí)率，對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行稀疏訓(xùn)練；對(duì)經(jīng)過(guò)稀疏訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行通道剪枝和層剪枝；利用知識(shí)蒸餾方法，對(duì)經(jīng)過(guò)剪枝后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)；對(duì)經(jīng)過(guò)微調(diào)后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化訓(xùn)練，進(jìn)一步壓縮神經(jīng)網(wǎng)絡(luò)模型大小。本發(fā)明通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行剪枝和量化，降低模型的大小，提高了模型在嵌入式平臺(tái)上進(jìn)行目標(biāo)檢測(cè)的速度。

技術(shù)領(lǐng)域

本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)模型壓縮技術(shù)領(lǐng)域，特別涉及一種面向事件相機(jī)的神經(jīng)網(wǎng)絡(luò)模型壓縮方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)是一種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型。利用神經(jīng)網(wǎng)絡(luò)可以對(duì)圖片進(jìn)行目標(biāo)檢測(cè)，類似于人腦功能一樣，分辨出圖片中的物體是什么以及位于圖片的什么位置。

一些卷積神經(jīng)網(wǎng)絡(luò)在某些數(shù)據(jù)集上的表現(xiàn)甚至超過(guò)了人類的圖片分辨能力，就如同AlphaGo能夠戰(zhàn)勝人類一樣。但是效果好的卷積神經(jīng)網(wǎng)絡(luò)往往被設(shè)計(jì)的非常復(fù)雜、網(wǎng)絡(luò)模型占用的空間大，而且計(jì)算量很大。這些均不利于目標(biāo)檢測(cè)算法在計(jì)算資源有限的嵌入式設(shè)備(如無(wú)人機(jī)、手機(jī)、可穿戴設(shè)備等)中布置。

事件相機(jī)，是一種受生物啟發(fā)的視覺傳感器，輸出像素級(jí)亮度變化而不是標(biāo)準(zhǔn)強(qiáng)度幀。事件相機(jī)輸出結(jié)果是以微秒時(shí)間分辨率的事件流，相當(dāng)于以每秒數(shù)千幀的速度運(yùn)行的傳統(tǒng)視覺傳感器，但是數(shù)據(jù)量要少得多。與傳統(tǒng)相機(jī)相比，事件相機(jī)具有明顯的優(yōu)勢(shì)，即非常高的動(dòng)態(tài)范圍，無(wú)運(yùn)動(dòng)模糊，以及微秒級(jí)的延遲。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的如下問題：神經(jīng)網(wǎng)絡(luò)中存在著許多對(duì)檢測(cè)影響不大的參數(shù)，特別是只檢測(cè)一兩個(gè)目標(biāo)時(shí)，去掉一些參數(shù)基本不會(huì)影響檢測(cè)的精度；神經(jīng)網(wǎng)絡(luò)模型的參數(shù)都是用的32bit長(zhǎng)度的浮點(diǎn)型數(shù)表示，實(shí)際上不需要保留那么高的精度，可以通過(guò)量化，比如用0-255表示原來(lái)32個(gè)bit所表示的精度，通過(guò)犧牲精度來(lái)降低每一個(gè)權(quán)值所需要占用的空間。本發(fā)明提供了一種面向嵌入式平臺(tái)的神經(jīng)網(wǎng)絡(luò)模型壓縮方法，本方法通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行剪枝和量化，降低模型的大小，提高模型在嵌入式平臺(tái)上進(jìn)行目標(biāo)檢測(cè)的速度。

本發(fā)明提供了一種面向事件相機(jī)的神經(jīng)網(wǎng)絡(luò)模型壓縮方法，包括如下步驟：

S1:從事件相機(jī)獲取事件流數(shù)據(jù)，并將事件流數(shù)據(jù)累計(jì)一定時(shí)間間隔，生成事件圖像，之后對(duì)事件圖像中的目標(biāo)進(jìn)行標(biāo)注，完成數(shù)據(jù)集制作；

S2：構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，并利用預(yù)訓(xùn)練模型初始化所述神經(jīng)網(wǎng)絡(luò)模型參數(shù)，之后利用步驟S1中制作的數(shù)據(jù)集進(jìn)行訓(xùn)練，得到神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)網(wǎng)絡(luò)；

S3：設(shè)置學(xué)習(xí)率，對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行稀疏訓(xùn)練，得到稀疏訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型；

S4：對(duì)經(jīng)過(guò)稀疏訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行通道剪枝和層剪枝；

S5：利用知識(shí)蒸餾方法，對(duì)經(jīng)過(guò)剪枝后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行微調(diào)；

S6：對(duì)經(jīng)過(guò)微調(diào)后的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行量化訓(xùn)練，進(jìn)一步壓縮神經(jīng)網(wǎng)絡(luò)模型大小。

進(jìn)一步，步驟S3中對(duì)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行稀疏訓(xùn)練具體過(guò)程為：

在目標(biāo)函數(shù)中增加一個(gè)關(guān)于參數(shù)γ的L1正則項(xiàng)，此時(shí)目標(biāo)函數(shù)為：

其中，將BN層的參數(shù)γ作為神經(jīng)網(wǎng)絡(luò)模型的縮放因子；L是目標(biāo)函數(shù)；(x,y)是訓(xùn)練輸入和目標(biāo)；f(x,W)是神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)值；W是神經(jīng)網(wǎng)絡(luò)模型中的可訓(xùn)練參數(shù)，l是基礎(chǔ)網(wǎng)絡(luò)的訓(xùn)練損失函數(shù)；g(.)是在縮放因子上的懲罰項(xiàng)，對(duì)于任意一個(gè)變量s，g(s)＝|s|；λ是和兩項(xiàng)的平衡因子；

進(jìn)行稀疏化訓(xùn)練后，神經(jīng)網(wǎng)絡(luò)模型的多個(gè)縮放因子會(huì)趨近于零。