[發(fā)明專利]一種深度卷積神經(jīng)網(wǎng)絡(luò)快速自動(dòng)壓縮方法

在審

• 申請?zhí)枺?/td>: 202010659862.0
• 申請日: 2020-07-09
• 公開（公告）號(hào): CN111860779A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 唐文婷;韋星星;王越;李波
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京慕達(dá)星云知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11465
• 代理人: 曹鵬飛

本發(fā)明公開了一種深度卷積神經(jīng)網(wǎng)絡(luò)快速自動(dòng)壓縮方法。針對優(yōu)化目標(biāo)和待優(yōu)化模型搜索找到最優(yōu)模型量化方案：初始化強(qiáng)化學(xué)習(xí)代理和環(huán)境，完成達(dá)到指定搜索輪數(shù)則輸出最優(yōu)模型；反之單輪搜索。在單輪搜索中，確定每一個(gè)可量化層的零比特通道索引和通道最小比特?cái)?shù)，計(jì)算當(dāng)前模型該層的量化方案以及量化后模型大小。如果當(dāng)前可量化層是最后一層且不滿足優(yōu)化目標(biāo)則調(diào)整模型量化方案至滿足優(yōu)化目標(biāo)或不能調(diào)整為止；反之評(píng)估量化方案并保存環(huán)境參數(shù)，若當(dāng)前可量化層不是最后一層，則繼續(xù)單輪搜索；反之若當(dāng)前模型量化方案最優(yōu)，則保存量化方案為最優(yōu)模型量化方案。避免了大量人為調(diào)參，不需要進(jìn)行網(wǎng)絡(luò)減枝與網(wǎng)絡(luò)量化達(dá)成硬件要求，能夠快速得到壓縮網(wǎng)絡(luò)。

技術(shù)領(lǐng)域

本發(fā)明涉及深度神經(jīng)網(wǎng)絡(luò)輕量化領(lǐng)域，更具體的說是涉及一種用于目標(biāo)識(shí)別任務(wù)的深度卷積神經(jīng)網(wǎng)絡(luò)快速自動(dòng)壓縮方法。

背景技術(shù)

隨著半導(dǎo)體技術(shù)和硬件能源的發(fā)展，硬件設(shè)備已經(jīng)可以支持較高并發(fā)與高吞吐量的計(jì)算任務(wù)。同時(shí)，近十年來計(jì)算機(jī)視覺技術(shù)飛速發(fā)展，具有不同特性的深度神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，并在針對遙感圖像數(shù)據(jù)的目標(biāo)檢測識(shí)別及場景理解等應(yīng)用環(huán)境下取得了類人的表現(xiàn)。因此，為滿足硬件發(fā)展需求和在目標(biāo)檢測、識(shí)別(如飛機(jī)、艦船、地面目標(biāo)的檢測和識(shí)別)任務(wù)上充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)優(yōu)勢，網(wǎng)絡(luò)輕量化在軍事和民用領(lǐng)域具有重要的研究意義。由于深度卷積神經(jīng)網(wǎng)絡(luò)參數(shù)量巨大且不同硬件平臺(tái)之間存在差異，如何在滿足硬件要求(能耗，模型大小)的前提下保有網(wǎng)絡(luò)性能使其適配于不同硬件平臺(tái)是一個(gè)亟待解決的難題。

網(wǎng)絡(luò)減枝與網(wǎng)絡(luò)量化不但是常用的網(wǎng)絡(luò)壓縮手段而且也是當(dāng)前研究的重點(diǎn)。1989年，學(xué)術(shù)界提出關(guān)于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化方法，即在網(wǎng)絡(luò)性能允許的下降范圍內(nèi)通過減少網(wǎng)絡(luò)中不必要的連接來獲得網(wǎng)絡(luò)計(jì)算量和大小的下降。自此之后，網(wǎng)絡(luò)減枝過程被建模成一個(gè)逐層的通道選擇或者逐網(wǎng)絡(luò)的路徑選擇問題。工業(yè)中，由于將網(wǎng)絡(luò)減枝建模成逐網(wǎng)絡(luò)的路徑選擇問題不但會(huì)增加大量的計(jì)算、存儲(chǔ)開銷而且會(huì)使壓縮流程更加復(fù)雜(需要對模型進(jìn)行微調(diào)甚至重新訓(xùn)練)，針對訓(xùn)練好的模型，一般使用基于權(quán)值的網(wǎng)絡(luò)減枝算法進(jìn)行逐層的通道選擇。由于逐層的通道選擇需要大量的人力勞動(dòng)來確定每一個(gè)可壓縮層的合適的層稀疏度(每層中0比特元素個(gè)數(shù))，關(guān)于自適應(yīng)調(diào)整層稀疏度方法的研究逐漸引起工業(yè)界和學(xué)術(shù)界的重視。因?yàn)榇_定待壓縮網(wǎng)絡(luò)中每層層稀疏度的問題可以抽象成一個(gè)動(dòng)態(tài)規(guī)劃的調(diào)度問題，而強(qiáng)化學(xué)習(xí)是解決動(dòng)態(tài)規(guī)劃的有利手段，故使用強(qiáng)化學(xué)習(xí)調(diào)度壓縮任務(wù)是近年來研究的重點(diǎn)，如使用強(qiáng)化學(xué)習(xí)進(jìn)行自動(dòng)減枝方法，該方法不但適配不同工業(yè)平臺(tái)且可自適應(yīng)的確定每層層稀疏度。另一方面，為適配不同種硬件平臺(tái)，模型的存儲(chǔ)精度應(yīng)進(jìn)行逐模型甚至更小粒度如逐層的調(diào)整。通過K均值方法或使用校驗(yàn)集進(jìn)行權(quán)值調(diào)整，逐模型調(diào)整存儲(chǔ)精度至8比特已可達(dá)到模型性能近乎無損的水平。而隨著芯片技術(shù)的發(fā)展，蘋果、英偉達(dá)、高通等一線芯片設(shè)計(jì)或生產(chǎn)廠商發(fā)布了支持混合精度運(yùn)算的芯片。為了適配不同硬件平臺(tái)并進(jìn)一步發(fā)揮硬件優(yōu)勢，關(guān)于逐層調(diào)整模型存儲(chǔ)精度也是近年來研究的熱點(diǎn)之一。一些方法使用強(qiáng)化學(xué)習(xí)可逐層調(diào)整每層的模型存儲(chǔ)精度。然而，由于問題空間大小的驟增，這些方法并不支持更低粒度如逐通道的模型存儲(chǔ)精度調(diào)整。

工業(yè)協(xié)議(MPEG協(xié)議ISO/IEC JTC 1/SC 29/WG 11下N18575)規(guī)定，衡量輕量化的網(wǎng)絡(luò)性能將從：模型性能損失，模型大小下降，模型計(jì)算量下降，模型壓縮時(shí)間以及模型解壓時(shí)間這5個(gè)方面衡量。因此，考慮到前3者，現(xiàn)在通用的輕量化框架是“深度壓縮”框架。該框架先使用網(wǎng)絡(luò)減枝技術(shù)減少計(jì)算量，再使用網(wǎng)絡(luò)量化技術(shù)減少模型大小。這一級(jí)聯(lián)式的設(shè)計(jì)保證兼容不同的壓縮方法，在工業(yè)中存在廣泛應(yīng)用。然而該方法同樣強(qiáng)調(diào)網(wǎng)絡(luò)性能的保有。因此為了更好的平衡硬件要求與模型性能，該框架可能要求重復(fù)進(jìn)行網(wǎng)絡(luò)減枝與網(wǎng)絡(luò)量化任務(wù)來搜索到一個(gè)更好的壓縮后模型，但這也會(huì)造成額外的壓縮時(shí)間開銷。工業(yè)應(yīng)用中，針對不同硬件平臺(tái)定制的輕量化方法是必須的。此時(shí)，使用該框架進(jìn)行網(wǎng)絡(luò)壓縮將會(huì)產(chǎn)生不可忽視的時(shí)間開銷。因此，兼顧模型壓縮，性能保有和壓縮時(shí)間，一直是網(wǎng)絡(luò)輕量化研究及應(yīng)用的重點(diǎn)。