[發明專利]一種深度卷積神經網絡快速自動壓縮方法

在審

• 申請號: 202010659862.0
• 申請日: 2020-07-09
• 公開（公告）號: CN111860779A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 唐文婷;韋星星;王越;李波
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 曹鵬飛

1.一種深度卷積神經網絡快速自動壓縮方法，其特征在于，包括輸入優化目標和待優化模型，并根據所述待優化模型和所述優化目標初始化強化學習代理和環境，進行最優模型量化方案搜索，具體搜索過程如下：

S1單輪搜索過程：

S11：根據通道重要性計算零比特通道索引和通道最小比特數；

S12：根據所述零比特通道索引確定當前模型量化方案；

S13：基于所述當前模型量化方案計算量化后模型大小；

S14：若當前可壓縮層是最后一層且所述當前模型量化方案不滿足所述優化目標，則根據所述通道最小比特數循環調整所述當前模型量化方案，直至滿足所述優化目標或不能進行量化為止；

若當前可壓縮層不是最后一層，或者所述當前模型量化方案滿足所述優化目標，則基于所述量化后模型大小評估當前層量化方案并保存相關環境參數；

S15：繼續搜索條件，判斷是否結束本輪搜索，并且基于當前層量化方案評估結果進一步判斷是否結束本輪搜索以及是否更新最優模型量化方案；

S2多輪搜索過程：重復執行S1，直至當前搜索輪數達到要求搜索輪數后，模型量化方案搜索結束，輸出最優壓縮模型。

2.根據權利要求1所述的一種深度卷積神經網絡快速自動壓縮方法，其特征在于，所述待優化模型包括可量化層集合N＝{L₁，...，L_i，...，L_n}，其中i＝1…n，n表示可量化層數，可量化層輸入通道數集合I＝{I₁，...，I_n}和可量化層所需存儲空間集合LS＝{LS₁，...，LS_n}；

所述優化目標包括壓縮后模型最大比特率bit_max、搜索輪數episodes、模型大小壓縮比sc∈(0，1]、待優化模型初始化TOP-5準確率acc(N)、最優評估結果R_best和最優模型量化方案P_best；

初始化強化學習環境時，強化學習狀態s_i定義為(idx，t，out，in，w，h，stride，k，reducedFLOPs，resFLOPs，reducedSize，restSize，a_i-1)，其中，idx為層索引，t為層類型、包括卷積層和全連接層，out為輸出通道數，in為輸入通道數，w和h是輸入特征向量的寬和高，stride與k為卷積層卷積操作的步長和卷積核的邊長、全連接層中stride與k均為1，reducedFLOPs是當前壓縮策略減少的計算量、初始化為0，restFLOPs是模型剩余計算量、初始化為模型計算量N_FLOPs，reducedSize是當前壓縮策略減少的模型大小、初始化為0，restSize是模型剩余大小、初始化為模型大小N_size，a_i-1為前一個可壓縮層稀疏度，初始化為0；

強化學習代理包括行動者網絡θ、評價者網絡μ和環境噪聲σ。