[發明專利]基于框架搜索的深度神經網絡的加速與壓縮方法及系統

有效

• 申請號: 202011016590.9
• 申請日: 2020-09-24
• 公開（公告）號: CN112149805B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 郭慶北;張波;李忠濤
• 申請（專利權）人: 法正互聯（北京）科技有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084;G06N3/082
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于框架搜索的深度神經網絡的加速與壓縮方法及系統，包括：獲取待壓縮的原始神經網絡模型，所述原始神經網絡模型用于圖像分類；對待壓縮的原始神經網絡模型進行權重的優化；對權重優化后的神經網絡模型，保持權重固定不變，只進行框架參數優化；對框架參數優化后的神經網絡模型進行裁剪，對裁剪后的神經網絡模型進行微調，得到圖像分類精度最高的神經網絡模型，即為壓縮后的神經網絡模型。

技術領域

本申請涉及可微的高效深度神經網絡框架學習技術領域，特別是涉及基于框架搜索的深度神經網絡的加速與壓縮方法及系統。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現有技術。

盡管卷積神經網絡已經在圖像分類、目標檢測和語義分割等計算機視覺任務中取得了巨大進步，但是由于模型大小、延遲和能量的限制，它們部署在許多嵌入式平臺上仍然受限，像機器人、自動駕駛汽車和移動APPs和監視攝像機。許多的方法已經提出提高神經網絡的效率來解決硬件資源受限的問題。這些方法大體分為三類：傳統的模型壓縮方法、輕量級網絡設計和自動的神經框架搜索。由于深度神經網絡的過參數化，傳統的方法通過不同的技術啟發式地壓縮神經網絡模型，例如裁剪、網絡量化、張量分解和知識蒸餾等。通過設計高效的模塊構建輕量級網絡，這些模塊包括組卷積、深度可分離卷積和shuffle操作等。最近，為了自動探索更大的設計空間，NAS方法利用強化學習、進化算法和基于梯度的方法獲得高效的神經網絡，同時收獲先進的識別性能。

然而，這些方法有三個方面的問題：

(1)無論是啟發式的壓縮策略還是輕量級模型設計都需要領域專家探索框架空間。然而，這個空間如此之大以致于人工的方法負擔不起框架搜索的代價。由于搜索空間的限制，這個搜索到的網絡通常是次優的。而且，這些方法必須考慮硬件資源的限制，很難為不同資源的硬件設備匹配獨立的模型。

(2)早期的NAS方法利用強化學習和進化算法自動地探索離散的搜索空間。然而，這些方法產生大量的候選神經框架，訓練和評估這些候選神經網絡用以指導神經框架搜索是非常浪費時間的和計算昂貴的。

(3)DNAS方法將搜索離散的神經框架問題松弛為優化隨機超網的概率問題，并且允許本申請利用基于梯度的方法探索連續的搜索空間。然而，一些DNAS方法基于框架參數的分布進行采樣少量的候選神經框架，并從中收獲最終的神經框架。

發明內容

為了解決現有技術的不足，本申請提供了基于框架搜索的深度神經網絡的加速與壓縮方法及系統；

第一方面，本申請提供了基于框架搜索的深度神經網絡的加速與壓縮方法；

基于框架搜索的深度神經網絡的加速與壓縮方法，包括：

獲取待壓縮的原始神經網絡模型，所述原始神經網絡模型用于圖像分類；

對待壓縮的原始神經網絡模型進行權重的優化；

對權重優化后的神經網絡模型，保持權重固定不變，只進行框架參數優化；

對框架參數優化后的神經網絡模型進行裁剪，對裁剪后的神經網絡模型進行微調，得到圖像分類精度最高的神經網絡模型，即為壓縮后的神經網絡模型。

第二方面，本申請提供了基于框架搜索的深度神經網絡的加速與壓縮系統；

基于框架搜索的深度神經網絡的加速與壓縮系統，包括：

獲取模塊，其被配置為：獲取待壓縮的原始神經網絡模型，所述原始神經網絡模型用于圖像分類；

權重優化模塊，其被配置為：對待壓縮的原始神經網絡模型進行權重的優化；

框架參數優化模塊，其被配置為：對權重優化后的神經網絡模型，保持權重固定不變，只進行框架參數優化；