[發明專利]基于框架搜索的深度神經網絡的加速與壓縮方法及系統

有效

• 申請號: 202011016590.9
• 申請日: 2020-09-24
• 公開（公告）號: CN112149805B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 郭慶北;張波;李忠濤
• 申請（專利權）人: 法正互聯（北京）科技有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/048;G06N3/084;G06N3/082
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于框架搜索的深度神經網絡的加速與壓縮系統，其特征是，包括：

獲取模塊，其被配置為：獲取待壓縮的原始神經網絡模型，所述原始神經網絡模型用于圖像分類；

權重優化模塊，其被配置為：對待壓縮的原始神經網絡模型進行權重的優化；

框架參數優化模塊，其被配置為：對權重優化后的神經網絡模型，保持權重固定不變，只進行框架參數優化，其中，框架參數是指：對應每個通道的可訓練參數；

裁剪模塊，其被配置為：對框架參數優化后的神經網絡模型進行裁剪，對裁剪后的神經網絡模型進行微調，得到圖像分類精度最高的神經網絡模型，即為壓縮后的神經網絡模型；

將壓縮后的神經網絡模型部署到嵌入式系統中，基于嵌入式系統中的壓縮后的神經網絡模型對輸入的圖像進行圖像分類；神經網絡模型的輸入值是ImageNet數據集的子集；

所述獲取待壓縮的原始神經網絡模型，所述原始神經網絡模型用于圖像分類，還包括：

在待壓縮的原始神經網絡的批量歸一化BN層之后，在Relu函數層之前，添加一個scaled?sigmoid函數層；所述批量歸一化BN層、scaled?sigmoid函數層與Relu函數層三者依次連接；scaled?sigmoid函數層，是指：用scaled?sigmoid函數作為縮放因子來縮放相應通道的輸出；

對待壓縮的原始神經網絡模型進行權重的優化，具體步驟包括：

對待壓縮的原始神經網絡模型，隨機初始化其權重；屏蔽scaled?sigmoid函數層，即批量歸一化BN層的輸出端與Relu函數層的輸入端連接；采用隨機梯度下降算法SGD，對權重進行優化；

對權重優化后的神經網絡模型，保持權重固定不變，只進行框架參數優化，具體步驟包括：

對權重優化后的神經網絡模型，保持權重不變，恢復scaled?sig?moid函數層的工作，即批量歸一化BN層的輸出端與scaled?sigmoid函數層的輸入端連接，scaled?sigmoid函數層的輸出端與Relu函數層的輸入端連接；初始化框架參數，初始化縮放因子；采用隨機梯度下降算法SGD，對框架參數進行優化；

對框架參數優化后的神經網絡模型進行裁剪；具體步驟包括：

如果scaled?sigmoid函數則保留相應的輸出通道；相反地，如果scaled?sigmoid函數則把相應的輸出通道作為冗余部分移除；δ為縮放因子。

2.如權利要求1所述的系統，其特征是，對裁剪后的神經網絡模型進行微調，得到圖像分類精度最高的神經網絡模型；具體步驟包括：

屏蔽scaled?sigmoid函數層，使其不起作用；

采用隨機梯度下降算法SGD，對裁剪后的神經網絡模型進行微調，得到圖像分類精度最高的神經網絡模型。