[發明專利]深度神經網絡的加速與壓縮方法及裝置

有效

• 申請號: 201810088723.X
• 申請日: 2018-01-30
• 公開（公告）號: CN108334945B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 程健;胡慶浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;陳曉鵬

1.一種深度神經網絡的加速與壓縮方法，其特征在于，所述方法包括：

步驟S1：從數據庫中采樣圖片并將圖片輸入到原始深度神經網絡后，獲取所述原始深度神經網絡中各層的輸入數據與參數矩陣；

步驟S2：基于所述輸入數據與參數矩陣，計算所述原始深度神經網絡中各層的二值矩陣與浮點系數；

步驟S3：將所述二值矩陣替換所述原始深度神經網絡各層的參數矩陣，并在所述原始深度神經網絡中構建尺度因子層，基于所述浮點系數初始化所述尺度因子層的參數，得到新的深度神經網絡；

所述步驟S2具體包括：

步驟S21：隨機初始化所述二值矩陣與浮點系數，設定所述原始深度神經網絡的卷積核個數為T，令i從0到T-1并行獨立執行下述步驟；

步驟S22：使用符號函數初始化所述二值矩陣；通過求解所述參數矩陣對應向量的范數，并用所述參數矩陣對應向量的范數除以所述參數矩陣對應向量的長度，初始化所述浮點系數；

步驟S23：對初始化后的二值矩陣和浮點系數進行迭代更新；所述步驟S23具體包括：

步驟S231：設定迭代次數為M，重復執行M次如下步驟S232-步驟S233；

步驟S232：根據公式以及S＝X^TW更新所述浮點系數，其中，X表示所述輸入數據，W表示所述參數矩陣，B表示所述二值矩陣，表示X^TB_i的范數，Λ_ii表示所述浮點系數；

步驟S233：設定Z＝Λ_ii·X，q＝Λ_ii·XS_i，令j從0到N，執行N次以下步驟：令b為所述二值矩陣對應向量B_i的第j個元素，為所述二值矩陣對應向量B_i去掉b后的向量，q_j為向量q的第j個元素，v表示矩陣Z的第j行，為矩陣Z去掉第j行之后的矩陣；根據公式更新B_i的第j個元素，其中，N表示向量B_i的長度。

2.根據權利要求1所述的方法，其特征在于，所述步驟S3還包括：

步驟S31：基于所述二值矩陣對所述參數矩陣進行初始化；

步驟S32：在所述原始深度神經網絡的前饋過程中，對所述參數矩陣進行符號二值化并賦值給所述二值矩陣，對賦值后的二值矩陣進行所述原始深度神經網絡的前饋運算和后饋運算，得到所述原始深度神經網絡各層的梯度G；

步驟S33：使用梯度G對所述參數矩陣進行更新。