[發明專利]深度神經網絡的加速與壓縮方法及裝置

有效

• 申請號: 201810088723.X
• 申請日: 2018-01-30
• 公開（公告）號: CN108334945B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 程健;胡慶浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 郭文浩;陳曉鵬

本發明屬于神經網絡技術領域，具體涉及一種深度神經網絡的加速與壓縮方法及裝置。旨在解決現有技術對深度神經網絡進行壓縮和加速占用大量內存并且精度下降的問題。本發明提供深度神經網絡的加速與壓縮方法，包括獲取原始深度神經網絡中各層的輸入數據與參數矩陣；基于輸入數據與參數矩陣，計算原始深度神經網絡中各層的二值矩陣與浮點系數；將二值矩陣替換原始深度神經網絡各層的參數矩陣，并在原始深度神經網絡中構建尺度因子層，基于浮點系數初始化尺度因子層的參數，得到新的深度神經網絡。本發明的方案能夠將神經網絡的網絡參數二值化，占用更少的內存且提升精度。

技術領域

本發明屬于神經網絡技術領域，具體涉及一種深度神經網絡的加速與壓縮方法及裝置。

背景技術

近年來隨著深度學習的發展，深度神經網絡在計算機視覺、語音、文本等領域中都取得了巨大的成功，這也推動著深度學習在無人駕駛、智能家居、視頻監控等任務中的應用。

隨著深度網絡的發展，深度神經網絡變得更深，同時參數量和計算量也變得更大。深度神經網絡巨大的參數量和計算復雜度在提升網絡性能的同時也使得部署深度網絡變得更加困難，特別地，由于移動手機和嵌入式設備的計算性能較低，其內存和電量有限，將深度神經網絡部署到這些設備上會面臨著兩方面的挑戰：一方面，深度神經網絡巨大的計算復雜度使得網絡前饋運行緩慢，這一點對于很多實時的應用往往是不能接受的；另一方面，深度網絡巨大的參數量也給深度網絡的部署帶來了困難：首先，大量的參數使得網絡模型存儲變大，占用更多的硬盤存儲；其次，深度網絡需要更多的運行內存；最后，大量的內存訪問會消耗大量的電量，給移動設備和嵌入式設備的續航帶來很大的挑戰。

針對深度神經網絡在參數多、運算量大的情況下進行壓縮和加速的問題，專利CN106127297A公開了一種基于張量分解的深度卷積神經網絡的加速與壓縮方法，具體涉及：獲取原始深度卷積神經網絡；對原始深度卷積神經網絡中各層的權值張量進行張量分解，得到多個低秩子張量，用多個低秩子張量替換原始深度卷積神經網絡中各層的權值張量，獲得新的深度卷積神經網絡。現有技術的方法是對深度卷積神經網絡各層進行浮點量運算，而浮點參數會占用大量的存儲和內存，往往會更多地消耗移動設備和嵌入式設備上的電量，同時在一些硬件平臺下，例如FPGA，浮點計算會慢很多，此外，現有技術提出的某些方法只針對全連接神經網絡框架，并且進行壓縮或加速后神經網絡的精度將會下降。

因此，如何提出一種解決上述問題的方案是本領域技術人員目前需要解決的問題。

發明內容

為了解決現有技術中的上述問題，即為了解決現有技術對深度神經網絡進行壓縮和加速占用大量內存并且精度下降的問題，本發明提供了一種深度神經網絡的加速與壓縮方法，所述方法包括：

步驟S1：獲取原始深度神經網絡中各層的輸入數據與參數矩陣；

步驟S2：基于所述輸入數據與參數矩陣，計算所述原始深度神經網絡中各層的二值矩陣與浮點系數；

步驟S3：將所述二值矩陣替換所述原始深度神經網絡各層的參數矩陣，并在所述原始深度神經網絡中構建尺度因子層，基于所述浮點系數初始化所述尺度因子層的參數，得到新的深度神經網絡。

在上述方法的優選技術方案中，所述步驟S2具體包括：

步驟S21：隨機初始化所述二值矩陣與浮點系數，設定所述原始深度神經網絡的卷積核個數為T，令i從0到T-1并行獨立執行下述步驟；

步驟S22：使用符號函數初始化所述二值矩陣；通過求解所述參數矩陣對應向量的范數，并用所述參數矩陣對應向量的范數除以所述參數矩陣對應向量的長度，初始化所述浮點系數；

步驟S23：對初始化后的二值矩陣和浮點系數進行迭代更新。

在上述方法的優選技術方案中，所述步驟S23具體包括：