[發明專利]深度神經網絡模型的壓縮方法及裝置、終端、存儲介質

在審

• 申請號: 201710266304.6
• 申請日: 2017-04-21
• 公開（公告）號: CN108734266A
• 公開（公告）日: 2018-11-02
• 發明（設計）人: 林福輝;趙曉輝
• 申請（專利權）人: 展訊通信（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭學秀;吳敏

1.一種深度神經網絡模型的壓縮方法，其特征在于，包括：

獲取已訓練的深度神經網絡模型；

基于所獲取的所述深度神經網絡模型中各層的精簡單元的貢獻度的信息，對所述深度神經網絡模型進行精簡，直至精簡后的深度神經網絡模型滿足預設的精度需求；

對所述精簡后的深度神經網絡模型進行重新訓練，得到重新訓練后的深度神經網絡模型；

當確定重新訓練后的深度神經網絡模型不滿足預設的壓縮體積需求時，分別采用各層對應的預設量化等級，對重新訓練后的深度神經網絡模型中的各層參數進行迭代量化；所述迭代量化為對所述重新訓練的所有層均進行一次量化；

對重新訓練后的深度神經網絡模型進行N次迭代量化，直至量化后的深度神經網絡模型滿足預設的壓縮體積需求。

2.根據權利要求1所述的深度神經網絡模型的壓縮方法，其特征在于，所述基于所獲取的所述深度神經網絡模型中各層的精簡單元的貢獻度的信息，對所述深度神經網絡模型進行精簡，包括：

采用驗證集樣本對當前次精簡前的深度神經網絡模型進行測試，得到當前次精簡前的深度神經網絡模型中各個精簡單元刪除前后對應的深度神經網絡模型的精度改變數值；

將當前次精簡前的深度神經網絡模型中所有精簡單元按照精度改變數值進行排序；

從當前次精簡前的深度神經網絡模型中刪除預設數量的精度改變數值最小的精簡單元，得到當前次精簡后的深度神經網絡模型；

判斷當前次精簡后的深度神經網絡模型是否滿足所述精度需求；

當確定當前次精簡后的深度神經網絡模型滿足所述精度需求時，停止精簡操作；

當確定所述當前次精簡后的深度神經網絡模型不滿足所述精度需求時，對當前次精簡后的深度神經網絡模型執行下一次精簡操作，直至精簡后的深度神經網絡模型滿足所述精度需求。

3.根據權利要求2所述的深度神經網絡模型的壓縮方法，其特征在于，所述采用驗證集樣本對當前次精簡前的深度神經網絡模型進行測試，包括：S_m,n＝||c^(t)||_f-||c^(t)'||_f；且f＝{1,2}；其中，S_m,n為第t次精簡前的深度神經網絡模型中第m層的第n個精簡單元刪除前后對應的精度改變數值，為第t次精簡深度神經網絡模型前的精度，為第t次壓縮深度神經網絡模型前的精度，f分別對應L1范數和L2范數，1指代L1范數，2指代L2范數。

4.根據權利要求3所述的深度神經網絡模型的壓縮方法，其特征在于，當深度神經網絡的輸出經過softmax激活函數并使用交叉熵計算損失時，c^(t)采用如下的公式計算得到：

且：

其中，V為驗證集樣本的個數，x_v表示驗證集樣本中的第ν個樣本，表示驗證集樣本中的第ν個樣本k位置的標簽，為第t次精簡前的深度神經網絡模型中第k個輸出響應相連的深度神經網絡子圖，為第t次精簡后的深度神經網絡模型中第k個輸出響應相連的深度神經網絡子圖，為t次精簡后深度神經網絡第M層的第k個輸出響應。

5.根據權利要求1所述的深度神經網絡模型的壓縮方法，其特征在于，所述精度需求滿足預設的精度需求包括以下至少一種：

精簡后的深度神經網絡模型滿足預設的精度閾值；

精簡后的深度神經網絡模型滿足預設的壓縮體積閾值。

6.根據權利要求1所述的深度神經網絡模型的壓縮方法，其特征在于，所述精度單元包括深度神經網絡模型中的權連接、節點、層、模塊和子網絡。

7.根據權利要求1所述的深度神經網絡模型的壓縮方法，其特征在于，當量化后的深度神經網絡模型滿足預設的壓縮體積需求之后，還包括：

對量化后的深度神經網絡模型進行重新訓練。