[發明專利]合理使用掩碼的深度神經網絡壓縮方法

有效

• 申請號: 201611104482.0
• 申請日: 2016-12-05
• 公開（公告）號: CN107689224B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 李鑫;韓松;孫世杰;單羿
• 申請（專利權）人: 北京深鑒智能科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G06N3/04
• 代理公司: 北京卓孚律師事務所 11821
• 代理人: 任宇

1.一種在語音識別中使用掩碼矩陣對神經網絡進行重訓以降低識別結果中的詞錯誤率的方法，所述神經網絡的神經元之間的連接關系由多個矩陣表示，所述方法包括：

獲得掩碼矩陣步驟，獲得對應于所述神經網絡的掩碼矩陣M，所述掩碼矩陣M記錄所述神經網絡的矩陣的非零元素的分布信息；

第一次剪枝操作步驟，利用所述掩碼矩陣M對待壓縮的神經網絡nnet⁰進行剪枝；

不帶掩碼重訓步驟，對剪枝后的網絡不帶掩碼矩陣M進行重訓，得到稠密網絡使得識別結果中的詞錯誤率下降；

第二次剪枝操作步驟，利用所述掩碼矩陣M對稠密網絡進行第二次剪枝，得到稀疏網絡

帶掩碼重訓步驟，對稀疏網絡帶掩碼矩陣M進行重訓，得到最終輸出網絡使得語音識別結果中的詞錯誤率再次下降。

2.根據權利要求1所述的方法，所述獲得掩碼矩陣步驟進一步包括：

對待壓縮的網絡進行剪枝，得到含有零元素和非零元素的稀疏矩陣，然后使用掩碼矩陣M，所述掩碼矩陣M用1代表稀疏矩陣中非零元素的權值，以記錄壓縮后矩陣非零元素的分布信息。

3.根據權利要求1所述的方法，所述第一次剪枝操作步驟進一步包括：

將待壓縮的神經網絡與所述掩碼矩陣M點乘，得到剪枝后的網絡

4.根據權利要求1所述的方法，所述不帶掩碼重訓步驟進一步包括：

訓練步驟，使用訓練集訓練所述神經網絡，并且不帶掩碼進行權值矩陣更新；

判斷步驟，判斷該矩陣是否收斂到局部最優解；

如果未收斂到局部最優解，則返回所述訓練步驟；

如果收斂到最優解，則把所述神經網絡作為最終神經網絡。

5.根據權利要求4所述的方法，所述不帶掩碼進行權值矩陣更新進一步包括：

基于訓練集數據，計算神經網絡的損失函數對網絡參數的導數，進而求得梯度矩陣；

基于所述梯度矩陣，采用隨機梯度下降法，不帶掩碼更新網絡中的權值矩陣，其中更新后的權值矩陣＝更新前的權值矩陣-學習率*梯度矩陣；

計算神經網絡網絡的平均損失loss，如果loss比上一輪有效訓練的loss大，則本輪訓練無效；

如果loss比上一輪有效訓練的loss小，則本輪訓練有效；

如果本輪訓練無效，且沒有達到最大訓練輪數，則調整學習率，在上一輪有效訓練的基礎上繼續訓練；

如果本輪訓練有效，則判斷網絡是否收斂。

6.根據權利要求1所述的方法，所述第二次剪枝操作步驟進一步包括：

所述掩碼矩陣M與稠密網絡進行點乘操作，去除已剪枝處重新生長出的權值，得到稀疏網絡

7.根據權利要求1所述的方法，所述帶掩碼重訓步驟進一步包括：

訓練步驟，使用訓練集訓練所述神經網絡，并且帶掩碼進行權值矩陣更新；

判斷步驟，判斷該矩陣是否收斂到局部最優解；

如果未收斂到局部最優解，則返回所述訓練步驟；

如果收斂到最優解，則把所述神經網絡作為最終神經網絡。

8.根據權利要求7所述的方法，所述帶掩碼進行權值矩陣更新進一步包括：

基于訓練集數據，計算神經網絡的損失函數對網絡參數的導數，進而求得梯度矩陣；

基于所述梯度矩陣，采用隨機梯度下降法，帶掩碼更新網絡中的權值矩陣，其中更新后的權值矩陣＝更新前的權值矩陣-學習率*梯度矩陣*掩碼矩陣M；

計算神經網絡網絡的平均損失loss，如果loss比上一輪有效訓練的loss大，則本輪訓練無效；

如果loss比上一輪有效訓練的loss小，則本輪訓練有效；

如果本輪訓練無效，且沒有達到最大訓練輪數，則調整學習率，在上一輪有效訓練的基礎上繼續訓練；

如果本輪訓練有效，則判斷網絡是否收斂。

9.根據權利要求1所述的方法，所述掩碼矩陣M僅包括0和1元素，值為1的元素表示相應權值矩陣對應位置的元素被保留，而值為0的元素表示相應權值矩陣對應位置的元素被置零。

10.一種在語音識別中使用掩碼矩陣對神經網絡進行重訓以降低識別結果中的詞錯誤率的裝置，所述神經網絡的神經元之間的連接關系由多個矩陣表示，所述裝置包括：

獲得掩碼矩陣單元，用于獲得對應于所述神經網絡的掩碼矩陣M，所述掩碼矩陣M記錄所述神經網絡的矩陣的非零元素的分布信息；

第一次剪枝操作單元，用于利用所述掩碼矩陣M對待壓縮的神經網絡nnet⁰進行剪枝；

不帶掩碼重訓單元，用于對剪枝后的網絡不帶掩碼矩陣M進行重訓，得到稠密網絡使得識別結果中的詞錯誤率下降；

第二次剪枝操作單元，用于利用所述掩碼矩陣M對稠密網絡進行第二次剪枝，得到稀疏網絡

帶掩碼重訓單元，用于對稀疏網絡帶掩碼矩陣M進行重訓，得到最終輸出網絡使得語音識別結果中的詞錯誤率再次下降。