[發明專利]深度神經網絡的網絡模型壓縮方法、裝置及計算機設備

有效

• 申請號: 201711092273.3
• 申請日: 2017-11-08
• 公開（公告）號: CN109754077B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 張淵;陳偉杰;謝迪;浦世亮
• 申請（專利權）人: 杭州?？低晹底旨夹g股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種深度神經網絡的網絡模型壓縮方法，其特征在于，所述方法應用于目標識別，所述方法包括：

獲取原始深度神經網絡；其中，所述原始深度神經網絡的網絡層中各運算單元用于提取不同的目標特征；

利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目；

根據所述原始深度神經網絡的網絡層中各運算單元提取的特征元素占目標總元素的比例確定所述網絡層中各運算單元的重要度；

按照所述網絡層中各運算單元的重要度從小到大的順序選擇所述第一數目個運算單元，并將所選擇的運算單元作為待刪除運算單元；

刪除所述原始深度神經網絡中各網絡層的待刪除運算單元，得到網絡模型壓縮后的深度神經網絡；

所述利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目，包括：

利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到由所述網絡層的所有運算單元組成的矩陣的秩；

確定滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目，所述第一數目小于所述網絡層的運算單元總數與所述秩的差值。

2.根據權利要求1所述的方法，其特征在于，在所述刪除所述原始深度神經網絡中各網絡層的待刪除運算單元，得到網絡模型壓縮后的深度神經網絡之后，所述方法還包括：

獲取利用所述網絡模型壓縮后的深度神經網絡進行運算的輸出結果；

如果所述輸出結果不滿足預設條件，則利用所述原始深度神經網絡的輸出結果與所述網絡模型壓縮后的深度神經網絡的輸出結果之間的差異，通過預設算法，對所述網絡模型壓縮后的深度神經網絡中各網絡層的運算單元中的權值進行調整，直至所述輸出結果滿足所述預設條件。

3.根據權利要求1所述的方法，其特征在于，在所述刪除所述原始深度神經網絡中各網絡層的待刪除運算單元，得到網絡模型壓縮后的深度神經網絡之后，所述方法還包括：

獲取所述網絡模型壓縮后的深度神經網絡中任一網絡層的各運算單元之間的相關度；

判斷所述相關度是否小于預設相關度；

若否，則采用預設正則化項，對該網絡層的各運算單元中的權值進行調整，直至所述相關度小于所述預設相關度時，停止調整各運算單元中的權值。

4.一種深度神經網絡的網絡模型壓縮裝置，其特征在于，所述裝置應用于目標識別，所述裝置包括：

第一獲取模塊，用于獲取原始深度神經網絡；其中，所述原始深度神經網絡的網絡層中各運算單元用于提取不同的目標特征；

分析模塊，用于利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目；

第一確定模塊，根據所述原始深度神經網絡的網絡層中各運算單元提取的特征元素占目標總元素的比例確定所述網絡層中各運算單元的重要度；

按照所述網絡層中各運算單元的重要度從小到大的順序選擇所述第一數目個運算單元，并將所選擇的運算單元作為待刪除運算單元；

刪除模塊，用于刪除所述原始深度神經網絡中各網絡層的待刪除運算單元，得到網絡模型壓縮后的深度神經網絡；

所述分析模塊，用于利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目，包括：

利用秩分析工具，對所述原始深度神經網絡的網絡層進行分析，得到由所述網絡層的所有運算單元組成的矩陣的秩；

確定滿足預設誤差容忍度的條件下，所述網絡層中待刪除運算單元的第一數目，所述第一數目小于所述網絡層的運算單元總數與所述秩的差值。

5.根據權利要求4所述的裝置，其特征在于，所述裝置還包括：

第二獲取模塊，用于獲取利用所述網絡模型壓縮后的深度神經網絡進行運算的輸出結果；

第一調整模塊，用于如果所述輸出結果不滿足預設條件，則利用所述原始深度神經網絡的輸出結果與所述網絡模型壓縮后的深度神經網絡的輸出結果之間的差異，通過預設算法，對所述網絡模型壓縮后的深度神經網絡中各網絡層的運算單元中的權值進行調整，直至所述輸出結果滿足所述預設條件。