[發明專利]神經網絡的剪枝方法、裝置、設備及存儲介質

在審

• 申請號: 202010885640.0
• 申請日: 2020-08-28
• 公開（公告）號: CN112036564A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 梅杰儒;高源;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/06
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種神經網絡的剪枝方法，其特征在于，所述方法包括：

獲取已訓練完成的神經網絡；

根據所述已訓練完成的神經網絡確定基神經元，所述基神經元用于重建所述已訓練完成的神經網絡中的神經元；

根據所述基神經元，確定所述已訓練完成的神經網絡中的冗余神經元，所述冗余神經元是指所述已訓練完成的神經網絡中，能夠通過所述基神經元組合表示的神經元；

去除所述已訓練完成的神經網絡中的所述冗余神經元，得到剪枝后的神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述根據所述已訓練完成的神經網絡確定基神經元，包括：

對所述已訓練完成的神經網絡中的神經元進行字典學習，得到神經元字典，所述神經元字典中包括至少一個所述基神經元。

3.根據權利要求2所述的方法，其特征在于，所述已訓練完成的神經網絡包括n個神經元，所述n為正整數；

所述對所述已訓練完成的神經網絡中的神經元進行字典學習，得到神經元字典，包括：

確定初始的神經元字典，所述初始的神經元字典中包括至少一個初始的基神經元；

根據所述初始的神經元字典和所述已訓練完成的神經網絡中的神經元，確定初始的第一系數組集合，所述第一系數組集合包括n個系數組，所述n個系數組中的第i個系數組用于結合所述神經元字典組合表示所述n個神經元中的第i個神經元，所述i為小于或等于所述n的正整數；

對所述神經元字典和所述第一系數組集合進行參數調節處理；

在所述第一系數組集合中的各個系數組內系數之和等于1，且所述第一系數組集合中的系數大于或等于0的情況下，得到完成學習的神經元字典。

4.根據權利要求2所述的方法，其特征在于，所述已訓練完成的神經網絡包括n個神經元，所述n為正整數；所述神經元字典包括m個基神經元，所述m為正整數；

所述對所述已訓練完成的神經網絡中的神經元進行字典學習，得到神經元字典，包括：

確定初始的神經元字典，所述初始的神經元字典中包括初始的m個基神經元；

根據所述初始的神經元字典和所述已訓練完成的神經網絡中的神經元，確定初始的第一系數組集合，所述第一系數組集合包括n個系數組，所述n個系數組中的第i個系數組用于結合所述神經元字典組合表示所述n個神經元中的第i個神經元，所述i為小于或等于所述n的正整數；

根據所述初始的神經元字典和所述已訓練完成的神經網絡中的神經元，確定初始的第二系數組集合，所述第二系數組集合中包括m個系數組，所述m個系數組中的第k個系數組用于結合所述n個神經元構建所述m個基神經元中的第k個基神經元，所述k為小于或等于所述m的正整數；

對所述神經元字典、所述第一系數組集合和所述第二系數組集合進行參數調節處理；

在所述第一系數組集合中的各個系數組內系數之和以及所述第二系數組集合中的各個系數組內系數之和均等于1、且所述第一系數組集合中的系數和所述第二系數組集合中的系數均大于或等于0的情況下，得到完成學習的神經元字典。

5.根據權利要求2所述的方法，其特征在于，所述對所述已訓練完成的神經網絡中的神經元進行字典學習，得到神經元字典之前，還包括：

對所述已訓練完成的神經網絡中的神經元進行歸一化處理，得到歸一化處理后的神經元，所述歸一化處理后的神經元位于單位球上；

其中，所述歸一化處理后的神經元用于進行所述字典學習得到所述神經元字典。

6.根據權利要求1所述的方法，其特征在于，所述已訓練完成的神經網絡包括n個神經元，所述n為正整數；

所述根據所述基神經元，確定所述已訓練完成的神經網絡中的冗余神經元，包括：

根據所述基神經元構建所述n個神經元；

確定n個重建誤差，所述n個重建誤差中的第t個重建誤差是指通過所述基神經元構建所述n個神經元中的第t個神經元時的誤差，所述t為小于或等于所述n的正整數；

將所述n個重建誤差中滿足第一條件的重建誤差對應的神經元，確定為所述冗余神經元。