[發明專利]神經網絡模型的壓縮方法及裝置、圖像處理方法及處理器

有效

• 申請號: 202010116576.X
• 申請日: 2020-02-25
• 公開（公告）號: CN111275190B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/092
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

1.一種神經網絡模型的壓縮方法，其特征在于，包括：

建立神經網絡模型的每個神經網絡層對應的搜索空間，所述搜索空間包括候選剪枝率；

各所述搜索空間的候選剪枝率輸入至剪枝策略生成模型，得到剪枝策略；

根據所述剪枝策略對所述神經網絡模型進行剪枝。

2.根據權利要求1所述的方法，其特征在于，所述搜索空間包括第一級搜索空間，所述第一級搜索空間包括第一級候選剪枝率，各所述搜索空間的候選剪枝率輸入至剪枝策略生成模型，得到剪枝策略，包括：

各所述第一級搜索空間的第一級候選剪枝率輸入至所述剪枝策略生成模型，得到第一剪枝策略；

根據所述第一剪枝策略對所述神經網絡模型進行剪枝，并利用剪枝后的神經網絡模型的性能更新所述剪枝策略生成模型，直至所述剪枝策略生成模型收斂；

各所述第一級搜索空間中的第一級候選剪枝率輸入至收斂后的剪枝策略生成模型，得到第二剪枝策略，以根據所述第二剪枝策略對所述神經網絡模型進行剪枝。

3.根據權利要求2所述的方法，其特征在于，建立神經網絡模型的每個神經網絡層對應的搜索空間，包括：

提取所述第二剪枝策略中每個神經網絡層對應的剪枝率；

建立疊加項搜索空間，所述疊加項搜索空間包括疊加剪枝率，所述第一級候選剪枝率的末位小數位大于所述疊加剪枝率的末位小數位；

將所述疊加項搜索空間的疊加剪枝率和所述第二剪枝策略中每個神經網絡層對應的剪枝率疊加，得到所述神經網絡模型的每個神經網絡層對應的第二級搜索空間。

4.如權利要求3所述的方法，其特征在于，所述第二級搜索空間包括第二級候選剪枝率，各所述搜索空間的候選剪枝率輸入至剪枝策略生成模型，得到剪枝策略，包括：

各所述第二級搜索空間的第二級候選剪枝率輸入至所述剪枝策略生成模型，得到第三剪枝策略；

根據所述第三剪枝策略對所述神經網絡模型進行剪枝，并利用剪枝后的神經網絡模型的性能更新所述剪枝策略生成模型，直至所述剪枝策略生成模型收斂；

各所述第二級搜索空間中的第二級候選剪枝率輸入至收斂后的剪枝策略生成模型，得到第四剪枝策略，以根據所述第四剪枝策略對所述神經網絡模型進行剪枝。

5.一種圖像處理方法，其特征在于，包括：

利用權利要求1～4所述的神經網絡模型的壓縮方法，對所述神經網絡模型進行剪枝，得到剪枝后的神經網絡模型；

將待處理的圖像輸入至剪枝后的神經網絡模型中，輸出所述待處理的圖像對應的任務標簽。

6.一種神經網絡模型的壓縮裝置，其特征在于，包括：

搜索空間建立模塊，用于建立神經網絡模型的每個神經網絡層對應的搜索空間，所述搜索空間包括候選剪枝率；

剪枝策略生成模塊，用于各所述搜索空間的候選剪枝率輸入至剪枝策略生成模型，得到剪枝策略；

神經網絡剪枝模塊，用于根據所述剪枝策略對所述神經網絡模型進行剪枝。

7.根據權利要求6所述的裝置，其特征在于，所述搜索空間建立模塊包括：第一級搜索空間建立子模塊，用于創建第一級搜索空間，所述第一級搜索空間包括第一級候選剪枝率。

8.根據權利要求7所述的裝置，其特征在于，所述剪枝策略生成模塊包括：

第一生成子模塊，用于各所述第一級搜索空間的第一級候選剪枝率輸入至所述剪枝策略生成模型，得到第一剪枝策略；

第一更新子模塊，用于根據所述第一剪枝策略對所述神經網絡模型進行剪枝，并利用剪枝后的神經網絡模型的性能更新所述剪枝策略生成模型，直至所述剪枝策略生成模型收斂；

第二生成子模塊，用于各所述第一級搜索空間中的第一級候選剪枝率輸入至收斂后的剪枝策略生成模型，得到第二剪枝策略，以根據所述第二剪枝策略對所述神經網絡模型進行剪枝。