[發明專利]一種卷積模型輕量化方法及系統

有效

• 申請號: 202011615978.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112686382B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 吳博文;梁小丹;聶琳;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 陳旭紅;吳落

1.一種卷積模型輕量化方法，其特征在于，包括：

獲取候選剪枝策略；其中，候選剪枝策略為卷積原模型中若干層級對應的剪枝率的集合；

評估所述候選剪枝策略，獲得所述候選剪枝策略的評估結果；

根據所述評估結果生成目標剪枝策略；

評估目標剪枝策略在目標硬件上的性能，輸出最優剪枝策略；

根據最優剪枝策略對所述卷積原模型進行剪枝操作，獲得輕量化卷積模型；

其中，所述評估所述候選剪枝策略，包括：基于更新批規范化層的評估，具體地：

根據所述候選剪枝策略對所述卷積原模型進行剪枝操作，獲得第一卷積剪枝模型；

通過訓練集對所述卷積剪枝模型進行推理，得到特征值；

根據所述特征值更新批規范化層的統計量，得到滑動平均值以及滑動方差；

通過滑動平均值以及滑動方差更新所述第一卷積剪枝模型，生成第二卷積剪枝模型；

通過驗證集評估所述第二卷積剪枝模型，得到驗證集準確率及損失函數數值；其中，所述驗證集準確率及損失函數數值作為所述候選剪枝策略的評估結果。

2.如權利要求1所述的一種卷積模型輕量化方法，其特征在于，所述評估所述候選剪枝策略，包括：基于短期微調的評估，具體地：

根據所述候選剪枝策略對所述卷積原模型進行剪枝操作，獲得卷積剪枝模型；

通過驗證集評估所述卷積剪枝模型，得到驗證集準確率及損失函數數值；其中，所述驗證集準確率及損失函數數值作為所述候選剪枝策略的評估結果。

3.如權利要求1所述的一種卷積模型輕量化方法，其特征在于，所述獲取候選剪枝策略，包括：候選剪枝策略隨機搜索，具體地：

根據搜索空間生成待候選剪枝策略；

通過硬件性能反饋模塊對所述待候選剪枝策略進行評估；

若所述待候選剪枝策略不滿足預設硬件性能約束條件，則再次根據搜索空間生成另一個待候選剪枝策略；

若所述待候選剪枝策略滿足預設硬件性能約束條件，則將所述待候選剪枝策略標記為候選剪枝策略。

4.如權利要求1所述的一種卷積模型輕量化方法，其特征在于，所述獲取候選剪枝策略，包括：基于遺傳算法的候選剪枝策略搜索；所述基于遺傳算法的候選剪枝策略搜索，包括：

突變操作：根據搜索空間將待候選剪枝策略中的部分剪枝率進行替換，得到所述候選剪枝策略；

雜交操作：將待候選剪枝策略與上一代最優剪枝策略混合，得到所述候選剪枝策略。

5.如權利要求1所述的一種卷積模型輕量化方法，其特征在于，所述根據最優剪枝策略對所述卷積原模型進行剪枝操作，包括：

根據最優剪枝策略獲取所述卷積原模型第i層的最優剪枝率r_i；

獲取所述卷積原模型第i層的c_i個濾波器，并計算每一個濾波器范數；

將所述c_i個濾波器按照以濾波器范數遞增的順序進行排列；

選擇范數較小的r_i*c_i個濾波器對所述原模型進行剪枝操作。