[發明專利]基于圖像檢測模型訓練的剪枝方法及裝置

在審

• 申請號: 202211027336.8
• 申請日: 2022-08-25
• 公開（公告）號: CN115545184A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 陸強
• 申請（專利權）人: 嬴徹星創智能科技（上海）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06V10/774;G06V10/82;G06V40/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李相雨

本發明提供一種基于圖像檢測模型訓練的剪枝方法及裝置，涉及圖像處理技術領域，該方法包括：將圖像訓練集輸入圖像檢測模型，計算損失值；根據損失值計算所述圖像檢測模型的待剪枝各層中參數矩陣的第一梯度；根據預設的稀疏化比率，確定待剪枝層的參數矩陣中的待稀疏化參數；根據待稀疏化參數生成掩膜矩陣；根據掩膜矩陣和預設的正則化項更新待稀疏化參數的梯度為第二梯度；根據第二梯度更新待剪枝層中的待稀疏化參數，根據所述第一梯度更新其它參數的梯度，以更新待剪枝各層的參數矩陣，按預設的迭代次數N，迭代上述步驟N次，以完成剪枝，并得到訓練完成的圖像檢測模型。本發明無需模型預訓練和fine?tune訓練，縮短了剪枝鏈路的耗時。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于圖像檢測模型訓練的剪枝方法及裝置。

背景技術

目前，圖像檢測模型主要用于對圖像進行識別，從中識別出想要的目標，例如：自動駕駛系統中的行人檢測模型，從車輛拍攝的圖像中識別出行人，以便自動駕駛系統采集相應的安全措施。大多圖像檢測模型都是根據深度學習模型為基礎模型訓練得到。因此，圖像檢測模型具有復雜的結構，復雜的結構也賦予了圖像檢測模型從大量的訓練集中學習高級語義特征的能力，同時復雜的結構帶來了一系列的問題：(1)對于層數和神經元數量較多的深度網絡，計算延遲難以達到應用的標準，尤其是對于一些實時任務；(2)深度模型的部署從笨重的服務器上逐漸擴展到像可穿戴設備、手機、車載設備、機器人、無人機等終端設備上，此類設備對計算能力和內存空間有嚴格限制，因此降低模型的大小以及計算花銷成為一個有前景的課題。

在人腦的研究中發現，人腦中的神經元突觸會隨著年齡的增長，先增加后減少一些無用突觸，根據這個現象，引出了模型剪枝問題。

模型剪枝是模型壓縮領域的常用方法，用于壓縮模型大小和加速模型計算，現有的模型剪枝方法中大多需要基于預訓練模型進行剪枝，且在剪枝訓練后都需要fine-tune訓練，即常規剪枝流程：模型預訓練—剪枝稀疏化訓練—剪枝fine-tune(微調)訓練。可見，模型預訓練和fine-tune訓練導致剪枝鏈路耗時較長。

發明內容

本發明提供一種基于圖像檢測模型訓練的剪枝方法及裝置，用以解決現有的模型剪枝方法中模型預訓練和fine-tune訓練導致剪枝鏈路耗時較長的問題。

本發明提供一種基于圖像檢測模型訓練的剪枝方法，包括：

將圖像訓練集輸入圖像檢測模型，計算損失值；

根據所述損失值計算所述圖像檢測模型的各層中參數矩陣的第一梯度；

根據預設的稀疏化比率，確定待剪枝層的參數矩陣中的待稀疏化參數；

根據所述待稀疏化參數生成掩膜矩陣；

根據所述掩膜矩陣和預設的正則化項更新所述待稀疏化參數的梯度為第二梯度；

根據所述第二梯度更新待剪枝層中的所述待稀疏化參數，根據所述第一梯度更新待剪枝層中的其它參數及其它各層中的參數，以更新各層的參數矩陣，

按預設的迭代次數N，迭代上述步驟N次，以完成剪枝，并得到訓練完成的圖像檢測模型。

根據本發明提供的一種基于圖像檢測模型訓練的剪枝方法，根據預設的稀疏化比率，確定待剪枝層的參數矩陣中的待稀疏化參數，包括：

將待剪枝層的參數矩陣中的參數按其絕對值由小到大排序；

選擇前n×r個參數為所述待稀疏化參數，其中，n為所述參數矩陣中參數總個數，r為所述稀疏化比率。

根據本發明提供的一種基于圖像檢測模型訓練的剪枝方法，根據所述掩膜矩陣和預設的正則化項更新所述待稀疏化參數的梯度為第二梯度，包括：

根據所述參數矩陣和所述掩膜矩陣確定所述正則化項；