[發明專利]一種多任務神經網絡模型的剪枝方法及裝置

在審

• 申請號: 202011153067.0
• 申請日: 2020-10-26
• 公開（公告）號: CN114492783A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 張年崧;陸天翼;唐長成;張劍
• 申請（專利權）人: 超星未來極摯（上海）科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京科領智誠知識產權代理事務所(普通合伙) 11782
• 代理人: 陳士騫

本發明實施例公開一種多任務神經網絡模型的剪枝方法及裝置，該方法包括：獲得待剪枝模型；針對待剪枝模型的每一卷積層，執行步驟A?C，確定每一卷積層的敏感度信息；A針對各預設層剪枝率，基于該預設層剪枝率及該卷積層中各卷積核，對該卷積層進行預剪枝；B基于第一訓練數據，確定該預設層剪枝率對應的預剪枝后的待剪枝模型所對應各任務損失值；C基于各任務損失值，確定該卷積層在該預設層剪枝率下的敏感度信息；基于待剪枝模型對應的通道信息，對待剪枝模型的卷積核進行分組；基于當前的模型剪枝率、卷積核的分組情況、各卷積核對應的剪枝范數值及每一卷積層的敏感度信息，確定目標剪枝模型，以實現對多任務神經網絡模型的剪枝。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種多任務神經網絡模型的剪枝方法及裝置。

背景技術

深度學習的發展使得深度神經網絡越來越多地被應用到如圖像識別、檢測及跟蹤等計算機視覺任務中，且網絡模型越來越多地趨向于往更寬更深的方向設計。深度學習的成功很大程度上依賴于模型大量的參數以及具有強大性能的計算設備。但是，由于深度神經網絡巨大的內存需求和計算消耗使其較難部署到低存儲、低功耗的硬件平臺上(如移動設備)，這極大地限制了其應用。因此，研究如何在保證現有深度神經網絡模型性能不變的情況下，有效壓縮神經網絡模型是需要解決的重要問題。

那么，如何提供一種對多任務神經網絡模型的剪枝方法成為亟待解決的問題。

發明內容

本發明提供了一種多任務神經網絡模型的剪枝方法及裝置，以實現對多任務神經網絡模型的剪枝。具體的技術方案如下：

第一方面，本發明實施例提供了一種多任務神經網絡模型的剪枝方法，所述方法包括：

獲得訓練完成的多任務神經網絡模型，作為待剪枝模型；

針對所述待剪枝模型的每一卷積層，執行如下步驟A-C，以確定出每一卷積層在不同預設層剪枝率下的敏感度信息；

步驟A：針對各預設層剪枝率，基于該預設層剪枝率以及該卷積層中各卷積核，對該卷積層進行預剪枝；

步驟B：基于第一訓練數據，確定該預設層剪枝率對應的預剪枝后的待剪枝模型所對應各任務損失值；

步驟C：基于預剪枝后的待剪枝模型對應的各任務損失值，確定該卷積層在該預設層剪枝率下的敏感度信息；

基于所述待剪枝模型對應的通道信息，對所述待剪枝模型的卷積層中的卷積核進行分組；

基于當前的模型剪枝率、所述待剪枝模型的卷積核的分組情況、每一層卷積層中各卷積核對應的剪枝范數值以及每一卷積層在不同層剪枝率下的敏感度信息，確定目標剪枝模型。

可選的，所述基于當前的模型剪枝率、所述待剪枝模型的卷積核的分組情況、每一層卷積層中各卷積核對應的剪枝范數值以及每一卷積層在不同層剪枝率下的敏感度信息，確定目標剪枝模型的步驟，包括：

基于當前的模型剪枝率、所述待剪枝模型的卷積核的分組情況、每一層卷積層中各卷積核對應的剪枝范數值以及每一卷積層在不同層剪枝率下的敏感度信息，對所述待剪枝模型進行剪枝，得到當前的剪枝模型；

基于第二訓練數據，確定所述當前的剪枝模型對應的各第二訓練數據對應的檢測信息；

若基于所述當前的剪枝模型對應的各第二訓練數據對應的檢測信息以及各第二訓練數據中的標定信息，確定所述當前的剪枝模型達到預設剪枝條件，將所述當前的剪枝模型確定為目標剪枝模型。

可選的，所述方法還包括：

若基于所述當前的剪枝模型對應的各第二訓練數據對應的檢測信息以及各第二訓練數據中的標定信息，確定所述當前的剪枝模型未達到預設剪枝條件，調整當前的模型剪枝率的取值，得到新的當前的模型剪枝率；