[發明專利]一種基于動態稀疏卷積的神經網絡加速推理方法和系統

在審

• 申請號: 202111503284.2
• 申請日: 2021-12-09
• 公開（公告）號: CN114118425A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 安瑋;王龍光;林再平;郭裕蘭;李淼;王應謙;應昕怡
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N3/04;G06N3/08
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 李楊

本申請涉及一種基于動態稀疏卷積的神經網絡加速推理方法和系統。根據輸入的特征圖預測輸出特征圖中冗余計算的位置，得到稀疏的數據掩膜和通道掩膜；在訓練階段，利用動態稀疏卷積層，引導卷積層只對掩膜標記的位置進行處理，對網絡進行稀疏正則化訓練，提高網絡的稀疏性，降低網絡的冗余度，訓練完成之后，在推理階段，利用動態稀疏卷積根據輸入數據動態跳過冗余位置的計算。本發明在不影響模型性能的前提下，有效減少了模型的計算量，降低了模型在推理過程中的資源占用，提高了模型的推理速度，使得模型能夠在資源有限的邊緣設備上運行。

技術領域

本申請涉及深度學習領域，特別是涉及一種基于動態稀疏卷積的神經網絡加速推理方法和系統。

背景技術

近年來，深度學習發展十分迅速，在計算機視覺、自然語言處理、推薦系統、機器人等領域得到了成功的應用。但隨著深度神經網絡的規模不斷擴大，網絡參數量不斷增加，網絡計算開銷不斷增大，在計算資源受限的嵌入式設備中難以運行。現有技術存在計算量大、效率低的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠避免冗余計算的基于動態稀疏卷積的神經網絡加速推理方法和系統。

一種基于動態稀疏卷積的神經網絡加速推理方法，所述方法包括：

獲取神經網絡任一卷積層的輸入特征圖，根據所述輸入特征圖得到所述卷積層的數據掩膜和通道掩膜；所述數據掩膜和所述通道掩膜用于預測當前卷積層輸出特征圖中冗余計算的位置；

將訓練數據輸入所述神經網絡中，將神經網絡中的當前卷積層替換為動態稀疏卷積層；所述動態稀疏卷積層中包括前一卷積層的前一通道掩膜，以及當前卷積層的當前數據掩膜和當前通道掩膜；

根據所述前一卷積層的前一通道掩膜，以及當前卷積層的當前數據掩膜和當前通道掩膜，對當前卷積層的輸入特征圖進行處理，引導當前卷積層只對掩膜標記的位置進行處理；

對整個神經網絡進行稀疏正則化訓練，得到訓練好的稀疏神經網絡模型；

將待推理數據輸入所述訓練好的稀疏神經網絡模型，對任一動態稀疏卷積層，根據前一卷積層的前一通道掩膜和當前卷積層的當前數據掩膜，對當前卷積層的輸入特征圖進行處理，動態跳過當前卷積層中的冗余計算，得到推理結果。

在其中一個實施例中，還包括：獲取神經網絡任一卷積層的輸入特征圖F^l-1，所述輸入特征圖F^l-1的維度為H*W*C，其中，H表示特征圖的高，W表示特征圖的寬，C表示特征圖的通道；

將所述輸入特征圖F^l-1送入多層卷積層得到數據特征圖所述數據特征圖的維度為H*W*2；

獲取溫度參數t；

利用softmax函數計算特征圖沿通道維度在溫度參數t條件下的softmax分布，得到所述卷積層的數據掩模

對所述輸入特征圖F^l-1進行全局池化，得到特征向量，所述特征向量的長度為2C；

將所述特征向量進行變形，得到通道特征圖所述通道特征圖的維度為C*2；

利用softmax計算特征圖沿通道維度在所述溫度參數t條件下的softmax分布，得到所述卷積層的通道掩模

在其中一個實施例中，還包括：利用softmax函數計算特征圖沿通道維度在溫度參數t條件下的softmax分布，得到所述卷積層的數據掩模為：

其中，i、j、k分別為H、W和C的索引。

在其中一個實施例中，還包括：利用softmax計算特征圖沿通道維度在所述溫度參數t條件下的softmax分布，得到所述卷積層的通道掩模為：