[發明專利]基于濾波器分布的神經網絡模型加速方法及平臺

有效

• 申請號: 202110209931.2
• 申請日: 2021-02-25
• 公開（公告）號: CN112561041B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 王宏升;管淑祎
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/0495;G06N3/063;G06N3/082
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明公開了一種基于濾波器分布的神經網絡模型加速方法及平臺，引入濾波器彼此之間的距離來反映濾波器的分布，而且在此基礎上設計了一種新穎的基于濾波器平均相似度分數的裁剪準則，即隨著網絡迭代訓練的不斷更新，根據當前通道濾波器的分布計算神經網絡模型的裁剪準則。包括如下步驟：步驟一、定義問題，將神經網絡卷積操作進行建模；步驟二、設計基于濾波器裁剪的神經網絡優化目標；步驟三、計算基于Minkowski距離的濾波器相似度分數；步驟四、設計濾波器裁剪準則。

技術領域

本發明屬于計算機技術應用領域，尤其涉及一種基于濾波器分布的神經網絡模型加速方法及平臺。

背景技術

大規模深度卷積神經網絡模型在計算機圖像應用領域取得了優異的性能，然而，由于實際應用場景中的計算任務必須在有限的資源供應，如計算時間、存儲空間、電池功率等條件下完成，將具有海量參數的預訓練模型部署到內存有限的設備中面臨巨大挑戰，例如，VGG-16模型有1.383億個參數，占用超過500MB的存儲空間，需要309.4億的浮點運算來對單個圖像進行分類。在模型壓縮領域，已有的神經網絡量化壓縮方法將浮點型權重量化為低比特權重(例如，8位或1位)來減小模型大小。但是由于量化誤差的引入，使得神經網絡的訓練非常困難。相比之下，濾波器裁剪方法通過直接移除冗余通道上的濾波器來減小模型大小，使得快速推理幾乎不需要額外的工作。而且濾波器裁剪之后，量化起來也更加容易，模型會更加緊湊。

發明內容

為了解決現有技術中存在的上述技術問題，本發明通過裁剪濾波器來降低預訓練神經網絡模型的計算代價。考慮到濾波器的數量與網絡訓練速度直接相關，因此，通過裁剪濾波器的數量來減少矩陣乘法的數量，實現加速訓練和推理網絡。其具體技術方案如下：

一種基于濾波器分布的神經網絡模型加速方法，包括如下步驟：

步驟一、定義問題，將神經網絡卷積操作進行建模；

步驟二、設計基于濾波器裁剪的神經網絡優化目標；

步驟三、計算基于Minkowski 距離的濾波器相似度分數；

步驟四、設計濾波器裁剪準則。

進一步的，所述步驟一包括如下步驟：

步驟1.1：定義濾波器表示：假設神經網絡具有層卷積層，在第層卷積層的輸入和輸出通道數分別為和，當前網絡的濾波器大小為，采用 表示第層卷積層的第個濾波器；

步驟1.2：定義卷積層表示：對于第 層卷積層，表示為由一組濾波器組成 ，且參數化表示為 ；其中為濾波器的參數化表示，代表第 層卷積層的權重，表示實數；

步驟1.3：構建基于濾波器的神經網絡模型：第 層的卷積操作表示為：，其中， 表示形狀為 的輸入張量，表示形狀為 的輸出張量，和分別表示輸入張量的高和寬，和表示輸出張量的高和寬。

進一步的，所述步驟二具體為：

將當前卷積層的濾波器組成 拆分為兩個集合，分別為裁剪濾波器集合 和保留濾波器 ，將目標定義為：給定數據集和壓縮率參數e，表示為數據集第m張圖片的特征矩陣，n表示輸入圖片的總數，將卷積神經網絡的濾波器裁剪問題定義為帶有稀疏參數約束的優化問題：

且，其中， 是標準的損失函數，如交叉熵損失，保留濾波器 是當前層保留濾波器的集合，N 是保留濾波器的總數。

進一步的，所述步驟三具體為：

步驟3.1：濾波器降維：首先利用 Minkowski 度量距離作為濾波器之間的相似度分數，將三維濾波器變換為一維向量；

步驟3.2：基于濾波器的卷積層表示：第 層的卷積層表示為 ，包括全部的 個濾波器的一維向量，每個向量的長度是 ；

步驟3.3：計算兩個濾波器的相似度分數：假如度量兩個濾波器 之間的相似度分數，利用 Minkowski 距離度量濾波器和之間的關聯分數為：。

進一步的，所述步驟四中具體如下：