[發(fā)明專利]基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法及平臺

有效

• 申請?zhí)枺?/td>: 202110209931.2
• 申請日: 2021-02-25
• 公開（公告）號: CN112561041B
• 公開（公告）日: 2023-10-27
• 發(fā)明（設計）人: 王宏升;管淑祎
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/0495;G06N3/063;G06N3/082
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法，其特征在于包括如下步驟：

步驟一、定義問題，將神經(jīng)網(wǎng)絡卷積操作進行建模；

步驟二、設計基于濾波器裁剪的神經(jīng)網(wǎng)絡優(yōu)化目標；

步驟三、計算基于Minkowski 距離的濾波器相似度分數(shù)；

步驟四、設計濾波器裁剪準則。

2.如權利要求1所述的基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法，其特征在于：所述步驟一包括如下步驟：

步驟1.1：定義濾波器表示：假設神經(jīng)網(wǎng)絡具有層卷積層，在第層卷積層的輸入和輸出通道數(shù)分別為 和 ，當前網(wǎng)絡的濾波器大小為，采用 表示第 層卷積層的第 個濾波器；

步驟1.2：定義卷積層表示：對于第 層卷積層，表示為由一組濾波器組成 ，且參數(shù)化表示為 ；其中為濾波器的參數(shù)化表示，代表第 層卷積層的權重，表示實數(shù)；

步驟1.3：構建基于濾波器的神經(jīng)網(wǎng)絡模型：第 層的卷積操作表示為：，其中， 表示形狀為 的輸入張量，表示形狀為 的輸出張量，和分別表示輸入張量的高和寬，和表示輸出張量的高和寬。

3.如權利要求2所述的基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法，其特征在于：

所述步驟二具體為：

將當前卷積層的濾波器組成 拆分為兩個集合，分別為裁剪濾波器集合 和保留濾波器 ，將目標定義為：給定數(shù)據(jù)集和壓縮率參數(shù)e，表示為數(shù)據(jù)集第m張圖片的特征矩陣，n表示輸入圖片的總數(shù)，將卷積神經(jīng)網(wǎng)絡的濾波器裁剪問題定義為帶有稀疏參數(shù)約束的優(yōu)化問題：

且，其中，是標準的損失函數(shù)，保留濾波器 是當前層保留濾波器的集合，N 是保留濾波器的總數(shù)。

4.如權利要求3所述的基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法，其特征在于：

所述步驟三具體為：

步驟3.1：濾波器降維：首先利用 Minkowski 度量距離作為濾波器之間的相似度分數(shù)，將三維濾波器變換為一維向量；

步驟3.2：基于濾波器的卷積層表示：第層的卷積層表示為，包括全部的 個濾波器的一維向量，每個向量的長度是 ；

步驟3.3：計算兩個濾波器的相似度分數(shù)：假如度量兩個濾波器 之間的相似度分數(shù)，利用 Minkowski 距離度量濾波器和之間的關聯(lián)分數(shù)為：。

5.如權利要求4所述的基于濾波器分布的神經(jīng)網(wǎng)絡模型加速方法，其特征在于：所述步驟四中具體如下：

定義當前濾波器的平均相似度分數(shù)，利用平均相似度分數(shù)來表示濾波器的分布特征，選擇具有較小平均相似度分數(shù)的濾波器進行裁剪的準則，具體的裁剪準則表示為：，表示當前層濾波器，表示其他濾波器，為計算當前濾波器與其它濾波器的距離，選擇的與距離最近的濾波器。

6.一種基于濾波器分布的神經(jīng)網(wǎng)絡模型加速平臺，包括以下組件：

數(shù)據(jù)加載組件：用于獲取卷積神經(jīng)網(wǎng)絡的訓練數(shù)據(jù)，所述訓練數(shù)據(jù)是滿足監(jiān)督學習任務的有標簽的樣本；

壓縮組件：用于將卷積神經(jīng)網(wǎng)絡模型壓縮得到卷積神經(jīng)網(wǎng)絡的壓縮模型，包括濾波器分布計算模塊、濾波器裁剪模塊、剪枝網(wǎng)絡微調模塊；

推理組件：登陸用戶從所述平臺獲取卷積神經(jīng)網(wǎng)絡的壓縮模型，用戶利用所述壓縮組件輸出的壓縮模型在實際場景的數(shù)據(jù)集上對登陸用戶上傳的特定任務的新數(shù)據(jù)進行推理；并在所述平臺的壓縮模型推理頁面呈現(xiàn)壓縮前后推理模型性能對比信息；

其中所述濾波器分布計算模塊根據(jù)基于Minkowski 距離的濾波器相似度分數(shù)計算每層卷積網(wǎng)絡中濾波器的分布情況，獲取待裁剪濾波器的列表；首先，根據(jù)所述濾波器平均相似度分數(shù)的計算方法，統(tǒng)計卷積神經(jīng)網(wǎng)絡當前訓練狀態(tài)下所有濾波器的平均相似度分數(shù)；然后，將每層卷積網(wǎng)絡的所有濾波器的分數(shù)由高到低進行排序；最后，根據(jù)用戶需求給出的壓縮率e，計算得到待裁剪的平均相似度分數(shù)較小的濾波器列表；

所述濾波器裁剪模塊是根據(jù)所述濾波器分布計算模塊輸出的待裁剪的濾波器列表，裁剪掉當前網(wǎng)絡中對應位置的濾波器，首先，將待裁剪列表中具有較小平均相似度分數(shù)的濾波器和其相應的特征圖進行裁剪；其次，將當前層的下一個卷積層中與待裁剪的特征圖相對應的濾波器也相應地進行裁剪；

所述剪枝網(wǎng)絡微調模塊是端到端地訓練網(wǎng)絡，將訓練數(shù)據(jù)輸入剪枝網(wǎng)絡；更新網(wǎng)絡的權重。