[發明專利]一種面向憶阻器加速器的神經網絡模型壓縮方法及系統

有效

• 申請號: 202110281982.6
• 申請日: 2021-03-16
• 公開（公告）號: CN113052307B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王琴;沈林耀;景乃鋒;繩偉光;蔣劍飛;毛志剛
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種面向憶阻器加速器的神經網絡模型壓縮方法，其特征在于，所述方法包括：

步驟1：通過陣列感知的規則化增量剪枝算法，裁剪原始網絡模型獲得憶阻器陣列友好的規則化稀疏模型；

步驟2：通過二的冪次量化算法，降低ADC精度需求和憶阻器陣列中低阻值器件個數以總體降低系統功耗；

其中，步驟1中的陣列感知的規則化增量剪枝算法包括：

陣列感知：在網絡裁剪時針對憶阻器實際陣列尺寸進行剪枝粒度的調整；

增量剪枝與分層稀疏相結合：增量剪枝對神經網絡模型的裁剪并恢復模型精度，分層稀疏根據網絡層在模型中的位置不同而對每層網絡設定不同剪枝率參數，遵循著剪枝率按照低-高-低的策略對各層網絡剪枝參數進行設定；

閾值校準：校準方案為將各行的L2范數除以行中有效列數，以實現歸一化。

2.根據權利要求1所述的方法，其特征在于，所述增量剪枝包括：

步驟1-1：將剪枝率設定為初始值，使其在首次剪枝中只裁剪掉少量以憶阻器陣列行為粒度的權重；

步驟1-2：通過重訓練恢復之前的模型準確度；

步驟1-3：根據剪枝率階梯增量提高剪枝率以進一步裁剪模型；

步驟1-4：通過重訓練恢復精度，提高剪枝率再恢復精度的過程將一直執行直到整個模型的準確度達到設計的閾值目標同時網絡訓練次數達到設定的要求。

3.根據權利要求1所述的方法，其特征在于，所述閾值校準包括：

步驟1-5：將需要裁剪的當前層網絡轉成通用矩陣乘形式；

步驟1-6：以憶阻器陣列行的粒度求解各行L2范數，并按大小對其進行排序；根據分層稀疏配置表中當前層對應的剪枝率獲取剪枝L2范數閾值，將低于該閾值的行權重置0，其余權重保留以用于重訓練。

4.根據權利要求1所述的方法，其特征在于，所述步驟2中二的冪次量化算法包括：

步驟2-1：將待處理的當前層網絡進行分組，其中一組為需要進行量化的權重，另一組為不量化的浮點權重以參與網絡重訓練；

步驟2-2：量化完畢之后，通過重訓練恢復量化損失的精度；

步驟2-3：提高分組率再一次執行量化重訓練的步驟直到當前層網絡全部權重均被量化成形式。

5.一種面向憶阻器加速器的神經網絡模型壓縮系統，其特征在于，所述系統包括：

模塊M1：通過陣列感知的規則化增量剪枝算法，裁剪原始網絡模型獲得憶阻器陣列友好的規則化稀疏模型；

模塊M2：通過二的冪次量化算法，降低ADC精度需求和憶阻器陣列中低阻值器件個數以總體降低系統功耗；

其中，所述模塊M1中的陣列感知的規則化增量剪枝算法包括：

陣列感知：在網絡裁剪時針對憶阻器實際陣列尺寸進行剪枝粒度的調整；

增量剪枝與分層稀疏相結合：增量剪枝對神經網絡模型的裁剪并恢復模型精度，分層稀疏根據網絡層在模型中的位置不同而對每層網絡設定不同剪枝率參數，遵循著剪枝率按照低-高-低的策略對各層網絡剪枝參數進行設定；

閾值校準：校準方案為將各行的L2范數除以行中有效列數，以實現歸一化。

6.根據權利要求5所述的系統，其特征在于，所述增量剪枝包括：

將剪枝率設定為初始值，使其在首次剪枝中只裁剪掉少量以憶阻器陣列行為粒度的權重；

通過重訓練恢復之前的模型準確度；

根據剪枝率階梯增量提高剪枝率以進一步裁剪模型；

通過重訓練恢復精度，提高剪枝率再恢復精度的過程將一直執行直到整個模型的準確度達到設計的閾值目標同時網絡訓練次數達到設定的要求。

7.根據權利要求5所述的系統，其特征在于，所述閾值校準包括：

將需要裁剪的當前層網絡轉成通用矩陣乘形式；

以憶阻器陣列行的粒度求解各行L2范數，并按大小對其進行排序；根據分層稀疏配置表中當前層對應的剪枝率獲取剪枝L2范數閾值，將低于該閾值的行權重置0，其余權重保留以用于重訓練。

8.根據權利要求5所述的系統，其特征在于，所述模塊M2中二的冪次量化算法包括：

將待處理的當前層網絡進行分組，其中一組為需要進行量化的權重，另一組為不量化的浮點權重以參與網絡重訓練；

量化完畢之后，通過重訓練恢復量化損失的精度；

提高分組率再一次執行量化重訓練的步驟直到當前層網絡全部權重均被量化成形式。