[發明專利]一種基于Crossbar架構的剪枝方法及系統

有效

• 申請號: 202010310388.0
• 申請日: 2020-04-20
• 公開（公告）號: CN111507473B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 蔣力;褚超群
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 馮靜

1.一種基于Crossbar架構的剪枝方法，其特征在于，包括：

對神經網絡當前層待處理的權值矩陣進行不考慮架構因素的結構化剪枝，得到第一權值矩陣；所述權值矩陣為神經網絡的權值矩陣；

根據所述第一權值矩陣的尺寸與crossbar的尺寸，確定剪枝方案；所述剪枝方案包括：基于區塊的結構化剪枝、交叉陣列行剪枝和交叉陣列列剪枝；

根據所述剪枝方案對所述第一權值矩陣進行剪枝，得到第二權值矩陣，具體包括：

確定所述第一權值矩陣映射至加速器中的crossbar陣列時每個crossbar對應的權值分布矩陣；

當剪枝方案為基于區塊的結構化剪枝時，將所述第一權值矩陣均勻劃分為x*y個區塊；所述區塊的尺寸大于所述crossbar的尺寸，所述加速器中的crossbar陣列中被映射crossbar的個數為x*y；

按照所述crossbar的尺寸，對每個所述區塊進行結構化剪枝，得到所述第二權值矩陣；

當剪枝方案為交叉陣列列剪枝時，確定每個crossbar對應的權值分布矩陣中每一列權值的列重要性度量因子；

將列重要性度量因子小于列閾值的列權值刪除，并將所述權值分布矩陣中被刪除列右側的所有列左移至刪除列所在的空白位置，得到所述第二權值矩陣；所述列閾值可調節；

當剪枝方案為交叉陣列行剪枝時，確定每個crossbar對應的權值分布矩陣中每一行權值的行重要性度量因子；

將行重要性度量因子小于行閾值的行權值刪除，并將所述權值分布矩陣中被刪除行下方的所有行上移至刪除行所在的空白位置，得到所述第二權值矩陣；所述行閾值可調節；

所述第二權值矩陣用于映射至加速器中的crossbar陣列，通過所述加速器對所述神經網絡進行加速。

2.根據權利要求1所述的基于Crossbar架構的剪枝方法，其特征在于，所述對神經網絡當前層待處理的權值矩陣進行不考慮架構因素的結構化剪枝，得到第一權值矩陣，之后還包括：

根據所述當前層的第一權值矩陣對神經網絡進行后處理，壓縮所述神經網絡。

3.根據權利要求2所述的基于Crossbar架構的剪枝方法，其特征在于，所述根據所述當前層的第一權值矩陣對神經網絡進行后處理，壓縮所述神經網絡，具體包括：

當當前層的第k個濾波器被刪除時，將當前層的下一層中第k個通道的權值刪除；

當當前層的第k個通道被刪除時，將當前層的上一層中第k個濾波器刪除。

4.根據權利要求1所述的基于Crossbar架構的剪枝方法，其特征在于，所述根據所述第一權值矩陣的尺寸與crossbar的尺寸，確定剪枝方案，具體包括：

計算所述第一權值矩陣的寬度與所述crossbar的寬度之比，得到第一數值；

計算所述第一權值矩陣的高度與所述crossbar的高度之比，得到第二數值；

比較第一數值與比值閾值的大小關系以及第二數值與比值閾值的大小關系；

當第一數值大于比值閾值且第二數值大于比值閾值時，將所述基于區塊的結構化剪枝確定為剪枝方案；

當第一數值大于比值閾值且第二數值不大于比值閾值時，將所述交叉陣列列剪枝確定為剪枝方案；

當第一數值不大于比值閾值且第二數值大于比值閾值時，將所述交叉陣列行剪枝確定為剪枝方案；

當第一數值小于比值閾值且第二數值小于比值閾值時，將所述交叉陣列列剪枝或所述交叉陣列行剪枝確定為剪枝方案。

5.根據權利要求1所述的基于Crossbar架構的剪枝方法，其特征在于，根據所述剪枝方案對所述第一權值矩陣進行剪枝，得到第二權值矩陣，之后還包括：

采用XRST模塊記錄所述第二權值矩陣的行稀疏性；所述XRST模塊位于所述crossbar的外圍電路中，所述XRST模塊用于根據所述第二權值矩陣的行稀疏性將被刪除的行對應的輸入跳過；

采用XCST模塊記錄所述第二權值矩陣的列稀疏性；所述XCST模塊位于所述crossbar的外圍電路中，所述XCST模塊用于根據所述第二權值矩陣的列稀疏性將被刪除的列對應的輸出位置插入0，以復原所有輸出的真實位置。