[發(fā)明專利]一種基于Crossbar架構的剪枝方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010310388.0
• 申請日: 2020-04-20
• 公開（公告）號: CN111507473B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設計）人: 蔣力;褚超群
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/0464
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 馮靜

本發(fā)明涉及一種基于Crossbar架構的剪枝方法及系統(tǒng)，該方法包括：對神經(jīng)網(wǎng)絡當前層待處理的權值矩陣進行不考慮架構因素的結構化剪枝，得到第一權值矩陣；權值矩陣為神經(jīng)網(wǎng)絡的權值矩陣；根據(jù)第一權值矩陣的尺寸與crossbar的尺寸，確定剪枝方案；剪枝方案包括：基于區(qū)塊的結構化剪枝、交叉陣列行剪枝和交叉陣列列剪枝；根據(jù)剪枝方案對第一權值矩陣進行剪枝，得到第二權值矩陣；第二權值矩陣用于映射至加速器中的crossbar陣列，通過加速器對神經(jīng)網(wǎng)絡進行加速。本發(fā)明可以降低Crossbar的資源占用，降低硬件資源的的浪費。

技術領域

本發(fā)明涉及網(wǎng)絡加速領域，特別是涉及一種基于Crossbar架構的剪枝方法及系統(tǒng)。

背景技術

當前深度神經(jīng)網(wǎng)絡(DNN)被廣泛應用于圖像分類、目標檢測、語義分割、語音識別等領域。但由于主流神經(jīng)網(wǎng)絡的權值尺寸和計算量很大，所以許多神經(jīng)網(wǎng)絡加速器被設計出來以利用神經(jīng)網(wǎng)絡中卷積層和全連接層計算時的并行性來加速網(wǎng)絡的推理過程，其中一種典型的加速器是基于Crossbar架構的向量-矩陣乘法加速器。

圖1為典型基于交叉陣列(Crossbar)架構的神經(jīng)網(wǎng)絡加速器的架構圖，芯片中包含多個小片(Tile)，其每個片(Tile)都由多個互相連接的核(Core)組成。每個核(Core)內部都有一個Crossbar以及一些外圍電路。計算時這些Crossbar中每個單元(cell)都可以同時完成一次乘法運算，而同一列上的乘法結果可以被很容易地累加起來，故而這種架構可以被用于加速神經(jīng)網(wǎng)絡的推理。

圖2為Crossbar架構加速器完成卷積計算的示意圖。假設這個卷積層有2個2*2的濾波器，在img2col轉換之后可以得到一個4*2的權值矩陣，權值矩陣的每一列代表一個濾波器。另外假設這里有兩個2*4的交叉陣列，每個單元可以表示2比特。而這些權值均可以用4比特來表示，所以這個權值矩陣可以按照圖2中的方式被映射到這兩個交叉陣列上。每一個權值會用兩個單元來存儲，屬于同一個濾波器的權值會根據(jù)對應關系被存在不同的交叉陣列中相同的列上。而這些濾波器的輸入是相同的，比如這些濾波器第一個周期的輸入是特征圖中的2*2的框內的內容，則其對應輸入也會被轉換為一個4*1的向量，其中前兩行被送入第一個交叉陣列，后兩行被送入第二個交叉陣列，這些單元可以同時進行乘法運算且同一列上的計算結果可以被累加，所以Crossbar架構的神經(jīng)網(wǎng)絡加速器可以利用卷積層計算的并行性從而充分的加速卷積計算。全連接層也可以以相似的方法進行處理。

由于典型的神經(jīng)網(wǎng)絡由于模型尺寸大，利用基于Crossbar架構的加速器來對一個實際的網(wǎng)絡進行加速時會消耗大量的Crossbar資源。而神經(jīng)網(wǎng)絡剪枝是減小模型尺寸的一種有效的方法。許多研究表明，神經(jīng)網(wǎng)絡的權值中有著非常多的冗余元素。在訓練過程中，這些冗余元素可以通過稀疏算法進行查找和修剪(即置為0)，而神經(jīng)網(wǎng)絡的精度不會有實質的下降。有的現(xiàn)有技術中通過將每個Crossbar中每一列權值作為基本的剪枝粒度，將剩下的列進行左移補齊，該方法最終得到了剪枝結果，一方面，該算法只利用了神經(jīng)網(wǎng)絡權值矩陣列方向上的稀疏性，而不能利用行方向上的稀疏性，故而其壓縮比會被限制。另一方面，該算法在對剪枝結果中剩余的權值進行左移補齊操作后，一些Crossbar中大部分的單元都處于空閑狀態(tài)，浪費了硬件資源。

發(fā)明內容

本發(fā)明的目的是提供一種基于Crossbar架構的剪枝方法及系統(tǒng)，以降低Crossbar的資源占用，降低硬件資源的的浪費。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于Crossbar架構的剪枝方法，包括：

對神經(jīng)網(wǎng)絡當前層待處理的權值矩陣進行不考慮架構因素的結構化剪枝，得到第一權值矩陣；所述待處理的權值矩陣為神經(jīng)網(wǎng)絡的權值矩陣，所述待處理的權值矩陣的每一列代表一個濾波器；

根據(jù)所述第一權值矩陣的尺寸與crossbar的尺寸，確定剪枝方案；所述剪枝方案包括：基于區(qū)塊的結構化剪枝、交叉陣列行剪枝和交叉陣列列剪枝；