[發(fā)明專利]用于神經(jīng)網(wǎng)絡推理的芯片及加速神經(jīng)網(wǎng)絡推理的方法

在審

• 申請?zhí)枺?/td>: 202110336218.4
• 申請日: 2021-03-29
• 公開（公告）號: CN113138957A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設計）人: 聶玉虎;林龍;崔文朋;史存存;劉瑞;王岳;鄭哲;萬能;汪曉;章海斌
• 申請（專利權）人: 北京智芯微電子科技有限公司;國網(wǎng)信息通信產(chǎn)業(yè)集團有限公司;國家電網(wǎng)有限公司;全球能源互聯(lián)網(wǎng)研究院有限公司;國網(wǎng)安徽省電力有限公司檢修分公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/04;G06N3/08
• 代理公司: 北京潤平知識產(chǎn)權代理有限公司 11283
• 代理人: 肖冰濱;王曉曉

1.一種用于神經(jīng)網(wǎng)絡推理的芯片，包括存算單元，其特征在于，所述存算單元包括多個不同輸入長度的存儲計算陣列，多個所述存儲計算陣列用于部署與其輸入長度相對應的卷積核。

2.根據(jù)權利要求1所述的用于神經(jīng)網(wǎng)絡推理的芯片，其特征在于，所述存儲計算陣列上部署的卷積核是經(jīng)過剪枝和聚類的。

3.根據(jù)權利要求1所述的用于神經(jīng)網(wǎng)絡推理的芯片，其特征在于，所述存算單元包括四個存儲計算陣列，四個存儲計算陣列的輸入長度分別為1位、3位、6位、9位。

4.根據(jù)權利要求3所述的用于神經(jīng)網(wǎng)絡推理的芯片，其特征在于，所述1位的存儲計算陣列用于部署1位參數(shù)的卷積核；

所述3位的存儲計算陣列用于部署2位或3位參數(shù)的卷積核；

所述6位的存儲計算陣列用于部署4位至6位參數(shù)的卷積核；

所述9位的存儲計算陣列用于部署7位至9位參數(shù)的卷積核。

5.根據(jù)權利要求1所述的用于神經(jīng)網(wǎng)絡推理的芯片，其特征在于，每個所述存儲計算陣列對應一個卷積核，多個所述存儲計算陣列并行運算。

6.一種加速神經(jīng)網(wǎng)絡推理的方法，基于權利要求1所述的用于神經(jīng)網(wǎng)絡推理的芯片，其特征在于，所述方法包括：

對卷積神經(jīng)網(wǎng)絡的各層卷積核參數(shù)進行剪枝和聚類；

將聚類后的卷積核分配到所述用于神經(jīng)網(wǎng)絡推理的芯片的與所述卷積核的參數(shù)位相對應的存儲計算陣列。

7.根據(jù)權利要求6所述的加速神經(jīng)網(wǎng)絡推理的方法，其特征在于，所述對卷積神經(jīng)網(wǎng)絡的各層卷積核參數(shù)進行剪枝和聚類，包括：

對卷積神經(jīng)網(wǎng)絡的各層卷積核參數(shù)進行剪枝；

對剪枝后的各層卷積核參數(shù)進行量化；

對量化后的各層卷積核參數(shù)進行聚類。

8.根據(jù)權利要求7所述的加速神經(jīng)網(wǎng)絡推理的方法，其特征在于，所述對卷積神經(jīng)網(wǎng)絡的各層卷積核參數(shù)進行剪枝，包括：

獲取所述卷積神經(jīng)網(wǎng)絡的各層卷積核的參數(shù)值，將各層卷積核的小于預設閾值的參數(shù)剪掉。

9.根據(jù)權利要求6所述的加速神經(jīng)網(wǎng)絡推理的方法，其特征在于，所述將聚類后的卷積核分配到所述用于神經(jīng)網(wǎng)絡推理的芯片的與所述卷積核的參數(shù)位相對應的存儲計算陣列，包括：

將1位參數(shù)的卷積核分配到1位的存儲計算陣列；

將2位或3位參數(shù)的卷積核分配到3位的存儲計算陣列；

將4位至6位參數(shù)的卷積核分配到6位的存儲計算陣列；

將7位至9位參數(shù)的卷積核分配到9位的存儲計算陣列。

10.一種存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被執(zhí)行時實現(xiàn)權利要求6-9中任一項所述的加速神經(jīng)網(wǎng)絡推理的方法。