[發明專利]神經網絡運算裝置及方法

在審

• 申請號: 201711408882.5
• 申請日: 2017-12-14
• 公開（公告）號: CN108229656A
• 公開（公告）日: 2018-06-29
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

一種神經網絡運算裝置，包括：稀疏化處理單元，用于對權值矩陣進行稀疏化處理，生成一二進制的稀疏序列，其中，“0”對應權值矩陣中數值為“0”的元素，“1”對應變換后權值矩陣中數值不為0的元素；映射單元，用于所述生成稀疏序列與神經元矩陣中元素位置的映射關系表，稀疏序列的第K位對應M行×N列神經元矩陣中第i行第j列元素，且滿足(i?1)×N+j＝K或者(j?1)×M+i＝K；控制器，用于控制所述稀疏化處理單元生成稀疏序列以及控制所述映射單元生成映射關系表。

技術領域

本披露涉及人工神經網絡技術領域，具體涉及一種神經網絡運算裝置以及神經網絡的運算方法。

背景技術

多層人工神經網絡被廣泛應用于模式識別、圖像處理、函數逼近和優化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業界越來越廣泛的關注。

為了適應越來越來高的任務需求，神經網絡的規模變得越來越龐大，目前大型的卷積神經網絡已經包含了上百層的網絡層結構。隨之帶來的問題神經網絡需要做更大量的運算，特別是卷積神經網絡，大量的卷積運算降低了神經網絡的運算速度，影響神經網絡在實際應用場合的使用。

發明內容

(一)要解決的技術問題

有鑒于此，本披露的目的在于提供一種神經網絡運算裝置神經網絡的運算及方法，以至少部分解決以上所述的技術問題。

(二)技術方案

本披露一方面提供一種神經網絡運算裝置，包括稀疏化處理單元，用于對權值矩陣進行稀疏化處理，生成一二進制的稀疏序列，其中，“0”對應權值矩陣中數值為“0”的元素，“1”對應變換后權值矩陣中數值不為0的元素；映射單元，用于所述生成稀疏序列與神經元矩陣中元素位置的映射關系表，稀疏序列的第K位對應M行×N列神經元矩陣中第i行第j列元素，且滿足(i-1)×N+j＝K或者(j-1)×M+i＝K；

控制器，用于控制所述稀疏化處理單元生成系數序列以及控制所述映射單元生成映射關系表。

在進一步的實施方案中，神經網絡運算裝置用于以矩陣乘法的方式實現神經網絡中的權值矩陣與神經元的卷積運算，其中包括：

移位運算器，用于對所述神經元矩陣和權值矩陣分別進行winograd變換，得到變換后神經元矩陣和變換后權值矩陣；

矩陣乘法運算器，用于將所述變換后神經元矩陣和變換后權值矩陣進行對位相乘的矩陣乘法操作，得到乘法矩陣；

所述移位運算器還用于將所述乘法矩陣進行winograd反變換，得到卷積運算結果；

控制器，用于控制所述移位運算器進行winograd變換或winograd反變換，還用于控制所述矩陣乘法運算器進行矩陣乘法操作。

在進一步的實施方案中，還包括片上緩存，用于存儲所述神經元矩陣和權值矩陣，還用于存儲對神經元矩陣進行winograd變換的變換矩陣C，用于存儲對權值矩陣進行winograd變換的變換矩陣G。

在進一步的實施方案中，所述變換矩陣C和所述變換矩陣G中的元素數值獨立為±2ⁿ或0，n為整數。

在進一步的實施方案中，所述片上緩存還用于存儲進行winograd反變換矩陣，還用于存儲對神經元矩陣進行winograd反變換的反變換矩陣A。

在進一步的實施方案中，所述反變換矩陣A中的元素數值為±2ⁿ或0，n為整數。