[發明專利]用于卷積神經網絡的卷積運算裝置

有效

• 申請號: 202010514287.5
• 申請日: 2020-06-08
• 公開（公告）號: CN111882028B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 焦海龍;劉敏
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 郭燕

一種用于卷積神經網絡的卷積運算裝置,涉及電子信息以及深度學習技術領域，用于對待卷積矩陣與卷積核矩陣進行卷積計算以獲取卷積結果矩陣，包括待卷積矩陣控制器、卷積核矩陣控制器和卷積運算模塊。待卷積矩陣控制器和卷積核矩陣控制器分別按卷積順序獲取待卷積矩陣和卷積核矩陣的標簽矩陣，只有當待卷積矩陣和卷積核矩陣的標簽矩陣的相同位置上的元素值均為預設值時，才將與標簽矩陣的元素對應的待卷積矩陣和卷積核矩陣的元素進行卷積運算以獲取卷積結果矩陣。由待卷積矩陣和卷積核矩陣的標簽矩陣的相同位置上的元素值均為預設值而引入的稀疏性要遠大于待卷積矩陣和卷積核矩陣，使得卷積運算的計算量降低，進而加速卷積神經網絡的運算速度。

技術領域

本發明涉及電子信息以及深度學習技術領域，具體涉及一種用于卷積神經網絡的卷積運算裝置。

背景技術

隨著基于神經網絡的人工智能解決方案的需求越來越多，在一些移動平臺如無人機、機器人等都應用卷積神經網絡構建，這些都正在深刻的改變人類的生產和生活方式。而對應在卷積神經網絡專用硬件設計研究方面，已有基于CPU、GPU、FPGA、ASIC和RRAM等新型器件的實現方式。從云端到移動端，不同應用場景對卷積神經網絡的計算能力提出了不同的需求，再加上卷積神經網絡的結構多樣、數據量大、計算量大，也給硬件實現神經網絡算法設計提出了巨大挑戰。其中，卷積神經網絡的硬件架構的核心是卷積運算的硬件架構。在現有技術中，一種是應用傳統的數字電路進行卷積神經網絡卷積運算的硬件架構的電路設計，如FPGA、ASIC、GPU和CPU等。但隨著工藝尺寸的減小，電路節點漏電增大、電源電壓降低。在一定的計算精度下，就要消耗大量的電路計算資源和存儲資源。即整體電路的功耗、面積、速度和精度等性能不斷受到限制。另一種是基于新器件進行CNN硬件電路設計實現，如RRAM等。其中，卷積神經網絡(CNN)的卷積層在提取輸入數據的特征信息方面非常有效，因此CNN具有很高的識別精度，已經在圖像識別和自然語言處理等各個領域都有廣泛的應用。綜上所述，基于現有的電路計算資源如何加速卷積運算的運算速度是卷積神經網絡加速器的熱點研發方向。

發明內容

本申請提供了一種用于卷積神經網絡的卷積運算裝置，解決現有技術中卷積神經網絡加速器的不足，具體實施方案如下：

根據第一方面，一種實施例中提供一種用于卷積神經網絡的卷積運算裝置，用于對待卷積矩陣X與卷積核矩陣W進行卷積計算以獲取卷積結果矩陣P，包括待卷積矩陣控制器、卷積核矩陣控制器和卷積運算模塊；

所述待卷積矩陣控制器用于按卷積順序依次獲取一組預卷積計算的待卷積矩陣X的元素所對應的待卷積標簽矩陣X′的元素，并發送給所述卷積運算模塊；所述待卷積標簽矩陣X′的元素與所述待卷積矩陣X的元素一一對應，當所述待卷積矩陣X的元素為非零值時，所述待卷積標簽矩陣X′的對應元素的值為第一數值；

所述卷積核矩陣控制器用于按卷積順序依次獲取一組預卷積計算的卷積核矩陣W的元素所對應的卷積核標簽矩陣W′的元素，并發送給所述卷積運算模塊；所述卷積核標簽矩陣W′的元素與所述卷積核矩陣W的元素一一對應，當所述卷積核矩陣W的元素為非零值時，所述卷積核標簽矩陣W′的對應元素的值為第二數值；

所述卷積運算模塊用于依據元素值分別為所述第一數值和所述第二數值的所述待卷積標簽矩陣X′的元素和所述卷積核矩陣W′的元素獲取所述待卷積矩陣X中的元素的位置信息和所述卷積核矩陣W中的元素的位置信息，再依據所述待卷積矩陣X中的元素的位置信息和所述卷積核矩陣W中的元素的位置信息獲取所述待卷積矩陣X中的元素和所述卷積核矩陣W中的元素；

所述卷積運算模塊還用于將獲取的所述待卷積矩陣X中的元素和所述卷積核矩陣W中的元素進行卷積運算，將獲取的卷積運算結果作為所述卷積結果矩陣P的一個元素輸出。

進一步，所述卷積運算模塊用于依據元素值分別為所述第一數值和所述第二數值的所述待卷積標簽矩陣X′的元素和所述卷積核矩陣W′的元素獲取所述待卷積矩陣X中的元素的位置信息和所述卷積核矩陣W中的元素的位置信息，包括：