[發(fā)明專利]神經(jīng)網(wǎng)絡運算裝置及應用其進行運算的方法

有效

• 申請?zhí)枺?/td>: 201711452014.7
• 申請日: 2017-10-17
• 公開（公告）號: CN108170640B
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 周聖元;陳云霽;陳天石;劉少禮;郭崎;杜子東;劉道福
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/15
• 分類號: G06F17/15;G06N3/04
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

1.一種神經(jīng)網(wǎng)絡運算裝置，用于進行卷積運算，其特征在于，包括：

運算部分，用于完成所述卷積運算，包含多個運算單元組，多個所述運算單元組呈X行Y列的陣列式分布，運算單元組間以S形方向和/或逆S形方向傳遞數(shù)據(jù)，其中X和Y分別為正整數(shù)，且上一行的最后一個被傳遞數(shù)據(jù)的運算單元組向所在列的下一行的運算單元組傳輸數(shù)據(jù)，逆S形方向中，下一行的最后一個被傳遞數(shù)據(jù)的運算單元組向所在列的上一行的運算單元組傳輸數(shù)據(jù)；其中每個所述運算單元組包括：多個運算單元，呈M行N列的陣列式分布，運算單元間以S形方向和/或逆S形方向傳遞數(shù)據(jù)，其中M和N分別為正整數(shù)，且上一行的最后一個被傳遞數(shù)據(jù)的運算單元向所在列的下一行的運算單元傳輸數(shù)據(jù)，逆S形方向中，下一行的最后一個被傳遞數(shù)據(jù)的運算單元向所在列的上一行的運算單元傳輸數(shù)據(jù)；

其中，每個所述運算單元包括：兩個或以上乘法器，兩個或以上加法器，所述運算單元內(nèi)設置有至少一內(nèi)部存儲部分，該內(nèi)部存儲部分與所述乘法器和/或加法器連接，每個運算單元中的乘法器每次從外界讀取數(shù)據(jù)，和內(nèi)部存儲單元中的數(shù)據(jù)進行相乘，乘積送入加法器中，加法器將沿S形或逆S形傳來的數(shù)據(jù)和乘法器的乘積相加，結(jié)果沿S形或逆S形傳遞到下一運算單元的加法器中，其中非奇數(shù)號加法器接受S形方向傳遞來的數(shù)據(jù)進行加法運算，并將結(jié)果按照S形方向繼續(xù)傳遞，奇數(shù)號加法器接受來自逆S形傳遞來的數(shù)據(jù)，并將結(jié)果繼續(xù)按逆S形傳遞，當運算到最后一個運算單元時，選擇將運算結(jié)果沿逆S形傳遞回來繼續(xù)運算，或 傳送到存儲單元進行保存；

緩存，用于向所述運算單元組傳送數(shù)據(jù)以及接收運算單元組運算后的數(shù)據(jù)。

2.根據(jù)權利要求1所述的神經(jīng)網(wǎng)絡運算裝置，其特征在于，還包括控制部分，用于對所述運算部分和緩存進行控制，使兩者能夠相互協(xié)作，完成所需功能。

3.根據(jù)權利要求1所述的神經(jīng)網(wǎng)絡運算裝置，其特征在于，每個運算單元組還包含兩個選擇器，用于跳過該運算單元中的乘法器和加法器：

當該運算單元需要進行運算的時候，選擇器選擇加法器的結(jié)果作為運算單元的輸出；

或者當該運算單元無需進行運算的時候，選擇器直接將輸入數(shù)據(jù)輸出。

4.根據(jù)權利要求1所述的神經(jīng)網(wǎng)絡運算裝置，其特征在于，每個運算單元組還用于單獨傳遞數(shù)據(jù)給緩存部分，還用于在控制部分的控制下，選擇不同的輸出通路，以實現(xiàn)串行工作或并行工作。

5.應用權利要求1-4任一所述神經(jīng)網(wǎng)絡運算裝置進行卷積運算的方法，其特征在于包括：

設定卷積核，卷積核大小為大于一個運算單元組中的運算單元個數(shù)；

將多個運算單元組組合成為一個運算單元族，使得運算單元族內(nèi)的運算單元組按照串行的運算方式進行數(shù)據(jù)傳遞和運算，運算單元族間按照并行的運算方式進行數(shù)據(jù)的傳遞和運算。

6.根據(jù)權利要求5所述的方法，其特征在于，包括：

將輸出特征圖對應的權值數(shù)據(jù)送入各運算單元的內(nèi)部存儲部分；

將待運算的神經(jīng)元分別送入運算單元中進行乘法和加法運算；

進行加法后的運算結(jié)果按所述S形或逆S形方向傳遞給下一運算單元進行運算。

7.根據(jù)權利要求6所述的方法，其特征在于，當一運算單元組中運算單元的個數(shù)等于卷積核大小時，將運算結(jié)果進一步進行激活操作。

8.根據(jù)權利要求7所述的方法，其特征在于，當一運算單元組中運算單元的個數(shù)小于卷積核大小時，將運算結(jié)果作為臨時的數(shù)據(jù)，送入下一運算單元組繼續(xù)運算。

9.根據(jù)權利要求5所述的方法，其特征在于，運算單元族間按照并行的運算方式進行數(shù)據(jù)的傳遞和運算包括：

一個運算單元族內(nèi)的每個運算單元組能夠依照S形或逆S形的運算順序完成數(shù)據(jù)的乘法運算和加法運算；

運算單元族中的數(shù)據(jù)依次傳遞給該族內(nèi)和其相鄰的另一個運算單元組進行運算，直到運算完畢；

利用該運算單元族內(nèi)的最后一個運算單元組的輸出路徑將結(jié)果輸出至緩存中。