[發明專利]神經網絡加速裝置、方法和通信設備

在審

• 申請號: 202111071508.7
• 申請日: 2021-09-14
• 公開（公告）號: CN113807509A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 王赟;張官興;郭蔚;黃康瑩;張鐵亮
• 申請（專利權）人: 紹興埃瓦科技有限公司;上海埃瓦智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 黃貞君;馮振華

1.一種神經網絡加速裝置，其特征在于，包括：

主存儲器，用于接收并存儲待處理圖像的特征圖數據、權重數據；

主控制器，用于解析神經網絡程序編譯指令，并根據神經網絡的結構參數，生成配置信息和運算指令；

數據緩存模塊，包括用于緩存從所述特征圖數據中提取的特征行數據的特征數據緩存單元和用于緩存從所述權重數據中提取的卷積核數據的卷積核緩存單元；

神經網絡計算模塊，包括數據控制器、數據提取器和神經網絡計算單元，所述數據控制器根據配置信息和指令信息調整數據通路，控制所述數據提取器提取的數據流按指令信息加載到對應的神經網絡計算單元，所述神經網絡計算單元至少完成一個卷積核與所述特征圖數據的卷積運算，并在至少一個周期完成多個卷積結果的累加，從而實現電路重構以及數據復用；

累加器，用于對卷積核運算單元得到的多個輸入通道特征圖上的卷積結果進行累加，輸出所述卷積核對應的輸出特征圖數據。

2.根據權利要求1所述的神經網絡加速裝置，其特征在于，所述神經網絡計算單元包括多個神經網絡加速分片，每個神經網絡加速分片包含多個卷積運算乘加陣列，每個神經網絡加速分片至少完成一個輸入通道的特征圖數據與一個卷積核數據的卷積運算，多個神經網絡加速分片完成多個輸入通道的特征圖數據與一個卷積核數據的卷積運算。

3.根據權利要求2所述的神經網絡加速裝置，其特征在于，所述多個神經網絡加速分片構成第一神經網絡運算矩陣，多個第一神經網絡運算矩陣并聯耦合構成第二神經網絡加速矩陣；所述第二神經網絡加速矩陣中的第一神經網絡運算矩陣用于完成多個輸入通道特征數據與一個卷積核的卷積運算，多個所述第二神經網絡加速矩陣完成多個輸入通道特征數據與多個卷積核的并行卷積運算。

4.根據權利要求2所述的神經網絡加速裝置，其特征在于，每組卷積運算乘加陣列通過并行輸入的方式獲取特征行數據；每組卷積運算乘加陣列通過串行輸入的方式獲取卷積核行數據。

5.根據權利要求2所述的神經網絡加速裝置，其特征在于，所述神經網絡加速分片包含多個第一多路選擇復用器和多個第二多路選擇復用器，所述第一多路選擇復用器與所述卷積運算乘加陣列一一對應地并行耦合，所述第二多路選擇復用器與所述卷積運算乘加陣列一一對應地串行耦合；所述第一多路選擇復用器通過數據選擇信號獲取與所述卷積運算乘加陣列對應的所述特征行數據，并行輸入至對應的各級所述卷積運算乘加陣列中，所述第二多路選擇復用器獲取與所述卷積運算乘加陣列對應的卷積核行數據串行輸入至各級所述卷積運算乘加陣列中完成卷積乘加運算。

6.根據權利要求5所述的神經網絡加速裝置，其特征在于，所述神經網絡計算模塊還包括第一移位寄存器組與第二移位寄存器組，所述神經網絡計算單元包括乘加子單元與部分和緩存子單元，

所述第一移位寄存器組采用串行輸入并行輸出的方式，并通過第一多路選擇復用器將所述特征行數據輸出至所述乘加子單元；所述第二移位寄存器組采用串行輸入并根據步長擇一輸出的方式，并通過第二多路選擇復用器將所述卷積核行數據輸出至下一級卷積運算乘加陣列和所述乘加子單元，

所述乘加子單元將輸入的所述特征行數據和所述卷積核行數據對應進行乘法運算，并與所述部分和緩存子單元中的卷積行部分和數據進行累加運算，當完成所述卷積核行數據與對應卷積窗口的所述特征行數據的卷積操作時，將所述卷積窗口的多個行卷積結果部分和累加，實現卷積核的一個滑窗卷積操作；

每組不同級的卷積運算乘加陣列在一個卷積行周期輸出行運算結果給所述累加器，所述累加器通過加法樹將當前卷積核所有行對應的各組同級所述卷積運算乘加陣列輸出的所述行運算結果累加，從而實現一個卷積核的卷積運算。