[發明專利]神經網絡加速裝置、方法和通信設備

在審

• 申請號: 202111071508.7
• 申請日: 2021-09-14
• 公開（公告）號: CN113807509A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 王赟;張官興;郭蔚;黃康瑩;張鐵亮
• 申請（專利權）人: 紹興埃瓦科技有限公司;上海埃瓦智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 黃貞君;馮振華

本發明提供了一種神經網絡加速裝置、方法和通信設備，屬于數據處理領域，具體包括主存儲器接收并存儲待處理圖像的特征圖數據、權重數據；主控制器根據神經網絡的結構參數，生成配置信息和運算指令；數據緩存模塊包括用于緩存從特征圖數據中提取的特征行數據的特征數據緩存單元和用于緩存從權重數據中提取的卷積核數據的卷積核緩存單元；數據控制器根據配置信息和指令信息調整數據通路，控制數據提取器提取的數據流加載到對應的神經網絡計算單元，神經網絡計算單元至少完成一個卷積核與特征圖數據的卷積運算在至少一個周期完成多個卷積結果的累加，從而實現電路重構以及數據復用；累加器對卷積結果進行累加輸出卷積核對應的輸出特征圖數據。

技術領域

本發明涉及數據處理領域，具體涉及一種神經網絡加速裝置、方法和通信設備。

背景技術

卷積神經網絡由輸入層(inputlayer)、任意數量的作為中間層的隱藏層(hiddenlayer)及輸出層(outputlayer)構成。輸入層(inputlayer)具有多個輸入節點(神經元)。輸出層具有識別對象數量的輸出節點(神經元)。

卷積核是一個設置在隱藏層的小窗口，其中保存著權重參數。卷積核在輸入圖像上按步長依次滑動，和對應區域的輸入特征圖像進行乘加運算，即將卷積核中的權重參數和對應的輸入圖像的值先相乘再求和。傳統的卷積加速運算裝置需要利用img2col方法對輸入的特征圖數據和卷積核數據按照卷積核尺寸及步長參數進行矩陣形式的展開處理再對展開后的矩陣進行運算，從而可按照矩陣乘法運算規則進行卷積加速，但這種方法在特征數據矩陣展開后，需要較大的片上緩存，同理需要更多的片外主存讀取頻率以及不能高效復用以讀取的數據從而需要占用了片外訪存讀寫帶寬增加了硬件功耗，同時基于img2col展開方式的卷積加速運算方法不利于對不同尺寸卷積核和步長的卷積運算的硬件邏輯電路實現，因此，在卷積網絡運算過程中，每個輸入通道都需要和多個卷積核進行卷積矩陣運算，特征圖數據需要多次獲取；而且每個通道上的所有特征圖數據全部緩存在緩存器中，數據量不僅龐大，而且當進行卷積矩陣計算時，由于矩陣轉換后的特征數據大小遠遠超過原特征數據大小，不僅會浪費片上存儲資源，因而無法執行大數據量的運算。

發明內容

因此，為了克服上述現有技術的缺點，本發明提供一種神經網絡加速裝置、方法和通信設備。

為了實現上述目的，本發明提供一種神經網絡加速裝置，包括：主存儲器，用于接收并存儲待處理圖像的特征圖數據、權重數據；主控制器，用于解析神經網絡程序編譯指令，并根據神經網絡的結構參數，生成配置信息和運算指令；數據緩存模塊，包括用于緩存從所述特征圖數據中提取的特征行數據的特征數據緩存單元和用于緩存從所述權重數據中提取的卷積核數據的卷積核緩存單元；神經網絡計算模塊，包括數據控制器、數據提取器和神經網絡計算單元，所述數據控制器根據配置信息和指令信息調整數據通路，控制所述數據提取器提取的數據流按指令信息加載到對應的神經網絡計算單元，所述神經網絡計算單元至少完成一個卷積核與所述特征圖數據的卷積運算，并在至少一個周期完成多個卷積結果的累加，從而實現電路重構以及數據復用；累加器，用于對所述卷積核運算單元得到的多個輸入通道特征圖上的卷積結果進行累加，輸出所述卷積核對應的輸出特征圖數據。

在其中一個實施例中，所述神經網絡計算單元包括多個神經網絡加速分片，每個神經網絡加速分片包含多個卷積運算乘加陣列，每個神經網絡加速分片至少完成一個輸入通道的特征圖數據與一個卷積核數據的卷積運算，多個神經網絡加速分片完成多個輸入通道的特征圖數據與一個卷積核數據的卷積運算。

在其中一個實施例中，所述多個神經網絡加速分片構成第一神經網絡運算矩陣，多個第一神經網絡運算矩陣并聯耦合構成第二神經網絡加速矩陣；所述第二神經網絡加速矩陣中的第一神經網絡運算矩陣用于完成多個輸入通道特征數據與一個卷積核的卷積運算，多個所述第二神經網絡加速矩陣完成多個輸入通道特征數據與多個卷積核的并行卷積運算。

在其中一個實施例中，每組卷積運算乘加陣列通過并行輸入的方式獲取特征行數據；每組卷積運算乘加陣列通過串行輸入的方式獲取卷積核行數據。