[發明專利]卷積神經網絡的運算方法、裝置及DPU

有效

• 申請號: 201910249144.3
• 申請日: 2019-03-29
• 公開（公告）號: CN109919312B
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 崔文朋;喬磊;池穎英;周文博;史善哲;房超;鄭哲;劉亮;龍希田;王亮
• 申請（專利權）人: 北京智芯微電子科技有限公司;國網信息通信產業集團有限公司;國家電網有限公司;國網河北省電力有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 周際;王芊雨

本發明公開了一種卷積神經網絡的運算方法、裝置及DPU，方法包括：第一緩存區獲取神經網絡模型第n層的參數以及第一數據；第一運算單元根據神經網絡第n層的參數對第一數據進行計算，將計算結果作為第二數據；第二緩存區在第一運算單元計算的同時，獲取神經網絡模型第n+1層的參數；在第一運算單元計算完成后，第二緩存區接收并存儲第二數據；第二運算單元根據第二緩存區存儲的神經網絡模型第n+1層的參數對第二數據進行計算，將計算結果對第一數據進行更新，將更新后的第一數據存儲在第一緩存區，重復上述步驟直到預設的神經網絡模型的最大層數的計算完畢為止。本發明提供的卷積神經網絡的運算方法、裝置及DPU，提高了神經網絡的運行效率。

技術領域

本發明是關于卷積神經網絡，特別是關于一種卷積神經網絡的運算方法、裝置及DPU。

背景技術

目前，卷積神經網絡(英文全稱：Convolutional Neural Networks，縮寫：CNN)廣泛運用在圖像類應用中。卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。通常CNN模型是由輸入層、卷積層、池化層、全連接層和分類層組合而構成的，在CNN中卷積層和不同的卷積核進行局部連接，從而產生輸入數據的多個特征輸出，將輸出經過池化層降維后通過全連接層和分類層獲取與輸出目標的誤差，再利用反向傳播算法反復地更新CNN中相鄰層神經元之間的連接權值，縮小與輸出目標的誤差，最終完成整個模型參數的訓練。

現有技術中，通常使用深度學習處理器(Deep learning Processing Uint，DPU)來進行CNN的運算。典型的DPU體系結構中處理器外部利用一個中央處理器(英文全稱：Central Processing Unit，縮寫：CPU)作為系統整體調度，將待處理數據以及神經元參數存儲在外部存儲即內存中。標準的DPU單元，每次只能計算一層的神經元，運算單元獲取內存中的待處理數據以及神經元參數，并進行計算，該層神經元計算完成之后，將結果作為下一層的待計算數據，運算單元再通過內存獲取下一層的神經元參數，完成下一層的神經網絡運算。

基于此，本申請的發明人發現，現有的計算模式運算單元直接從內存中獲取神經元的參數，需要一定的時延，而此時運算單元處于空閑狀態，造成運行速率低，影響了系統的運行效率。

公開于該背景技術部分的信息僅僅旨在增加對本發明的總體背景的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現有技術。

發明內容

本發明的目的在于提供一種卷積神經網絡的運算方法、裝置及DPU，其能夠提高運行效率。

為實現上述目的，本發明提供了一種卷積神經網絡的運算方法，包括：第一緩存區獲取內存中存儲的神經網絡模型第n層的參數以及第一數據，并將所述神經網絡模型第n層的參數以及第一數據存儲在所述第一緩存區，n為奇數；第一運算單元用于獲取第一緩存區中存儲的神經網絡模型第n層的參數以及第一數據，根據所述神經網絡第n層的參數對所述第一數據進行計算，將計算結果作為第二數據；在根據所述神經網絡模型第n層的參數對所述第一數據進行計算的同時，第二緩存區從內存中獲取神經網絡模型第n+1層的參數，并將所述神經網絡模型第n+1層的參數存儲在所述第二緩存區；在所述第一運算單元計算完成后，第二緩存區存儲所述第二數據；第二運算單元獲取第二緩存區中存儲的神經網絡模型第n+1層的參數以及所述第二數據，根據所述神經網絡模型第n+1層的參數對所述第二數據進行計算，根據計算結果對所述第一數據進行更新，將更新后的第一數據存儲至所述第一緩存區中。

在一優選的實施方式中，n從1開始，進行上述步驟，直到預設的神經網絡模型的最大層數的計算完畢為止。