[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)加速電路和方法

有效

• 申請?zhí)枺?/td>: 201911302604.0
• 申請日: 2019-12-17
• 公開（公告）號: CN110956258B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設(shè)計）人: 焦黎;李遠超;蔡權(quán)雄;牛昕宇
• 申請（專利權(quán)）人: 深圳鯤云信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實施例公開了一種神經(jīng)網(wǎng)絡(luò)加速電路和方法，所述神經(jīng)網(wǎng)絡(luò)加速電路包括：數(shù)據(jù)存儲模塊，用于存儲神經(jīng)網(wǎng)絡(luò)計算所需的輸入數(shù)據(jù)；數(shù)據(jù)緩存模塊，用于緩存所述數(shù)據(jù)存儲模塊輸出的輸入數(shù)據(jù)；計算模塊，包括多個計算單元，所述計算單元用于對所述數(shù)據(jù)緩存模塊輸出的輸入數(shù)據(jù)進行計算以得到輸出數(shù)據(jù)；延時處理模塊，用于對所述輸出數(shù)據(jù)進行延遲處理后同時輸出延遲處理后的輸出數(shù)據(jù)。本發(fā)明實施例提出的神經(jīng)網(wǎng)絡(luò)加速電路解決了神經(jīng)網(wǎng)絡(luò)加速電路中時序和計算并行度之間的矛盾，使神經(jīng)網(wǎng)絡(luò)加速電路工作在較高的時鐘頻率也能有較高的計算并行度，提高了神經(jīng)網(wǎng)絡(luò)加速電路的計算能力。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)加速電路和方法。

背景技術(shù)

近年來，神經(jīng)網(wǎng)絡(luò)發(fā)展迅速，被廣泛應(yīng)用于計算機視覺和自然語言計算。神經(jīng)網(wǎng)絡(luò)加速器具有高能效和大規(guī)模并行計算的特點，逐漸成為一個熱門研究課題。

神經(jīng)網(wǎng)絡(luò)加速電路通常采用很高的并行度來快速完成神經(jīng)網(wǎng)絡(luò)算法所需要的海量計算任務(wù)，由于計算形式的規(guī)整性，加速電路會首先設(shè)計基本的計算單元，用這種計算單元來實現(xiàn)算法中的基本操作，然后大量復(fù)制這種計算單元來達到高的計算并行度。圖1示出了典型的神經(jīng)網(wǎng)絡(luò)加速電路結(jié)構(gòu)，輸入數(shù)據(jù)RAM和權(quán)值數(shù)據(jù)RAM每周期輸出大量的數(shù)據(jù)，通過數(shù)據(jù)分配器給到各個計算單元進行計算。根據(jù)具體并行計算的方式不一樣，計算單元之間通常會復(fù)用相同的輸入數(shù)據(jù)或者相同的權(quán)值，因此電路中會存在某一個模塊的輸出數(shù)據(jù)同時直連到其他多個模塊。

這種神經(jīng)網(wǎng)絡(luò)加速電路要求輸入數(shù)據(jù)RAM和權(quán)值RAM輸出的數(shù)據(jù)在同一時鐘周期同時到達所有計算模塊，當計算單元并行度較高時，某幾個計算單元放置的位置可能距離輸入數(shù)據(jù)RAM和權(quán)值RAM較遠，相應(yīng)的數(shù)據(jù)到達這些計算模塊需要的時間也會更長，從而導(dǎo)致時鐘較高時，這些較長的走線會導(dǎo)致信號的建立時間不滿足，從而限制電路能夠工作的最高時鐘頻率；而要使電路能夠工作在較高的時鐘頻率，時序要求則限制了電路的計算并行度。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種神經(jīng)網(wǎng)絡(luò)加速電路和方法，以解決神經(jīng)網(wǎng)絡(luò)加速電路中時序和計算并行度之間的矛盾，使神經(jīng)網(wǎng)絡(luò)加速電路工作在較高的時鐘頻率也能有較高的計算并行度。

第一方面，本發(fā)明實施例提供一種神經(jīng)網(wǎng)絡(luò)加速電路，包括：

數(shù)據(jù)存儲模塊，用于存儲神經(jīng)網(wǎng)絡(luò)計算所需的輸入數(shù)據(jù)；

數(shù)據(jù)緩存模塊，用于緩存所述數(shù)據(jù)存儲模塊輸出的輸入數(shù)據(jù)；

計算模塊，包括多個計算單元，所述計算單元用于對所述數(shù)據(jù)緩存模塊輸出的輸入數(shù)據(jù)進行計算以得到輸出數(shù)據(jù)；

延時處理模塊，用于對所述輸出數(shù)據(jù)進行延遲處理后同時輸出延遲處理后的輸出數(shù)據(jù)。

進一步的，所述數(shù)據(jù)存儲模塊包括第一數(shù)據(jù)存儲子模塊和第二數(shù)據(jù)存儲子模塊，所述第一數(shù)據(jù)存儲子模塊包括第一數(shù)據(jù)存儲單元和第一控制單元，所述第一數(shù)據(jù)存儲單元用于存儲神經(jīng)網(wǎng)絡(luò)計算所需的第一輸入數(shù)據(jù)，所述第一控制單元用于向所述計算模塊發(fā)出控制信號。

進一步的，所述第二數(shù)據(jù)存儲子模塊包括第二數(shù)據(jù)存儲單元和第二控制單元，所述第二數(shù)據(jù)存儲單元用于存儲神經(jīng)網(wǎng)絡(luò)計算所需的第二輸入數(shù)據(jù)，所述第二控制單元用于控制所述第二數(shù)據(jù)存儲單元的讀寫操作。

進一步的，所述數(shù)據(jù)緩存模塊包括第一寄存器單元和第二寄存器單元，所述第一數(shù)據(jù)存儲單元與所述第一寄存器單元連接，所述第二數(shù)據(jù)存儲單元與所述第二寄存器單元連接。

進一步的，所述第一寄存器單元包括n個依次串聯(lián)連接的第一寄存器，所述第二寄存器單元包括n個依次串聯(lián)連接的第二寄存器。

進一步的，所述計算模塊包括n個計算單元，第i個計算單元與第i個第一寄存器連接，第i個計算單元還與第i個第二寄存器連接，其中，i≤n。