[發(fā)明專利]基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算方法及裝置、多核架構芯片

在審

• 申請?zhí)枺?/td>: 202010195190.2
• 申請日: 2020-03-19
• 公開（公告）號: CN113495866A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 北京希姆計算科技有限公司
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F1/3234;G06N3/04;G06N3/08
• 代理公司: 北京中知法苑知識產(chǎn)權代理有限公司 11226
• 代理人: 李明;趙吉陽

本發(fā)明提供一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算方法及裝置、多核架構芯片。方法包括：確定每個計算層的計算量；根據(jù)每個計算層的計算量，劃分為至少一個計算核組，所述計算核組包括至少兩個計算層的多個計算核；重新分配至少兩個計算層的計算量，以使得該至少兩個計算層的多個計算核的計算量均衡；由計算核組執(zhí)行對應的計算層的計算。從而，有效平衡了多核芯片各計算核的計算負載，充分發(fā)揮整個芯片的算力，加速神經(jīng)網(wǎng)絡計算任務的計算，還可以有效合理利用各計算核的存儲區(qū)間，降低使用計算核的數(shù)量而不降低任務的計算能力，降低芯片訪問外部存儲，節(jié)省帶寬，提升性能。

技術領域

本發(fā)明屬于數(shù)據(jù)計算技術領域，具體涉及一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算方法、一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算裝置以及一種多核架構芯片。

背景技術

傳統(tǒng)地，如圖1所示，在神經(jīng)網(wǎng)絡中，如卷積神經(jīng)網(wǎng)絡(CNN，Convolutional NeuralNetwork)，其一般包括多個層，如輸入層、卷積層、激活函數(shù)、池化層、全連接層等。在卷積神經(jīng)網(wǎng)絡中，數(shù)據(jù)是在各層之間單向流動，也就是說，如圖1所示，輸入數(shù)據(jù)input依次經(jīng)歷第一層Layer1、第二層Layer1直至第N層LayerN，最終數(shù)據(jù)經(jīng)由全連接層FC全連接后得到輸出數(shù)據(jù)Output。在每一層中都可以包含多次各種神經(jīng)網(wǎng)絡的運算操作，例如卷積(Convolution)、池化(Pooling)等。對于CNN而言，隨著層數(shù)的增加，通常特征圖尺寸會改變，每一層的數(shù)據(jù)和參數(shù)也會改變，而對算力的要求也不同。

為了實現(xiàn)神經(jīng)網(wǎng)絡各層的數(shù)據(jù)計算，一般采用多(眾)核架構的芯片執(zhí)行數(shù)據(jù)計算。在多(眾)核架構的芯片中，每一個核除了有一定的計算能力外，還會帶有比較大的核內(nèi)存儲空間，存儲空間一般128kB。這些存儲空間用于存儲自身的程序、數(shù)據(jù)和權重。為了最大效率的發(fā)揮芯片的算力，加速計算，節(jié)省功耗，多(眾)核架構的芯片通常會使用片上存儲區(qū)間或者核內(nèi)存儲區(qū)間存儲部分或者所有的層的程序、數(shù)據(jù)和權重，減少芯片和外部存儲器(如雙倍速率同步動態(tài)隨機存儲器(DDRSDRAM，Double Data Rate Synchronous DynamicRandom Access Memory))的數(shù)據(jù)交互。由于核內(nèi)存儲空間的限制，所以一個核通常存不下某一層的權重和數(shù)據(jù)，完成此層網(wǎng)絡的運算，需要使用多個核一起配合，完成整層的運算。

相關技術中，一般會按照當前層權重和所有的數(shù)據(jù)的大小，分配相關的核數(shù)，也就是說，如圖2所示，每一層由多個核進行計算，數(shù)據(jù)保持在層間的單向傳輸。這樣，整個神經(jīng)網(wǎng)絡的計算過程，會按層劃分為多層，然后以流水的方式一層層計算，如圖3所示。

在圖3中，t1，t2…表示按流水級分配的時間段，在每一個時間段會有輸入數(shù)據(jù)input輸入到第一層的多個核Core_L1；每一個時間段，每一層會完成相關的計算，且將計算結果發(fā)往下一層；箭頭表示的是層間數(shù)據(jù)的流動；當數(shù)據(jù)經(jīng)過所有的層，由最后一層的多個核Core_LM輸出，得到最終結果(output1、output2)。

但是，在上述方案中，由于每一層需要完成計算的計算量存在差異，導致有的層算得很慢，完成計算需要的時間很長，而有的層算得快，完成計算的時間比較短。這樣，因為層與層之間存在的數(shù)據(jù)依賴關系，算得快的層的核在完成計算后，必須停下來等待算得慢的核，造成算得快的層的核的算力的浪費。

發(fā)明內(nèi)容

本發(fā)明旨在提供一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算方法、一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算裝置以及一種多核架構芯片，可以有效平衡多(眾)核芯片各計算核的計算負載，加速了神經(jīng)網(wǎng)絡任務的計算。

本發(fā)明的一個方面，提供一種基于神經(jīng)網(wǎng)絡的數(shù)據(jù)計算方法，所述神經(jīng)網(wǎng)絡包括多個計算層，每個所述計算層對應至少一個計算核，所述方法包括：

確定每個所述計算層的計算量；

根據(jù)每個所述計算層的計算量，劃分至少一個計算核組，所述計算核組包括位于至少兩個計算層的多個計算核；