[發明專利]計算裝置以及用于數據重用的方法

有效

• 申請號: 202011605631.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112668709B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 上海壁仞智能科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 黃倩

本公開的實施例涉及計算裝置和用于數據重用的方法，涉及計算機領域。計算裝置包括通用寄存器；以及運算單元，與所述通用寄存器耦接，所述運算單元包括：數據重用單元，所述數據重用單元與多個點積數據單元耦接，所述數據重用單元被配置為從所述通用寄存器讀取并暫存用于多次卷積運算的數據集，以及從所述數據集確定多個數據子集以用于分別輸入所述多個點積數據單元，用于輸入相鄰點積數據單元的兩個數據子集包括部分相同數據；以及多個點積數據單元，所述多個點積數據單元中的每個點積數據單元被配置為對輸入的數據子集進行點積運算，以生成點積運算結果。由此，能夠提高卷積運算效率。

技術領域

本公開的實施例總體涉及計算機領域，具體涉及計算裝置以及用于數據重用的方法。

背景技術

卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。通常情況下，卷積神經網絡由若干個卷積層、池化層和全連通層組成。其中，卷積層、池化層占據了絕大部分的計算、存儲及帶寬資源。因此，卷積層和池化層的執行效率很大程度上決定了整個卷積神經網絡的效率。

參照圖1，其示出了根據現有技術的流處理器100的示意框圖。如圖1所示，流處理器100包括通用寄存器110和運算單元120。通用寄存器110用于存儲計算過程中所使用的數據和運算結果。運算單元120用于進行數學運算。

運算單元120包括多個結構相同的數據通路121-1到121-n。每個數據通路的輸入數據、數學運算以及結果輸出相互獨立。此外，運算單元120控制所有數據通路的數據讀取、數學運算以及結果寫回。

參照圖2，其示出了根據現有技術的流處理器運算單元進行卷積運算的流程圖。根據卷積核尺寸MxN，流處理器運算單元會執行MxN次循環操作，并且在所有循環操作執行完畢后，會輸出最終的計算結果，其中每個數據通路處理一個像素。每次循環操作包含以下步驟：數據準備202、數據計算204和數據累積206。其中每個步驟至少會包含多個指令。

數據準備202用于準備當前循環操作所需的輸入數據。運算單元120通過執行對應指令完成數據拼接、移位等操作，以及在通用寄存器110中寫入輸入數據。

數據計算204用于卷積、池化等數學計算。運算單元120通過執行對應指令從通用寄存器110讀出輸入數據，完成數學計算，并輸出中間結果到通用寄存器110。

數據累積206用于對中間結果進行累積。運算單元通過執行對應指令從通用寄存器110中讀出中間結果，完成累積運算，輸出中間結果或最終結果到通用寄存器110。

數據累積206之后的步驟208用于確定循環是否結束，如果當前累積操作是循環操作的最后一次(也就是循環結束)，則運算單元120輸出的結果為最終運算結果，否則運算單元120輸出的結果為中間結果，流程回到數據準備202。

每條指令在流處理器運算單元中的執行流程包括三個步驟：1)數據讀取；2)數學運算；3)數據寫回。

但是，現有技術存在以下幾個問題：1)每次循環操作只能完成單像素點數學運算，導致一次卷積、池化運算需要的循環次數較多，執行效率低；2)每次循環操作中，包含多個步驟，每個步驟需要多條指令，執行效率低；3)循環操作之間，數據沒有共享、重用，需要大量存儲器讀寫操作，功耗大。

發明內容

提供了一種計算裝置和用于數據重用的方法，能夠提高卷積運算效率。

根據本公開的第一方面，提供了一種計算裝置。該計算裝置包括：通用寄存器；以及運算單元，與通用寄存器耦接，運算單元包括：數據重用單元，數據重用單元與多個點積數據單元耦接，數據重用單元被配置為從通用寄存器讀取并暫存用于多次卷積運算的數據集，以及從數據集確定多個數據子集以用于分別輸入多個點積數據單元，用于輸入相鄰點積數據單元的兩個數據子集包括部分相同數據；以及多個點積數據單元，多個點積數據單元中的每個點積數據單元被配置為對輸入的數據子集進行點積運算，以生成點積運算結果。