[發(fā)明專利]矢量處理單元

在審

• 申請(qǐng)?zhí)枺?/td>: 201711296156.9
• 申請(qǐng)日: 2017-12-08
• 公開（公告）號(hào): CN108572850A
• 公開（公告）日: 2018-09-25
• 發(fā)明（設(shè)計(jì)）人: 威廉·拉西;格雷戈里·米歇爾·索爾森;克里斯托弗·阿倫·克拉克;諾曼·保羅·約皮;托馬斯·諾里;安德魯·埃弗里特·菲爾普斯
• 申請(qǐng)（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號(hào): G06F9/38
• 分類號(hào): G06F9/38
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;安翔

本申請(qǐng)描述了矢量處理單元，并且包括處理器單元，該處理器單元每個(gè)包括多個(gè)處理資源。處理器單元每個(gè)被配置為執(zhí)行與矢量化計(jì)算相關(guān)聯(lián)的算術(shù)運(yùn)算。矢量處理單元包括與每一個(gè)處理器單元以及它們相應(yīng)的處理資源進(jìn)行數(shù)據(jù)通信的矢量存儲(chǔ)器。矢量存儲(chǔ)器包括被配置成存儲(chǔ)由每一個(gè)處理器單元使用以執(zhí)行算術(shù)運(yùn)算的數(shù)據(jù)的存儲(chǔ)體。處理器單元和矢量存儲(chǔ)器在矢量處理單元的區(qū)域內(nèi)緊耦合，使得能夠基于各個(gè)處理器單元相對(duì)于彼此的放置以及基于矢量存儲(chǔ)器相對(duì)于每個(gè)處理器單元的放置，以高帶寬來交換數(shù)據(jù)通信。

技術(shù)領(lǐng)域

本說明書涉及本地化矢量處理單元，其可用于執(zhí)行與一般能夠被稱為矢量的二維數(shù)據(jù)陣列相關(guān)聯(lián)的各種計(jì)算。

背景技術(shù)

矢量處理單元能夠用于與深度神經(jīng)網(wǎng)絡(luò)(“DNN”)層的技術(shù)領(lǐng)域例如數(shù)值模擬、圖形處理、游戲控制臺(tái)設(shè)計(jì)、超級(jí)計(jì)算和機(jī)器學(xué)習(xí)計(jì)算相關(guān)聯(lián)的計(jì)算。

一般而言，神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)模型，其使用一個(gè)或多個(gè)模型層來為接收到的輸入生成輸出，例如分類。具有多個(gè)層的神經(jīng)網(wǎng)絡(luò)能夠用于通過處理經(jīng)過所述神經(jīng)網(wǎng)絡(luò)的每一個(gè)層的輸入來計(jì)算推理。

發(fā)明內(nèi)容

與傳統(tǒng)矢量處理單元(VPU)的特征相比，本說明書描述了VPU，其被配置為將計(jì)算劃分為：a)示例單指令多數(shù)據(jù)(SIMD)VPU，其具有增加的靈活性、增加的存儲(chǔ)器帶寬要求和相當(dāng)?shù)偷挠?jì)算密度；b)矩陣單元(MXU)，其具有較低的靈活性、低存儲(chǔ)器帶寬要求和高計(jì)算密度；以及c)低存儲(chǔ)器帶寬的交叉通道單元(XU)，其用于執(zhí)行某些可能不適合所述SIMD范式、而且也可能不具有MXU計(jì)算操作的計(jì)算密度的操作。一般而言，至少a)和b)的計(jì)算特征之間的反差相對(duì)于現(xiàn)行/傳統(tǒng)的SIMD處理器提供了增強(qiáng)的SIMD處理器設(shè)計(jì)架構(gòu)。在一些實(shí)施方式中，所描述的VPU是示例Von-Neumann SIMD VPU。

一般而言，本說明書中描述的主題的一個(gè)創(chuàng)新方面能夠體現(xiàn)在矢量處理單元中，所述矢量處理單元包括：一個(gè)或多個(gè)處理器單元，其每個(gè)被配置為執(zhí)行與多維數(shù)據(jù)陣列的矢量化計(jì)算相關(guān)聯(lián)的算術(shù)運(yùn)算；以及與所述一個(gè)或多個(gè)處理器單元中的每一個(gè)進(jìn)行數(shù)據(jù)通信的矢量存儲(chǔ)器。所述矢量存儲(chǔ)器包括被配置為存儲(chǔ)由所述一個(gè)或多個(gè)處理器單元中的每一個(gè)使用以執(zhí)行所述算術(shù)運(yùn)算的數(shù)據(jù)的存儲(chǔ)體。所述一個(gè)或多個(gè)處理器單元和所述矢量存儲(chǔ)器在所述矢量處理單元的區(qū)域內(nèi)緊耦合，使得能夠基于各個(gè)處理器單元相對(duì)于彼此的放置以及基于所述矢量存儲(chǔ)器相對(duì)于每個(gè)處理器單元的放置，以高帶寬來交換數(shù)據(jù)通信。

在一些實(shí)施方式中，所述矢量處理單元耦合到矩陣運(yùn)算單元，所述矩陣運(yùn)算單元被配置為從特定處理器單元接收至少兩個(gè)操作數(shù)，所述至少兩個(gè)操作數(shù)被所述矩陣運(yùn)算單元用于執(zhí)行與所述多維數(shù)據(jù)陣列的矢量化計(jì)算相關(guān)聯(lián)的操作。在一些實(shí)施方式中，所述矢量處理單元還包括耦合到所述特定處理器單元的第一數(shù)據(jù)串行器，所述第一數(shù)據(jù)串行器被配置為將與由所述特定處理器單元提供并由所述矩陣運(yùn)算單元接收的一個(gè)或多個(gè)操作數(shù)相對(duì)應(yīng)的輸出數(shù)據(jù)串行化。在一些實(shí)施方式中，所述矢量處理單元還包括耦合到所述特定處理器單元的第二數(shù)據(jù)串行器，所述第二數(shù)據(jù)串行器被配置為將由所述特定處理器單元提供并由所述矩陣運(yùn)算單元、交叉通道(cross-lane)單元、或歸約和置換單元中的至少一個(gè)接收的輸出數(shù)據(jù)串行化。

在一些實(shí)施方式中，所述一個(gè)或多個(gè)處理器單元中的每一個(gè)包括多個(gè)處理資源，并且所述多個(gè)處理資源包括第一算術(shù)邏輯單元、第二算術(shù)邏輯單元、多維寄存器或功能處理器單元中的至少一個(gè)。在一些實(shí)施方式中，所述矢量存儲(chǔ)器被配置為將與特定存儲(chǔ)體相關(guān)聯(lián)的數(shù)據(jù)加載到相應(yīng)的處理器單元，并且其中所述數(shù)據(jù)由所述相應(yīng)的處理器單元的特定資源使用。在一些實(shí)施方式中，所述矢量處理單元還包括在所述一個(gè)或多個(gè)處理器單元和所述矢量存儲(chǔ)器中間的縱橫(crossbar)連接器，所述縱橫連接器被配置為將與矢量存儲(chǔ)體相關(guān)聯(lián)的數(shù)據(jù)提供給特定處理器單元的所述多個(gè)處理資源中的特定資源。