[發明專利]并行處理設備和進行并行多值歸約的方法

有效

• 申請號: 201880034679.2
• 申請日: 2018-12-06
• 公開（公告）號: CN111448545B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 埃里希·康拉德·埃爾森;桑德·艾蒂安·利亞·迪勒曼
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F9/30
• 分類號: G06F9/30
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 肖華

方法，系統和裝置，包括在計算機存儲介質上編碼的計算機程序，用于使用并行處理設備計算多值歸約。該方法之一包括通過并行處理設備的并行處理單元執行并行M值歸約。串行的進行多個初始歸約，每個初始歸約對至少M個寄存器空間的不同的相應寄存器空間中的數據進行操作。從M個寄存器空間移動數據，以使來自多個初始歸約的所有結果都在相同的第一寄存器空間中。并行地進行一個或多個后續的歸約，以計算M個最終值，每個后續的歸約僅對所述第一寄存器空間中的數據進行操作。

相關申請的交叉引用

本申請要求2017年12月12日提交的美國專利申請No.15/839,637的優先權，其全部內容通過引用合并于此。

背景技術

本說明書涉及使用并行處理硬件來高效并行計算多值歸約的技術。

歸約是將多個值組合為一個值的操作。例如，可以通過計算8個值的單個總和來進行 8個值的歸約。歸約操作通常由并行處理設備(例如圖形處理單元(GPU))進行，以便組合由并行處理設備的多個獨立處理單元執行的多個線程所計算的數據。

在本說明書中描述的示例通常將涉及獨立處理單元是具有多個處理核的流式多處理器(SM)，而并行處理設備是圖形處理單元(GPU)。但是，相同的技術也可以在使用多個獨立處理單元來實施真正的線程并行化的其他硬件設備上實施。這樣的設備通常包括單指令、多數據(SIMD)處理器，張量處理單元(TPU)或其他專用集成電路。另外，在示例提及使用GPU的地方，這不一定意味著正在處理或產生圖形數據。

在這樣的并行處理設備上，可以通過程序抽象來提供對線程并行化的控制，這些程序抽象定義了如何分配線程以由多個獨立的處理單元執行。為了表示清楚起見，本說明書使用通用GPU程序抽象的術語，但是控制如何在獨立處理單元上調度線程的等效程序抽象可以用于非GPU的其他系統。

線程塊，或簡稱為塊，是由單個SM執行的一組線程。塊中的線程可以通過使用SM的共享內存來進行協調。因此，一個塊中的線程之間的通信通常比與其他塊中的線程的通信快幾個數量級。

線程束(warp)是塊內的一組線程，在某些情況下代表GPU的最小可分配計算單元。線程束內的線程通常可以從分配給同一線程束內其他線程的寄存器中讀取。線程束中的線程通常還按步執行指令。因此，線程束中的線程可以例如同時從寄存器位置獲取數據。僅舉幾個例子，常見的線程束大小是16、32或64個線程。

并行處理設備的并行處理能力允許通過以指數級增加或減少的步驟或跳過讀取數據來將單值歸于作為一系列聚合操作來進行。例如，如果一個線程束有8個線程，則每個線程可以從其鄰居處一步求和，然后再進行兩步，然后再進行4步。在此過程結束時，其中一個線程將對原始數據中的所有值求和。

但是，進行多值歸約通常需要多個單值歸約的串行進行。在許多需要極高吞吐量要求的實際應用中，此限制是處理瓶頸。例如，由于原始音頻生成的基本高吞吐量性質，對原始音頻波形進行建模的音頻生成神經網絡提出了重大的計算難題。現實的原始音頻生成通常需要每秒生成數千個音頻樣本，例如，每秒24,000個樣本。在這種高吞吐量應用中，任何并行處理速度的提高都是至關重要的。

發明內容

本說明書描述了系統如何使用并行處理硬件來并行計算多值歸約。即，假設要減少存儲數據的M個寄存器空間，系統可以計算M個最終減少的值。在本說明書中，“寄存器空間”是一組對應的寄存器，每個寄存器屬于一個不同的處理單元，并且在由線程并行執行時，可以由相同的指令同時訪問所有這些寄存器。

可以實施本說明書中描述的主題的特定實施例，以實現以下優點中的一個或多個。并行處理設備可以更快地計算多值歸約。并行處理設備可以通過使用同一寄存器空間的多個寄存器分區來充分利用并行處理能力，從而可以并行計算M個最終值中的至少一些。

本說明書的主題的一個或多個實施例的細節在附圖和以下描述中闡述。根據說明書，附圖和權利要求書，本主題的其他特征，方面和優點將變得顯而易見。