[發明專利]用于圖形處理器的工作組的分配方法以及圖形處理器

有效

• 申請號: 202011211150.9
• 申請日: 2020-11-03
• 公開（公告）號: CN112256435B
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 鄢傳欽;王斌;張劍峰;陳俊
• 申請（專利權）人: 成都海光微電子技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

本公開提供一種用于圖形處理器的工作組的分配方法以及圖形處理器，該方法包括：實時請求將當前工作組分配到多個計算單元之一；根據多個計算單元中每個的實時負載狀態以及當前工作組的大小，在多個計算單元中選擇用于當前工作組運行的目標計算單元；將當前工作組分成多個線程粒度發送到所述目標計算單元。本公開基于各個并行計算單元的實時負載情況將工作組分配給計算單元，達到各個計算單元負載均衡的目的，提高計算單元的利用效率，從而提升并行計算的性能。

技術領域

本公開的實施例涉及一種用于圖形處理器的工作組的分配方法以及圖形處理器。

背景技術

圖形處理器GPU(例如GPGPU，General-purpose?computing?on?graphicsprocessingunits，通用圖形處理器)在圖形圖像處理等領域逐步得到廣泛應用。由于GPU具有天生的并行計算體系結構，近十多年來，隨著GPU硬件結構的發展，它在通用計算領域尤其是高性能計算領域得到了廣泛應用。

GPU的硬件結構支持超大規模多線程的并發執行，并采用單指令多數據的程序執行模式。為了高效的調度并發執行的線程組(Dispatch，其是一組三維空間的并行運算的線程，執行相同的內核程序)，首先從一個線程組中切分出一部分線程，即工作組(Workgroup)，并且一個工作組分配在一個計算單元(CU)中；然后再從一個工作組中切分出線程，即線程粒度(Warp)，線程粒度是GPU中調度的最小單元，并且每個線程粒度中包含多個線程，線程粒度在同一時刻執行相同的數據操作。

隨著人們對算力需求的提升，GPU中實例化的并行計算單元數量也在不斷增加，如何高效地管理這些計算單元以達到各個并行計算單元負載的均衡就變得至關重要。

發明內容

本公開的實施例提供了一種用于圖形處理器的工作組的分配方法以及圖形處理器，基于各個并行計算單元的實時負載情況將工作組分配給計算單元，達到各個計算單元負載均衡的目的，提高計算單元的利用效率，從而提升并行計算的性能。

本公開至少一實施例提供了一種用于圖形處理器的工作組的分配方法，包括：

實時請求將當前工作組分配到多個計算單元之一；

根據所述多個計算單元中每個的實時負載狀態以及所述當前工作組的大小，在所述多個計算單元中選擇用于所述當前工作組運行的目標計算單元；

將所述當前工作組分成多個線程粒度發送到所述目標計算單元。

例如，在本公開至少一實施例提供的一種用于圖形處理器的工作組的分配方法中，根據所述多個計算單元中每個的實時負載狀態以及所述當前工作組的大小，在所述多個計算單元中選擇用于所述當前工作組運行的目標計算單元，包括：根據每個計算單元的實時負載狀態與所述當前工作組的大小之間的匹配結果，實時獲取用于所述當前工作組的至少一個可用計算單元，并從所述至少一個可用計算單元中選擇一個作為所述當前工作組的所述目標計算單元，其中，所述可用計算單元是指實時負載狀態可供所述當前工作組運行的計算單元。

例如，在本公開至少一實施例提供的一種用于圖形處理器的工作組的分配方法中，響應于所得到的每個計算單元的實時負載狀態與所述當前工作組的大小之間的匹配結果而實時獲取當前所有計算單元中不存在一個用于所述當前工作組的可用計算單元，繼續請求將所述當前工作組分配到所述多個計算單元之一，直至根據每個計算單元的實時負載狀態和所述當前工作組的大小獲取用于所述當前工作組的至少一個可用計算單元。

例如，在本公開至少一實施例提供的一種用于圖形處理器的工作組的分配方法中，從所述至少一個可用計算單元中選擇一個作為所述當前工作組的所述目標計算單元，包括：所述目標計算單元的負載小于所述至少一個可用計算單元中其他可用計算單元中的至少一個計算單元的負載。