[發明專利]基于細粒度的GPU的資源管理方法及其應用的GPU

在審

• 申請號: 201910164573.0
• 申請日: 2019-03-05
• 公開（公告）號: CN109857564A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 陳全;過敏意;韋夢澤;趙文益
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

1.一種基于細粒度的GPU的資源管理方法，其特征在于：所述基于細粒度的GPU的資源管理方法包括：

根據QoS目標獲取內核執行的平均每周期指令數目標；

根據所述內核執行的平均每周期指令數目標動態分配調整每個時期分配給內核的配額數量；

根據所述內核的運行情況為各流處理器分配線程塊。

2.根據權利要求1所述的基于細粒度的GPU的資源管理方法，其特征在于：所述內核執行的平均每周期指令數目標為：

其中，IPC_goal為內核執行的平均每周期指令數目標。

3.根據權利要求1或2所述的基于細粒度的GPU的資源管理方法，其特征在于：所述每個時期分配給內核的配額數量為：

Quota_k＝α_k×IPC_goal×T_epoch；

其中：IPC_goal＝p×IPC_alone；

Quota_k為每個時期分配給內核k的配額數量，IPC_alone為內核k單獨在GPU上運行時的平均每周期指令數，IPC_goal為內核執行的平均每周期指令數目標，T_epoch為預設時期長度；a_k為歷史因子；IPC_history為歷史平均每周期指令數。

4.根據權利要求1所述的基于細粒度的GPU的資源管理方法，其特征在于：所述根據所述內核執行的平均每周期指令數目標動態分配調整每個時期分配給內核的配額數量的一種實現方式包括：

在每個時期的初始時刻，每個時期分配給內核k的配額數量被分配到各個流處理器上；

根據實際完成的指令數獲取各流處理器的剩余配額數量；

根據所述剩余配額數量確定有服務質量需求的內核的配額是否用盡，若是，則為沒有服務質量需求的內核更新配額。

5.根據權利要求4所述的基于細粒度的GPU的資源管理方法，其特征在于：所述為沒有服務質量需求的內核更新配額中包括：

為滿足慢階段的沒有服務質量需求的內核增加配額；其中，滿足慢階段的條件為：

連續兩個時期，有服務質量需求的內核的IPC_epoch均滿足：IPC_epoch＜x·IPC_goal；

其中：IPC_epoch為時期平均每周期指令數；x為設定的閾值，0.5＜x＜0.8。

6.根據權利要求5所述的基于細粒度的GPU的資源管理方法，其特征在于：所述為沒有服務質量需求的內核更新配額的一種實現方式包括：

獲取當前有服務質量需求的內核的目標差額；

根據所述當前有服務質量需求的內核的目標差額獲取沒有服務質量需求的內核的內核執行的平均每周期指令數目標；

根據所述沒有服務質量需求的內核的內核執行的平均每周期指令數目標為沒有服務質量需求的內核更新配額。

7.根據權利要求1所述的基于細粒度的GPU的資源管理方法，其特征在于：所述根據所述內核的運行情況為各流處理器分配線程塊的一種方式為：

將有服務質量需求的內核的線程塊平均分配給各流處理器；

為沒有服務質量需求的內核劃分流處理器的分區，每個沒有服務質量需求的內核的線程塊均勻分布到自己分區內的流處理器上。

8.根據權利要求7所述的基于細粒度的GPU的資源管理方法，其特征在于：所述根據所述內核的運行情況為各流處理器分配線程塊還包括：

采集所有內核的閑置warp調度器的數量；

比較閑置warp調度器的數量與每個線程塊的warp調度器的數量，若閑置warp調度器的數量大于或等于某個線程塊的warp調度器的數量，則將該線程塊移除TB調度器。