[發明專利]用于在虛擬分布式異構環境下實現多GPU調度的方法和系統

有效

• 申請號: 202011574923.X
• 申請日: 2020-12-28
• 公開（公告）號: CN112612613B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 李肯立;劉園春;唐卓;郭耀蓮;宋瑩潔;羅文明;陽王東;曹嶸暉;肖國慶;劉楚波;周旭
• 申請（專利權）人: 湖南大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

1.一種用于在虛擬分布式異構環境下實現多GPU調度的方法，其是應用在包括一個控制節點和多個計算節點的OpenStack虛擬環境中，其特征在于，所述方法包括以下步驟：

(1)計算節點接收用戶創建的GPU任務；

(2)控制節點設置計數器i＝1；

(3)控制節點判斷i是否大于迭代次數閾值N，如果是則過程結束，否則進入步驟(4)；

(4)控制節點判斷用戶創建GPU任務的計算節點自身是否帶有GPU，如果是轉入步驟(5)，否則轉入步驟(6)；

(5)控制節點判斷接收到GPU任務的計算節點是否擁有多個GPU，如果是轉入步驟(7)，否則直接以擁有單個GPU的計算節點的方式運行一次該GPU任務，然后轉入步驟(14)；

(6)接收到GPU任務的計算節點將GPU任務發送到OpenStack環境中所有擁有GPU的計算節點，然后轉入步驟(8)；

(7)計算節點對GPU任務對應的數據進行分塊處理，并為每個數據分塊創建對應的GPU子任務，對于對應的數據分塊已經被存儲在該計算節點擁有的GPU的內存緩沖區中的GPU子任務，直接向該GPU申請計算資源，對于對應的數據分塊還未被存儲在GPU的內存緩沖區中的GPU子任務，向其它空閑內存多的GPU申請存儲資源，并向其它空閑計算資源多的GPU申請計算資源，然后轉入步驟(9)；

(8)控制節點判斷接收GPU任務的計算節點自身是否擁有多個GPU，如果是則返回步驟(7)，否則轉入步驟(10)；

(9)計算節點判斷是否有其他GPU任務占用其自身所擁有的GPU，導致該GPU中的CUDA流數量大于該GPU中的硬件工作隊列總數，如果是則轉入步驟(11)，否則轉入步驟(12)；

(10)控制節點判斷接收GPU任務的計算節點是否有多個，如果是轉入步驟(13)，否則直接在單個GPU上運行一次GPU程序，然后轉入步驟(14)；

(11)計算節點使用廣度優先算法對步驟(9)中存在被其他GPU任務占用的每個GPU的硬件工作隊列進行調整，以得到每個GPU更新后的硬件工作隊列；

(12)計算節點根據步驟(11)得到的每個GPU更新后的硬件工作隊列對GPU任務進行處理，以生成處理后的數據，將處理后的數據中類型為臨時數據的數據清除，以得到最終的數據，然后轉入步驟(14)；

(13)控制節點根據接收GPU任務的每個計算節點所擁有的GPU的內存狀態列表信息對接收GPU任務的所有計算節點進行排序，并根據接收GPU任務的每個計算節點所擁有的GPU的CUDA流列表信息對接收GPU任務的所有計算節點進行排序，并基于兩個排序的結果為接收GPU任務的所有計算節點分配數據傳輸帶寬，完成一次GPU任務的運行，然后轉入步驟(14)；

(14)控制節點設置計數器i＝i+1，并返回步驟(3)。

2.根據權利要求1所述的用于在虛擬分布式異構環境下實現多GPU調度的方法，其特征在于，步驟(7)包括以下子步驟：

(7-1)計算節點對GPU任務對應的數據進行分塊處理，并為每個數據分塊創建對應的GPU子任務；

(7-2)計算節點設置計數器c＝1；

(7-3)計算節點判斷c是否大于所有GPU子任務的數量C，如果是則過程結束，否則轉入步驟(7-4)；

(7-4)計算節點判斷第c個GPU子任務對應的數據分塊是否已經被存儲在GPU的內存緩沖區中，如果是轉入步驟(7-5)，否則轉入步驟(7-6)；

(7-5)計算節點直接向步驟(7-4)中存儲數據分塊的GPU申請計算資源(即CUDA流)，設置計數器c＝c+1，并返回步驟(7-3)；

(7-6)計算節點向空閑內存多的GPU申請存儲資源，向空閑CUDA流多的GPU申請計算資源，設置計數器c＝c+1，并返回步驟(7-3)。