[發(fā)明專利]GPU資源調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710494573.8
• 申請(qǐng)日: 2017-06-26
• 公開(kāi)（公告）號(hào): CN107544845B
• 公開(kāi)（公告）日: 2020-08-11
• 發(fā)明（設(shè)計(jì)）人: 胡良文;丁遠(yuǎn)普
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種GPU資源調(diào)度方法，其特征在于，所述方法應(yīng)用于GPU集群，所述GPU集群包括主節(jié)點(diǎn)和從節(jié)點(diǎn)，所述從節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)或多個(gè)GPU，所述主節(jié)點(diǎn)和從節(jié)點(diǎn)是運(yùn)行在CPU中的應(yīng)用程序，所述應(yīng)用程序通過(guò)調(diào)用GPU提供的API接口實(shí)現(xiàn)GPU資源的調(diào)度，所述方法包括：

主節(jié)點(diǎn)接收來(lái)自第一從節(jié)點(diǎn)的請(qǐng)求GPU計(jì)算資源的請(qǐng)求命令，所述請(qǐng)求命令為所述第一從節(jié)點(diǎn)接收到客戶端提交的計(jì)算任務(wù)時(shí)發(fā)出的；

主節(jié)點(diǎn)確定各從節(jié)點(diǎn)的GPU空閑率；

主節(jié)點(diǎn)選擇第二從節(jié)點(diǎn)，所述第二從節(jié)點(diǎn)為所有從節(jié)點(diǎn)中GPU空閑率最高的從節(jié)點(diǎn)；

主節(jié)點(diǎn)將第二從節(jié)點(diǎn)的信息發(fā)送給所述第一從節(jié)點(diǎn)，以使所述第一從節(jié)點(diǎn)將所述計(jì)算任務(wù)發(fā)送給所述第二從節(jié)點(diǎn)；

所述確定各從節(jié)點(diǎn)的GPU空閑率，包括：

獲取各從節(jié)點(diǎn)的GPU資源狀態(tài)信息；

針對(duì)任一從節(jié)點(diǎn)，根據(jù)該從節(jié)點(diǎn)的GPU資源狀態(tài)信息，確定該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率；

根據(jù)該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率，確定該從節(jié)點(diǎn)的GPU空閑率。

2.根據(jù)權(quán)利要求1所述的GPU資源調(diào)度方法，其特征在于，所述根據(jù)該從節(jié)點(diǎn)的GPU資源狀態(tài)信息，確定該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率，包括：

針對(duì)任一GPU，根據(jù)以下公式計(jì)算該GPU的空閑率F：

其中，freq為GPU的核心頻率，SM為GPU的流處理器數(shù)量，Core為根據(jù)CUDA(ComputeUnified Device Architecture)的計(jì)算能力獲得的核心數(shù)，GPUPerc為GPU的核心空閑率，memFreq為GPU對(duì)應(yīng)的顯存的核心頻率，busWidth為GPU對(duì)應(yīng)的顯存總線的位寬，memPerc為GPU對(duì)應(yīng)的顯存的空閑率，warpSize為線程束的數(shù)量。

3.根據(jù)權(quán)利要求1所述的GPU資源調(diào)度方法，其特征在于，所述根據(jù)該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率，確定該從節(jié)點(diǎn)的GPU空閑率，包括：

主節(jié)點(diǎn)選擇該從節(jié)點(diǎn)對(duì)應(yīng)的GPU的最大空閑率作為該從節(jié)點(diǎn)的GPU空閑率；或者，

主節(jié)點(diǎn)將該從節(jié)點(diǎn)對(duì)應(yīng)的各個(gè)GPU的空閑率的均值作為該從節(jié)點(diǎn)的GPU空閑率。

4.一種GPU資源調(diào)度裝置，其特征在于，所述裝置應(yīng)用于GPU集群中的主節(jié)點(diǎn)，所述GPU集群包括主節(jié)點(diǎn)和從節(jié)點(diǎn)，所述從節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)或多個(gè)GPU，所述主節(jié)點(diǎn)和從節(jié)點(diǎn)是運(yùn)行在CPU中的應(yīng)用程序，所述應(yīng)用程序通過(guò)調(diào)用GPU提供的API接口實(shí)現(xiàn)GPU資源的調(diào)度，所述裝置包括：

接收模塊，用于接收來(lái)自第一從節(jié)點(diǎn)的請(qǐng)求GPU計(jì)算資源的請(qǐng)求命令，所述請(qǐng)求命令為所述第一從節(jié)點(diǎn)接收到客戶端提交的計(jì)算任務(wù)時(shí)發(fā)出的；

確定模塊，用于確定各從節(jié)點(diǎn)的GPU空閑率；

選擇模塊，用于選擇第二從節(jié)點(diǎn)，所述第二從節(jié)點(diǎn)為所有從節(jié)點(diǎn)中GPU空閑率最高的從節(jié)點(diǎn)；

發(fā)送模塊，用于將第二從節(jié)點(diǎn)的信息發(fā)送給第一從節(jié)點(diǎn)，以使所述第一從節(jié)點(diǎn)將所述計(jì)算任務(wù)發(fā)送給所述第二從節(jié)點(diǎn)；

所述確定模塊包括：

獲取單元，用于獲取各從節(jié)點(diǎn)的GPU資源狀態(tài)信息；

第一確定單元，用于針對(duì)任一從節(jié)點(diǎn)，根據(jù)該從節(jié)點(diǎn)的GPU資源狀態(tài)信息，確定該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率；

第二確定單元，用于根據(jù)該從節(jié)點(diǎn)對(duì)應(yīng)的每個(gè)GPU的空閑率，確定該從節(jié)點(diǎn)的GPU空閑率。

5.根據(jù)權(quán)利要求4所述的GPU資源調(diào)度裝置，其特征在于，第一確定單元包括：

計(jì)算單元，用于針對(duì)任一GPU，根據(jù)以下公式計(jì)算該GPU的空閑率F：

其中，freq為GPU的核心頻率，SM為GPU的流處理器數(shù)量，Core為根據(jù)CUDA(ComputeUnified Device Architecture)的計(jì)算能力獲得的核心數(shù)，GPUPerc為GPU的核心空閑率，memFreq為GPU對(duì)應(yīng)的顯存的核心頻率，busWidth為GPU對(duì)應(yīng)的顯存總線的位寬，memPerc為GPU對(duì)應(yīng)的顯存的空閑率，warpSize為線程束的數(shù)量。

6.根據(jù)權(quán)利要求4所述的GPU資源調(diào)度裝置，其特征在于，所述第二確定單元包括以下單元中的一個(gè)或多個(gè)：

第一選擇單元，用于主節(jié)點(diǎn)選擇該從節(jié)點(diǎn)對(duì)應(yīng)的GPU的最大空閑率作為該從節(jié)點(diǎn)的GPU空閑率；

第二選擇單元，用于主節(jié)點(diǎn)將該從節(jié)點(diǎn)對(duì)應(yīng)的各個(gè)GPU的空閑率的均值作為該從節(jié)點(diǎn)的GPU空閑率。