[發明專利]GPU資源調度方法及裝置

有效

• 申請號: 201710494573.8
• 申請日: 2017-06-26
• 公開（公告）號: CN107544845B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 胡良文;丁遠普
• 申請（專利權）人: 新華三大數據技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及GPU資源調度方法及裝置，所述方法包括：主節點接收來自第一從節點的請求GPU計算資源的請求命令，所述請求命令為所述第一從節點接收到客戶端提交的計算任務時發出的；主節點確定各從節點的GPU空閑率；主節點選擇第二從節點，所述第二從節點為所有從節點中GPU空閑率最高的從節點；主節點將第二從節點的信息發送給所述第一從節點，以使所述第一從節點將所述計算任務發送給所述第二從節點。根據本公開各方面的GPU資源調度方法/裝置能夠實現GPU集群的計算資源得到均衡調度，提高GPU集群的計算性能，且不需要用戶手動管理GPU資源，調度方式簡單。

技術領域

本公開涉及計算機技術領域，尤其涉及一種GPU資源調度方法及裝置。

背景技術

圖形處理器(Graphics Processing Unit，GPU)，又稱顯示核心、視覺處理器、顯示芯片，專為計算密集型、高度并行化的計算而設計。GPU在許多領域得到應用，且性能遠超傳統CPU(Central Processing Unit)性能。

在規模越來越大的密集型應用系統中，單機GPU完全滿足不了應用需要，為提升GPU計算性能可以從縱向擴展機器。但縱向擴展GPU容易受到硬件的性能限制，且性價比非常低。

為提高GPU的計算性能，還可以橫向擴展GPU集群，由多個節點上的多個GPU芯片組成GPU集群，以完成復雜的計算任務。然而，各節點上的GPU彼此獨立無法進行通信，用戶需要手動管理GPU集群資源，復雜度高、可移植性差；同時，也無法保證GPU集群的計算資源得到均衡調度。

發明內容

有鑒于此，本公開提出了一種GPU資源調度方法及裝置，能夠實現GPU集群的計算資源得到均衡調度，且無需用戶手動管理GPU集群資源。

根據本公開的一方面，提供了一種GPU資源調度方法，所述方法應用于GPU集群，所述GPU集群包括主節點和從節點，所述從節點對應于一個或多個GPU，所述方法包括：主節點接收來自第一從節點的請求GPU計算資源的請求命令，所述請求命令為所述第一從節點接收到客戶端提交的計算任務時發出的；主節點確定各從節點的GPU空閑率；主節點選擇第二從節點，所述第二從節點為所有從節點中GPU空閑率最高的從節點；主節點將第二從節點的信息發送給所述第一從節點，以使所述第一從節點將所述計算任務發送給所述第二從節點。

根據本公開的另一方面，提供了一種GPU資源調度裝置，所述裝置應用于GPU集群中的主節點，所述GPU集群包括主節點和從節點，所述從節點對應于一個或多個GPU，所述裝置包括：接收模塊，用于接收來自第一從節點的請求GPU計算資源的請求命令，所述請求命令為所述第一從節點接收到客戶端提交的計算任務時發出的；確定模塊，用于確定各從節點的GPU空閑率；選擇模塊，用于選擇第二從節點，所述第二從節點為所有從節點中GPU空閑率最高的從節點；發送模塊，用于將第二從節點的信息發送給第一從節點，以使所述第一從節點將所述計算任務發送給所述第二從節點。

通過構建包含主節點和從節點的分布式GPU集群框架，主節點響應于第一從節點發送的請求命令，確定GPU空閑率最高的從節點(第二從節點)，將第二從節點信息發送給第一的從節點，以使所述第一從節點將所述計算任務發送給所述第二從節點。根據本公開各方面的GPU資源調度方法/裝置能夠使GPU集群的計算資源得到均衡調度，提高GPU集群的計算性能，且不需要用戶手動管理GPU資源，調度方式簡單。

根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特征及方面將變得清楚。

附圖說明

包含在說明書中并且構成說明書的一部分的附圖與說明書一起示出了本公開的示例性實施例、特征和方面，并且用于解釋本公開的原理。

圖1示出根據本公開一實施例的GPU資源調度方法的流程圖。

圖2a示出根據本公開一實施例的GPU資源調度方法應用場景的示意圖。