[發明專利]GPU資源調度方法、調度器、電子設備和存儲介質

在審

• 申請號: 202211037131.8
• 申請日: 2022-08-29
• 公開（公告）號: CN115098272A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 劉青偉
• 申請（專利權）人: 創新奇智（青島）科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06F9/48
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 呂愛霞

本申請提供一種GPU資源調度方法、調度器、電子設備和存儲介質，其中，GPU資源調度方法包括:攔截目標應用對象的GPU資源調用請求；基于GPU資源使用數據判斷本地GPU資源是否滿足調用需求，其中，所述GPU資源調用請求攜帶所述調用需求；當所述本地GPU資源滿足所述調用需求時，調用所述本地GPU資源響應所述GPU資源調用請求；當所述本地GPU資源無法滿足所述調用需求時，調用遠程GPU資源響應所述GPU資源調用請求。本申請能夠在不增加硬件成本的前提下，滿足GPU資源調用需求，同時，本申請能夠優先利用調用性能更優的本地GPU資源響應請求，進而降低調用遠程GPU資源所帶來的精度損失與通訊開銷。

技術領域

本申請涉及計算機技術領域，具體而言，涉及一種GPU資源調度方法、調度器、電子設備和存儲介質。

背景技術

目前，由于GPU主板的空間限制，GPU使用的PCI-E 插槽的數目是有限的，這限制了主機上的程序直接利用GPU的數量，即GPU資源有限，針對上述問題，現有技術的一種解決方案是通過改進GPU主板的硬件，進而擴展PCI-E 插槽的數目，然而這種方式的成本比較高昂。另一方，現有技術的另一種解決方案是通過分布式計算增加GPU資源，然而這一方式中，分布式計算會帶來一定的精度損失與通訊開銷。

發明內容

本申請實施例的目的在于提供一種GPU資源調度方法、調度器、電子設備和存儲介質，用以在不增加硬件成本的前提下，滿足GPU資源調用需求，同時，本申請能夠優先利用調用性能更優的本地GPU資源響應請求，進而降低調用遠程GPU資源所帶來的精度損失與通訊開銷。

第一方面，本發明提供一種GPU資源調度方法，所述GPU資源調度方法應用于云計算容器中，所述GPU資源調度方法包括：

攔截目標應用對象的GPU資源調用請求；

基于GPU資源使用數據判斷本地GPU資源是否滿足調用需求，其中，所述GPU資源調用請求攜帶所述調用需求；

當所述本地GPU資源滿足所述調用需求時，調用所述本地GPU資源響應所述GPU資源調用請求；

當所述本地GPU資源無法滿足所述調用需求時，調用遠程GPU資源響應所述GPU資源調用請求。

在本申請第一方面中，通過攔截目標應用對象的GPU資源調用請求，進而能夠基于GPU資源使用數據判斷本地GPU資源是否滿足調用需求，進而當所述本地GPU資源滿足所述調用需求時，調用所述本地GPU資源響應所述GPU資源調用請求，而當所述本地GPU資源無法滿足所述調用需求時，調用遠程GPU資源響應所述GPU資源調用請求，這樣一來，本申請能夠子本地GPU資源無法滿足需求時，利用遠程GPU資源響應所述GPU資源調用請求，而不需要通過改進GPU主板的PCI-E 插槽的數目，因此具有更低的成本。同時，本申請在利用遠程GPU資源響應所述GPU資源調用請求之前，能夠先判斷本地GPU資源是否滿足調用需求，并在本地GPU資源滿足所述調用需求時，調用所述本地GPU資源響應所述GPU資源調用請求，這樣一來，就能夠優先利用調用性能更優的本地GPU資源響應請求，進而降低調用遠程GPU資源所帶來的精度損失與通訊開銷。

在可選的實施方式中，在所述調用遠程GPU資源響應所述GPU資源調用請求之前，所述GPU資源調度方法還包括：

向所述遠程GPU資源所在的遠程主機發送網絡連接請求，以通過所述網絡連接請求，與所述遠程主機的后端服務建立網絡連接。

在本可選的實施方式中，通過向所述遠程GPU資源所在的遠程主機發送網絡連接請求，進而能夠通過所述網絡連接請求，與所述遠程主機的后端服務建立網絡連接，進而通過該網絡連接調用遠程GPU資源響應所述GPU資源調用請求。

在可選的實施方式中，所述調用遠程GPU資源響應所述GPU資源調用請求，包括：

將所述GPU資源調用請求進行序列化和映射處理，得到目標請求；