[發明專利]基于容器的圖形處理器虛擬化資源調度方法及其裝置

在審

• 申請號: 202211655717.0
• 申請日: 2022-12-21
• 公開（公告）號: CN116225691A
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 昌易
• 申請（專利權）人: 小米科技（武漢）有限公司;北京小米移動軟件有限公司;北京小米松果電子有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京法勝知識產權代理有限公司 11922
• 代理人: 黃海艷

本公開是關于一種基于容器的圖形處理器虛擬化資源調度方法及其裝置。其中，容器中的進程共享同一張圖形處理器GPU卡的算力資源，每個進程在每個調度周期內被分配對應的GPU時間片，該方法可以包括：響應于在第一調度周期內的GPU時間片到來，確定與GPU時間片匹配的第一進程；確定第一進程是否有計算需求；響應于第一進程有計算需求，根據計算需求，從第一進程在調度周期內分配的GPU時間片和/或第一進程的突發緩沖區中，確定第一進程的執行時間片；其中，執行時間片用于輔助第一進程完成計算；突發緩沖區用于存儲空閑的GPU時間片，空閑的GPU時間片是指第一進程未消耗的GPU時間片。本公開實施例可以解決基于分時復用GPU算力方案調度延時的問題。

技術領域

本公開涉及計算機技術領域，尤其涉及自動駕駛領域及自動駕駛資源分配領域等，特別涉及一種基于容器的圖形處理器虛擬化資源調度方法、裝置、電子設備及存儲介質。

背景技術

目前，通過GPU(Graphics?Processing?Unit，圖形處理器)虛擬化切片技術及相應的池化調度技術，可以讓多進程充分利用GPU算力資源，同時隔離多進程間故障傳播，從而節約算力成本，幫助企業降本增效。

特別是涉及自動駕駛領域，GPU算力資源調度極為重要。相關技術中，算力切片技術是通過多個進程分時復用GPU算力方式實現的。然而，在這種背景下，如果一張GPU卡上部署高密度的容器，每個容器都會消費相應的時間片，當同時使用GPU的容器過多時會導致較大的調度延時，限制了該類型算力調度技術在時延敏感型業務上的使用。

發明內容

為克服相關技術中存在的問題，本公開提供一種基于容器的圖形處理器虛擬化資源調度方法及其裝置。

根據本公開實施例的第一方面，提供一種基于容器的圖形處理器虛擬化資源調度方法，所述容器中的進程共享同一張圖形處理器GPU卡的算力資源，每個所述進程在每個調度周期內被分配對應的GPU時間片，所述方法包括：

響應于在第一調度周期內的GPU時間片到來，確定與所述GPU時間片匹配的第一進程；

確定所述第一進程是否有計算需求；

響應于所述第一進程有計算需求，根據所述計算需求，從所述第一進程在所述調度周期內分配的GPU時間片和/或所述第一進程的突發緩沖區中，確定所述第一進程的執行時間片；其中，所述執行時間片用于輔助所述第一進程完成計算；所述突發緩沖區用于存儲空閑的GPU時間片，所述空閑的GPU時間片是指所述第一進程未消耗的GPU時間片。

根據本公開實施例的第二方面，提供一種基于容器的圖形處理器虛擬化資源調度裝置，所述容器中的進程共享同一張圖形處理器GPU卡的算力資源，每個所述進程在每個調度周期內被分配對應的GPU時間片，所述裝置包括：

第一確定模塊，用于在第一調度周期內的GPU時間片到來時，確定與所述GPU時間片匹配的第一進程；

第二確定模塊，用于確定所述第一進程是否有計算需求；

第三確定模塊，用于在所述第一進程有計算需求時，根據所述計算需求，從所述第一進程在所述調度周期內分配的GPU時間片和/或所述第一進程的突發緩沖區中，確定所述第一進程的執行時間片；其中，所述執行時間片用于輔助所述第一進程完成計算；所述突發緩沖區用于存儲空閑的GPU時間片，所述空閑的GPU時間片是指所述第一進程未消耗的GPU時間片。

根據本公開實施例的第三方面，提供一種計算機設備，包括：至少一個處理器；與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如前述第一方面所述的方法。

根據本公開實施例的第四方面，提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如前述第一方面所述的方法。