[發明專利]一種在云端下進行GPU內核程序高效率調度的運行時系統

在審

• 申請號: 202011058582.0
• 申請日: 2020-09-30
• 公開（公告）號: CN112181689A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 彭貝城;李志方;翁楚良
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種在云端下進行GPU內核程序高效率調度的運行時系統，旨在提高GPU在云端運行的效率以及利用率。所述運行時系統由網絡守護模塊與調度器模塊組成；網絡守護模塊負責對GPU內核程序與運行參數進行傳輸與解析；調度器模塊負責對GPU內核程序進行分類與調度執行。網絡守護模塊通過網絡的方式將GPU內核程序傳輸至云端；調度器模塊再將GPU內核程序通過不同的調度策略進行調度；調度器模塊對GPU內核程序進行分類，入列任務隊列，再裝載到GPU硬件上，完成執行；執行后，網絡守護模塊將運行結果傳輸至調用方。本發明提高了GPU資源利用率，降低了云端下GPU內核程序調用的平均時延。本發明適用于支持CUDA運行時編譯的GPU云服務器。

技術領域

本發明屬于計算機技術領域，尤其涉及一種在云端下進行GPU內核程序高效率調度的運行時系統。

背景技術

隨著高性能計算與高并行任務越來愈多的在社會生產與科研領域的普及，新型高并行計算加速器如GPU得到了業界與學界的廣泛關注。某公司生產的GPU設備得到了廣泛的應用，在高性能計算，人工智能領域，GPU設備成為部署此類應用的流行的選擇。GPU設備有支持高并行程序，運算速度高，指令吞吐量大等特點。CUDA框架是某公司根據市場需求開發的支持高并行編程的編程框架和運行時系統，大大降低了開發者的門檻，使得高性能計算得到了普及。CUDA框架采用了單指令，多線程的編程范式，使得一個指令可以在數千個線程上同步運行，使得數據并行的并行程序設計變得容易。目前，CUDA框架在機器學習，科學計算領域得到了廣泛使用。由于GPU設備價格高昂，部署成本高，GPU用戶往往會采用租用云端GPU的方式，用來共享GPU，在GPU上進行多任務的執行。如何更好支持在GPU上的多任務執行對于當前云計算體系產生了挑戰。

GPU作為支持高并行程序的設備，與CPU不同。因此，傳統的基于CPU的任務調度方式，不再適用于GPU；GPU由于硬件與設計的原因對于并發任務的調度采取的是先到先得的方式。若GPU資源有限，后到的任務會出現饑餓的狀況。若采用CPU調度的方式對GPU進行調度，會產生頻繁的上下文切換與工作集的換進換出。所以，為了充分地提高GPU的利用以及降低多任務下的平均響應時間，需要對GPU進行集中調度。

綜上所述，傳統的GPU調度方式對于在云端使用的GPU成為了應用性能的限制因素。一方面，現有的GPU調度方式對于GPU的體系結構沒有感知，另一方面，雖然現有技術完成了在接口層面對于GPU的共享的實現，但是并沒有對GPU的運算特性進行優化，降低了GPU設備的利用率。

發明內容

本發明的目的是結合GPU設備的特性，提供一種在云端下進行GPU內核程序高效率調度的運行時系統,旨在提高發揮GPU在云端運行的效率以及利用率。

實現本發明目的的具體技術方案是：

一種在云端下進行GPU內核程序高效率調度的運行時系統，特點是所述運行時系統采用遠程過程調用的運行方式，其系統具體包括：

網絡守護模塊：通過網絡將接收到的GPU內核程序傳輸至云端，在GPU內核程序完成執行之后，再通過網絡將運行結果傳輸至調用方；

調度器模塊：將GPU內核程序與普通CPU程序進行分離，對GPU內核程序的執行與操作系統的進程調度器進行解耦合，并對GPU內核程序進行啟發式分類，再將GPU內核程序通過不同的調度策略進行調度以及對GPU內核程序進行入列任務隊列；在GPU內核程序入列任務隊列的同時，擇時將任務以集中形式裝載到GPU硬件上，并完成執行。

所述遠程過程調用的運行方式，具體為：調用方將GPU內核程序與運行參數進行序列化操作，再將序列化操作之后的數據通過遠程過程調用(RPC)的方式傳輸至網絡守護模塊；所述GPU內核程序通過CUDA編程語言源代碼或者PTX匯編代碼表達；所述運行參數包含GPU線程塊信息、GPU內核程序參數列表和數據。

所述對GPU內核程序的執行與操作系統的進程調度器進行解耦合；