[發明專利]一種異構計算資源協同管理調度的方法

在審

• 申請號: 202211005592.7
• 申請日: 2022-08-22
• 公開（公告）號: CN115391035A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 劉云鵬;張明慶;謝紅亮;吳瓊
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/455
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 劉瑞東

本發明涉及一種異構計算資源協同管理調度的方法，屬于計算資源管理領域。本發明構建NPU、FPGA、GPU異構資源鏡像；編輯任務資源文件，填寫異構資源的數量需求、應用路徑、執行命令，分時復雜任務需按照執行順序組織為任務列表；將任務資源文件發送給協同管理調度程序，程序根據任務的資源滿足需求調度異構資源：若空閑資源滿足需求，分配資源；若不滿足需求，將任務加入等待執行隊列，當有空閑資源時喚醒任務并分配資源；根據分配的資源和任務創建容器，執行命令。本發明支持更多種類型的異構計算資源管理調度，包括國產FPGA、NPU等，并針對分時使用多種異構資源的復雜任務進行設計，使異構資源分工協作，使資源調度對用戶透明。

技術領域

本發明屬于計算資源管理領域，具體涉及一種異構計算資源協同管理調度的方法。

背景技術

在專用領域的計算任務中，異構計算資源表現出了比CPU更為優越的性能。如GPU(圖形處理單元)具有更強的并行計算能力，更適合圖像處理相關操作；FPGA(現場可編輯邏輯門陣列)靈活性更強，可動態重構并實現硬件級算法，快速執行算法對應的加解密任務；NPU(神經網絡處理單元)支持定制的算法算子，可顯著提高神經網絡訓練、推理等密集計算任務的速度等。

由于商業原因，每種異構計算資源的驅動與管理程序通常是由硬件廠商提供的，即異構資源管理與硬件設備是緊耦合的，每種異構資源對應一種管理程序，管理程序之間相互獨立。同時，異構資源管理程序更多地是對設備的狀態進行監控，保證設備功能正常，提供查詢和調用接口等。異構資源的調度往往由用戶實現，如在應用代碼中指定使用的設備，這無疑增加了應用開發的難度。此外，隨著算力的增強和算法的改進，一些復雜應用需要分時使用不同異構資源，如何實現多種異構資源的管理與協作，充分利用異構資源的計算特性也需要用戶進行精心設計。另一方面，異構資源都有各自依賴的驅動和開發、運行庫(如opencv)，不同異構資源的依賴之間可能產生沖突，即便同一種異構資源，也可能由于依賴的迭代更新導致已有應用無法正常運行，不能向前兼容。

現有的一種異構計算資源管理調度方法。Kubernetes實現了設備插件機制，以允許容器訪問GPU等異構資源，目前支持對節點上的AMD和NVIDIA GPU進行管理，該功能處于實驗狀態。通過將異構資源的依賴封裝到容器中，可以解決不同資源間依賴沖突以及依賴向前兼容的問題，并將對異構資源的管理轉化為對容器的管理，從而打破不同異構資源的獨立性，提供統一的容器管理接口。然而，Kubernetes存在以下問題：(1)僅實驗性地支持GPU資源管理，沒有適配FPGA、NPU等異構計算資源(2)資源管理局限于一類異構資源的使用，沒有從計算任務的角度進行設計，異構資源間相互獨立，多種異構資源間的協作仍需要用戶進行實現。

發明內容

(一)要解決的技術問題

本發明要解決的技術問題是如何提供一種異構計算資源協同管理調度的方法，以解決Kubernetes僅實驗性地支持GPU資源管理，沒有適配FPGA、NPU等異構計算資源，而且資源管理局限于一類異構資源的使用，沒有從計算任務的角度進行設計，異構資源間相互獨立，多種異構資源間的協作仍需要用戶進行實現的問題。

(二)技術方案

為了解決上述技術問題，本發明提出一種異構計算資源協同管理調度的方法，該方法包括如下步驟：

S1、構建異構資源鏡像；異構資源包括：NPU、FPGA、GPU；

S2、編輯任務資源文件，填寫異構資源的數量需求、應用路徑和執行命令，分時復雜任務需按照執行順序組織為任務列表；

S3、將任務資源文件發送給協同管理調度程序，程序根據任務的資源需求調度異構資源：若空閑資源滿足需求，分配資源；若不滿足需求，將任務加入等待執行隊列，當有空閑資源時喚醒任務并分配資源；

S4、根據分配的資源和任務創建容器，執行命令。