[發明專利]基于容器技術的高通量計算方法及系統

有效

• 申請號: 202010523599.2
• 申請日: 2020-06-10
• 公開（公告）號: CN111897622B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 黃荷;徐蘊琪;金鐘
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 李文濤

1.一種基于容器技術的高通量計算方法，其特征在于，包括以下步驟：

通過工作流描述文件定義工作流作業，每個工作流作業由一個或多個子任務作業構成，子任務作業之間按照先后順序串行執行或者同步并行執行，通過有向圖定義子任務作業之間的依賴關系；

將子任務作業以容器的方式構建成作業容器，并對接資源池，該資源池包括主要由本地物理資源、網格資源和虛擬化資源構成的計算資源及存儲資源；作業容器包括本地作業容器、網格作業表現容器和云上作業容器，其中，本地作業容器和云上作業容器通過容器調度模塊提供的統一化接口分別對接本地物理資源和虛擬化資源，網格作業表現容器通過容器調度模塊的統一化接口對接網格中間件及API，并將作業運行在網格環境并實時獲取其狀態信息；網格作業表現容器的進程實時獲取遠端網格作業的狀態，并將實際作業狀態呈現為容器的對外狀態；網格作業表現容器包括對接網格資源環境的工具包與腳本代碼，在啟動時運行腳本代碼以指定用戶身份登陸網格，并通過網格環境API進行提交作業和上傳作業文件的操作；當作業成功在網格環境創建后，網格作業表現容器通過運行的監護進程持續輪詢檢查該作業在遠端環境中的狀態，并相應地更新自身狀態；

根據所述依賴關系對各子任務進行調度、分配、運行、監控與管理。

2.一種基于容器技術的高通量計算系統，其特征在于，包括物理層、調度運行層、工作流引擎層和應用層，其中：

物理層位于底層，用于提供統一的資源池，該資源池包括主要由本地物理資源、網格資源和虛擬化資源構成的計算資源及存儲資源；

調度運行層位于物理層的上層，用于將子任務作業以容器的方式構建成作業容器，并對接物理層的資源池，通過工作流作業描述文件獲取工作流作業的定義，每個工作流作業由一個或多個子任務作業構成，子任務作業之間按照先后順序串行執行或者同步并行執行，通過有向圖定義子任務作業之間的依賴關系，并根據依賴關系對各子任務進行調度、分配及運行；作業容器包括本地作業容器、網格作業表現容器和云上作業容器，其中，本地作業容器和云上作業容器通過容器調度模塊提供的統一化接口分別對接本地物理資源和虛擬化資源，網格作業表現容器通過容器調度模塊的統一化接口對接網格中間件及API，并將作業運行在網格環境并實時獲取其狀態信息；網格作業表現容器的進程實時獲取遠端網格作業的狀態，并將實際作業狀態呈現為容器的對外狀態；網格作業表現容器包括對接網格資源環境的工具包與腳本代碼，在啟動時運行腳本代碼以指定用戶身份登陸網格，并通過網格環境API進行提交作業和上傳作業文件的操作；當作業成功在網格環境創建后，網格作業表現容器通過運行的監護進程持續輪詢檢查該作業在遠端環境中的狀態，并相應地更新自身狀態；

工作流引擎層位于調度運行層的上層，用于對工作流作業的子任務進行解析、分派、監控與管理；

應用層位于工作流引擎層的上層，用于封裝來自工作流引擎層和調度運行層的功能，為用戶提供可視化界面和統一訪問系統的入口。

3.如權利要求2所述的系統，其特征在于，調度運行層包括以下兩個模塊：

(1)容器調度模塊：用于在監聽到新建的作業配置信息后，利用作業調度策略將作業容器分配到相應的工作模塊，作業調度策略包括資源可用性、資源負載、作業對資源的傾向；

(2)容器工作模塊：用于將作業容器在不同資源上運行。

4.如權利要求2所述的系統，其特征在于，容器為Docker容器，通過Kubernetes開源平臺進行構建和運行。