[發明專利]基于容器技術的高通量計算方法及系統

有效

• 申請號: 202010523599.2
• 申請日: 2020-06-10
• 公開（公告）號: CN111897622B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 黃荷;徐蘊琪;金鐘
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F9/455
• 分類號: G06F9/455
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 李文濤

本發明提出一種基于容器技術的高通量計算方法及系統，涉及高通量計算領域，通過工作流描述文件定義工作流作業，每個工作流作業由一個或多個子任務作業構成，通過有向圖定義子任務作業之間的依賴關系；將子任務作業以容器的方式構建成作業容器，并對接資源池，該資源池包括主要由本地物理資源、網格資源和虛擬化資源構成的計算資源及存儲資源；根據所述依賴關系對各子任務進行調度、分配、運行、監控與管理。利用容器及相關技術實現對接本地物理資源、網格資源和虛擬化云資源的高通量計算平臺，為計算屏蔽環境的影響因素，滿足不同場景下的資源需求，提高研究效率與靈活性，同時兼顧系統對工作流形態計算任務的支持。

技術領域

本發明涉及高通量計算領域，尤其涉及一種基于容器技術的高通量計算方法及系統。

背景技術

隨著云計算和虛擬化技術的發展，容器通過內核輕量級的虛擬化技術對應用和其依賴環境進行標準化打包，為應用程序和服務提供了一個隔離的運行環境，具有快速、高效、易遷移等優點。相對于傳統的虛擬機而言，容器環境直接運行于宿主機操作系統之上，對系統資源的額外需求遠低于虛擬機，并且容器編排框架等相關技術對多容器的編排與管理提供了全面的支持，因此在持續集成和持續部署、自動化測試、微服務等多個業務場景中有著廣泛的應用。

高通量計算包括高通量材料計算、高通量材料集成計算、材料基因組計算等方面應用，一般情況下，高通量計算作業在已安裝相關應用的計算集群中通過命令行的方式運行。但在該模式下運行計算任務，仍然存在一定的挑戰：計算對于環境有著較高要求，較舊版本的操作系統在安裝新的第三方計算應用時，往往會出現計算應用與操作系統或系統軟件的無法兼容的問題，而在此情況下升級操作系統或系統軟件所帶來的時間成本和風險都相對較高，增加了兼容與調錯的時間成本；難以保證結果可再現，一般數據結果的再現需要保證整個系統堆棧的完全可再現性機制，若僅僅依靠源代碼的一致，并不能保證能夠重現得到特定計算結果的完全相同的環境，降低了高通量計算的易用性；計算資源形態單一，難以滿足不同計算場景下的需求。高通量計算任務通常包含多個相對獨立的子任務步驟，這些子任務及其相互關系的定義構成一個工作流，故高通量計算任務往往可以用工作流來描述。對工作流形態任務的支持是對高通量計算系統的一個重要要求。

發明內容

本發明旨在解決高通量計算場景中遇到的環境兼容困難、結果難以再現、計算資源形態單一等問題，提供一種基于容器技術的高通量計算方法及系統，利用容器及相關技術實現對接本地物理資源、網格資源和虛擬化云資源的高通量計算平臺，為計算屏蔽環境的影響因素，滿足不同場景下的資源需求，提高研究效率與靈活性，同時兼顧系統對工作流形態計算任務的支持。

為達到上述目的，本發明提出以下技術方案：

一種基于容器技術的高通量計算方法，包括以下步驟：

通過工作流描述文件定義工作流作業，每個工作流作業由一個或多個子任務作業構成，子任務作業之間按照先后順序串行執行或者同步并行執行，通過有向圖定義子任務作業之間的依賴關系；

將子任務作業以容器的方式構建成作業容器，并對接資源池，該資源池包括主要由本地物理資源、網格資源和虛擬化資源構成的計算資源及存儲資源；

根據所述依賴關系對各子任務進行調度、分配、運行、監控與管理。

一種基于容器技術的高通量計算系統，包括物理層、調度運行層、工作流引擎層和應用層，其中：

物理層位于底層，用于提供統一的資源池，該資源池包括主要由本地物理資源、網格資源和虛擬化資源構成的計算資源及存儲資源；

調度運行層位于物理層的上層，用于將子任務作業以容器的方式構建成作業容器，并對接物理層的資源池，通過工作流作業描述文件獲取工作流作業的定義，每個工作流作業由一個或多個子任務作業構成，子任務作業之間按照先后順序串行執行或者同步并行執行，通過有向圖定義子任務作業之間的依賴關系，并根據依賴關系對各子任務進行調度、分配及運行；