[發明專利]面向高性能計算的大規模運行環境快速啟動方法及系統

在審

• 申請號: 202110863957.9
• 申請日: 2021-07-29
• 公開（公告）號: CN113630453A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 盧凱;張文喆;王睿伯;遲萬慶;董勇;張偉;鄔會軍;吳振偉;謝旻;周恩強;李佳鑫;邵明天
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/182;G06F16/176
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 胡君

本發明公開一種面向高性能計算的大規模運行環境快速啟動方法及系統，該方法步驟包括：S1.在高性能計算系統的登錄結點上為每個用戶預置層次化文件系統；S2.接收到用戶發出的作業運行請求時，對當前作業進行依賴分析并進行運行環境分割，將層次化文件系統的上層文件系統中當前作業及當前作業所需要的依賴項作為第一部分傳輸內容、上層文件系統中其余文件作為第二部分傳輸內容；S3.服務進程進行傳輸時，分步傳輸第一部分傳輸內容、第二部分傳輸內容，其中優先傳輸所述第一部分傳輸內容，在第一部分傳輸內容完成時啟動用戶作業。本發明能夠適用于大規模運行環境，具有實現方法簡單、傳輸效率高以及用戶作業啟動速度快等優點。

技術領域

本發明涉及高性能計算技術領域，尤其涉及一種面向高性能計算的大規模運行環境快速啟動方法及系統。

背景技術

當前的高性能計算機系統將物理結點劃分為登錄結點和計算結點，用戶在登錄結點發出作業請求后，高性能計算系統通過作業管理系統來分配計算結點以響應這些請求，完成相應的任務，這個作業請求發出之前，需要提前完成作業以及作業的運行環境在計算結點上的部署。上述部署過程通常耗費大量的時間，尤其隨著規模的增大，運行環境的啟動耗時將會越來越長。在上述部署過程中，當前運行環境的部署與啟動主要存在以下幾種模式：

1、基于全局共享文件系統的運行環境

在高性能計算系統中，存在全局共享文件系統(如圖1所示)。全局共享文件系統是一個高速存儲服務器。所有的登錄結點和計算結點都可以直接訪問這個全局共享文件系統。依賴于全局共享文件系統，用戶可以方便的在登錄結點上進行作業的開發和環境的配置，然后需要將作業及其運行環境部署到計算結點上。登錄結點上的用戶只需要將作業開發及其環境配置全部在全局共享文件系統中進行即可，然后計算結點上將能夠直接訪問這個全局共享文件系統，使作業得以正常運行。也就是說，這種模式是通過全局共享文件系統進行了運行環境的部署，使得避免用戶將運行環境手動同步到計算結點上的麻煩。

但是該類基于全局共享文件系統的運行環境主要會存在以下缺點：

(1)多個用戶在全局共享文件系統中進行作業開發和環境配置，那么每個用戶的文件對于其他用戶都是可見的，也就是說，該模式完全無法保護用戶的隱私。

(2)多個用戶在全局共享文件系統中進行作業的開發和環境的配置，由于不同用戶的需求差異，很容易導致運行環境的配置沖突，使得部分用戶的作業無法正常運行。

基于以上的兩個缺點，該模式在實際的使用場景中并不被推薦。

2、基于容器技術的運行環境

用戶的作業使用的庫和依賴項可能很復雜，為了使得作業運行環境的部署更加方便，容器技術被應用到高性能計算系統中。例如Shifter和Singularity就是專門為高性能計算設計的容器，它們是通過利用容器image來實現更為迅速的作業打包、移植和部署，用戶在登錄結點上進行自己的作業開發以及環境配置，然后將這些打包到容器image中，然后將容器image傳輸到計算結點上，最后用戶發出作業運行請求之后，相應的計算結點上將根據容器image來啟動相應的容器，用戶的作業即是在這個容器環境中運行。相比較于基于全局共享文件系統的運行環境模式，基于容器技術的運行環境部署與啟動模式能夠在一定程度上保護用戶的隱私。

但是基于容器技術的運行環境部署與啟動模式仍然會存在以下缺點：

(1)容器image只能通過用戶手動維護，作業正常運行所需要的環境需要打包到容器image中，但是在高性能計算系統這種高度定制的軟硬件環境中，用戶很難完全自己維護。

(2)容器image中通常包含大量無效文件，也就是用戶作業以及實際運行時所需要的依賴項在容器image中所占的比例較小，將容器image傳輸到計算結點上需要耗費大量的時間，因而容器image的傳輸時間成為了運行環境快速啟動的瓶頸。而將容器image手動地從一個登錄結點直接傳輸到大量計算結點上，顯然是效率最低的方式。