[發明專利]面向I/O密集型作業的臨時加速存儲方法及系統

在審

• 申請號: 202011156404.1
• 申請日: 2020-10-26
• 公開（公告）號: CN112230862A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 楊樹軍;白英豪;葉躍進;陳雨祥;車玉娟
• 申請（專利權）人: 國家超級計算無錫中心
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 無錫知之火專利代理事務所(特殊普通合伙) 32318
• 代理人: 袁粉蘭

1.一種面向I/O密集型作業的臨時加速存儲方法，其特征在于，包括：

構建系統及用戶層面的存儲加速資源需求描述框架；

接收用戶根據存儲加速資源描述框架及作業管理規范編寫作業腳本；

根據用戶提交的腳本，構建臨時加速存儲系統；

從低速存儲系統向臨時加速存儲系統導入作業所需的文件或目錄；

掛載臨時加速存儲系統，開始作業；

將作業產生的數據導出臨時加速存儲系統，銷毀臨時加速存儲系統。

2.如權利要求1所述的面向I/O密集型作業的臨時加速存儲方法，其特征在于，所述“腳本”至少包括：I/O密集型作業所需的節點數量、CPU核的數量、臨時加速存儲系統容量以及作業用到的文件或目錄(文件或目錄信息已保存在已有的低速存儲系統中)信息。

3.如權利要求2所述的面向I/O密集型作業的臨時加速存儲方法，其特征在于，包括KV存儲系統；

所述“根據用戶提交的腳本，構建臨時加速存儲系統”具體為：

判斷節點數量、CPU核的數量、臨時加速存儲系統容量的資源是否滿足用戶提交的腳本中的資源需求；

若資源滿足需求，將預留并配置腳本中的資源需求；

將腳本中的資源需求注冊到KV存儲系統中，構建臨時加速存儲系統。

4.如權利要求3所述的面向I/O密集型作業的臨時加速存儲方法，其特征在于，所述“掛載臨時加速存儲系統，開始作業”具體為：

在所需的計算節點上安裝臨時加速存儲系統客戶端；

在臨時加速存儲系統中運行作業，作業產生的數據存入臨時加速系統。

5.如權利要求4所述的面向I/O密集型作業的臨時加速存儲方法，其特征在于，所述“將作業產生的數據導出臨時加速存儲系統，銷毀臨時加速存儲系統”具體為：

在相應的計算節點上卸載臨時加速存儲系統客戶端；

釋放計算資源；

鎖定臨時加速存儲系統；

將作業產生的數據導出到低速存儲系統中；

銷毀臨時加速存儲系統。

6.一種面向I/O密集型作業的臨時加速存儲系統，其特征在于，包括KV存儲系統、存儲加速系統、作業管理系統和程序；所述存儲加速系統包括存儲加速系統客戶端、存儲加速系統服務端和工具模塊；

所述程序具體包括：

作業管理系統接收用戶根據存儲加速資源描述框架及作業管理規范編寫作業腳本；

根據用戶提交的腳本，構建臨時加速存儲系統；

從低速存儲系統向臨時加速存儲系統導入作業所需的文件或目錄；

掛載臨時加速存儲系統，開始作業；

將作業產生的數據導出臨時加速存儲系統，銷毀臨時加速存儲系統。

7.如權利要求6所述的面向I/O密集型作業的臨時加速存儲系統，其特征在于，所述“腳本”至少包括：I/O密集型作業所需的節點數量、CPU核的數量、臨時加速存儲系統容量以及作業用到的文件或目錄(文件或目錄信息已保存在已有的低速存儲系統中)信息。

8.如權利要求7所述的面向I/O密集型作業的臨時加速存儲系統，其特征在于，包括KV存儲系統；

所述“根據用戶提交的腳本，構建臨時加速存儲系統”具體為：

作業管理系統判斷節點數量、CPU核的數量、臨時加速存儲系統容量的資源是否滿足用戶提交的腳本中的資源需求，若資源滿足需求，將預留并配置腳本中的資源需求；

作業管理系統調用存儲加速系統客戶端，將腳本中的資源需求注冊到KV存儲系統中；

存儲加速系統服務端獲取到注冊在KV存儲系統中的資源需求后，調用工具模塊構建臨時加速存儲系統。

9.如權利要求3所述的面向I/O密集型作業的臨時加速存儲系統，其特征在于，所述“掛載臨時加速存儲系統，開始作業”具體為：

工具模塊在所需的計算節點上安裝臨時加速存儲系統客戶端；

在臨時加速存儲系統中運行作業，作業產生的數據存入臨時加速系統。

10.如權利要求4所述的面向I/O密集型作業的臨時加速存儲系統，其特征在于，所述“將作業產生的數據導出臨時加速存儲系統，銷毀臨時加速存儲系統”具體為：

工具模塊在相應的計算節點上卸載臨時加速存儲系統客戶端；

作業管理系統釋放計算資源；

鎖定臨時加速存儲系統；

工具模塊將作業產生的數據導出到低速存儲系統中；

工具模塊銷毀臨時加速存儲系統。