[發明專利]作業處理方法、裝置、存儲介質及設備

有效

• 申請號: 201711317740.8
• 申請日: 2017-12-12
• 公開（公告）號: CN108062254B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 王斌;李力;賈卷;王旻;陳煜東
• 申請（專利權）人: 騰訊科技（深圳）有限公司;騰訊云計算（北京）有限責任公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

1.一種作業處理方法，其特征在于，所述方法包括：

基于計算環境中計算節點的數量以及待處理作業的優先級，在所述待處理作業中確定當前并行處理的至少兩個目標作業；

對于每一個目標作業，基于存儲映射從第三方存儲獲取所述目標作業的應用程序包以及輸入數據，所述存儲映射指代所述第三方存儲掛載到本地；

在所述計算環境包含的計算節點中確定執行所述目標作業的目標計算節點，并調用所述目標計算節點基于所述應用程序包以及所述輸入數據執行所述目標作業。

2.根據權利要求1所述的方法，其特征在于，所述目標作業包括主任務和與所述主任務對應的至少一個子任務，所述存儲映射包括任務存儲映射和計算環境存儲映射，所述任務存儲映射為生命周期與所述主任務的生命周期一致的存儲映射，所述計算環境存儲映射為生命周期與所述計算環境的生命周期一致的存儲映射，所述基于存儲映射從第三方存儲獲取所述目標作業的應用程序包以及輸入數據，包括：

基于所述任務存儲映射，從第三方存儲的主任務目錄獲取所述主任務的第一應用程序包以及與所述主任務匹配的第一輸入數據；

基于所述計算環境存儲映射，從第三方存儲的子任務目錄獲取所述至少一個子任務的第二應用程序包以及與所述至少一個子任務匹配的第二輸入數據。

3.根據權利要求2所述的方法，其特征在于，所述在所述計算環境包含的計算節點中確定執行所述目標作業的目標計算節點，并調用所述目標節點基于所述應用程序包以及所述輸入數據執行所述目標作業，包括：

在所述計算環境包含的計算節點中確定執行所述主任務的第一計算節點，并調用所述第一計算節點基于所述第一應用程序包以及所述第一輸入數據執行所述主任務，所述第一計算節點用于在執行所述主任務過程中調用所述計算環境中的第二計算節點，以使所述第二計算節點基于所述第二應用程序包以及所述第二輸入數據執行所述至少一個子任務。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

基于所述存儲映射，將所述目標計算節點輸出的輸出數據保存至所述第三方存儲。

5.根據權利要求4所述的方法，其特征在于，所述輸出數據包括標準輸出數據和標準錯誤數據，所述基于所述存儲映射，將所述目標計算節點輸出的輸出數據保存至所述第三方存儲，包括：

基于所述任務存儲映射，將所述第一計算節點輸出的標準輸出數據保存至所述第三方存儲的標準輸出目錄，將所述第一計算節點輸出的標準錯誤數據保存至所述第三方存儲的標準錯誤目錄；

基于所述計算環境存儲映射，將所述第二計算節點輸出的標準輸出數據和標準錯誤數據保存至所述第三方存儲的目標輸出數據目錄。

6.根據權要利要求1至5中任一權利要求所述的方法，其特征在于，所述方法還包括：

基于所述存儲映射，將保存在所述第三方存儲的第一目錄下的密鑰對掛載到所述計算環境中每一個計算節點的指定目錄。

7.根據權利要求6所述的方法，其特征在于，所述密鑰對為安全外殼協議ssh密鑰對，所述第一目錄為.ssh目錄，所述ssh密鑰對由終端設備生成并上傳到所述第三方存儲，所述密鑰對中包括公鑰文件、私鑰文件以及攜帶公鑰的授權文件。

8.根據權利要求6所述的方法，其特征在于，所述方法還包括：

當已掛載的密鑰對失效時，以保存在所述第三方存儲的第二目錄下的任意一個密鑰對替換所述第一目錄下的密鑰對，所述第二目錄為所述第一目錄的備用目錄；

基于所述存儲映射，將保存在所述第一目錄下的已更新密鑰對掛載到所述計算環境中每一個計算節點的指定目錄。

9.根據權利要求2所述的方法，其特征在于，所述目標作業包括具有依賴關系的至少兩個任務，所述至少兩個任務是基于有向無環圖模型對所述目標作業進行拆分得到的；當所述目標作業的主任務為所述目標作業中非首個被執行的任務時，與所述主任務匹配的第一輸入數據中包括上一個被執行的任務的輸出數據。