[發(fā)明專利]作業(yè)處理方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711317740.8
• 申請(qǐng)日: 2017-12-12
• 公開（公告）號(hào): CN108062254B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 王斌;李力;賈卷;王旻;陳煜東
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司;騰訊云計(jì)算（北京）有限責(zé)任公司
• 主分類號(hào): G06F9/54
• 分類號(hào): G06F9/54;G06F9/50
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 劉映東

1.一種作業(yè)處理方法，其特征在于，所述方法包括：

基于計(jì)算環(huán)境中計(jì)算節(jié)點(diǎn)的數(shù)量以及待處理作業(yè)的優(yōu)先級(jí)，在所述待處理作業(yè)中確定當(dāng)前并行處理的至少兩個(gè)目標(biāo)作業(yè)；

對(duì)于每一個(gè)目標(biāo)作業(yè)，基于存儲(chǔ)映射從第三方存儲(chǔ)獲取所述目標(biāo)作業(yè)的應(yīng)用程序包以及輸入數(shù)據(jù)，所述存儲(chǔ)映射指代所述第三方存儲(chǔ)掛載到本地；

在所述計(jì)算環(huán)境包含的計(jì)算節(jié)點(diǎn)中確定執(zhí)行所述目標(biāo)作業(yè)的目標(biāo)計(jì)算節(jié)點(diǎn)，并調(diào)用所述目標(biāo)計(jì)算節(jié)點(diǎn)基于所述應(yīng)用程序包以及所述輸入數(shù)據(jù)執(zhí)行所述目標(biāo)作業(yè)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)作業(yè)包括主任務(wù)和與所述主任務(wù)對(duì)應(yīng)的至少一個(gè)子任務(wù)，所述存儲(chǔ)映射包括任務(wù)存儲(chǔ)映射和計(jì)算環(huán)境存儲(chǔ)映射，所述任務(wù)存儲(chǔ)映射為生命周期與所述主任務(wù)的生命周期一致的存儲(chǔ)映射，所述計(jì)算環(huán)境存儲(chǔ)映射為生命周期與所述計(jì)算環(huán)境的生命周期一致的存儲(chǔ)映射，所述基于存儲(chǔ)映射從第三方存儲(chǔ)獲取所述目標(biāo)作業(yè)的應(yīng)用程序包以及輸入數(shù)據(jù)，包括：

基于所述任務(wù)存儲(chǔ)映射，從第三方存儲(chǔ)的主任務(wù)目錄獲取所述主任務(wù)的第一應(yīng)用程序包以及與所述主任務(wù)匹配的第一輸入數(shù)據(jù)；

基于所述計(jì)算環(huán)境存儲(chǔ)映射，從第三方存儲(chǔ)的子任務(wù)目錄獲取所述至少一個(gè)子任務(wù)的第二應(yīng)用程序包以及與所述至少一個(gè)子任務(wù)匹配的第二輸入數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在所述計(jì)算環(huán)境包含的計(jì)算節(jié)點(diǎn)中確定執(zhí)行所述目標(biāo)作業(yè)的目標(biāo)計(jì)算節(jié)點(diǎn)，并調(diào)用所述目標(biāo)節(jié)點(diǎn)基于所述應(yīng)用程序包以及所述輸入數(shù)據(jù)執(zhí)行所述目標(biāo)作業(yè)，包括：

在所述計(jì)算環(huán)境包含的計(jì)算節(jié)點(diǎn)中確定執(zhí)行所述主任務(wù)的第一計(jì)算節(jié)點(diǎn)，并調(diào)用所述第一計(jì)算節(jié)點(diǎn)基于所述第一應(yīng)用程序包以及所述第一輸入數(shù)據(jù)執(zhí)行所述主任務(wù)，所述第一計(jì)算節(jié)點(diǎn)用于在執(zhí)行所述主任務(wù)過程中調(diào)用所述計(jì)算環(huán)境中的第二計(jì)算節(jié)點(diǎn)，以使所述第二計(jì)算節(jié)點(diǎn)基于所述第二應(yīng)用程序包以及所述第二輸入數(shù)據(jù)執(zhí)行所述至少一個(gè)子任務(wù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

基于所述存儲(chǔ)映射，將所述目標(biāo)計(jì)算節(jié)點(diǎn)輸出的輸出數(shù)據(jù)保存至所述第三方存儲(chǔ)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述輸出數(shù)據(jù)包括標(biāo)準(zhǔn)輸出數(shù)據(jù)和標(biāo)準(zhǔn)錯(cuò)誤數(shù)據(jù)，所述基于所述存儲(chǔ)映射，將所述目標(biāo)計(jì)算節(jié)點(diǎn)輸出的輸出數(shù)據(jù)保存至所述第三方存儲(chǔ)，包括：

基于所述任務(wù)存儲(chǔ)映射，將所述第一計(jì)算節(jié)點(diǎn)輸出的標(biāo)準(zhǔn)輸出數(shù)據(jù)保存至所述第三方存儲(chǔ)的標(biāo)準(zhǔn)輸出目錄，將所述第一計(jì)算節(jié)點(diǎn)輸出的標(biāo)準(zhǔn)錯(cuò)誤數(shù)據(jù)保存至所述第三方存儲(chǔ)的標(biāo)準(zhǔn)錯(cuò)誤目錄；

基于所述計(jì)算環(huán)境存儲(chǔ)映射，將所述第二計(jì)算節(jié)點(diǎn)輸出的標(biāo)準(zhǔn)輸出數(shù)據(jù)和標(biāo)準(zhǔn)錯(cuò)誤數(shù)據(jù)保存至所述第三方存儲(chǔ)的目標(biāo)輸出數(shù)據(jù)目錄。

6.根據(jù)權(quán)要利要求1至5中任一權(quán)利要求所述的方法，其特征在于，所述方法還包括：

基于所述存儲(chǔ)映射，將保存在所述第三方存儲(chǔ)的第一目錄下的密鑰對(duì)掛載到所述計(jì)算環(huán)境中每一個(gè)計(jì)算節(jié)點(diǎn)的指定目錄。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述密鑰對(duì)為安全外殼協(xié)議ssh密鑰對(duì)，所述第一目錄為.ssh目錄，所述ssh密鑰對(duì)由終端設(shè)備生成并上傳到所述第三方存儲(chǔ)，所述密鑰對(duì)中包括公鑰文件、私鑰文件以及攜帶公鑰的授權(quán)文件。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

當(dāng)已掛載的密鑰對(duì)失效時(shí)，以保存在所述第三方存儲(chǔ)的第二目錄下的任意一個(gè)密鑰對(duì)替換所述第一目錄下的密鑰對(duì)，所述第二目錄為所述第一目錄的備用目錄；

基于所述存儲(chǔ)映射，將保存在所述第一目錄下的已更新密鑰對(duì)掛載到所述計(jì)算環(huán)境中每一個(gè)計(jì)算節(jié)點(diǎn)的指定目錄。

9.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述目標(biāo)作業(yè)包括具有依賴關(guān)系的至少兩個(gè)任務(wù)，所述至少兩個(gè)任務(wù)是基于有向無環(huán)圖模型對(duì)所述目標(biāo)作業(yè)進(jìn)行拆分得到的；當(dāng)所述目標(biāo)作業(yè)的主任務(wù)為所述目標(biāo)作業(yè)中非首個(gè)被執(zhí)行的任務(wù)時(shí)，與所述主任務(wù)匹配的第一輸入數(shù)據(jù)中包括上一個(gè)被執(zhí)行的任務(wù)的輸出數(shù)據(jù)。