[發(fā)明專利]作業(yè)執(zhí)行方法、裝置、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010624055.5
• 申請(qǐng)日: 2020-06-30
• 公開（公告）號(hào): CN111767092B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 劉有;尹強(qiáng);王和平;黃山;楊峙岳;馮朝閣;楊永坤;邸帥;盧道和
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F9/445
• 分類號(hào): G06F9/445;G06F9/448
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 張婷

1.一種作業(yè)執(zhí)行方法，其特征在于，所述作業(yè)執(zhí)行方法包括：

在接收到Spark作業(yè)的執(zhí)行請(qǐng)求時(shí)，根據(jù)所述執(zhí)行請(qǐng)求獲取目標(biāo)Spark引擎的版本號(hào)、動(dòng)態(tài)配置參數(shù)和Spark作業(yè)代碼；

根據(jù)所述版本號(hào)確定所述目標(biāo)Spark引擎的部署目錄信息和版本加載規(guī)則；

根據(jù)所述部署目錄信息獲取靜態(tài)配置參數(shù)，根據(jù)所述版本加載規(guī)則使用所述動(dòng)態(tài)配置參數(shù)和所述靜態(tài)配置參數(shù)對(duì)所述目標(biāo)Spark引擎進(jìn)行初始化，以啟動(dòng)所述目標(biāo)Spark引擎；

將所述Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎，以執(zhí)行作業(yè)；

其中，所述根據(jù)所述版本號(hào)確定所述目標(biāo)Spark引擎的部署目錄信息和版本加載規(guī)則的步驟之前，還包括：

獲取所述執(zhí)行請(qǐng)求對(duì)應(yīng)的用戶標(biāo)識(shí)，根據(jù)所述用戶標(biāo)識(shí)判斷用戶是否在預(yù)設(shè)灰度名單中；

若用戶不在預(yù)設(shè)灰度名單中，則執(zhí)行步驟：根據(jù)所述版本號(hào)確定所述目標(biāo)Spark引擎的部署目錄信息和版本加載規(guī)則；

若用戶在預(yù)設(shè)灰度名單中，則創(chuàng)建灰度Spark引擎，并將所述Spark作業(yè)代碼提交至所述灰度Spark引擎，以執(zhí)行作業(yè)。

2.如權(quán)利要求1所述的作業(yè)執(zhí)行方法，其特征在于，所述根據(jù)所述版本號(hào)確定所述目標(biāo)Spark引擎的部署目錄信息和版本加載規(guī)則的步驟之前，還包括：

獲取所述執(zhí)行請(qǐng)求對(duì)應(yīng)的用戶標(biāo)識(shí)，檢測是否存在與所述用戶標(biāo)識(shí)和所述版本號(hào)對(duì)應(yīng)的空閑Spark引擎；

若不存在，則執(zhí)行步驟：根據(jù)所述版本號(hào)確定所述目標(biāo)Spark引擎的部署目錄信息和版本加載規(guī)則；

若存在，則將所述Spark作業(yè)代碼提交至所述空閑Spark引擎，以執(zhí)行作業(yè)。

3.如權(quán)利要求1所述的作業(yè)執(zhí)行方法，其特征在于，所述作業(yè)執(zhí)行方法還包括：

在初始化過程中，根據(jù)所述版本號(hào)和預(yù)設(shè)抽象層接口確定目標(biāo)調(diào)用方法；

根據(jù)所述目標(biāo)調(diào)用方法加載所述部署目錄信息對(duì)應(yīng)目錄下的所述目標(biāo)Spark引擎依賴的文件包。

4.如權(quán)利要求1至3中任一項(xiàng)所述的作業(yè)執(zhí)行方法，其特征在于，所述將所述Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎，以執(zhí)行作業(yè)的步驟之前，還包括：

根據(jù)所述版本號(hào)對(duì)所述Spark作業(yè)代碼進(jìn)行修改；

所述將所述Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎，以執(zhí)行作業(yè)的步驟包括：

將修改后的Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎，以執(zhí)行作業(yè)。

5.如權(quán)利要求1至3中任一項(xiàng)所述的作業(yè)執(zhí)行方法，其特征在于，所述將所述Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎，以執(zhí)行作業(yè)的步驟包括：

將所述Spark作業(yè)代碼提交至所述目標(biāo)Spark引擎的驅(qū)動(dòng)器節(jié)點(diǎn)；

通過所述驅(qū)動(dòng)器節(jié)點(diǎn)對(duì)所述Spark作業(yè)代碼進(jìn)行轉(zhuǎn)化，得到Spark任務(wù)；

將所述Spark任務(wù)分配至部署在Yarn集群上的執(zhí)行器節(jié)點(diǎn)，以執(zhí)行作業(yè)。

6.如權(quán)利要求5所述的作業(yè)執(zhí)行方法，其特征在于，所述通過所述驅(qū)動(dòng)器節(jié)點(diǎn)對(duì)所述Spark作業(yè)代碼進(jìn)行轉(zhuǎn)化，得到Spark任務(wù)的步驟之前，還包括：

在初始化過程中，在所述目標(biāo)Spark引擎的驅(qū)動(dòng)器節(jié)點(diǎn)中創(chuàng)建Scala解釋器時(shí)，將主線程的類加載器注入至所述Scala解釋器中，使得所述主線程的類加載器成為Scala解釋器類加載器的父級(jí)，并使得所述Scala解釋器根據(jù)父級(jí)的類加載器創(chuàng)建對(duì)應(yīng)的類加載器；

所述通過所述驅(qū)動(dòng)器節(jié)點(diǎn)對(duì)所述Spark作業(yè)代碼進(jìn)行轉(zhuǎn)化，得到Spark任務(wù)的步驟包括：

通過所述驅(qū)動(dòng)器節(jié)點(diǎn)中創(chuàng)建的Scala解釋器的類加載器對(duì)所述Spark作業(yè)代碼進(jìn)行轉(zhuǎn)化，得到Spark任務(wù)；

所述將所述Spark任務(wù)分配至部署在Yarn集群上的執(zhí)行器節(jié)點(diǎn)，以執(zhí)行作業(yè)的步驟之后，還包括：

在接收到所述執(zhí)行器節(jié)點(diǎn)基于所述Spark任務(wù)返回的序列化執(zhí)行結(jié)果時(shí)，將所述目標(biāo)Spark引擎當(dāng)前線程的類加載器修改為所述Scala解釋器的類加載器，以通過所述Scala解釋器的類加載器對(duì)所述序列化執(zhí)行結(jié)果進(jìn)行反序列化。