[發(fā)明專利]基于spark內(nèi)核的任務(wù)執(zhí)行方法、系統(tǒng)和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011472995.3
• 申請(qǐng)日: 2020-12-15
• 公開(kāi)（公告）號(hào): CN112486468A
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 段曉航
• 申請(qǐng)（專利權(quán)）人: 恩億科（北京）數(shù)據(jù)科技有限公司
• 主分類號(hào): G06F8/30
• 分類號(hào): G06F8/30;G06F9/48
• 代理公司: 青島清泰聯(lián)信知識(shí)產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

本申請(qǐng)涉及一種基于spark內(nèi)核的任務(wù)執(zhí)行方法、系統(tǒng)、計(jì)算機(jī)設(shè)備，其中，該任務(wù)執(zhí)行方法包括：任務(wù)流生成步驟，spark driver節(jié)點(diǎn)讀取并根據(jù)一配置文件生成任務(wù)流；任務(wù)分配步驟，akka根據(jù)任務(wù)流分配任務(wù)；任務(wù)執(zhí)行步驟，一調(diào)度器根據(jù)分配任務(wù)的信息將任務(wù)分發(fā)至對(duì)應(yīng)的執(zhí)行節(jié)點(diǎn)，并將執(zhí)行結(jié)果發(fā)送至spark driver節(jié)點(diǎn)。通過(guò)將akka和spark的結(jié)合達(dá)到對(duì)etl的任務(wù)流并行執(zhí)行以及對(duì)該任務(wù)流中每個(gè)任務(wù)并行執(zhí)行，從而提高執(zhí)行效率；以及通過(guò)配置文件的方式省去編寫代碼的成本，提高開(kāi)發(fā)效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及基于spark內(nèi)核的任務(wù)執(zhí)行方法、系統(tǒng)、計(jì)算機(jī)設(shè)備。

背景技術(shù)

隨著大數(shù)據(jù)云時(shí)代的到來(lái)，各行各業(yè)對(duì)數(shù)據(jù)的應(yīng)用的需求越來(lái)越多，在數(shù)據(jù)應(yīng)用中，對(duì)多元異構(gòu)數(shù)據(jù)的同步和計(jì)算是數(shù)據(jù)應(yīng)用的基礎(chǔ)，如何在不同數(shù)據(jù)源間進(jìn)行高效同步和快速開(kāi)發(fā)etl成為行業(yè)面臨的主要問(wèn)題。

現(xiàn)有技術(shù)中一般通過(guò)編寫mapreduce代碼或spark代碼進(jìn)行etl開(kāi)發(fā)。但是存在以下缺點(diǎn)：

1、不支持實(shí)時(shí)數(shù)據(jù)同步；

2、不支持集群部署，受限于單臺(tái)服務(wù)器性能，速度慢，易發(fā)生內(nèi)存溢出等；

3、不支持配置多任務(wù)；

4、任務(wù)失敗無(wú)通知機(jī)制；

5、進(jìn)行etl計(jì)算速度慢；

6、需要通過(guò)編寫代碼、打包項(xiàng)目部署，開(kāi)發(fā)效率低，難度高。

目前針對(duì)相關(guān)技術(shù)中開(kāi)發(fā)效率低的問(wèn)題，尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種基于spark內(nèi)核的任務(wù)執(zhí)行方法、系統(tǒng)、計(jì)算機(jī)設(shè)備，通過(guò)設(shè)置配置文件降低了開(kāi)發(fā)門檻，提高開(kāi)發(fā)效率，降低維護(hù)成本，提升etl速度，提高系統(tǒng)的魯棒性。

第一方面，本申請(qǐng)實(shí)施例提供了一種基于spark內(nèi)核的任務(wù)執(zhí)行方法，包括以下步驟：

任務(wù)流生成步驟，spark driver節(jié)點(diǎn)讀取并根據(jù)一配置文件生成任務(wù)流；

任務(wù)分配步驟，akka根據(jù)所述任務(wù)流分配任務(wù)；

任務(wù)執(zhí)行步驟，一調(diào)度器根據(jù)所述分配任務(wù)的信息將任務(wù)分發(fā)至對(duì)應(yīng)的執(zhí)行節(jié)點(diǎn)，并將執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點(diǎn)。

在其中一些實(shí)施例中，所述任務(wù)流生成步驟具體包括：

通過(guò)編寫spark和akka代碼，讀取并解析所述配置文件生成dag圖。

在其中一些實(shí)施例中，所述任務(wù)分配步驟具體包括：

遍歷所述dag圖的每一個(gè)任務(wù)并判斷其狀態(tài)，如果沒(méi)有執(zhí)行，則判斷是否存在父節(jié)點(diǎn)任務(wù)，若有所述父節(jié)點(diǎn)任務(wù)則等待所述父節(jié)點(diǎn)任務(wù)執(zhí)行成功，若無(wú)父節(jié)點(diǎn)任務(wù)或父節(jié)點(diǎn)任務(wù)全部已執(zhí)行成功，則通過(guò)actor模型將該所述任務(wù)分發(fā)給executor進(jìn)行執(zhí)行。

在其中一些實(shí)施例中，所述任務(wù)執(zhí)行步驟具體包括：

通過(guò)所述actor模型將所述執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點(diǎn)，所述sparkdriver節(jié)點(diǎn)接收并記錄其狀態(tài)；

當(dāng)所述任務(wù)執(zhí)行失敗時(shí)，進(jìn)行重試，當(dāng)重試次數(shù)超過(guò)預(yù)設(shè)次數(shù)則判定所述任務(wù)失敗并退出程序，輸出報(bào)警信息；

當(dāng)所述任務(wù)執(zhí)行成功時(shí)，繼續(xù)執(zhí)行子節(jié)點(diǎn)任務(wù)，直至所述任務(wù)全部完成。

在其中一些實(shí)施例中，所述配置文件使用json格式定義數(shù)據(jù)源、同步數(shù)據(jù)格式和指定數(shù)據(jù)轉(zhuǎn)換邏輯。