[發(fā)明專利]基于spark內(nèi)核的任務執(zhí)行方法、系統(tǒng)和計算機設備

在審

• 申請?zhí)枺?/td>: 202011472995.3
• 申請日: 2020-12-15
• 公開（公告）號: CN112486468A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設計）人: 段曉航
• 申請（專利權(quán)）人: 恩億科（北京）數(shù)據(jù)科技有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F9/48
• 代理公司: 青島清泰聯(lián)信知識產(chǎn)權(quán)代理有限公司 37256
• 代理人: 李紅巖

1.一種基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，包括以下步驟：

任務流生成步驟，spark driver節(jié)點讀取并根據(jù)一配置文件生成任務流；

任務分配步驟，akka根據(jù)所述任務流分配任務；

任務執(zhí)行步驟，一調(diào)度器根據(jù)所述分配任務的信息將任務分發(fā)至對應的執(zhí)行節(jié)點，并將執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點。

2.根據(jù)權(quán)利要求1所述的基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，所述任務流生成步驟具體包括：

通過編寫spark和akka代碼，讀取并解析所述配置文件生成dag圖。

3.根據(jù)權(quán)利要求2所述的基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，所述任務分配步驟具體包括：

遍歷所述dag圖的每一個任務并判斷其狀態(tài)，如果沒有執(zhí)行，則判斷是否存在父節(jié)點任務，若有所述父節(jié)點任務則等待所述父節(jié)點任務執(zhí)行成功，若無父節(jié)點任務或父節(jié)點任務全部已執(zhí)行成功，則通過actor模型將該所述任務分發(fā)給executor進行執(zhí)行。

4.根據(jù)權(quán)利要求3所述的基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，所述任務執(zhí)行步驟具體包括：

通過所述actor模型將所述執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點，所述sparkdriver節(jié)點接收并記錄其狀態(tài)；

當所述任務執(zhí)行失敗時，進行重試，當重試次數(shù)超過預設次數(shù)則判定所述任務失敗并退出程序，輸出報警信息；

當所述任務執(zhí)行成功時，繼續(xù)執(zhí)行子節(jié)點任務，直至所述任務全部完成。

5.根據(jù)權(quán)利要求1所述的基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，所述配置文件使用json格式定義數(shù)據(jù)源、同步數(shù)據(jù)格式和指定數(shù)據(jù)轉(zhuǎn)換邏輯。

6.一種基于spark內(nèi)核的任務執(zhí)行系統(tǒng)，應用上述權(quán)利要求1-5任意一項所述的基于spark內(nèi)核的任務執(zhí)行方法，其特征在于，包括：

任務流生成模塊，spark driver節(jié)點讀取并根據(jù)一配置文件生成任務流；

任務分配模塊，akka根據(jù)所述任務流分配任務；

任務執(zhí)行模塊，一調(diào)度器根據(jù)所述分配任務的信息將任務分發(fā)至對應的執(zhí)行節(jié)點，并將執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點。

7.根據(jù)權(quán)利要求6所述的基于spark內(nèi)核的任務執(zhí)行系統(tǒng)，其特征在于，所述任務流生成模塊通過編寫spark和akka代碼，讀取并解析所述配置文件生成dag圖。

8.根據(jù)權(quán)利要求6所述的基于spark內(nèi)核的任務執(zhí)行系統(tǒng)，其特征在于，所述任務分配模塊遍歷所述dag圖的每一個任務并判斷其狀態(tài)，如果沒有執(zhí)行，則判斷是否存在父節(jié)點任務，若有所述父節(jié)點任務則等待所述父節(jié)點任務執(zhí)行成功，若無父節(jié)點任務或父節(jié)點任務全部已執(zhí)行成功，則通過actor模型將該所述任務分發(fā)給executor進行執(zhí)行。

9.根據(jù)權(quán)利要求7所述的基于spark內(nèi)核的任務執(zhí)行系統(tǒng)，其特征在于，所述任務執(zhí)行模塊包括：

狀態(tài)記錄單元，通過所述actor模型將所述執(zhí)行結(jié)果發(fā)送至所述spark driver節(jié)點，所述spark driver節(jié)點接收并記錄其狀態(tài)；

狀態(tài)判斷單元，當所述任務執(zhí)行失敗時，進行重試，當重試次數(shù)超過預設次數(shù)后則判定任務失敗并退出程序，輸出報警信息；當所述任務執(zhí)行成功時，繼續(xù)執(zhí)行子節(jié)點任務，直至所述任務全部完成。

10.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至5中任一項所述的基于spark內(nèi)核的任務執(zhí)行方法。