[發(fā)明專利]作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法、裝置、介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202111266458.8
• 申請日: 2021-10-28
• 公開（公告）號: CN114020566A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 洪鈞煌;王呈炎;陳良龍;蘇建清;林淇;翁志山
• 申請（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F9/48
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 趙迎迎

本申請實(shí)施例公開了一種作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法、裝置、介質(zhì)及電子設(shè)備。本實(shí)施例涉及大數(shù)據(jù)技術(shù)領(lǐng)域。其中，該方法包括：若檢測到作業(yè)執(zhí)行單元被創(chuàng)建，則獲取執(zhí)行單元信息；若檢測到作業(yè)流水線初始化，則獲取作業(yè)流水線信息；作業(yè)執(zhí)行過程中，通過預(yù)先埋入在作業(yè)調(diào)度系統(tǒng)中的作業(yè)關(guān)鍵路徑的埋點(diǎn)，采用預(yù)先設(shè)置的監(jiān)控?cái)?shù)據(jù)獲取規(guī)則獲取作業(yè)的狀態(tài)信息；將執(zhí)行單元信息、作業(yè)流水線信息和狀態(tài)信息進(jìn)行聚合，并將聚合結(jié)果推送到監(jiān)控?cái)?shù)據(jù)庫存儲。本申請所提供的技術(shù)方案，解決了如果需要作業(yè)調(diào)度系統(tǒng)支持多種大數(shù)據(jù)框架，則需要分別開發(fā)和對接的技術(shù)問題，達(dá)到了通用有效地為作業(yè)監(jiān)控系統(tǒng)進(jìn)行作業(yè)監(jiān)控的效果。

技術(shù)領(lǐng)域

本申請實(shí)施例涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法、裝置、介質(zhì)及電子設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)大數(shù)據(jù)平臺的迅速發(fā)展，作業(yè)調(diào)度系統(tǒng)或工作流系統(tǒng)已經(jīng)成為大部分大數(shù)據(jù)平臺的重要組成部分。作業(yè)調(diào)度系統(tǒng)提供作業(yè)監(jiān)控功能，用于監(jiān)控作業(yè)運(yùn)行實(shí)時(shí)狀態(tài)，采集上報(bào)作業(yè)運(yùn)行耗時(shí)、資源消耗等指標(biāo)，為統(tǒng)計(jì)資源消耗和優(yōu)化作業(yè)流水線提供支持。

現(xiàn)有技術(shù)中，通過對接大數(shù)據(jù)框架的相關(guān)服務(wù)，利用服務(wù)接口采集作業(yè)運(yùn)行的實(shí)時(shí)狀態(tài)，獲取服務(wù)接口提供的指標(biāo)。然而，對接大數(shù)據(jù)框架相關(guān)服務(wù)存在如下缺陷：如果需要采集定制化指標(biāo)，則需要二次開發(fā)相關(guān)服務(wù)組件。另外，不同的大數(shù)據(jù)框架支持的服務(wù)接口具有差異性，如果需要作業(yè)調(diào)度系統(tǒng)支持多種大數(shù)據(jù)框架，則需要分別開發(fā)和對接。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法、裝置、介質(zhì)及電子設(shè)備，解決了如果需要作業(yè)調(diào)度系統(tǒng)支持多種大數(shù)據(jù)框架，則需要分別開發(fā)和對接的技術(shù)問題，達(dá)到了通用有效地為作業(yè)監(jiān)控系統(tǒng)進(jìn)行作業(yè)監(jiān)控的效果。

第一方面，本申請實(shí)施例提供了一種作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法，所述方法包括：

若檢測到作業(yè)執(zhí)行單元被創(chuàng)建，則獲取所述執(zhí)行單元信息；

若檢測到作業(yè)流水線初始化，則獲取作業(yè)流水線信息；

作業(yè)執(zhí)行過程中，通過預(yù)先埋入在作業(yè)調(diào)度系統(tǒng)中的作業(yè)關(guān)鍵路徑的埋點(diǎn)，采用預(yù)先設(shè)置的監(jiān)控?cái)?shù)據(jù)獲取規(guī)則獲取作業(yè)的狀態(tài)信息；

將所述執(zhí)行單元信息、作業(yè)流水線信息和狀態(tài)信息進(jìn)行聚合，并將聚合結(jié)果推送到監(jiān)控?cái)?shù)據(jù)庫存儲。

第二方面，本申請實(shí)施例提供了一種作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控裝置，所述裝置包括：

執(zhí)行單元信息獲取模塊，用于若檢測到作業(yè)執(zhí)行單元被創(chuàng)建，則獲取所述執(zhí)行單元信息；

作業(yè)流水線信息獲取模塊，用于若檢測到作業(yè)流水線初始化，則獲取作業(yè)流水線信息；

狀態(tài)信息獲取模塊，用于作業(yè)執(zhí)行過程中，通過預(yù)先埋入在作業(yè)調(diào)度系統(tǒng)中的作業(yè)關(guān)鍵路徑的埋點(diǎn)，采用預(yù)先設(shè)置的監(jiān)控?cái)?shù)據(jù)獲取規(guī)則獲取作業(yè)的狀態(tài)信息；

聚合存儲模塊，用于將所述執(zhí)行單元信息、作業(yè)流水線信息和狀態(tài)信息進(jìn)行聚合，并將聚合結(jié)果推送到監(jiān)控?cái)?shù)據(jù)庫存儲。

第三方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本申請實(shí)施例所述的作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法。

第四方面，本申請實(shí)施例提供了一種電子設(shè)備，包括存儲器，處理器及存儲在存儲器上并可在處理器運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如本申請實(shí)施例所述的作業(yè)調(diào)度系統(tǒng)的作業(yè)監(jiān)控方法。