[發(fā)明專利]大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201810108116.5
• 申請日: 2018-02-02
• 公開（公告）號: CN108319538B
• 公開（公告）日: 2019-11-08
• 發(fā)明（設(shè)計(jì)）人: 楊鵬;黃曉鵬;黃凌染;張穎;潘浩;趙子穎;謝安濤
• 申請（專利權(quán)）人: 世紀(jì)龍信息網(wǎng)絡(luò)有限責(zé)任公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 余永文

1.一種大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，包括步驟：

確定大數(shù)據(jù)平臺的計(jì)算任務(wù)的各個(gè)任務(wù)階段；

通過預(yù)先部署在大數(shù)據(jù)平臺的監(jiān)控節(jié)點(diǎn)獲取所述計(jì)算任務(wù)在各個(gè)任務(wù)階段的任務(wù)執(zhí)行情況；其中，所述監(jiān)控節(jié)點(diǎn)與所述大數(shù)據(jù)平臺的計(jì)算任務(wù)的各個(gè)任務(wù)階段所在節(jié)點(diǎn)對應(yīng)部署；所述通過預(yù)先部署在大數(shù)據(jù)平臺的監(jiān)控節(jié)點(diǎn)獲取所述計(jì)算任務(wù)在各個(gè)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：調(diào)用預(yù)先部署在大數(shù)據(jù)平臺與所述計(jì)算任務(wù)的類型相應(yīng)的監(jiān)控節(jié)點(diǎn)，獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況；其中，所述計(jì)算任務(wù)的類型包括離線任務(wù)和實(shí)時(shí)任務(wù)；其中，

所述計(jì)算任務(wù)的類型為離線任務(wù)，所述計(jì)算任務(wù)的任務(wù)階段是數(shù)據(jù)遷移階段；所述獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：在所述大數(shù)據(jù)平臺將離線任務(wù)的數(shù)據(jù)遷移到指定的HDFS目錄時(shí)，獲取所述離線任務(wù)在該HDFS目錄中的文件數(shù)目和該大數(shù)據(jù)平臺的數(shù)據(jù)遷移程序生成的響應(yīng)碼；根據(jù)所述文件數(shù)目和響應(yīng)碼判斷所述離線任務(wù)在數(shù)據(jù)遷移階段的任務(wù)是否成功執(zhí)行；

所述計(jì)算任務(wù)的類型為離線任務(wù)，所述計(jì)算任務(wù)的任務(wù)階段是數(shù)據(jù)清洗階段；所述獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：在所述大數(shù)據(jù)平臺采用spark對離線任務(wù)的數(shù)據(jù)進(jìn)行清洗過濾時(shí)，獲取數(shù)據(jù)清洗程序生成的響應(yīng)碼；根據(jù)該響應(yīng)碼判斷所述離線任務(wù)在數(shù)據(jù)清洗階段的任務(wù)是否成功執(zhí)行；

根據(jù)所述計(jì)算任務(wù)在各個(gè)任務(wù)階段的任務(wù)執(zhí)行情況監(jiān)控所述大數(shù)據(jù)平臺的運(yùn)行狀態(tài)。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，所述通過預(yù)先部署在大數(shù)據(jù)平臺的監(jiān)控節(jié)點(diǎn)獲取所述計(jì)算任務(wù)在各個(gè)任務(wù)階段的任務(wù)執(zhí)行情況的步驟還包括：

獲取所述計(jì)算任務(wù)的類型。

3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，所述計(jì)算任務(wù)的類型為離線任務(wù)；所述計(jì)算任務(wù)的任務(wù)階段還包括：數(shù)據(jù)計(jì)算階段、計(jì)算結(jié)果產(chǎn)生階段和計(jì)算結(jié)束階段。

4.根據(jù)權(quán)利要求3所述的大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，

所述計(jì)算任務(wù)的任務(wù)階段是數(shù)據(jù)計(jì)算階段；所述獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：在所述大數(shù)據(jù)平臺采用hive和spark對所述離線任務(wù)的清洗后的數(shù)據(jù)進(jìn)行計(jì)算時(shí)，獲取所述離線任務(wù)的各個(gè)計(jì)算單元的響應(yīng)碼，依據(jù)所述各個(gè)計(jì)算單元的響應(yīng)碼判斷所述離線任務(wù)在數(shù)據(jù)計(jì)算階段的任務(wù)是否成功執(zhí)行。

5.根據(jù)權(quán)利要求3所述的大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，

所述計(jì)算任務(wù)的任務(wù)階段是計(jì)算結(jié)果產(chǎn)生階段；所述獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：獲取所述離線任務(wù)的時(shí)間粒度，根據(jù)該時(shí)間粒度定時(shí)查詢所述離線任務(wù)對應(yīng)的數(shù)據(jù)庫表產(chǎn)生的數(shù)據(jù)，得到所述離線任務(wù)在該時(shí)間粒度內(nèi)的數(shù)據(jù)查詢結(jié)果；依據(jù)所述數(shù)據(jù)查詢結(jié)果確定所述離線任務(wù)在計(jì)算結(jié)果產(chǎn)生階段的任務(wù)是否成功執(zhí)行；

所述計(jì)算任務(wù)的任務(wù)階段是計(jì)算結(jié)束階段；所述獲取所述類型的計(jì)算任務(wù)在相應(yīng)任務(wù)階段的任務(wù)執(zhí)行情況的步驟包括：根據(jù)所述離線任務(wù)的時(shí)間粒度輪詢所述離線任務(wù)的任務(wù)結(jié)束標(biāo)志位；依據(jù)該標(biāo)志位判斷所述離線任務(wù)在計(jì)算結(jié)束階段的任務(wù)是否成功執(zhí)行。

6.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺運(yùn)行狀態(tài)的監(jiān)控方法，其特征在于，所述計(jì)算任務(wù)的類型為實(shí)時(shí)任務(wù)；所述計(jì)算任務(wù)的任務(wù)階段包括：實(shí)時(shí)讀取階段和實(shí)時(shí)計(jì)算階段。