[發(fā)明專利]一種hadoop任務(wù)監(jiān)控方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710984747.9
• 申請日: 2017-10-20
• 公開（公告）號: CN107766138A
• 公開（公告）日: 2018-03-06
• 發(fā)明（設(shè)計）人: 崔晶晶;吳淑佳
• 申請（專利權(quán)）人: 北京集奧聚合科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F21/55
• 代理公司: 北京和信華成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11390
• 代理人: 胡劍輝

1.一種hadoop任務(wù)監(jiān)控方法，其特征在于：該方法包括以下步驟：

(1)開始，執(zhí)行初始化的操作；

(2)獲取用戶白名單white users：通過查詢數(shù)據(jù)庫獲取有權(quán)限的賬戶名稱列表，便于后面的任務(wù)用戶名合法性檢查；

(3)獲取任務(wù)白名單white tasks：通過查詢數(shù)據(jù)庫獲取任務(wù)白名單列表，便于后面的任務(wù)合法性檢查，在白名單中的任務(wù)略過；

(4)獲取正在運行的任務(wù)task set：通過hadoop的api獲取任務(wù)集合；

(5)判斷task set是否為空，是則執(zhí)行步驟(6)，否則執(zhí)行步驟(8)；

(6)從task set中移出一個任務(wù)task：從task set中取出一個任務(wù)；

(7)檢查單個task的合法性：檢查任務(wù)的各項指標，判斷任務(wù)是否非法，跳轉(zhuǎn)到步驟(5)；

(8)結(jié)束。

2.根據(jù)權(quán)利要求1所述的hadoop任務(wù)監(jiān)控方法，其特征在于：所述步驟

(7)包括以下分步驟：

(7.1)初始化任務(wù)信息；

(7.2)判斷提交任務(wù)的用戶是否在用戶白名單中，是則執(zhí)行步驟(7.3)，否則執(zhí)行步驟(7.8)；

(7.3)判斷該任務(wù)是否為白名單任務(wù)，如果是則放棄檢查，執(zhí)行步驟(7.9)，否則執(zhí)行步驟(7.4)；

(7.4)判斷檢查任務(wù)的map數(shù)是否超出規(guī)定，如果是則執(zhí)行步驟(7.8)，否則執(zhí)行步驟(7.5)；

(7.5)判斷檢查任務(wù)的reduce數(shù)是否超出規(guī)定，如果是則執(zhí)行步驟(7.8)，否則執(zhí)行步驟(7.6)；

(7.6)判斷檢查任務(wù)的輸出量是否超出規(guī)定，如果是則執(zhí)行步驟(7.8)，否則執(zhí)行步驟(7.7)；

(7.7)判斷檢查任務(wù)的運行時間是否超出規(guī)定的長度，如果是則執(zhí)行步驟(7.8)，否則執(zhí)行步驟(7.9)；

(7.8)殺死task，給用戶發(fā)送郵件：判斷該任務(wù)非法，殺死該任務(wù)并給提交該任務(wù)的用戶發(fā)送通知郵件；

(7.9)單個任務(wù)檢查結(jié)束：單個任務(wù)檢查結(jié)束，任務(wù)的部分信息記入數(shù)據(jù)庫。

3.根據(jù)權(quán)利要求2所述的hadoop任務(wù)監(jiān)控方法，其特征在于：所述步驟(7.4)中，map數(shù)為20000個。

4.根據(jù)權(quán)利要求3所述的hadoop任務(wù)監(jiān)控方法，其特征在于：所述步驟(7.5)中，reduce數(shù)是1000個。

5.根據(jù)權(quán)利要求4所述的hadoop任務(wù)監(jiān)控方法，其特征在于：所述步驟(7.6)中，任務(wù)的輸出量是5T。

6.根據(jù)權(quán)利要求5所述的hadoop任務(wù)監(jiān)控方法，其特征在于：所述步驟(7.7)中，規(guī)定的長度是10小時。

7.一種hadoop任務(wù)監(jiān)控系統(tǒng)，其特征在于：該系統(tǒng)包括：

初始化模塊，其配置來執(zhí)行初始化的操作；

獲取用戶白名單模塊，其配置來通過查詢數(shù)據(jù)庫獲取有權(quán)限的賬戶名稱列表，便于后面的任務(wù)用戶名合法性檢查；

獲取任務(wù)白名單模塊，其配置來通過查詢數(shù)據(jù)庫獲取任務(wù)白名單列表，便于后面的任務(wù)合法性檢查，在白名單中的任務(wù)略過；

獲取正在運行的任務(wù)模塊，其配置來通過hadoop的api獲取任務(wù)集合；

判斷模塊，其配置來判斷task set是否為空，是則執(zhí)行移出模塊，否則結(jié)束；

移出模塊，其配置來從task set中移出一個任務(wù)task：從task set中取出一個任務(wù)；

檢查模塊，其配置來檢查單個task的合法性：檢查任務(wù)的各項指標，判斷任務(wù)是否非法，跳轉(zhuǎn)到判斷模塊。