[發明專利]一種hadoop任務監控方法及系統

在審

• 申請號: 201710984747.9
• 申請日: 2017-10-20
• 公開（公告）號: CN107766138A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 崔晶晶;吳淑佳
• 申請（專利權）人: 北京集奧聚合科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F21/55
• 代理公司: 北京和信華成知識產權代理事務所(普通合伙)11390
• 代理人: 胡劍輝

技術領域

本發明涉及大數據處理的技術領域，尤其涉及一種hadoop任務監控方法，以及hadoop任務監控系統。

背景技術

關于web頁面實現的任務查看功能，目前用戶只能查看web頁面，如果任務嚴重拖累集群，只能手動發現、手動殺死kill。這樣用戶體驗感很差，浪費大量勞動力。

發明內容

為克服現有技術的缺陷，本發明要解決的技術問題是提供了一種hadoop任務監控方法，其自動實時監控hadoop集群的每個任務的資源占用情況，發現任務占用資源過多將會自動關閉任務。

本發明的技術方案是：這種hadoop任務監控方法，該方法包括以下步驟：

(1)開始，執行初始化的操作；

(2)獲取用戶白名單white users：通過查詢數據庫獲取有權限的賬戶名稱列表，便于后面的任務用戶名合法性檢查；

(3)獲取任務白名單white tasks：通過查詢數據庫獲取任務白名單列表，便于后面的任務合法性檢查，在白名單中的任務略過；

(4)獲取正在運行的任務task set：通過hadoop的api獲取任務集合；

(5)判斷task set是否為空，是則執行步驟(6)，否則執行步驟(8)；

(6)從task set中移出一個任務task：從task set中取出一個任務；

(7)檢查單個task的合法性：檢查任務的各項指標，判斷任務是否非法，跳轉到步驟(5)；

(8)結束。

本發明通過整個過程自動判定執行，準實時保護hadoop系統的安全，自動實時監控hadoop集群的每個任務的資源占用情況，發現任務占用資源過多將會自動關閉任務。

還提供了一種hadoop任務監控系統，該系統包括：

初始化模塊，其配置來執行初始化的操作；

獲取用戶白名單模塊，其配置來通過查詢數據庫獲取有權限的賬戶名稱列表，便于后面的任務用戶名合法性檢查；

獲取任務白名單模塊，其配置來通過查詢數據庫獲取任務白名單列表，便于后面的任務合法性檢查，在白名單中的任務略過；

獲取正在運行的任務模塊，其配置來通過hadoop的api獲取任務集合；

判斷模塊，其配置來判斷task set是否為空，是則執行移出模塊，否則結束；

移出模塊，其配置來從task set中移出一個任務task：從task set中取出一個任務；

檢查模塊，其配置來檢查單個task的合法性：檢查任務的各項指標，判斷任務是否非法，跳轉到判斷模塊。

附圖說明

圖1所示為根據本發明的hadoop任務監控方法的流程圖。

圖2所示為根據本發明的hadoop任務監控方法的步驟(7)的流程圖。

具體實施方式

如圖1所示，這種hadoop任務監控方法，該方法包括以下步驟：

(1)開始，執行初始化的操作；

(2)獲取用戶白名單white users：通過查詢數據庫獲取有權限的賬戶名稱列表，便于后面的任務用戶名合法性檢查；

(3)獲取任務白名單white tasks：通過查詢數據庫獲取任務白名單列表，便于后面的任務合法性檢查，在白名單中的任務略過；

(4)獲取正在運行的任務task set：通過hadoop的api獲取任務集合；

(5)判斷task set是否為空，是則執行步驟(6)，否則執行步驟(8)；

(6)從task set中移出一個任務task：從task set中取出一個任務；

(7)檢查單個task的合法性：檢查任務的各項指標，判斷任務是否非法，跳轉到步驟(5)；

(8)結束。

本發明通過整個過程自動判定執行，準實時保護hadoop系統的安全，自動實時監控hadoop集群的每個任務的資源占用情況，發現任務占用資源過多將會自動關閉任務。

另外，如圖2所示，所述步驟(7)包括以下分步驟：

(7.1)初始化任務信息；

(7.2)判斷提交任務的用戶是否在用戶白名單中，是則執行步驟(7.3)，否則執行步驟(7.8)；

(7.3)判斷該任務是否為白名單任務，如果是則放棄檢查，執行步驟(7.9)，否則執行步驟(7.4)；

(7.4)判斷檢查任務的map數是否超出規定，如果是則執行步驟(7.8)，否則執行步驟(7.5)；