[發明專利]一種分布式hadoop集群故障自動診斷修復系統

有效

• 申請號: 201510650975.3
• 申請日: 2015-10-10
• 公開（公告）號: CN105337765B
• 公開（公告）日: 2018-10-12
• 發明（設計）人: 程永新;胡永;李京龍
• 申請（專利權）人: 上海新炬網絡信息技術股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 袁亞軍;金碎平

本發明公開了一種分布式hadoop集群故障自動診斷修復系統，包括集群文件系統監控模塊：采集獲取集群節點信息以及數據庫文件；作業任務監控模塊：采集作業和任務的信息；物理節點監控模塊：監控每個物理節點的資源消耗信息；數據存儲分析處理模塊：將監控數據存儲到數據庫；設定監控告警規則，預先配置告警ID、級別及原因；自動修復模塊：預先定義配置各類常見告警故障，并為每個告警故障定制預處理腳本，當監控巡檢到故障發生時，對當前發生的故障與預先定義配置的告警故障進行匹配，并調用相應的預處理腳本完成故障的自動處理。本發明能夠自動診斷修復系統故障，使維護變得更加簡單，性能數據、節點狀態更加清晰明確。

技術領域

本發明涉及一種集群故障自動診斷修復系統，尤其涉及一種分布式hadoop集群故障自動診斷修復系統。

背景技術

業界沒有對hadoop集群監控發現問題后自動分析解決的方案，目前關于hadoop集群故障解決方法為預先配置好關鍵的運維監控指標，對hadoop集群及相關項目健康進行檢查，同時對作業和任務執行進行分析，將監控信息暴露出來，維護人員登錄web平臺查看存在問題的節點及性能，并登錄節點分析日志，修復集群。

現有技術的主要缺點如下：1、不能實現故障實時告警，配置好的每個監控指標需要維護人員登錄到web平臺查看有問題的節點；2、集群監控只能查看當前的監控數據，沒有存儲和歷史查詢功能，無法進行監控數據分析和建立預測模型；3、不能對監控數據進行自動分析及根據分析結果進行自動化修復，需要人工登錄到問題節點分析錯誤日志，根據經驗進行故障解決。

發明內容

本發明所要解決的技術問題是提供一種分布式hadoop集群故障自動診斷修復系統，能夠輕松有效地控制hadoop集群，使維護變得更加簡單，性能數據、節點狀態更加清晰明確，分析、發現、解決問題更加快速。

本發明為解決上述技術問題而采用的技術方案是提供一種分布式hadoop集群故障自動診斷修復系統，包括：

集群文件系統監控模塊：采集獲取集群節點信息以及數據庫文件；

作業任務監控模塊：采集作業和任務的信息，并對作業任務進行控制管理，包括作業的開啟和停止，對指定作業進行周期采樣，以及對任務優先級進行管理；

物理節點監控模塊：監控每個物理節點的資源消耗信息；

數據存儲分析處理模塊：對來自所述集群文件系統監控模塊、作業任務監控模塊和物理節點監控模塊的監控數據進行結構化、統一化后存儲到數據庫；設定監控告警規則，預先配置告警ID、級別及原因；

自動修復模塊：預先定義配置各類常見告警故障，并為每個告警故障定制預處理腳本，當所述數據存儲分析處理模塊監控巡檢到故障發生時，對當前發生的故障與預先定義配置的告警故障進行匹配，并調用相應的預處理腳本完成故障的自動處理。

上述的分布式hadoop集群故障自動診斷修復系統，其中，所述集群文件系統監控模塊包括：瀏覽文件記錄，namenode日志記錄，namenode運行情況、集群配置容量、DFS占用容量、非DFS占用容量、DFS的可使用容量、DFS已使用百分比、DFS可使用百分比、活節點數、死節點數、namenode的存儲目錄及類型狀態。

上述的分布式hadoop集群故障自動診斷修復系統，其中，所述集群文件系統監控模塊包括：獲取HDFS的實時數據和歷史狀態，根據HDFS信息瀏覽和定位相關文件，以及監控關閉或者打開所述相關文件時，各個磁盤已經使用和各個磁盤的總容量，剩余容量，文件名稱和數目，以及文件的使用情況和歷程。

上述的分布式hadoop集群故障自動診斷修復系統，其中，所述作業任務監控模塊控制集群任務概要信息，堆的大小，所占的比例，Map任務數，Reduce任務數以及各個節點上的任務數量值。