[發明專利]一種實現Hadoop集群監控的方法及系統

在審

• 申請號: 201611242909.3
• 申請日: 2016-12-29
• 公開（公告）號: CN108255661A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 李冬峰;劉榮明;孫明
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

1.一種實現Hadoop集群監控的方法，其特征在于，包括：

設置監控規則；

獲取Hadoop集群的運行數據；

根據所述監控規則和所述運行數據，確定是否報警；并且

設定自動化運維命令的觸發條件，在確定是否報警之后，生成監控信息，根據所述監控信息和所述觸發條件，選擇自動化運維命令并加以運行。

2.根據權利要求1所述的方法，其特征在于，所述監控規則包括硬件監控規則、軟件監控規則或數據監控規則，所述運行數據包括硬件運行數據、軟件運行數據或數據運行數據。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：在設置監控規則之后，對所述Hadoop集群進行壓力測試，

其中所述壓力測試包括以下步驟：

輸入一個以上的壓力測試數據；

獲取Hadoop集群的壓力測試運行數據；

根據所述監控規則，以及所述壓力測試運行數據，獲取所述Hadoop集群的承壓數據；

根據所述承壓數據生成所述Hadoop集群的性能瓶頸值。

4.根據權利要求3所述的方法，其特征在于，根據所述性能瓶頸值設定自動化運維命令，所述自動化運維命令包括但不局限于：重啟當前服務器、停止向所述服務器發送任務、激活備份集群、重跑當前任務、殺死所述Hadoop集群當前運行的線程以釋放集群內存或將操作信息發送給系統管理員。

5.根據權利要求2所述的方法，其特征在于，

所述硬件監控規則為：設置硬件閾值條件和次數條件，使得如果所述硬件運行數據連續達到所述硬件閾值條件的次數不小于所述次數條件，則確定報警；

所述軟件監控規則為：設置生效時間和時間間隔，使得如果在所述生效時間內，連續收到所述軟件運行數據之間時間的間隔達到所述時間間隔，則確定報警；

所述數據監控規則為：設置對比值類型、對比值范圍和對比關系，確定所述數據運行數據的對比值范圍和對比值類型，若所述數據運行數據滿足所述對比關系，則確定報警。

6.一種實現Hadoop集群監控的系統，其特征在于，包括：

設置模塊，用于設置監控規則；

獲取模塊，用于獲取Hadoop集群的運行數據；

確定模塊，用于根據所述監控規則和所述運行數據，確定是否報警；以及

自動化運維模塊，用于設定自動化運維命令的觸發條件，在確定模塊確定是否報警之后，生成監控信息，根據所述監控信息和所述觸發條件，選擇自動化運維命令并加以運行。

7.根據權利要求6所述的系統，其特征在于，所述監控規則包括硬件監控規則、軟件監控規則或數據監控規則，所述運行數據包括硬件運行數據、軟件運行數據或數據運行數據。

8.根據權利要求6所述的系統，其特征在于，還包括壓力測試模塊，用于在設置監控規則之后，對所述Hadoop集群進行壓力測試；

還用于輸入一個以上的壓力測試數據；

獲取Hadoop集群的壓力測試運行數據；

根據所述監控規則，以及所述壓力測試運行數據，獲取所述Hadoop集群的承壓數據；并且根據所述承壓數據生成所述Hadoop集群的性能瓶頸值。

9.根據權利要求8所述的系統，其特征在于，所述壓力測試模塊還用于根據所述性能瓶頸值設定自動化運維命令，所述自動化運維命令包括但不局限于：重啟當前服務器、停止向所述服務器發送任務、激活備份集群、重跑當前任務、殺死所述Hadoop集群當前運行的線程以釋放集群內存或將操作信息發送給系統管理員。