[發明專利]基于決策函數模型的HBase故障預測方法、系統、設備和介質

在審

• 申請號: 202210010326.7
• 申請日: 2022-01-06
• 公開（公告）號: CN114518971A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 梁曉冬
• 申請（專利權）人: 同盾科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/30;G06K9/62
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 季健康

本申請涉及基于決策函數模型的HBase故障預測方法、系統、設備和介質，屬于分布式存儲技術領域，該方法包括：采集HBase在各種故障場景下發生的監控項數據，根據各故障場景對監控項數據進行分類，確定每個故障場景對應的多個監控項；基于每個故障場景對應的多個監控項，分別建立每個故障場景對應的決策函數模型，其中，各決策函數模型的預測結論與各故障場景對應的多個監控項的閾值范圍關聯；獲取HBase環境下各監控項的值，將各故障場景對應的多個監控項的值相應的輸入各故障場景對應的決策函數模型，得出各故障場景對應的預測結論。不僅實現了故障結論的自動分析，提高了故障分析效率，而且能夠對故障分類處理，同時提高了預測結果的準確性。

技術領域

本申請涉及分布式存儲技術領域，特別是涉及基于決策函數模型的HBase故障預測方法、系統、設備和介質。

背景技術

HBase是一種開源分布式數據存儲系統，基于谷歌Bigtable論文開發，其需要運行在Hdfs(一種開源分布式文件系統)之上。HBase是大數據生態中使用最廣泛的分布式存儲軟件之一，國內就有很多大中型企業使用HBase存儲各種海量的離線和實時數據。然而，HBase的異常、故障已成為使用HBase的公司的運維難題，比如國內就有某金融互聯網公司曾因為HBase異常造成業務大面積中斷。

因此，HBase的故障監控非常重要，所以每個公司都有針對HBase的監控方案。但是，因為HBase產品的復雜性、部署的復雜性，目前對各種異常的感知、故障的分析并沒有成熟的解決方案，絕大部分公司都依賴于開發運維人員的前期經驗，對各種數據進行查看、分析診斷再干預。整個查看、診斷的過程經常要消耗大量時間，效率低，導致故障不能被盡早干預或者確認，進一步拖延了后續的優化處理過程。

發明內容

本申請實施例提供了一種基于決策函數模型的HBase故障預測方法、系統、設備和介質，以至少解決相關技術中通過人為分析HBase故障，具有滯后性且效率低的問題。

第一方面，本申請實施例提供一種基于決策函數模型的HBase故障預測方法，包括：采集HBase在各種故障場景下發生的監控項數據，根據各故障場景對所述監控項數據進行分類，確定每個故障場景對應的多個監控項；基于所述每個故障場景對應的多個監控項，分別建立每個故障場景對應的決策函數模型，其中，各所述決策函數模型的預測結論與各所述故障場景對應的多個監控項的閾值范圍關聯；獲取HBase環境下各監控項的值，將各所述故障場景對應的多個監控項的值相應的輸入各所述故障場景對應的決策函數模型，得出各所述故障場景對應的預測結論。

在其中一些實施例中，所述采集HBase在各種故障場景下發生的監控項數據包括：采集硬件和操作系統的壓力數據、HBase進程內部運行任務的壓力數據以及對所述HBase進程產生影響的上游進程的狀態數據。

在其中一些實施例中，所述硬件和操作系統的壓力數據包括CPU負載，CPUIOwait，網卡入口流量，網卡出口流量，內存使用量，磁盤IOPS和磁盤IOwait中的至少一項。

在其中一些實施例中，所述HBase進程內部運行任務的壓力數據包括：Get讀請求返回時間，Scan讀請求返回時間，寫請求返回時間，Get讀請求并發度，Scan讀并發度，寫并發度，HBase進程Active線程數目，HBase進程處理隊列積壓數目，HBase進程優先Active線程數目，HBase進程優先處理隊列積壓數目，HBase younggc時間，HBase old gc時間和HBase compaction隊列數目中的至少一項。

在其中一些實施例中，所述對所述HBase進程產生影響的上游進程的狀態數據包括：HDFS namenode gc時間，HDFS Namenode rpc請求返回時間，HDFS namenode rpc并發度和Zookeeper健康數據中的至少一項。

在其中一些實施例中，在所述監控項包括日志的情況下，所述獲取HBase環境下各監控項的值包括：定時掃描日志數據，統計預設時間段內出現指定信息的頻次。