[發明專利]基于決策函數模型的HBase故障預測方法、系統、設備和介質

在審

• 申請號: 202210010326.7
• 申請日: 2022-01-06
• 公開（公告）號: CN114518971A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 梁曉冬
• 申請（專利權）人: 同盾科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/30;G06K9/62
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 季健康

1.一種基于決策函數模型的HBase故障預測方法，其特征在于，包括：

采集HBase在各種故障場景下發生的監控項數據，根據各故障場景對所述監控項數據進行分類，確定每個故障場景對應的多個監控項；

基于所述每個故障場景對應的多個監控項，分別建立每個故障場景對應的決策函數模型，其中，各所述決策函數模型的預測結論與各所述故障場景對應的多個監控項的閾值范圍關聯；

獲取HBase環境下各監控項的值，將各所述故障場景對應的多個監控項的值相應的輸入各所述故障場景對應的決策函數模型，得出各所述故障場景對應的預測結論。

2.根據權利要求1所述的方法，其特征在于，所述采集HBase在各種故障場景下發生的監控項數據包括：

采集硬件和操作系統的壓力數據、HBase進程內部運行任務的壓力數據以及對所述HBase進程產生影響的上游進程的狀態數據。

3.根據權利要求2所述的方法，其特征在于，所述硬件和操作系統的壓力數據包括CPU負載，CPU IOwait，網卡入口流量，網卡出口流量，內存使用量，磁盤IOPS和磁盤IOwait中的至少一項。

4.根據權利要求2所述的方法，其特征在于，所述HBase進程內部運行任務的壓力數據包括：Get讀請求返回時間，Scan讀請求返回時間，寫請求返回時間，Get讀請求并發度，Scan讀并發度，寫并發度，HBase進程Active線程數目，HBase進程處理隊列積壓數目，HBase進程優先Active線程數目，HBase進程優先處理隊列積壓數目，HBase younggc時間，HBase oldgc時間和HBase compaction隊列數目中的至少一項。

5.根據權利要求2所述的方法，其特征在于，所述對所述HBase進程產生影響的上游進程的狀態數據包括：HDFS namenode gc時間，HDFS Namenode rpc請求返回時間，HDFSnamenode rpc并發度和Zookeeper健康數據中的至少一項。

6.根據權利要求1所述的方法，其特征在于，在所述監控項包括日志的情況下，所述獲取HBase環境下各監控項的值包括：

定時掃描日志數據，統計預設時間段內出現指定信息的頻次。

7.根據權利要求1-6中任一項所述的方法，其特征在于，所述根據各故障場景對所述監控項數據進行分類，確定每個故障場景對應的多個監控項包括：

根據分類后的監控項數據，對每個故障場景選取關聯性最大的多個監控項數據作為各故障場景所對應的多個監控項數據。

8.一種基于決策函數模型的HBase故障預測系統，其特征在于，包括：

采集模塊，用于采集HBase在各種故障場景下發生的監控項數據；

分類模塊，用于根據各故障場景對所述監控項數據進行分類，確定每個故障場景對應的多個監控項；

建立模塊，用于基于所述每個故障場景對應的多個監控項，分別建立每個故障場景對應的決策函數模型，其中，各所述決策函數模型的預測結論與各所述故障場景對應的多個監控項的閾值范圍關聯；

預測模塊，用于獲取HBase環境下各監控項的值，將各所述故障場景對應的多個監控項的值相應的輸入各所述故障場景對應的決策函數模型，得出各所述故障場景對應的預測結論。

9.一種電子設備，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1至7中任一項所述的方法。

10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1至7中任一項所述的方法。