[發明專利]分布式消息服務節點CPU性能故障自恢復方法及裝置

在審

• 申請號: 202310149768.4
• 申請日: 2023-02-13
• 公開（公告）號: CN116260703A
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 孟江;巫春梅;鐘小威;馮子杰
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: H04L41/0631
• 分類號: H04L41/0631;H04L41/069;H04L41/0659;H04L41/0668;H04L47/125
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張琛

本公開提供了一種分布式消息服務節點CPU性能故障自恢復方法，涉及分布式技術領域，可以應用于金融技術領域。該方法包括：響應于服務節點CPU性能故障檢測器的故障報警操作，獲取故障報警信息，其中，所述故障報警信息包括故障節點IP；根據所述故障節點IP收集故障節點的系統性能數據報表；對所述系統性能數據報表進行分析，以確定所述故障節點的故障類型；根據所述故障類型執行對應的恢復策略以恢復所述故障節點。本公開還提供了一種分布式消息服務節點CPU性能故障自恢復裝置、設備、存儲介質和程序產品。

技術領域

本公開涉及分布式技術領域，具體涉及自動化運維技術領域，更具體地涉及一種分布式消息服務節點CPU性能故障自恢復方法、裝置、設備、存儲介質和程序產品。

背景技術

Kafka分布式消息服務在金融科技領域及大數據領域應用極為廣泛，很多業務應用依托于Kafka進行削峰填谷、日志監控、異步解耦等場景。在實際運行中對于Kafka分布式消息服務節點的性能要求非常嚴苛，但由于海量數據的流動性現狀及業務場景的復雜多樣性，經常會出現節點CPU性能異常的情況，而一旦CPU性能出現異常，則存在會影響Kafka集群對外服務能力的風險，嚴重時會導致集群服務下宕，無法進行消息傳輸。

目前在出現CPU性能異常故障時，首先通過人工收集所需報表進行分析，再推測可能的故障原因，再去通過推測的故障原因嘗試修復故障的方式來應對該問題。

對于當前人工處理Kafka分布式消息服務節點的CPU性能異常故障問題的方案，在實際生產運行中，存在幾個缺點：一是效率低，人工處理消費者故障時需要人工收集多個報表且逐一分析，需要的時效較長。二是準確性低，人工處理消費者故障完全依賴于人員技能成熟度，如由技能初階的生產故障支持人員進行處理，較難定位出故障原因。三是人力投入大，在金融科技領域，海量消息必然會出現各種故障問題，如都依賴人力，則需要投入大量技能成熟的生產故障支持人員。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

鑒于上述問題，本公開提供了一種提高故障修復效率的分布式消息服務節點CPU性能故障自恢復方法、裝置、設備、存儲介質和程序產品。

根據本公開的第一個方面，提供了一種分布式消息服務節點CPU性能故障自恢復方法，所述方法包括：

響應于服務節點CPU性能故障檢測器的故障報警操作，獲取故障報警信息，其中，所述故障報警信息包括故障節點IP；

根據所述故障節點IP收集故障節點的系統性能數據報表；

對所述系統性能數據報表進行分析，以確定所述故障節點的故障類型；以及

根據所述故障類型執行對應的恢復策略以恢復所述故障節點。

根據本公開的實施例，所述系統性能數據報表包括操作系統性能指標文件、內存使用情況文件和活躍進程日志文件，所述對所述系統性能數據報表進行分析，以確定所述故障節點的故障類型包括：

若確定所述操作系統性能指標文件中的連接數大于第一預設閾值，則確定所述故障類型為第一系統性能故障；

若確定所述操作系統性能指標文件中的網絡流量大于第二預設閾值，則確定所述故障類型為第二系統性能故障；

若確定所述操作系統性能指標文件中的操作系統句柄數大于第三預設閾值，則確定所述故障類型為第三系統性能故障；

若確定內存使用情況文件的內存使用率大于第四預設閾值，則確定所述故障類型為第四系統性能故障；以及

若確定所述活躍進程日志文件中當前CPU使用率前三的進程存在報錯信息，則確定所述故障類型為第五系統性能故障。