[發明專利]定位業務系統故障根因的方法和系統

有效

• 申請號: 202011376566.6
• 申請日: 2020-11-30
• 公開（公告）號: CN112491622B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 翟學朋;包玉雪;耿志亮
• 申請（專利權）人: 蘇寧金融科技（南京）有限公司
• 主分類號: H04L41/0677
• 分類號: H04L41/0677;H04L41/069
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 黃玉東

本發明公開定位業務系統故障根因的方法和系統，其中該方法包括：計算引擎獲取調用鏈消息，將所述調用鏈消息按照采樣比例進行采樣，分組組裝得到調用鏈，獲取調用鏈中每個服務接口的耗時，并依據耗時對照表篩選出故障服務接口；計算引擎獲取網元指標消息，計算網元指標的第一變動幅度，并依據第一變動幅度閾值篩選出故障網元指標；計算引擎將所述故障服務接口和故障網元指標根據時間進行關聯，并發布故障預警，所述故障預警包括故障服務接口，以及引起所述故障服務接口發生故障的故障網元指標。該系統采用上述方法，通過結合調用鏈日志和網元指標數據，快速定位業務系統的故障根因。

技術領域

本發明涉及計算機云環境運維監控技術領域，尤其涉及定位業務系統故障根因的方法和系統。

背景技術

當下云技術不斷進步，私有云、公有云不斷涌現，運維監控技術也在不斷發展進步，軟硬件監控技術也比較豐富，包括云環境的軟硬件指標監控和云環境中運行的業務監控。云環境下軟硬件指標監控例如：通過Prometheus監控網元的CPU使用率、RAM使用率、DISK?IO使用率、NET?IO使用率、Redis連接數等網元指標；云環境中運行的業務監控例如：通過業務調用鏈數據分析標注出故障網元范圍等。

但是云環境的軟硬件指標監控和云環境中運行的業務監控相結合的技術比較匱乏，當業務系統出現請求響應耗時增高、請求成功率降低、TPM突然降低/飆升等故障時，無法將兩種監控技術關聯分析以快速定位業務系統中的故障根因，例如，生產環境服務接口A請求成功率低告警，若利用傳統方式排查根因，則需要開發人員手動去查網元指標日志和調用鏈日志，進行上下游排查，由于涉及多重指標，往往需要多領域人員協同，才能找出導致業務故障的根本原因，耗時長，耗費人力。

發明內容

本發明的目的在于提供定位業務系統故障根因的方法和系統，通過結合調用鏈日志和網元指標數據，快速定位業務系統的故障根因。

為了實現上述目的，本發明提供如下技術方案：

一種定位業務系統故障根因的方法，包括：

計算引擎獲取調用鏈消息，將所述調用鏈消息按照采樣比例進行采樣，分組組裝得到調用鏈，獲取調用鏈中每個服務接口的耗時，并依據耗時對照表篩選出故障服務接口；

計算引擎獲取網元指標消息，計算網元指標的第一變動幅度，并依據第一變動幅度閾值篩選出故障網元指標；

計算引擎將所述故障服務接口和故障網元指標根據時間進行關聯，并發布故障預警，所述故障預警包括故障服務接口，以及引起所述故障服務接口發生故障的故障網元指標。

優選地，計算引擎獲取調用鏈消息和網元指標消息的方法包括：

網元周期性地生成網元指標消息并存儲到指標日志文件中；

網元部署的服務接口在被調用時生成調用鏈消息，并存儲到調用鏈單元日志中；

網元利用日志收集模塊將所述指標日志文件中新增的網元指標消息和所述調用鏈單元日志中新增的調用鏈消息推送到分布式發布訂閱消息系統；

計算引擎從所述分布式發布訂閱消息系統中讀取調用鏈消息和網元指標消息。

較佳地，計算引擎篩選出故障服務接口的方法包括：

獲取并解析調用鏈消息得到調用鏈消息對應的調用鏈ID、服務接口名稱標識及事件時間，同時獲取調用鏈入口消息；

配置調用鏈消息的采樣比例，依據采樣比例獲取調用鏈入口消息樣本；

依據調用鏈ID和事件時間篩選出與調用鏈入口消息樣本屬于相同組別的調用鏈消息，將同一組別的所有調用鏈消息進行組裝得到調用鏈信息；

獲取調用鏈中每個服務接口的耗時，并依據耗時對照表篩選出故障服務接口。