[發明專利]基于鏈路追蹤的服務鏈日志處理方法、裝置和計算機設備

在審

• 申請號: 202011401505.0
• 申請日: 2020-12-02
• 公開（公告）號: CN112506894A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 王輝
• 申請（專利權）人: 平安醫療健康管理股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2455;G06F16/248;G06F16/27;G06F16/28
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

1.一種基于鏈路追蹤的服務鏈日志處理方法，其特征在于，包括：

分別對服務鏈中不同應用進群進行日志數據采集，得到對應的日志數據；

對所述日志數據進行格式標準化，得到標準格式的日志數據；

通過Kafka中間件將所述標準格式的日志數據全量存儲到Hbase數據庫中；

對Kafka中間件中的日志數據進行流處理，得到檢索索引數據和統計分析數據；

將所述檢索索引類數據存入ES集群；

將所述統計分析數據存入關系數據庫MySQL。

2.根據權利要求1所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述分別對服務鏈中不同應用進群進行日志數據采集，得到對應的日志數據步驟，包括：

通過業務代碼調用不同的應用集群的日志輸出接口進行日志采集。

3.根據權利要求1所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述分別對服務鏈中不同應用進群進行日志數據采集，得到對應的日志數據步驟，包括：

通過代理Agent實現在不同應用集群的日志埋點，對服務調用過程切面進行攔截，捕獲日志數據，完成數據采集。

4.根據權利要求1所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述對所述日志數據進行格式標準化，得到標準格式的日志數據的步驟包括：

根據調用鏈路徑關系確定TraceID、SpanID、ParentID，得到日志基本屬性；

根據調用業務類型確定日志擴展屬性；

將所述日志基本屬性和所述日志擴展屬性按照預設的格式保存為所述標準格式的日志數據。

5.根據權利要求1所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述將所述統計分析數據存入關系數據庫MySQL的步驟之后還包括：

接收來自WEB端的日志查詢操作指令；

根據所述日志查詢操作指令判斷所查詢的日志數據類型；

根據所述日志數據類型在對應的數據庫中進行日志數據查詢，得到查詢結果；

將所述查詢結果發送到WEB端進行展示。

6.根據權利要求5所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述將所述查詢結果發送到WEB端進行展示的步驟包括：

根據業務需求，按照服務調用順序排序進行日志展示，同一個服務調用內產生的日志進一步按時間排序；

對于同一業務請求類型，將同一請求類型的不同調用鏈進行對比；

將較長的調用鏈按其內部服務間的連接關系進行分段，使用預設的聚類算法對該服務調用網絡圖進行子圖劃分，使處于同一子圖內的服務間連接緊密，不同子圖間的服務連接稀疏。

7.根據權利要求1所述的基于鏈路追蹤的服務鏈日志處理方法，其特征在于，所述通過Kafka中間件將所述標準格式的日志數據全量存儲到Hbase數據庫中的步驟之后還包括：

對所述標準格式的日志數據進行錯誤和異常分析；

若發現日志錯誤或日志異常，則向預設的預警信息接收地址發送預警信息。

8.一種基于鏈路追蹤的服務鏈日志處理裝置，其特征在于，包括：

采集模塊，用于分別對服務鏈中不同應用進群進行日志數據采集，得到對應的日志數據；

標準化模塊，用于對所述日志數據進行格式標準化，得到標準格式的日志數據；

Kafka模塊，用于通過Kafka中間件將所述標準格式的日志數據全量存儲到Hbase數據庫中；

分析處理模塊，用于對Kafka中間件中的日志數據進行流處理，得到檢索索引數據和統計分析數據；

第一執行模塊，用于將所述檢索索引類數據存入ES集群；

第二執行模塊，用于將所述統計分析數據存入關系數據庫MySQL。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。