[發(fā)明專利]基于鏈路追蹤的服務(wù)鏈日志處理方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202011401505.0
• 申請日: 2020-12-02
• 公開（公告）號: CN112506894A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 王輝
• 申請（專利權(quán)）人: 平安醫(yī)療健康管理股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2455;G06F16/248;G06F16/27;G06F16/28
• 代理公司: 深圳市明日今典知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;宋慶洪

本申請揭示了一種基于鏈路追蹤的服務(wù)鏈日志處理方法、裝置和計(jì)算機(jī)設(shè)備，其中方法包括：分別對服務(wù)鏈中不同應(yīng)用進(jìn)群進(jìn)行日志數(shù)據(jù)采集，得到對應(yīng)的日志數(shù)據(jù)；對所述日志數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)格式的日志數(shù)據(jù)；通過Kafka中間件將所述標(biāo)準(zhǔn)格式的日志數(shù)據(jù)全量存儲(chǔ)到Hbase數(shù)據(jù)庫中；對數(shù)據(jù)進(jìn)行分析處理，得到檢索索引數(shù)據(jù)和統(tǒng)計(jì)分析數(shù)據(jù)；將所述檢索索引類數(shù)據(jù)存入ES集群；將所述統(tǒng)計(jì)分析數(shù)據(jù)存入關(guān)系數(shù)據(jù)庫MySQL。本申請通過對日志數(shù)據(jù)進(jìn)行采集和數(shù)據(jù)格式標(biāo)準(zhǔn)化，然后對日志數(shù)據(jù)進(jìn)行分析處理，將不同數(shù)據(jù)類型的日志數(shù)據(jù)儲(chǔ)存在不同的數(shù)據(jù)庫中，能夠使運(yùn)維人員快速識別關(guān)鍵節(jié)點(diǎn)數(shù)據(jù)，根據(jù)日志數(shù)據(jù)中的參數(shù)實(shí)現(xiàn)服務(wù)監(jiān)控，提高運(yùn)維效率。

技術(shù)領(lǐng)域

本申請涉及到通信技術(shù)領(lǐng)域，特別是涉及到一種基于鏈路追蹤的服務(wù)鏈日志處理方法、裝置和計(jì)算機(jī)設(shè)備。

背景技術(shù)

近年來，微服務(wù)架構(gòu)因其服務(wù)間松耦合、可由不同團(tuán)隊(duì)不同語言開發(fā)以及快速獨(dú)立部署等特點(diǎn)備受青睞，越來越多企業(yè)選擇微服務(wù)架構(gòu)進(jìn)行系統(tǒng)開發(fā)或?qū)鹘y(tǒng)集中式大型系統(tǒng)進(jìn)行微服務(wù)化改造。微服務(wù)架構(gòu)滿足了企業(yè)對軟件系統(tǒng)敏捷開發(fā)、高效運(yùn)轉(zhuǎn)、可伸縮性強(qiáng)等需求，但微服務(wù)架構(gòu)帶來的問題也不容忽視。

傳統(tǒng)的監(jiān)控系統(tǒng)、日志分析系統(tǒng)都是孤立的，針對當(dāng)前分布式系統(tǒng)場景，沒辦法做到全鏈路層面的日志追蹤。同時(shí)由于傳統(tǒng)的監(jiān)控系統(tǒng)，無法清晰監(jiān)控一個(gè)業(yè)務(wù)流程經(jīng)過的每一個(gè)環(huán)節(jié)、每個(gè)服務(wù)的執(zhí)行時(shí)長、執(zhí)行狀態(tài)、過程參數(shù)、上下游服務(wù)等信息，導(dǎo)致運(yùn)維人員處理分布式系統(tǒng)故障時(shí)比較困難，需要花費(fèi)大量時(shí)間來理清各服務(wù)間調(diào)用關(guān)系，而且容易出錯(cuò)，使得整體的運(yùn)維工作效率較低。

發(fā)明內(nèi)容

本申請的主要目的為提供一種基于鏈路追蹤的服務(wù)鏈日志處理方法、裝置和計(jì)算機(jī)設(shè)備，旨在解決如何實(shí)現(xiàn)在分布式微服務(wù)系統(tǒng)中實(shí)現(xiàn)日志處理、提高運(yùn)維效率的技術(shù)問題。

為了實(shí)現(xiàn)上述發(fā)明目的，本申請?zhí)岢鲆环N基于鏈路追蹤的服務(wù)鏈日志處理方法，包括：

分別對服務(wù)鏈中不同應(yīng)用進(jìn)群進(jìn)行日志數(shù)據(jù)采集，得到對應(yīng)的日志數(shù)據(jù)；

對所述日志數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)格式的日志數(shù)據(jù)；

通過Kafka中間件將所述標(biāo)準(zhǔn)格式的日志數(shù)據(jù)全量存儲(chǔ)到Hbase數(shù)據(jù)庫中；

對Kafka中間件中的日志數(shù)據(jù)進(jìn)行流處理，得到檢索索引數(shù)據(jù)和統(tǒng)計(jì)分析數(shù)據(jù)；

將所述檢索索引類數(shù)據(jù)存入ES集群；

將所述統(tǒng)計(jì)分析數(shù)據(jù)存入關(guān)系數(shù)據(jù)庫MySQL。

進(jìn)一步地，所述分別對服務(wù)鏈中不同應(yīng)用進(jìn)群進(jìn)行日志數(shù)據(jù)采集，得到對應(yīng)的日志數(shù)據(jù)步驟，包括：

通過業(yè)務(wù)代碼調(diào)用應(yīng)用集群的日志輸出接口進(jìn)行日志采集。

進(jìn)一步地，所述分別對服務(wù)鏈中不同應(yīng)用進(jìn)群進(jìn)行日志數(shù)據(jù)采集，得到對應(yīng)的日志數(shù)據(jù)步驟，包括：

通過代理Agent實(shí)現(xiàn)在不同應(yīng)用集群的日志埋點(diǎn)，對服務(wù)調(diào)用過程切面進(jìn)行攔截，捕獲日志數(shù)據(jù)，完成數(shù)據(jù)采集。

進(jìn)一步地，所述對所述日志數(shù)據(jù)進(jìn)行格式標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)格式的日志數(shù)據(jù)的步驟包括：

根據(jù)調(diào)用鏈路徑關(guān)系確定TraceID、SpanID、ParentID，得到日志基本屬性；

根據(jù)調(diào)用業(yè)務(wù)類型確定日志擴(kuò)展屬性；

將所述日志基本屬性和所述日志擴(kuò)展屬性按照預(yù)設(shè)的格式保存為所述標(biāo)準(zhǔn)格式的日志數(shù)據(jù)。

進(jìn)一步地，所述將所述統(tǒng)計(jì)分析數(shù)據(jù)存入關(guān)系數(shù)據(jù)庫MySQL的步驟之后還包括：

接收來自WEB端的日志查詢操作指令；

根據(jù)所述日志查詢操作指令判斷所查詢的日志數(shù)據(jù)類型；