[發(fā)明專利]基于pinpoint日志的鏈路構建方法

有效

• 申請?zhí)枺?/td>: 201911082453.2
• 申請日: 2019-11-07
• 公開（公告）號: CN110569399B
• 公開（公告）日: 2020-03-06
• 發(fā)明（設計）人: 胡榮德;陳思成;李開宇;蔡亮;喻川
• 申請（專利權）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901
• 代理公司: 成都智言知識產(chǎn)權代理有限公司 51282
• 代理人: 濮云杉

本發(fā)明涉及基于pinpoint日志的鏈路構建方法，包括：步驟1：將pinpoint日志的數(shù)據(jù)寫入kafka集群中，并通過kafka集群將所述的pinpoint日志解析為Span信息；步驟2：在kafka集群中每次讀取一條Span信息，并根據(jù)該Span信息的事務ID和LRU算法，添加或更新雙向鏈表中的節(jié)點；步驟3：當雙向鏈表中的節(jié)點數(shù)量達到預設的閾值N后，將雙向鏈表中鏈尾的M個節(jié)點移出雙向鏈表，各Span信息根據(jù)各自屬性中的上游Span信息的ID與上游Span信息關聯(lián)后，將M個結點構建出Span信息的跟蹤樹，并通過DFS算法，在跟蹤樹中遍歷出具有相同事務ID的所有Span信息的集合，形成調用鏈路，將調用鏈路的數(shù)據(jù)寫入數(shù)據(jù)庫。本發(fā)明能夠實現(xiàn)直接從pinpoint系統(tǒng)查詢和解析鏈路的數(shù)據(jù)，并且具有較高效率，還能夠實時對數(shù)據(jù)進行處理。

技術領域

本發(fā)明涉及數(shù)據(jù)處理的方法，具體講是基于pinpoint日志的鏈路構建方法。

背景技術

pinpoint（APM）為分布式事務跟蹤系統(tǒng)（全鏈路分析工具），基本思想源于GoogleDapper 論文。在實際生產(chǎn)應用中，通過pinpoint系統(tǒng)可跟蹤單個事務中的分布式請求，實現(xiàn)應用鏈路和接口鏈路的跟蹤與監(jiān)控分析等。

目前構建應用鏈路和接口鏈路時，是對系統(tǒng)和應用的信息進行統(tǒng)一監(jiān)控和分析，對其中的應用鏈路和接口鏈路，根據(jù)調用的先后順序實時記錄鏈路關系，最后通過字節(jié)碼增強技術，將鏈路關系通過編碼存儲于HBase表中。當從pinpoint系統(tǒng)的HBase數(shù)據(jù)庫表中查詢應用相關數(shù)據(jù)時，存在以下問題：

1. 效率低下，查詢容易超時。

2. 系統(tǒng)經(jīng)常報錯“waitting for n actions to finish”。

3. 不能實時進行數(shù)據(jù)處理和全鏈路的監(jiān)控與分析。

產(chǎn)生以上問題的原因包括：

1. pinpoint系統(tǒng)的底層數(shù)據(jù)存儲為HBase表，如果當前數(shù)據(jù)量較大，且Hbase表以行主鍵為唯一索引時，查詢目標數(shù)據(jù)的效率就極為低下。

2. pinpoint系統(tǒng)的底層數(shù)據(jù)加工采用字節(jié)碼增強方式。這種方式的優(yōu)點是方便了開發(fā)人員無需修改代碼；且可收集到更多精確的數(shù)據(jù)的優(yōu)勢。缺點是在數(shù)據(jù)入庫、查詢的過程需加入編碼、解析的步驟，增大了數(shù)倍的系統(tǒng)開銷，且該技術風險較高，開源團隊尚未解決。

發(fā)明內容

本發(fā)明提供了一種基于pinpoint日志的鏈路構建方法，可以直接從pinpoint系統(tǒng)查詢和解析鏈路的數(shù)據(jù)，以及解決對雙向鏈表中活躍結點的判斷，編碼和解析的效率低下、查詢超時、不能實時數(shù)據(jù)處理的問題。

本發(fā)明基于pinpoint日志的鏈路構建方法，包括：

A．將pinpoint日志的數(shù)據(jù)寫入kafka集群系統(tǒng)（一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，可以處理消費者在網(wǎng)站中的所有動作流數(shù)據(jù)）中，并通過kafka集群系統(tǒng)將所述的pinpoint日志解析為Span信息，其中所述的Span信息為處理相應調用事務的作業(yè)，在Span信息中包含了與該事務作業(yè)相關的各種數(shù)據(jù)；

B．在kafka集群系統(tǒng)中每次讀取一條Span信息，并根據(jù)該Span信息的事務ID和LRU算法（Least Recently Used，最近最少使用算法），添加或更新雙向鏈表中的結點；