[發明專利]可觀察性系統的數據融合實現方法和裝置

有效

• 申請號: 202011397029.X
• 申請日: 2020-12-04
• 公開（公告）號: CN112395051B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 饒琛琳;梁玫娟
• 申請（專利權）人: 北京優特捷信息技術有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06K9/62
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 侯巍巍

本申請涉及一種可觀察性系統的數據融合實現方法和裝置，該方法包括：接收外部變量，所述外部變量包括網絡流量攔截的采樣方式、網絡流量攔截的采樣比例以及由用戶設定的攔截點；在所述攔截器與所述預設攔截點或所述攔截點匹配成功時，采用eBPF攔截所述業務系統的內核空間的系統調用數據和用戶空間的函數調用數據；將所述系統調用數據和所述函數調用數據以日志形式輸出，或者采用eBPF將所述系統調用數據和所述函數調用數據轉發至后續服務端。本申請能夠提高數據采集的效率。

技術領域

本申請涉及計算機技術領域，尤其是涉及一種可觀察性系統的數據融合實現方法和裝置。

背景技術

可觀察性方案的實現依賴于三方面的數據：trace/log(日志)/metrics(指標)，其使用場景主要是APM和可觀察性領域。目前APM領域的主要實現方法是通過javaagent自動插碼，或手動修改業務系統代碼加入相關監控代碼片段。而可觀察性領域則需要通過APM、Log、Metric三類數據進行綜合性的業務系統運行狀態監控，通常數據來自各自獨立的監控采集agent甚至各自獨立的監控管理系統。

現有的數據采集方式需要做數據整合處理，從而對不同來源不同格式的trace/log/metrics數據進行統一的觀察分析，提取關鍵信息，構建業務調用鏈數據的處理方式過于復雜，對實現實時監控有一定困難。

發明內容

為了提高數據采集的效率，本申請提供一種可觀察性系統的數據融合實現方法和裝置。

第一方面，本申請提供了一種可觀察性系統的數據融合實現方法，應用于部署在業務系統的攔截器，所述攔截器內預先配置有預設攔截點，所述方法包括：

接收外部變量，所述外部變量包括網絡流量攔截的采樣方式、網絡流量攔截的采樣比例以及由用戶設定的攔截點；

在所述攔截器與所述預設攔截點或所述攔截點匹配成功時，采用eBPF攔截所述業務系統的內核空間的系統調用數據和用戶空間的函數調用數據；

將所述系統調用數據和所述函數調用數據以日志形式輸出，或者采用eBPF將所述系統調用數據和所述函數調用數據轉發至后續服務端。

優選的，所述采用eBPF攔截所述業務系統的內核空間的系統調用數據，包括：

攔截網絡流量，根據所述網絡流量的五元組信息，構建所述業務系統的流量拓撲關系；

統計與所述網絡流量相關的進程的系統資源占用指標；

修改所述網絡流量中的網絡發送流量和網絡接收流量；

將所述業務系統和操作系統層的進程進行對應的實體轉換。

優選的，所述修改所述網絡流量中的網絡發送流量，包括：

判斷所述網絡發送流量中是否存在調用鏈信息，所述調用鏈信息包括業務請求的唯一標識符和當前單元的標識符；

若否，則在所述網絡發送流量中補全所述調用鏈信息；

所述修改所述網絡流量中網絡接收流量，包括：

在網絡接收流量中，將上一基本工作單元的標識符修改為當前基本工作單元的上游標識符。

優選的，所述采用eBPF攔截所述業務系統的用戶空間的函數調用數據，包括：

搜集所述攔截點對應函數的調用路徑、入參、出參和耗時，結合當前基本工作單元的網絡接收流量中的標識符，生成業務調用鏈trace數據；

根據指定條件，修改攔截點的出參。

優選的，還包括：在所述攔截器與所述預設攔截點或所述攔截點匹配失敗時，攔截與網絡流量相關進程觸發的內核系統調用序列。