[發明專利]一種基于配置中心的指標數據采集系統、方法及存儲介質

有效

• 申請號: 202110275817.X
• 申請日: 2021-03-15
• 公開（公告）號: CN113064789B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 李虎;曾毅峰;劉佳利;夏海虎
• 申請（專利權）人: 上海浦東發展銀行股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 孫永申

本發明涉及一種基于配置中心的指標數據采集系統、方法及存儲介質，其中系統包括：配置定義模塊，用于定義從Apollo配置中心映射得到的配置信息；對象裝配模塊，用于根據所述配置定義模塊中的配置完成指標采集端所需類的裝配；配置刷新模塊，用于從Apollo配置中心接收配置變更事件，實時刷新本地配置信息并重新裝配指標采集端所需的類；數據采集模塊，用于攔截調用請求進行指標數據采集，并設置指標數據中包含的指標類型；數據輸出模塊，用于將最終形成的指標數據發送至Kafka數據總線，同時本發明也提供了與系統相對應的指標數據采集方法、設備及存儲介質，與現有技術相比，本發明具有配置靈活、支持動態開關以及方便拓展開發等優點。

技術領域

本發明涉及計算機技術領域，尤其是涉及一種基于配置中心的指標數據采集系統、方法及存儲介質。

背景技術

在卡中心分布式全棧監控系統中指標數據的來源主要分為三類。第一類基礎設施指標，如應用服務器，從應用服務器收集的指標數據有CPU、內存、網絡、硬盤指標；第二類中間件指標，應用使用到的中間件服務有數據庫jdbc、Redis、Kafka、Rabbitmq等，從中間件客戶端可以收集到的指標數據有請求吞吐量、請求耗時、請求錯誤率等；第三類應用指標，主要收集應用服務與服務之間的調用產生的指標和運行時指標，包括http請求吞吐量、響應時間、返回碼和JVM指標。通過這三類指標數據評估服務的健康度，為幫助各團隊快速發現問題、定位問題、解決問題提供數據支持。

相比調用鏈數據的采集指標數據的采集類型更多，而且數據是周期性產生的，其數量不會跟隨當前請求并發量的變化而變化。采集指標數據必須做到配置靈活，支持動態開關，接入無感知的功能。

1配置靈活

指標數據的類型較多，在采集端分別為每一個指標類型定義了一套配置。指標類型的配置包括：類型名稱、采集開關、采集周期、輸出kafka?topic名、輸出組件類型，其中采集周期直接影響該類型指標數據量的大小。指標數據輸出配置包含kafka地址配置和輸出開關配置，另外還定義了指標采集功能全局開關和全局采集周期。當全局開關未開啟時不管指標類型開關是否開啟都不會采集指標數據，全局開關開啟后可以單獨開啟和關閉指標類型開關。在指標類型未配置采集周期時使用全局采集周期配置，指標類型配置采集周期后優先采樣該配置的值。通過這些配置可以靈活配置指標類型數據采集的開啟和關閉，以及指定不同的采集頻率。

2支持動態開關

采集端基于Apollo配置中心配置動態刷新功能實現了無需重啟應用即可實時調整指標數據采集的功能。

3接入無感知

指標數據采集功能是通過切面編程的方式實現，對業務系統的接入可以做到透明無感知。在使用指標采集端的功能時，業務開發人員無需開發多余的適配代碼，只需專注業務邏輯的開發。

本發明旨在設計一種能夠含括以上各種需求的指標數據采集系統及對應的采集操作方法。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基于配置中心的指標數據采集系統、方法及存儲介質。

本發明的目的可以通過以下技術方案來實現：

一種基于配置中心的指標數據采集系統，該系統包括：

配置定義模塊，用于定義從Apollo配置中心映射得到的配置信息；

對象裝配模塊，用于根據所述配置定義模塊中的配置完成指標采集端所需類的裝配；

配置刷新模塊，用于從Apollo配置中心接收配置變更事件，實時刷新本地配置信息并重新裝配指標采集端所需的類；

數據采集模塊，用于攔截調用請求進行指標數據采集，并設置指標數據中包含的指標類型；