[發明專利]基于應用性能監控的單指標參數采集方法及裝置

在審

• 申請號: 202110740513.6
• 申請日: 2021-06-30
• 公開（公告）號: CN113407430A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 劉慕雨;潘玲;吳冕冠;王磊
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34;G06F11/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 劉熔;趙平

本發明屬于大數據技術領域，本發明提供了一種基于應用性能監控的單指標參數采集方法及裝置，所述基于應用性能監控的單指標參數采集方法包括：以縱向采集方式，采集性能監控單指標參數；發送所述性能監控單指標參數至中間件；對所述中間件所轉發的性能監控單指標參數進行聚合計算。本發明具有以下有益效果：更高的監控時效。采集端采集到某個指標就立即上報，不需要等待其他指標，實現了真正的實時監控，提高了監控時效。靈活配置。可以靈活配置采集端的不同指標的采集頻率。節省資源。監控數據的分析完全放在服務端，應用程序中僅有數據采集邏輯，對應用程序資源的占用降到最低。

技術領域

本申請可用于大數據技術領域，具體涉及一種基于應用性能監控的單指標參數采集方法及裝置。

背景技術

現有技術中，針對監控數據的采集，通常需要采用埋點的方式，將采集邏輯織入應用程序。比如，在交易的接收和響應處埋點，通過用響應時的時間戳減接收時的時間戳，就能得到這筆交易的耗時。再比如運行指標，通常是定時獲取，比如每分鐘采集一下度量操作系統健康情況的關鍵指標(如系統的CPU、內存、IO情況等)，然后將指標統一上報。監控系統收到這些監控數據之后，就可以對數據進行加工、聚合、分析，然后將分析結果存入數據庫，用來給運維人員排查問題用。

現有技術中監控數據采集方法的技術缺陷是：監控數據的采集容易耦合。比如針對交易，通常需要等到交易結束，才能計算得到交易耗時。針對操作系統指標監控，需要定時觸發，一次收集完整再組裝成一個數據集，上報到監控系統的服務端作分析。這樣帶來的問題有幾方面：

1、不同監控頻率的監控數據耦合問題。比如操作系統的各類指標的采集和上報，一旦上報接口的數據模型約定好，采集端就要采集完這些監控數據才可以上報。但有時需要靈活的方式，比如如果操作系統網絡IO很少出問題，想適當的調低采集頻率，傳統方案就無法辦到。

2、沒有最大利用監控系統的數據聚合分析能力。監控數據統一上報，也就是說要等所有數據都采集完整，監控系統的服務端才能對數據做處理，這并沒有最大的利用服務端的數據聚合分析能力(面對海量監控數據，監控系統的數據分析能力通常很強大)。比如交易耗時沒有必要在采集端等到響應時再做計算，而可以在交易開始和結束時，各上報一筆，由服務端利用強大的算力去計算每筆交易耗時。

3、浪費應用資源。如上所述，監控數據采集邏輯(也就是客戶端)通常埋點在應用程序中，和應用進程共享CPU、內存等資源，批量上報數據會占用一定的資源。比如上面說的交易耗時計算或者其他一些預聚合，如果放在客戶端，會占用CPU計算資源。再比如定時采集操作系統指標，因要等采集完再上報，只能暫存在內存里，占用了應用的存儲資源，而更合理的方案應該對應用程序的運行影響越小越好。

發明內容

本發明可用于大數據技術領域，本發明公開的基于應用性能監控的單指標參數采集方法及裝置的應用領域不做限定。本發明不僅具備現有技術中的聚合分析能力，而且每個指標都可以不依賴于別的指標進行獨立采集、上報和分析，非常靈活。

為解決上述技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種基于應用性能監控的單指標參數采集方法，包括：

以縱向采集方式，采集性能監控單指標參數；

發送所述性能監控單指標參數至中間件；

對所述中間件所轉發的性能監控單指標參數進行聚合計算。

一實施例中，所述中間件為kafka中間件，所述發送所述性能監控單指標參數至中間件包括：

發送所述性能監控單指標參數至kafka中間件的topic表中。

一實施例中，所述對所述中間件所轉發的性能監控單指標參數進行聚合計算，包括：

從所述topic表中訂閱所述性能監控單指標參數；