[發明專利]一種基于實時內存TSDB報警的監控數據存儲方法和系統

在審

• 申請號: 202011405187.5
• 申請日: 2020-12-04
• 公開（公告）號: CN112579390A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 吳海波;張鑒漢;李志偉;廖南海;李英俊;董希福;成家華
• 申請（專利權）人: 麒麟軟件有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/32
• 代理公司: 北京匯智英財專利代理事務所(普通合伙) 11301
• 代理人: 牟長林

本申請公開了一種基于實時內存TSDB報警的監控數據存儲方法和系統，采用Gorilla實現方式對監控數據進行壓縮后再存儲在實時數據存儲模塊中，且實時數據存儲模塊只存儲最近預置時長內的監控數據，對于超過預置時長的監控數據，采用基于RRDTOOL對監控數據進行處理后存儲在歷史數據存儲模塊的RRD文件中，極大地節省了存儲空間，且基于monitor?tsdb服務的目標程序可以應對國產平臺上特定的操作系統大規模監控數據存儲，由于監控的數據大部分從內存總讀取和寫入，同時提高了監控報警的預警能力，大規模監控數據下的讀寫性能得到了極大提高，因此，解決了現有的監控數據存儲方法監控數據讀寫性能不高，且浪費大量存儲空間的技術問題。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于實時內存TSDB報警的監控數據存儲方法和系統。

背景技術

隨著計算機行業國產化發展成為新的發展趨勢，基于國產芯片、操作系統的各類軟件也需實現國產化兼容。在監控系統中，存儲部分是整個監控系統軟件的核心，用于對監控系統的各種數據存儲和查詢；運維部分從各種不同服務節點手機各種監控數據，包括硬件、軟件系統、服務、網絡、存儲、數據庫、中間件、日志服務、云服務、web狀態、業務監控、應用程序狀態等，并需要對這些監控的數據進行存儲、展示以及報警來跟蹤問題。由于存儲的數據量巨大，并且監控的數據存儲寫入數據量和并發量都很大，典型的寫多讀少應用場景，傳統的關系型數據庫難以應付，讀寫性能不高，并且寫入的數據永久存入磁盤對監控系統并沒有多大的用處，占用存儲空間。而現有的采用將收集的數據直接存儲在InfluxDB里面的監控數據存儲方法和將收集的數據直接存儲在hbase里面的數據庫構造方法，都存在浪費大量存儲空間的問題。

本申請中涉及的術語解釋：

TSDB：時序數據庫（time-series database），主要用于指處理帶時間標簽（按照時間的順序變化，即時間序列化）的數據，帶時間標簽的數據也稱為時間序列數據。

RRDTOOL：指Round Robin Database工具，即環狀數據庫，從功能上說，RRDtool可用于數據存儲+數據展示。

Gorilla：一種帶壓縮高壓縮比內存時序數據庫實現方案。

國產平臺：采用arm64架構的飛騰2000+處理器，以及銀河麒麟云的服務器。

發明內容

本申請提供了一種基于實時內存TSDB報警的監控數據存儲方法和系統，用于解決現有的監控數據存儲方法監控數據讀寫定能不高，且浪費大量存儲空間的技術問題。

有鑒于此，本申請第一方面提供了一種基于實時內存TSDB報警的監控數據存儲方法，包括：

構建基于Gorilla TSDB的實時數據存儲模塊、基于RRDTOOL的歷史數據存儲模塊和TSDB寫入數據模塊；

將所述實時數據存儲模塊、所述歷史數據存儲模塊和所述TSDB寫入數據模塊對應的源程序編譯打包成適配國產平臺的二進制包，生成monitor-tsdb服務目標程序；

其中，所述基于Gorilla TSDB的實時數據存儲模塊只存儲最近預置時長內的監控數據，超過所述最近預置時長的監控數據存儲在所述歷史數據存儲模塊中，所述TSDB寫入數據模塊包括中間件rpc通信模塊和中間件http服務模塊，所述中間件rpc通信模塊用于接收傳入的監控數據，所述中間件http服務模塊用于查詢用戶查詢具體的值，且根據參數來確定數據值是在所述實時數據存儲模塊中，還是在所述歷史數據存儲模塊中。

可選地，還包括：

實時檢測是否接收到用戶查詢監控數據請求，若是，則響應于所述用戶查詢監控數據請求，調用所述monitor-tsdb服務目標程序，在所述實時數據存儲模塊和所述歷史數據存儲模塊中查詢數據，并返回數據查詢結果。

可選地，所述預置時長為2小時。