[發明專利]數據存儲方法及裝置

在審

• 申請號: 201910361677.0
• 申請日: 2019-04-30
• 公開（公告）號: CN111858579A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 王亞強
• 申請（專利權）人: 北京沃東天駿信息技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F3/06
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 馬陸娟

本發明實施例公開了一種數據存儲方法及裝置，涉及數據處理技術領域。其中方法包括：獲取監控指標的多個樣本數據；將所述多個樣本數據逐個存儲到本地內存和臨時緩存隊列；監聽所述臨時緩存隊列，當所述臨時緩存隊列中存儲有所述樣本數據時，在有空閑線程的情況下，啟動空閑線程來將所述樣本數據存儲到遠程存儲隊列；以及將所述遠程存儲隊列中的所述樣本數據存儲到遠程數據庫。多個線程同時進行克隆指標、添加額外標簽、重新調整標簽的操作以將樣本數據存儲到遠程存儲隊列，保證臨時緩存隊列不被打滿。降低了將樣本數據存入遠程數據庫的時間，提高了樣本數據的存儲效率。

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據存儲方法及裝置。

背景技術

無論是車間生產流水線，還是大數據云計算等集群類服務，都需要進行系統的監控和告警，從而盡早發現潛在問題，規避風險，保證服務的持續正常運轉。目前，通常采用諸如Ganglia等集群監控系統對集群設備中目標設備的監控指標進行監控，采集監控樣本數據，并將監控樣本數據存儲在數據庫中。

相關技術中，存儲監控樣本數據的方式結合了本地存儲和遠程存儲兩種方式，即將監控樣本數據存儲到本地內存和遠程數據庫中。在這種存儲方式中，應用服務器通過訪問本地內存獲取監控樣本數據，與該應用服務器屬于同一應用服務器集群的其他應用服務器通過訪問遠程數據庫獲取監控樣本數據。然而，目前，將監控樣本數據存入本地內存和寫入遠程數據庫的存儲操作是串行操作，只有當一個監本樣本數據完成存入本地內存和寫入遠程數據庫的串行操作之后，才能讀取下一個監控樣本數據進而將下一個監控樣本數據存入本地內存和寫入遠程數據庫。當監控樣本數據的樣本數非常大時，會導致將全部樣本數據寫入本地內存和遠程數據庫的整體時間過長，降低監控樣本數據的存儲效率。

發明內容

為了克服相關技術中存在的將監控樣本數據存入本地內存和寫入遠程數據庫的耗時長、存儲效率低的問題，本發明實施例提供了一種數據存儲方法和裝置，多個線程同時進行克隆指標、添加額外標簽、重新調整標簽的操作以將樣本數據存儲到遠程存儲隊列，保證臨時緩存隊列不被打滿。降低了將樣本數據存入遠程數據庫的時間，提高了樣本數據的存儲效率。

根據本發明的一方面，提供一種數據存儲方法，其特征在于，包括：

獲取監控指標的多個樣本數據；

將所述多個樣本數據逐個存儲到本地內存和臨時緩存隊列；

監聽所述臨時緩存隊列，當所述臨時緩存隊列中存儲有所述樣本數據時，在有空閑線程的情況下，啟動空閑線程來將所述樣本數據存儲到遠程存儲隊列；以及

將所述遠程存儲隊列中的所述樣本數據存儲到遠程數據庫。

優選地，所述的數據存儲方法，還包括：

監聽所述臨時緩存隊列，當所述臨時緩存隊列中存儲有所述樣本數據時，在沒有空閑線程的情況下，等待處于工作狀態的線程工作完畢后，啟動空閑線程來將所述樣本數據存儲到所述遠程存儲隊列。

優選地，所述將所述多個樣本數據逐個存儲到本地內存和臨時緩存隊列，包括：

逐個讀取所述多個樣本數據，將當前讀取的所述樣本數據作為第一樣本數據；

判斷所述第一樣本數據是否已經被標記為被丟棄；

如果所述第一樣本數據已經被標記為被丟棄，則讀取下一個所述樣本數據；

如果所述第一樣本數據沒有被標記為被丟棄，則將所述第一樣本數據存儲到所述本地內存和所述臨時緩存隊列。

優選地，所述將所述第一樣本數據存儲到所述本地內存和所述臨時緩存隊列，包括：

判斷所述本地內存中是否存在所述第一樣本數據所屬于的所述監控指標對應的本地存儲單元；