[發明專利]時序數據計量方法和時序數據計量裝置

有效

• 申請號: 201611201060.5
• 申請日: 2016-12-22
• 公開（公告）號: CN108228679B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 楊世泉;付哲;楊戀
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/172;G06F3/06
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

本申請公開了一種時序數據計量方法和時序數據計量裝置，該時序數據計量方法包括：將內存文件中的單元格的創建時間段劃分為多個時間區間；建立每個時間區間的索引信息并寫入磁盤文件；在收到時序數據的計量請求時，根據所述計量請求中的計量時間點，利用所述索引信息確定所述計量時間點所對應時間區間；計算所述計量時間點所對應的時間區間及其后的時間區間內創建的單元格的數據量總和，獲得時序數據量。對于未過期數據的計算，本發明不需要定期地整理數據，避免了后臺數據整理與在線服務爭搶磁盤IOPS，保證了磁盤的業務能力，能夠實時而快速地統計出未過期的數據量，保證了未過期數據統計的準確性。

技術領域

本申請涉及計算機技術領域，特別涉及一種時序數據計量方法和時序數據計量裝置。

背景技術

隨著物聯網的興起，時序數據開始大規模產生。時序數據是隨著時間向前推移而持續產生的數據，比如程序日志數據、設備定期產生的狀態數據。時序數據的特點是隨著時間定期產生，數據產生后極少修改，存儲時間越長的數據被訪問的頻率越低。目前已有的眾多存儲系統開始針對時序數據提供定制的功能，其關注的重點如何有效存儲時序數據。

由于每一條時序數據都有過期時間，比較常見的計量方案是定期(例如24小時)對數據做全量重寫，將過期數據刪除，然后計算得到新的未過期數據的大小。現有的時序數據的處理方法大致為如下步驟：

1.內存文件被寫入為磁盤文件，數據計量程序直接按照磁盤文件內有效數據量來計算實時時序數據的大小；

2.隨著時間推移，磁盤文件越來越多，某些文件內部分數據已經過期，此時需要將多個磁盤文件等進行重新掃描，過濾掉已過期數據，并將未過期數據寫入新磁盤文件，然后刪除之前的多個磁盤文件；

3.統計新磁盤文件的實時時序數據量；

隨著時間的推移，以上1-3步反復進行。

可以看出，現有技術依賴定期的全量數據整理來計算未過期數據量，從而用于計量計費或者其他統計用途，上述方法具有如下缺點：

1.后臺數據整理與在線服務爭搶磁盤IOPS(每秒讀寫操作次數)，影響存儲軟件服務能力；

2.無法實時得到未過期數據量，可能導致統計錯誤。

隨著機器硬盤越來越大，單機存儲數據越來越多，定期將數據整理一遍越來越不切實際，需要新的方法快速得到未過期數據量。

發明內容

鑒于上述問題，本發明一實施例提出一種時序數據計量方法和時序數據計量裝置，以解決現有技術存在的問題。

為了解決上述問題，本申請一實施例公開一種時序數據計量方法，包括：

將內存文件中的單元格的創建時間段劃分為多個時間區間；

建立每個時間區間的索引信息并寫入磁盤文件，所述索引信息包括所述時間區間的起止時間，以及所述時間區間內的創建的單元格的數據量；

根據所述計量請求中的計量時間點，利用所述索引信息確定所述計量時間點所對應時間區間；

計算所述計量時間點所對應的時間區間及其后的時間區間內創建的單元格的數據量總和，獲得實時時序數據量。

在上述時序數據計量方法的一實施例中，在將內存文件中的單元格的創建時間段劃分為多個時間區間的步驟中，是根據指定時間間隔將所述創建時間段劃分為多個時間區間。

時序數據計量在上述時序數據計量方法的一實施例中，所述將內存文件中的單元格的創建時間段劃分為多個時間區間的步驟包括：

根據所述多個單元格的最早創建時間和最晚創建時間，獲取所述單元格的創建時間段；

根據指定時間間隔，將所述創建時間段劃分為多個時間區間。