[發明專利]一種時序存儲引擎內存設計及分配方法及裝置

在審

• 申請號: 202210914023.8
• 申請日: 2022-08-01
• 公開（公告）號: CN115408149A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 張華海;梁波;張煒剛
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F3/06
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

本發明涉及數據庫管理技術領域，具體提供了一種時序存儲引擎內存設計及分配方法，時序數據庫存儲引擎對外提供的存儲數據的最小單元是ObjectTable，一個ObejctTable在內存中有多個block用于存儲一個時間段內的時序數據，當一個block寫滿或者時間跨度超過設定閾值時，需要改變當前block的狀態為不可寫，然后創建新的block；創建block時，需要根據計算得到的block大小申請對應的內存，每次block需要寫入數據時，從申請的內存中申請固定大小的buffer，當所述block刷盤完成后申請的內存放到回收隊列中等待回收。與現有技術相比，本發明提升了時序數據庫內存的利用率，方便數據的寫入和查詢，防止出現數據寫入異常的場景出現。

技術領域

本發明涉及數據庫管理技術領域，具體提供一種時序存儲引擎內存設計及分配方法及裝置。

背景技術

時序數據是隨時間不斷產生的一系列數據,簡單來說,就是帶時間戳的數據。時序數據庫(Time Series Database，TSDB)是優化用于攝取、處理和存儲時間戳數據的數據庫，專門用于存儲和處理時間序列數據。時序數據的主要特點是寫多讀少，要求支持秒級和毫秒級甚至納秒級的高頻寫入，查詢通常是多維聚合查詢，對查詢的延遲要求比較高。

時序數據可能包括來自服務器和應用程序的指標、來自物聯網傳感器的讀數、網站或應用程序上的用戶交互或金融市場上的交易活動。來自同一設備的時序數據的類型是一致的。

目前主流的時序數據庫，存儲數據的內存塊大小都是固定的，由于時序數據的采集頻率和數據類型都不一致，固定的內存塊大小無法滿足時序數據的特點。

發明內容

本發明是針對上述現有技術的不足，提供一種實用性強的時序存儲引擎內存設計及分配方法。

本發明進一步的技術任務是提供一種設計合理，安全適用的時序存儲引擎內存設計及分配裝置。

本發明解決其技術問題所采用的技術方案是：

一種時序存儲引擎內存設計及分配方法，時序數據庫存儲引擎對外提供的存儲數據的最小單元是ObjectTable，一個所述ObejctTable在內存中有多個block用于存儲一個時間段內的時序數據，當一個所述block寫滿或者時間跨度超過設定閾值時，需要改變當前block的狀態為不可寫，然后創建新的block；

創建所述block時，需要根據計算得到的block大小申請對應的內存，每次所述block需要寫入數據時，從申請的內存中申請固定大小的buffer，當所述block刷盤完成后申請的內存放到回收隊列中等待回收。

進一步的，對于寫入的時序數據，使用存儲內部的編解碼策略，保持每條數據長度固定，每條數據的頭部增加bitmap記錄值為空的列；

一條數據由多個列或屬性組成，在時序數據場景中，第一個屬性為時間戳，第二個屬性是一個bitmap，記錄值為空的列，之后的屬性都是value。

進一步的，所述block的創建是在數據寫入時，首先計算得到一條數據的長度ValueLength，根據所述ValueLength計算出所述block存儲數據需要的大小，并在block創建時申請對應的內存空間，其中一條數據的計算方式為：

ValueLength＝TimeStamp.Size()+BitMap.Size()+ColumnValue.Size()。

進一步的，根據元數據中的時間跨度閾值及寫入數據的時間間隔，估算得到block中需要存儲的數據條數，根據需要存儲的數據條數和數據大小，計算得到block需要分配的內存大小。

進一步的，校驗所述內存大小是否在設置的內存閾值之間，超出時，需要將申請的內存大小置為最大或者最小內存閾值，申請連續內存空間的內存。