[發明專利]一種日志數據存儲方法及裝置

在審

• 申請號: 202011391814.4
• 申請日: 2020-12-03
• 公開（公告）號: CN112632027A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 趙彥林;李周;李福宜;王平;陳宏偉;何建鋒
• 申請（專利權）人: 西安交大捷普網絡科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2453;G06F16/2455;G06F16/9537
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種日志數據存儲方法，其特征在于，包括：

接收日志數據存儲請求，將產生時間處于預設第一周期的數據，寫入到請求中指定的寫入索引別名指向的第一索引所在的第一節點；

當所述第一索引觸發預設的第一條件時，在第一節點創建第二索引，并將所述寫入索引別名指向所述第二索引；以及，創建指向所述第一索引的讀取索引別名，并將第一索引的數據移入第二節點；

當第一索引在所述第二節點觸發預設的第二條件時，將第一索引的數據移入第三節點。

2.根據權利要求1所述的日志數據存儲方法，其特征在于，所述第一條件包括存儲的第一最長時長、最多文檔數與最大磁盤占用，當索引符合其中至少一個條件則觸發第一條件；所述第二條件包括存儲的第二最長時長，第二最長時長大于所述第一最長時長。

3.根據權利要求1所述的日志數據存儲方法，其特征在于，所述第一節點至第三節點的存儲讀取性能，依次遞減；以及所述第一節點為寫入和/或查詢節點，第二節點為查詢和/或存儲節點，第三節點為存儲節點。

4.根據權利要求1所述的日志數據存儲方法，其特征在于，為所述第一索引或第二索引配置與第一節點數量相同的分片數。

5.根據權利要求1所述的日志數據存儲方法，其特征在于，還包括：所述第一索引觸發預設的第一條件之前，定時的在第一節點創建第二索引，并將所述寫入索引別名指向所述第二索引。

6.根據權利要求1所述的日志數據存儲方法，其特征在于，所述第一索引的數據移入第二節點之前，將索引的分片以及分片中的數據段均合并為單個。

7.根據權利要求1所述的日志數據存儲方法，其特征在于，所述第一索引的數據移入第三節點達到預設的時長后，刪除第一索引以釋放節點的存儲空間。

8.根據權利要求1-7任一所述的日志數據存儲方法，其特征在于，所述方法還包括：

接收數據查詢請求，根據查詢請求中的讀取索引別名，發送查詢至第一索引的各個分片；

所述索引分片分別查詢符合條件的數據，并返回查詢結果；

合并所述各個分片的查詢結果，返回結果集。

9.一種日志數據存儲裝置，其特征在于，所述裝置包括：

請求處理模塊，用于接收并解析數據存儲或查詢請求，獲取請求中的索引別名；

數據處理模塊，根據所述請求中的索引別名，將數據存儲到對應的節點與索引，以及從對應的節點與索引讀取數據；

存儲模塊，用于將處理后的數據存儲到對應節點，以及向數據處理模塊返回數據；

結果返回模塊，對數據請求返回存儲或查詢結果。

10.根據權利要求9所述的日志數據存儲裝置，其特征在于，所述數據處理模塊：

將產生時間處于預設第一周期的數據，寫入到請求中指定的寫入索引別名指向的第一索引所在的第一節點；

當所述第一索引觸發預設的第一條件時，在第一節點創建第二索引，并將所述寫入索引別名指向所述第二索引；以及，創建指向所述第一索引的讀取索引別名，并將第一索引的數據移入第二節點；

當第一索引在所述第二節點觸發預設的第二條件時，將第一索引的數據移入第三節點。