[發(fā)明專利]數據存儲方法、裝置、設備及系統、存儲介質

在審

• 申請?zhí)枺?/td>: 202011439808.1
• 申請日: 2020-12-11
• 公開（公告）號: CN112416261A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設計）人: 顧曉健
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 牛晴

本申請涉及一種數據存儲方法、裝置、設備及系統、存儲介質，數據存儲方法包括：將新增數據加載到內存中進行緩存；檢測內存中的緩存數據是否達到預設條件，若內存中的緩存數據達到預設條件，利用緩存數據生成一個數據段；將數據段的段信息寫入事務日志中，將事務日志寫入磁盤；將數據段緩存到文件緩存系統中，按照預設寫入策略，將文件緩存系統中的數據段寫入到磁盤中進行存儲，并同步標記寫入狀態(tài)到事務日志。如此，避免了寫入過程中數據丟失的風險，保證了海量數據寫入的穩(wěn)定性，大大提升了數據的讀寫性能，并且，結合預設寫入策略，實現了海量數據的近實時搜索，為用戶提供了很大的便利。

技術領域

本申請涉及數據存儲技術領域，具體涉及一種數據存儲方法、裝置、設備及系統、存儲介質。

背景技術

關系型數據庫的重要特點有長事務、實時性，但面對海量數據時不能使用長事務，同時，實時性也會隨著數據量的增多而越來越差。

目前的通行做法是將數據以文檔結構形式存儲在磁盤上，通過先寫入磁盤然后再讀取的方式滿足業(yè)務需求。然而，數據寫入內存后再轉儲到磁盤中，若發(fā)生宕機或斷電等異常情況，即使有UPS應急電源的情況下數據依然會存在丟失風險；并且，數據寫入磁盤后才能進行數據的查詢，如果數據量較大，則查詢時效性較低。

發(fā)明內容

有鑒于此，本申請的目的在于克服現有技術的不足，提供一種數據存儲方法、裝置、設備及系統、存儲介質。

為實現以上目的，本申請采用如下技術方案：

本申請的第一方面提供一種數據存儲方法，包括：

將新增數據加載到內存中進行緩存；

檢測所述內存中的緩存數據是否達到預設條件，若所述內存中的緩存數據達到預設條件，利用所述緩存數據生成一個數據段；

將所述數據段的段信息寫入事務日志中，將所述事務日志寫入磁盤；

將所述數據段緩存到文件緩存系統中，按照預設寫入策略，將所述文件緩存系統中的所述數據段寫入到磁盤中進行存儲，并同步標記寫入狀態(tài)到所述事務日志。

可選的，所述將所述文件緩存系統中的所述數據段寫入到磁盤中進行存儲之后，所述方法還包括：

在所述事務日志上標記所述數據段的寫入已完成后，清除所述內存中已寫入的所述數據段的內存區(qū)域。

可選的，所述將所述文件緩存系統中的所述數據段寫入到磁盤中并存儲之后，還包括：

基于所述磁盤中已完成寫入的所述數據段，生成對應的提交點信息；

所述將所述文件緩存系統中的所述數據段寫入到磁盤中進行存儲，包括：

基于上一次寫入的數據段的提交點信息，確定本次寫入所述磁盤的位置；

基于本次寫入所述磁盤的位置，將所述數據段寫入到磁盤中并存儲。

可選的，所述清除所述內存中已寫入的所述數據段的內存區(qū)域之后，所述方法還包括：

通知數據源處理后續(xù)數據。

可選的，所述段信息包括：所述數據段中數據的起始位置、數據段的名稱和數據段的位置。

本申請的第二方面提供一種數據存儲裝置，包括：

加載模塊，用于將新增數據加載到內存中進行緩存；

生成模塊，用于檢測所述內存中的緩存數據是否達到預設條件，若所述內存中的緩存數據達到預設條件，利用所述緩存數據生成一個數據段；

第一寫入模塊，用于將所述數據段的段信息寫入事務日志中，將所述事務日志寫入磁盤；