[發明專利]數據存儲、檢索方法、系統及存儲介質

在審

• 申請號: 201811366138.8
• 申請日: 2018-11-16
• 公開（公告）號: CN109522310A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 張志遠;火一莽;萬志宏;石志中;張俊杰
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/21;G06F16/25
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了數據存儲、檢索方法、系統及存儲介質。數據存儲方法包括應用于數據存儲系統，數據存儲系統包括數據分發分片管理器和服務器，服務器包括至少兩個數據管理系統，每個數據管理系統包括數據存儲區域，方法包括：數據分發分片管理器獲取待存儲數據及待存儲數據的標識信息；數據分發分片管理器基于標識信息將待存儲數據分發至至少兩個數據管理系統中；至少兩個數據管理系統中，每個數據管理系統將分發到自身數據管理系統的子數據存儲至數據管理系統中的數據存儲區域。通過本發明實施例提供的技術方案，可以實現在單個服務器環境下對數據進行分片存儲，減少單數據管理系統承載大量數據所帶來的高負載，可以有效提升數據存儲性能。

技術領域

本發明實施例涉及大數據處理技術領域，尤其涉及數據存儲、檢索方法、系統及存儲介質。

背景技術

對于結構化數據的處理，在單個服務器環境下一般會將數據進行整體存儲與管理。其中，整體存儲與管理包含邏輯空間分類存儲管理及與邏輯空間對應的物理文件塊的存儲管理。無論是對數據進行邏輯空間分類存儲管理，還是對數據進行與邏輯空間對應的物理文件塊的存儲管理，其管理方式都是由單一的一套數據管理機制對數據進行統一的管理，這樣的目的，主要是實現了對數據存儲的管理統一、數據分派的統一、數據檢索的查找及統一。

然而，上述數據管理存儲方案的不足在于，當數據膨脹、暴增至一定階段，單個服務器環境的數據管理機制將承擔大塊數據的數據存儲管理、大塊數據的數據統計、大塊數據的一致性管理等工作。在進行數據檢索、查找時，其檢索的性能會隨著其管理的數據量或數據塊的增大而降低，從而造成數據管理器的管理過于負重(如，索引標記量的過重、數據統計字典表數據的過重)等，因此解決單一服務器環境下的單一管理服務，減輕數據管理壓力來獲得高性能檢索等這一系列問題成為本領域的一個研究方向。

發明內容

本發明實施例提供數據存儲、檢索方法、系統及存儲介質，可以實現在單個服務器環境下對數據進行分片存儲，減少單數據管理系統承載大量數據所帶來的高負載。

第一方面，本發明實施例提供了一種數據傳輸方法，應用于數據存儲系統，所述數據存儲系統包括數據分發分片管理器和服務器，所述服務器包括至少兩個數據管理系統，每個數據管理系統包括數據存儲區域，所述方法包括：

所述數據分發分片管理器獲取待存儲數據及所述待存儲數據的標識信息；

所述數據分發分片管理器基于所述標識信息將所述待存儲數據分發至所述至少兩個數據管理系統中；

所述至少兩個數據管理系統中，每個數據管理系統將分發到自身數據管理系統的子數據存儲至所述數據管理系統中的數據存儲區域。

進一步的，獲取待存儲數據及所述待存儲數據的標識信息，包括：

獲取待存儲數據及所述待存儲數據的數據信息；

根據所述數據信息生成與所述待存儲數據唯一對應的主鍵；

將所述主鍵作為所述待存儲數據的標識信息。

進一步的，獲取待存儲數據包括：

讀取原始數據；

按照預設規則對所述原始數據進行過濾處理，將過濾處理后的原始數據作為待存儲數據。

進一步的，每個數據管理系統還包括數據內存區域；

每個數據管理系統將分發到自身數據管理系統的子數據存儲至所述數據管理系統中的數據存儲區域，包括：

每個數據管理系統將分發到自身數據管理系統的子數據存儲至所述數據管理系統中的數據內存區域；

當所述數據內存區域的當前可用空間小于預設閾值時，將所述子數據轉存至所述數據管理系統中的數據存儲區域。