[發明專利]一種數據歸檔查詢方法、系統、存儲介質及設備

在審

• 申請號: 202011562649.4
• 申請日: 2020-12-25
• 公開（公告）號: CN112631833A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 丁麒森;田琳
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/13;G06F16/14
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;陳黎明

本發明提供了一種數據歸檔查詢方法、系統、存儲介質及設備，方法包括以下步驟：將待歸檔數據按照預設的歸檔規則分為不同的n份并進行m次分發，其中，每次將n份待歸檔數據分別分發到對應的n個存儲節點，并使得每個存儲節點中有m份不同的待歸檔數據塊，且m大于1；將所有的待歸檔數據塊分別在各自的存儲節點中進行歸檔并生成各自的索引文件；響應于接收到查詢命令，將查詢命令下發到各存儲節點；基于查詢命令在各存儲節點中分別加載各自的索引文件并對其中的主索引文件進行查詢，其中，主索引文件對應于各存儲節點中首次分發到的待歸檔數據塊；基于主索引文件得出并返回查詢結果。本發明提高了查詢長期不使用數據的效率。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據歸檔查詢方法、系統、存儲介質及設備。

背景技術

目前的技術中，查詢長期不使用的數據為從數據庫中查詢出指定過期數據，以文本形式持久化到磁盤中。但是文本形式的數據，要進行查詢的話，就只能全部讀入內存，進行遍歷查詢，效率很低。現有技術中還可以使用數據庫的日志文件進行轉儲，但是不同的數據庫，其日志形式不一樣，無法統一解析，不易留存，且數據庫日志無法直接查詢，其數據需要導入庫中，再進行查詢，數據的導入，可能會帶來主鍵沖突或鎖表等異常情況，破壞數據庫運行。

發明內容

有鑒于此，本發明的目的在于提出一種數據歸檔查詢方法，用以解決現有技術中查詢長期不使用的數據效率低的問題。

基于上述目的，本發明提供了一種數據歸檔查詢方法，包括如下步驟：

將待歸檔數據按照預設的歸檔規則分為不同的n份并進行m次分發，其中，每次將n份待歸檔數據分別分發到對應的n個存儲節點，并使得每個存儲節點中有m份不同的待歸檔數據塊，且m大于1；

將所有的待歸檔數據塊分別在各自的存儲節點中進行歸檔并生成各自的索引文件；

響應于接收到查詢命令，將查詢命令下發到各存儲節點；

基于查詢命令在各存儲節點中分別加載各自的索引文件并對其中的主索引文件進行查詢，其中，主索引文件對應于各存儲節點中首次分發到的待歸檔數據塊；

基于主索引文件得出并返回查詢結果。

在一些實施例中，方法還包括：響應于有存儲節點的主索引文件丟失，基于查詢命令對其他存儲節點中與主索引文件對應的副索引文件進行查詢，其中，副索引文件還對應于其他存儲節點中第二次分發到的待歸檔數據塊。

在一些實施例中，將所有的待歸檔數據塊分別在各自的存儲節點中進行歸檔并生成各自的索引文件包括：將所有的待歸檔數據塊分別在各自的存儲節點中通過Lucene進行歸檔并生成各自的索引文件。

在一些實施例中，將所有的待歸檔數據塊分別在各自的存儲節點中通過Lucene進行歸檔并生成各自的索引文件包括：將所有的待歸檔數據塊的數據格式轉化為文本格式后分別在各自的存儲節點中通過Lucene進行歸檔并生成各自的索引文件。

在一些實施例中，方法還包括：在各存儲節點中分別生成各索引文件的MD5校驗值。

在一些實施例中，基于主索引文件得出并返回查詢結果包括：響應于查詢結果中有重復的索引文件，將重復的索引文件進行去重，并將去重后的結果返回。

在一些實施例中，待歸檔數據包括數據庫中的在預設期限內未使用的數據。

本發明的另一方面，還提供了一種數據歸檔查詢系統，包括：

待歸檔數據分發模塊，配置用于將待歸檔數據按照預設的歸檔規則分為不同的n份并進行m次分發，其中，每次將n份待歸檔數據分別分發到對應的n個存儲節點，并使得每個存儲節點中有m份不同的待歸檔數據塊，且m大于1；