[發(fā)明專利]一種數(shù)據(jù)歸檔查詢方法、系統(tǒng)、存儲(chǔ)介質(zhì)及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011562649.4
• 申請(qǐng)日: 2020-12-25
• 公開(kāi)（公告）號(hào): CN112631833A
• 公開(kāi)（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 丁麒森;田琳
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F16/13;G06F16/14
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 劉小峰;陳黎明

1.一種數(shù)據(jù)歸檔查詢方法，其特征在于，包括以下步驟：

將待歸檔數(shù)據(jù)按照預(yù)設(shè)的歸檔規(guī)則分為不同的n份并進(jìn)行m次分發(fā)，其中，每次將n份待歸檔數(shù)據(jù)分別分發(fā)到對(duì)應(yīng)的n個(gè)存儲(chǔ)節(jié)點(diǎn)，并使得每個(gè)存儲(chǔ)節(jié)點(diǎn)中有m份不同的待歸檔數(shù)據(jù)塊，且m大于1；

將所有的待歸檔數(shù)據(jù)塊分別在各自的存儲(chǔ)節(jié)點(diǎn)中進(jìn)行歸檔并生成各自的索引文件；

響應(yīng)于接收到查詢命令，將所述查詢命令下發(fā)到各存儲(chǔ)節(jié)點(diǎn)；

基于所述查詢命令在各存儲(chǔ)節(jié)點(diǎn)中分別加載各自的索引文件并對(duì)其中的主索引文件進(jìn)行查詢，其中，所述主索引文件對(duì)應(yīng)于各存儲(chǔ)節(jié)點(diǎn)中首次分發(fā)到的待歸檔數(shù)據(jù)塊；

基于所述主索引文件得出并返回查詢結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

響應(yīng)于有存儲(chǔ)節(jié)點(diǎn)的主索引文件丟失，基于所述查詢命令對(duì)其他存儲(chǔ)節(jié)點(diǎn)中與所述主索引文件對(duì)應(yīng)的副索引文件進(jìn)行查詢，其中，所述副索引文件還對(duì)應(yīng)于所述其他存儲(chǔ)節(jié)點(diǎn)中第二次分發(fā)到的待歸檔數(shù)據(jù)塊。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所有的待歸檔數(shù)據(jù)塊分別在各自的存儲(chǔ)節(jié)點(diǎn)中進(jìn)行歸檔并生成各自的索引文件包括：

將所有的待歸檔數(shù)據(jù)塊分別在各自的存儲(chǔ)節(jié)點(diǎn)中通過(guò)lucene進(jìn)行歸檔并生成各自的索引文件。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，將所有的待歸檔數(shù)據(jù)塊分別在各自的存儲(chǔ)節(jié)點(diǎn)中通過(guò)Lucene進(jìn)行歸檔并生成各自的索引文件包括：

將所有的待歸檔數(shù)據(jù)塊的數(shù)據(jù)格式轉(zhuǎn)化為文本格式后分別在各自的存儲(chǔ)節(jié)點(diǎn)中通過(guò)Lucene進(jìn)行歸檔并生成各自的索引文件。

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述方法還包括：

在各存儲(chǔ)節(jié)點(diǎn)中分別生成各索引文件的MD5校驗(yàn)值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述主索引文件得出并返回查詢結(jié)果包括：

響應(yīng)于所述查詢結(jié)果中有重復(fù)的索引文件，將所述重復(fù)的索引文件進(jìn)行去重，并將去重后的結(jié)果返回。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待歸檔數(shù)據(jù)包括數(shù)據(jù)庫(kù)中的在預(yù)設(shè)期限內(nèi)未使用的數(shù)據(jù)。

8.一種數(shù)據(jù)歸檔查詢系統(tǒng)，其特征在于，包括：

待歸檔數(shù)據(jù)分發(fā)模塊，配置用于將待歸檔數(shù)據(jù)按照預(yù)設(shè)的歸檔規(guī)則分為不同的n份并進(jìn)行m次分發(fā)，其中，每次將n份待歸檔數(shù)據(jù)分別分發(fā)到對(duì)應(yīng)的n個(gè)存儲(chǔ)節(jié)點(diǎn)，并使得每個(gè)存儲(chǔ)節(jié)點(diǎn)中有m份不同的待歸檔數(shù)據(jù)塊，且m大于1；

索引文件生成模塊，配置用于將所有的待歸檔數(shù)據(jù)塊分別在各自的存儲(chǔ)節(jié)點(diǎn)中進(jìn)行歸檔并生成各自的索引文件；

查詢命令下發(fā)模塊，配置用于響應(yīng)于接收到查詢命令，將所述查詢命令下發(fā)到各存儲(chǔ)節(jié)點(diǎn)；

主索引文件查詢模塊，配置用于基于所述查詢命令在各存儲(chǔ)節(jié)點(diǎn)中分別加載各自的索引文件并對(duì)其中的主索引文件進(jìn)行查詢，其中，所述主索引文件對(duì)應(yīng)于各存儲(chǔ)節(jié)點(diǎn)中首次分發(fā)到的待歸檔數(shù)據(jù)塊；以及

查詢結(jié)果接收模塊，配置用于基于所述主索引文件得出并返回查詢結(jié)果。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)執(zhí)行如權(quán)利要求1-7任意一項(xiàng)所述的方法。