[發(fā)明專利]分布式存儲方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110603415.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113282242B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 胡祖穎;孫承華
• 申請（專利權(quán)）人: 杭州海康存儲科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/22;G06F16/27
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 李珂珂

1.一種分布式存儲方法，其特征在于，所述方法包括：

從多個(gè)分片數(shù)據(jù)中獲取待處理分片數(shù)據(jù)；

生成所述待處理分片數(shù)據(jù)的分片索引對象，所述分片索引對象包括所述待處理分片數(shù)據(jù)的分片摘要和所述待處理分片數(shù)據(jù)；

基于預(yù)生成的索引對象和當(dāng)前生成的分片索引對象，邊生成父索引對象，邊異步地將所述預(yù)生成的索引對象和/或所述當(dāng)前生成的分片索引對象發(fā)送至對應(yīng)的存儲節(jié)點(diǎn)，所述父索引對象包括父摘要，所述父索引對象指示所述當(dāng)前生成的分片索引對象的存儲節(jié)點(diǎn)；

其中，所述預(yù)生成的索引對象和/或所述當(dāng)前生成的分片索引對象是指在生成所述父索引對象之后計(jì)算后續(xù)的索引對象所不依賴的索引對象；所述預(yù)生成的索引對象是指在所述當(dāng)前生成的分片索引對象之前生成的索引對象。

2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)生成的索引對象為預(yù)生成的其他的分片索引對象，或預(yù)生成的其他的父索引對象。

3.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)生成的索引對象存儲于臨時(shí)變量空間；

所述生成所述待處理分片數(shù)據(jù)的分片索引對象之后，所述基于預(yù)生成的索引對象和當(dāng)前生成的分片索引對象，生成父索引對象之前，還包括：

如果所述待處理分片數(shù)據(jù)不包括所述多個(gè)分片數(shù)據(jù)中的第一個(gè)分片數(shù)據(jù)和最后一個(gè)分片數(shù)據(jù)，則從所述臨時(shí)變量空間中獲取所述預(yù)生成的索引對象，清空所述臨時(shí)變量空間；

相應(yīng)地，所述生成父索引對象之后，還包括：

將所述父索引對象存放到所述臨時(shí)變量空間，繼續(xù)執(zhí)行所述從多個(gè)分片數(shù)據(jù)中獲取待處理分片數(shù)據(jù)的步驟。

4.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)生成的索引對象存儲于臨時(shí)變量空間；

所述生成所述待處理分片數(shù)據(jù)的分片索引對象之后，還包括：

如果所述待處理分片數(shù)據(jù)包括所述多個(gè)分片數(shù)據(jù)中的第一個(gè)分片數(shù)據(jù)，則將所述當(dāng)前生成的分片索引對象存放到所述臨時(shí)變量空間，繼續(xù)執(zhí)行所述從多個(gè)分片數(shù)據(jù)中讀取待處理分片數(shù)據(jù)的步驟。

5.如權(quán)利要求1所述的方法，其特征在于，所述生成父索引對象之后，還包括：

如果所述待處理分片數(shù)據(jù)包括所述多個(gè)分片數(shù)據(jù)中的最后一個(gè)分片數(shù)據(jù)，則將所述父索引對象發(fā)送至對應(yīng)的存儲節(jié)點(diǎn)。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，所述分片索引對象包括數(shù)據(jù)字段和摘要字段，所述分片索引對象包括的數(shù)據(jù)字段用于存儲對應(yīng)的分片數(shù)據(jù)，所述分片索引對象包括的摘要字段用于存儲相應(yīng)分片數(shù)據(jù)的分片摘要；

所述父索引對象包括摘要字段和鏈接字段，所述父索引對象包括的摘要字段用于存儲對應(yīng)的父摘要，所述父索引對象包括的鏈接字段用于存儲相應(yīng)子索引對象的鏈接信息，所述鏈接信息包括摘要字段，所述鏈接信息包括的摘要字段用于存儲相應(yīng)子索引對象包括的摘要，所述子索引對象是指參與生成所述父索引對象的索引對象。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述鏈接信息還包括名稱字段和數(shù)據(jù)量字段中的至少一個(gè)，所述鏈接信息包括的名稱字段用于存儲相應(yīng)子索引對象對應(yīng)的文件名稱，所述鏈接信息包括的數(shù)據(jù)量字段用于存儲相應(yīng)子索引對象對應(yīng)的文件大小。

8.一種分布式存儲裝置，其特征在于，所述裝置包括：

獲取模塊，用于從多個(gè)分片數(shù)據(jù)中獲取待處理分片數(shù)據(jù)；

第一處理模塊，用于生成所述待處理分片數(shù)據(jù)的分片索引對象，所述分片索引對象包括所述待處理分片數(shù)據(jù)的分片摘要和所述待處理分片數(shù)據(jù)；

第二處理模塊，用于基于預(yù)生成的索引對象和當(dāng)前生成的分片索引對象，邊生成父索引對象，邊異步地將所述預(yù)生成的索引對象和/或所述當(dāng)前生成的分片索引對象發(fā)送至對應(yīng)的存儲節(jié)點(diǎn)，所述父索引對象包括父摘要，所述父索引對象指示所述當(dāng)前生成的分片索引對象的存儲節(jié)點(diǎn)；

其中，所述預(yù)生成的索引對象和/或所述當(dāng)前生成的分片索引對象是指在生成所述父索引對象之后計(jì)算后續(xù)的索引對象所不依賴的索引對象；所述預(yù)生成的索引對象是指在所述當(dāng)前生成的分片索引對象之前生成的索引對象。