[發明專利]分布式存儲方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202110603415.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113282242B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 胡祖穎;孫承華
• 申請（專利權）人: 杭州海康存儲科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/22;G06F16/27
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 李珂珂

本申請實施例公開了一種分布式存儲方法、裝置、設備及計算機可讀存儲介質，屬于數據存儲技術領域。在本申請實施例中，邊生成索引對象，邊異步地將后續計算不依賴的索引對象(包括預生成的和/或當前生成的)發送出去，這樣，如果一次處理部分分片數據，則能夠在計算的同時并行發送數據，減少了對磁盤的資源占用，減少了數據寫入磁盤和從磁盤讀出數據的時間，提高了數據存儲效率。另外，若本方案直接一次獲取全部的N個分片數據，生成N個分片索引對象，之后再基于這N個分片索引對象生成一個父索引對象，那么索引對象的總數量為N+1，也即需要存儲的索引對象的數量較少，由此可見，本方案能夠減少數據傳輸次數，提高數據存儲效率。

技術領域

本申請實施例涉及數據存儲技術領域，特別涉及一種分布式存儲方法、裝置、設備及計算機可讀存儲介質。

背景技術

分布式存儲系統，是將數據分散傳輸并存儲在多個獨立的存儲節點上，利用多個存儲節點分擔存儲負荷，不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

在相關技術中，基于默克爾樹實現分布式存儲，用戶節點將文件上傳至多個存儲節點存儲的過程包括文件分片和分片上傳。其中，文件分片的過程為：對待存儲的文件數據進行分片，得到N個分片數據，將各個分片數據作為默克爾樹最底層的葉子節點，計算各個葉子節點的哈希值，并生成每個葉子節點對應的索引對象；將N個葉子節點的哈希值兩兩配對計算哈希值，得到上一層葉子節點的哈希值，重復這個過程，直至計算出根節點的哈希值，并生成根節點的索引對象；得到的各個索引對象存儲在用戶節點的磁盤中，所有索引對象形成默克爾樹的拓撲結構。分片上傳的過程為：從磁盤中讀取各個索引對象，并發送到對應的存儲節點。

相關技術中，計算得到的每個索引對象都需要寫入磁盤中，向存儲節點發送時又需要從磁盤中讀取每個索引對象，寫入和讀取的時間很長，導致分布式存儲的效率很低，且基于默克爾樹的分布式存儲方法得到的索引對象的總數量為2*N或2*N-1，需要傳輸的索引對象的數量較多，傳輸時間長，存儲效率低。因此，亟需一種新的分布式存儲方法提高存儲效率。

發明內容

本申請實施例提供了一種分布式存儲方法、裝置、設備及計算機可讀存儲介質，能夠提高數據存儲效率。所述技術方案如下：

一方面，提供了一種分布式存儲方法，所述方法包括：

從多個分片數據中獲取待處理分片數據；

生成所述待處理分片數據的分片索引對象，所述分片索引對象包括所述待處理分片數據的分片摘要和所述待處理分片數據；

基于預生成的索引對象和當前生成的分片索引對象，生成父索引對象，以及將所述預生成的索引對象和/或所述當前生成的分片索引對象發送至對應的存儲節點，所述父索引對象包括父摘要，所述父索引對象指示所述當前生成的分片索引對象的存儲節點。

可選地，所述預生成的索引對象為預生成的其他的分片索引對象，或預生成的其他的父索引對象。

可選地，所述預生成的索引對象存儲于臨時變量空間；

所述生成所述待處理分片數據的分片索引對象之后，所述基于預生成的索引對象和當前生成的分片索引對象，生成父索引對象之前，還包括：

如果所述待處理分片數據不包括所述多個分片數據中的第一個分片數據和最后一個分片數據，則從所述臨時變量空間中獲取所述預生成的索引對象，清空所述臨時變量空間；

相應地，所述生成父索引對象之后，還包括：

將所述父索引對象存放到所述臨時變量空間，繼續執行所述從多個分片數據中獲取待處理分片數據的步驟。

可選地，所述預生成的索引對象存儲于臨時變量空間；

所述生成所述待處理分片數據的分片索引對象之后，還包括：