[發明專利]用于對網絡編碼的分布式存儲進行重復數據刪除的系統及相關技術

有效

• 申請號: 201880068242.0
• 申請日: 2018-11-08
• 公開（公告）號: CN111247509B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: M·梅達爾;P·納拉亞南穆爾蒂;V·阿伯德拉施托夫
• 申請（專利權）人: 麻省理工學院
• 主分類號: G06F3/06
• 分類號: G06F3/06;H04L41/12;H04L61/103;H04L9/40;H04L61/5007;G06F21/62;H04L101/686
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉瑜

1.一種用于對文件進行編碼的方法，所述方法包括：

識別要被存儲的文件；

對所述文件進行編碼以生成多個編碼分組；

生成與所述文件相關聯的散列碼；

將所述多個編碼分組分發到多個存儲節點；以及

將與所述文件相關聯的所述散列碼存儲在散列服務器中。

2.根據權利要求1所述的方法，進一步包括：

生成與源節點相關聯的公鑰并將所述公鑰存儲在所述散列服務器中。

3.根據權利要求1所述的方法，其中生成與所述文件相關聯的散列碼包括針對多個文件生成散列碼。

4.根據權利要求1所述的方法，其中對所述文件進行編碼進一步包括：

使用隨機線性網絡編碼(RLNC)對所述文件進行編碼以生成多個RLNC編碼分組。

5.根據權利要求1所述的方法，其中將所述多個編碼分組分發到多個存儲節點進一步包括以下中的至少一個：

以順序次序將所述多個編碼分組分發到多個存儲節點；以及

以隨機次序將所述多個編碼分組分發到多個存儲節點。

6.根據權利要求1所述的方法，其中將所述多個編碼分組分發到多個存儲節點進一步包括：

基于在至少一個源節點與多個存儲節點中的至少一些存儲節點之間的數據傳輸速率將所述多個編碼分組分發到所述多個存儲節點。

7.一種用于對文件進行編碼的裝置，所述裝置包括：

編碼分組生成器，其被配置為：

對所述源文件進行編碼以生成多個編碼分組；并且

將所述多個編碼分組分發到多個存儲節點；以及

散列生成器，其被配置為：

生成與所述源文件相關聯的散列碼；并且

將與所述源文件相關聯的所述散列碼存儲在散列服務器中。

8.根據權利要求7所述的裝置，進一步包括：

公鑰生成器，其被配置為：

生成與所述源節點相關聯的公鑰并將所述公鑰存儲在所述散列服務器中。

9.根據權利要求7所述的裝置，進一步包括用于識別要被存儲的源文件的單元。

10.一種用于在分布式存儲系統中對編碼分組進行重復數據刪除的方法，所述方法包括：

在存儲節點處接收編碼分組；

從散列服務器取回與所述編碼分組相對應的散列碼；

基于所述散列碼確定所述編碼分組是否已被存儲在所述存儲節點中；

響應于所述編碼分組已被存儲的確定，丟棄所述編碼分組；以及

響應于所述編碼分組尚未被存儲的確定，將所述編碼分組存儲在所述存儲節點中。

11.根據權利要求10所述的方法，其中確定所述編碼分組是否已被存儲在所述存儲節點中進一步包括：

將所述散列碼與所述編碼分組進行比較，以確定所述編碼分組是否已被存儲在所述存儲節點中。

12.根據權利要求10所述的方法，進一步包括：

從所述散列服務器取回與發送所述編碼分組的源節點相對應的公鑰；以及

在確定所述編碼分組是否已被存儲在所述存儲節點中時使用所述公鑰。

13.根據權利要求10所述的方法，進一步包括：

響應于所述編碼分組尚未被存儲的確定，取回針對附加源節點的附加散列碼以確定所述編碼分組是否已被存儲在所述存儲節點中。

14.根據權利要求13所述的方法，進一步包括：

取回與附加源節點相對應的附加公鑰，以確定所述編碼分組是否已被存儲在所述存儲節點中。

15.根據權利要求10所述的方法，其中在存儲節點處接收編碼分組包括接收網絡編碼分組。