[發明專利]一種數據存儲方法及裝置

有效

• 申請號: 201611159962.7
• 申請日: 2016-12-15
• 公開（公告）號: CN108234552B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 潘曉東;胡林紅;莫衍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種數據存儲方法，其特征在于，所述方法包括：

對當前需要存儲的數據進行數據分塊，得到至少一個數據塊；

獲取各個所述數據塊的數據標識；

根據預置消息摘要算法對各個所述數據塊的數據標識進行處理，得到各個所述數據塊所屬的置放群組；

根據所述預置消息摘要算法對所述置放群組的群組標識進行處理，得到所述置放群組所包含的數據塊關聯的對象存儲器；

確定所述置放群組所包含的所有數據塊的數據量總和；

當所述數據量總和位于預置數據量范圍內時，將所述預置數據量范圍對應的壓縮算法作為與所述置放群組所包含的數據塊關聯的對象存儲器匹配的壓縮算法，其中，所述預置數據量范圍和壓縮算法的對應關系為預先建立；

通過若干個第一線程，根據與所述對象存儲器匹配的壓縮算法，對所述對象存儲器關聯的數據塊進行壓縮，得到所述對象存儲器關聯的壓縮數據；

通過若干個第二線程，將所述壓縮數據存儲到所述壓縮數據關聯的對象存儲器中。

2.如權利要求1所述的方法，其特征在于，所述對當前需要存儲的數據進行數據分塊，得到至少一個數據塊，包括：

根據預置數據量對所述數據進行數據分塊，得到至少一個數據塊，其中所述至少一個數據塊中的最后一個數據塊的數據量小于或者等于所述預置數據量，所述至少一個數據塊中除所述最后一個數據塊以外的其他數據塊的數據量均等于所述預置數據量。

3.如權利要求1所述的方法，其特征在于，所述通過若干個第一線程，根據與所述對象存儲器匹配的壓縮算法，對所述對象存儲器關聯的數據塊進行壓縮，得到所述對象存儲器關聯的壓縮數據之后，還包括：

生成所述數據的索引信息，所述索引信息包括各個所述數據塊的偏移，以及各個所述數據塊對應的壓縮數據所采用的壓縮算法。

4.如權利要求3所述的方法，其特征在于，所述方法還包括：

接收數據獲取請求，所述數據獲取請求攜帶數據標識；

獲取所述數據標識所對應數據的索引信息；

根據所述索引信息所包含的各個所述數據塊對應的壓縮數據所采用的壓縮算法，確定各個所述壓縮數據所需的解壓縮算法；

根據各個所述壓縮數據所需的解壓縮算法對所述壓縮數據進行解壓縮，得到各個所述壓縮數據對應的數據塊；

根據各個所述數據塊的偏移，對各個所述數據塊進行組裝得到所述數據。

5.一種數據存儲裝置，其特征在于，所述裝置包括：

數據分塊單元，用于對當前需要存儲的數據進行數據分塊，得到至少一個數據塊；

確定單元，用于獲取各個所述數據塊的數據標識；根據預置消息摘要算法對各個所述數據塊的數據標識進行處理，得到各個所述數據塊所屬的置放群組；根據所述預置消息摘要算法對所述置放群組的群組標識進行處理，得到所述置放群組所包含的數據塊關聯的對象存儲器；確定所述置放群組所包含的所有數據塊的數據量總和；當所述數據量總和位于預置數據量范圍內時，將所述預置數據量范圍對應的壓縮算法作為與所述置放群組所包含的數據塊關聯的對象存儲器匹配的壓縮算法，其中，所述預置數據量范圍和壓縮算法的對應關系為預先建立；

壓縮單元，用于通過若干個第一線程，根據與所述對象存儲器匹配的壓縮算法，對所述對象存儲器關聯的數據塊進行壓縮，得到所述對象存儲器關聯的壓縮數據；

存儲單元，用于通過若干個第二線程，將所述壓縮數據存儲到所述壓縮數據關聯的對象存儲器中。

6.如權利要求5所述的裝置，其特征在于，所述數據分塊單元，具體用于：

根據預置數據量對所述數據進行數據分塊，得到至少一個數據塊，其中所述至少一個數據塊中的最后一個數據塊的數據量小于或者等于所述預置數據量，所述至少一個數據塊中除所述最后一個數據塊以外的其他數據塊的數據量均等于所述預置數據量。