[發明專利]壓縮方法和系統以及云存儲方法和系統

有效

• 申請號: 201410166852.8
• 申請日: 2014-04-23
• 公開（公告）號: CN105022741B
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 孫崎
• 申請（專利權）人: 蘇寧易購集團股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張金芝;楊穎

1.一種云存儲的壓縮方法，其特征在于，所述方法包括步驟：

查詢與第一分片數據相似的相關數據，并向元數據服務器查詢所述相關數據所在的存儲服務器信息；

根據所述元數據服務器返回的信息，指示所述第一分片數據或所述相關數據所在的存儲服務器調度數據并執行對應的壓縮操作；

所述查詢與第一分片數據相似的相關數據進一步包括步驟：

通過相對熵原理計算所述第一分片數據的詞頻率-逆向文檔頻率值來獲取所述第一分片數據的特征向量；

通過余弦定理計算所述第一分片數據的特征向量與其他分片數據的特征向量之間的夾角，根據所述夾角確定分片數據之間的相似度，找出與所述第一分片數據最相似的第二分片數據或者所述第二分片數據被壓縮后的第三分片數據。

2.根據權利要求1所述的方法，其特征在于，所述方法中，所述指示所述第一分片數據或所述相關數據所在的存儲服務器調度數據并執行對應的壓縮操作進一步包括步驟：

在所述第一分片數據所在的第一存儲服務器的信息與所述相關數據所在的第二存儲服務器的信息不同時，將數據量少的數據調度至對方存儲服務器上，并在自身存儲服務器上刪除所述數據量少的數據，同時更新元數據信息；

通知所述對方存儲服務器執行對所述第一分片數據與所述相關數據的合并壓縮。

3.根據權利要求1所述的方法，其特征在于，所述方法中，所述查詢與第一分片數據相似的相關數據還包括步驟：

根據用戶自定義的策略，將滿足用戶指定條件所產生的分片數據判定為所述相似的相關數據。

4.根據權利要求1-3中任一項所述的方法，其特征在于，所述方法中還包括步驟：

在執行完所述壓縮操作后，對數據信息進行更新；

其中，所述更新包括：

更新壓縮得到的新分片數據的元數據信息；

刪除參與壓縮的數據，更新所述參與壓縮的數據的元數據信息及壓縮信息。

5.一種云存儲方法，其特征在于，所述云存儲方法在如權利要求1-4中任一項所述的壓縮方法的全部步驟之外還包括步驟：

將全部待存儲數據劃分為分片數據后保存至各存儲服務器上。

6.一種云存儲的壓縮系統，其特征在于，所述系統包括：

相似性確定模塊，用于查詢與第一分片數據相似的相關數據，并向元數據服務器查詢所述相關數據所在的存儲服務器信息；

調度壓縮模塊，用于根據所述元數據服務器返回的信息，指示所述第一分片數據或所述分片數據所在的存儲服務器調度數據并執行對應的壓縮操作；

其中，所述相似性確定模塊中進一步包括：

數據集獲取模塊，用于通過相對熵原理計算所述第一分片數據的詞頻率-逆向文檔頻率值來獲取所述第一分片數據的特征向量；

數據集比對模塊，用于通過余弦定理計算所述第一分片數據的特征向量與其他分片數據的特征向量之間的夾角，根據所述夾角確定分片數據之間的相似度，找出與所述第一分片數據最相似的第二分片數據或者所述第二分片數據被壓縮后的第三分片數據。

7.根據權利要求6所述的系統，其特征在于，所述調度壓縮模塊中進一步包括：

數據調度模塊，用于在所述第一分片數據所在的第一存儲服務器的信息與所述相關數據所在的第二存儲服務器的信息不同時，將數據量少的數據調度至對方存儲服務器上，并在自身存儲服務器上刪除所述數據量少的數據，同時更新元數據信息；

數據壓縮模塊，用于通知所述對方存儲服務器執行對所述第一分片數據與所述相關數據的合并壓縮。

8.根據權利要求6所述的系統，其特征在于，所述相似性確定模塊中還包括：

策略設置模塊，用于根據用戶自定義的策略，將滿足用戶指定條件所產生的分片數據判定為所述相似的相關數據。