[發明專利]數據存儲系統及其全局去重復方法

在審

• 申請號: 202110270233.3
• 申請日: 2021-03-12
• 公開（公告）號: CN112835538A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 蔡金印;賴義麟
• 申請（專利權）人: 威盛電子股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/215;G06F16/27
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 錢大勇

一種數據存儲系統及其全局去重復方法。數據存儲系統包括多個存儲裝置以及一個分派裝置。分派裝置將數據寫請求所對應的原數據切割為至少一個數據塊。分派裝置對數據塊進行摘要計算，以產生代表值。分派裝置對代表值進行分布計算，以決定代表值所對應的目的位置。分派裝置依照目的位置而通過通信網絡將數據塊與代表值傳輸至這些存儲裝置中的至少一個目的存儲裝置。所述目的存儲裝置檢查代表值，以決定是否將數據塊存入所述至少一個目的存儲裝置的存儲空間中。

技術領域

本發明是有關于一種數據存儲技術，且特別是有關于一種數據存儲系統及其全局去重復方法。

背景技術

分布式存儲系統(數據存儲系統)包括多個對象存儲裝置(object storagedevice)。這些對象存儲裝置可以經由通信網絡而彼此連接，其中所述通信網絡包括局域網絡以及(或是)網際網絡。多個用戶裝置可以通過網絡而將數據存儲于分布式存儲系統。無論如何，存儲于分布式存儲系統中的數據可能有重復。為了將大量數據更有效地存儲在分布式存儲系統中，需要一種數據縮減技術，例如去重復(deduplication)技術。去重復技術可以消除重復數據的副本，以降低存儲數據量。

分布式存儲系統的一個范例是Ceph。公知的Ceph是一種開源軟體存儲平臺(open-source software storage platform)，其將對象存儲實施在單個分布式計算機群(distributed computer cluster)。由于分布式存儲系統的數據處理過程和附加的元數據(metadata)管理，分布式存儲系統很難進行全局去重復。例如，Ceph沒有支持全局去重復。

須注意的是，“背景技術”段落的內容是用來幫助了解本發明。在“背景技術”段落所揭露的部分內容(或全部內容)可能不是本領域普通技術人員所知道的公知技術。在“背景技術”段落所揭露的內容，不代表該內容在本發明申請前已被本領域普通技術人員所知悉。

發明內容

本發明提供一種數據存儲系統及其全局去重復方法，其可以在分布式存儲環境中有效去重復。

在本發明的實施例中，上述的數據存儲系統包括多個存儲裝置以及一個分派裝置。這些存儲裝置適于耦接至通信網絡。分派裝置適于接收數據寫請求。分派裝置被配置為將數據寫請求所對應的原數據切割為至少一個數據塊。分派裝置對在所述至少一個數據塊中的一個目前數據塊進行摘要計算，以產生目前數據塊所對應的代表值。分派裝置對代表值進行第一分布計算，以決定代表值所對應的目的位置。分派裝置依照目的位置而通過通信網絡將目前數據塊與代表值傳輸至這些存儲裝置中的至少一個目的存儲裝置。所述至少一個目的存儲裝置檢查代表值，以決定是否將目前數據塊存入所述至少一個目的存儲裝置的存儲空間中。

在本發明的實施例中，上述的一種全局去重復方法包括：由分派裝置接收數據寫請求；由分派裝置將數據寫請求所對應的原數據切割為至少一個數據塊；由分派裝置對在所述至少一個數據塊中的一個目前數據塊進行摘要計算，以產生目前數據塊所對應的代表值；由分派裝置對代表值進行第一分布計算，以決定代表值所對應的目的位置；由分派裝置依照目的位置而通過通信網絡將目前數據塊與代表值傳輸至多個存儲裝置中的至少一個目的存儲裝置；以及由所述至少一個目的存儲裝置檢查代表值，以決定是否將目前數據塊存入所述至少一個目的存儲裝置的存儲空間中。

基于上述，本發明諸實施例所述數據存儲系統及其全局去重復方法可以被應用于分布式存儲系統。分派裝置可以產生目前數據塊所對應的代表值，以及依據代表值決定目的位置。依照所述目的位置，分派裝置可以通過通信網絡(例如局域網絡或是其他網絡)將目前數據塊與代表值傳輸至多個存儲裝置中的至少一個目的存儲裝置。也就是說，相同的數據塊會被傳送至相同的存儲裝置。所述目的存儲裝置可以檢查代表值，以決定是否將目前數據塊存入其本地的存儲空間中。因此，所述數據存儲系統可以在分布式存儲環境中有效去重復。

為讓本發明的上述特征和優點能更明顯易懂，下文特舉實施例，并配合附圖詳細說明如下。

附圖說明