[發(fā)明專利]數(shù)據(jù)存儲(chǔ)系統(tǒng)及其全局去重復(fù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110270233.3
• 申請(qǐng)日: 2021-03-12
• 公開（公告）號(hào): CN112835538A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 蔡金印;賴義麟
• 申請(qǐng)（專利權(quán)）人: 威盛電子股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F16/215;G06F16/27
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 錢大勇

1.一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括：

多個(gè)存儲(chǔ)裝置，適于耦接至通信網(wǎng)絡(luò)；以及

分派裝置，適于接收數(shù)據(jù)寫請(qǐng)求，其中該分派裝置被配置為將該數(shù)據(jù)寫請(qǐng)求所對(duì)應(yīng)的原數(shù)據(jù)切割為至少一個(gè)數(shù)據(jù)塊，該分派裝置對(duì)在該至少一個(gè)數(shù)據(jù)塊中的一個(gè)目前數(shù)據(jù)塊進(jìn)行摘要計(jì)算以產(chǎn)生該目前數(shù)據(jù)塊所對(duì)應(yīng)的代表值，該分派裝置對(duì)該代表值進(jìn)行第一分布計(jì)算以決定該代表值所對(duì)應(yīng)的目的位置，以及該分派裝置依照該目的位置而通過該通信網(wǎng)絡(luò)將該目前數(shù)據(jù)塊與該代表值傳輸至該些存儲(chǔ)裝置中的至少一個(gè)目的存儲(chǔ)裝置；

其中該至少一個(gè)目的存儲(chǔ)裝置檢查該代表值以決定是否將該目前數(shù)據(jù)塊存入該至少一個(gè)目的存儲(chǔ)裝置的存儲(chǔ)空間中。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該些存儲(chǔ)裝置中的至少一個(gè)被選用為該分派裝置。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該摘要計(jì)算包括哈希演算法，而該代表值包括該目前數(shù)據(jù)塊的哈希值。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該第一分布計(jì)算包括CephCRUSH演算法。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該至少一個(gè)目的存儲(chǔ)裝置檢查查找表有無該代表值，

當(dāng)該查找表有該代表值時(shí)，該至少一個(gè)目的存儲(chǔ)裝置放棄將該目前數(shù)據(jù)塊存入該存儲(chǔ)空間中，調(diào)增該代表值所對(duì)應(yīng)的參照次數(shù)值，以及將該參照次數(shù)值更新至該查找表；以及

當(dāng)該查找表沒有該代表值時(shí)，該至少一個(gè)目的存儲(chǔ)裝置將該目前數(shù)據(jù)塊存于該存儲(chǔ)空間的物理地址，將該代表值所對(duì)應(yīng)的該參照次數(shù)值設(shè)為初始值，以及將該代表值、該物理地址與該參照次數(shù)值記錄在該查找表。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該數(shù)據(jù)寫請(qǐng)求還包括原鍵值，該分派裝置將該原鍵值與該代表值的映射關(guān)系記錄至查找表中。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該分派裝置包括主分派裝置以及備用分派裝置，該數(shù)據(jù)寫請(qǐng)求還包括原鍵值，該主分派裝置將該原鍵值與該代表值的映射關(guān)系記錄至查找表中，以及將該查找表提供給該備用分派裝置。

8.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該至少一個(gè)目的存儲(chǔ)裝置包括第一目的存儲(chǔ)裝置與第二目的存儲(chǔ)裝置，該分派裝置通過該通信網(wǎng)絡(luò)將該目前數(shù)據(jù)塊與該代表值傳輸至該第一目的存儲(chǔ)裝置與該第二目的存儲(chǔ)裝置。

9.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該分派裝置包括糾刪編碼裝置以及至少一個(gè)數(shù)據(jù)分派裝置，該糾刪編碼裝置接收該數(shù)據(jù)寫請(qǐng)求，該糾刪編碼裝置對(duì)該原數(shù)據(jù)進(jìn)行糾刪編碼計(jì)算以產(chǎn)生至少一個(gè)糾刪數(shù)據(jù)以及該至少一個(gè)糾刪數(shù)據(jù)所對(duì)應(yīng)的至少一個(gè)鍵值，該糾刪編碼裝置對(duì)該至少一個(gè)鍵值進(jìn)行第二分布計(jì)算以產(chǎn)生該至少一個(gè)鍵值所對(duì)應(yīng)的至少一個(gè)裝置位置，該糾刪編碼裝置依照該至少一個(gè)裝置位置而通過該通信網(wǎng)絡(luò)將該至少一個(gè)糾刪數(shù)據(jù)與該至少一個(gè)鍵值傳輸至該至少一個(gè)數(shù)據(jù)分派裝置，該至少一個(gè)數(shù)據(jù)分派裝置將該至少一個(gè)糾刪數(shù)據(jù)切割為該至少一個(gè)數(shù)據(jù)塊，該至少一個(gè)數(shù)據(jù)分派裝置對(duì)在該至少一個(gè)數(shù)據(jù)塊中的該目前數(shù)據(jù)塊進(jìn)行該摘要計(jì)算以產(chǎn)生該代表值，該至少一個(gè)數(shù)據(jù)分派裝置對(duì)該代表值進(jìn)行該第一分布計(jì)算以決定該目的位置，以及該至少一個(gè)數(shù)據(jù)分派裝置依照該目的位置而通過該通信網(wǎng)絡(luò)將該目前數(shù)據(jù)塊與該代表值傳輸至該至少一個(gè)目的存儲(chǔ)裝置。

10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)存儲(chǔ)系統(tǒng)，其中該至少一個(gè)數(shù)據(jù)分派裝置將該至少一個(gè)鍵值與該代表值的映射關(guān)系記錄至查找表中。