[發(fā)明專利]一種重復(fù)數(shù)據(jù)刪除方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410101736.8
• 申請(qǐng)日: 2014-03-18
• 公開（公告）號(hào): CN104933010B
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計(jì)）人: 張亮;陸承濤;劉屹;葛雄資;吳俊
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F17/00
• 分類號(hào): G06F17/00;G06F9/44
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種重復(fù)數(shù)據(jù)刪除裝置，其特征在于，包括通過總線連接的處理器、存儲(chǔ)器和硬件加速器，其中：

所述存儲(chǔ)器，用于儲(chǔ)存用于數(shù)據(jù)分類的第一程序，及用于數(shù)據(jù)去重的第二程序；

所述處理器，用于調(diào)用所述存儲(chǔ)器中儲(chǔ)存的第一程序，將待處理數(shù)據(jù)劃分為N個(gè)數(shù)據(jù)流，并通過N個(gè)線程分別將所述N個(gè)數(shù)據(jù)流傳送給所述硬件加速器；所述N為大于1的正整數(shù)；

所述硬件加速器，用于分別計(jì)算所述N個(gè)數(shù)據(jù)流中所包括的數(shù)據(jù)塊的標(biāo)識(shí)信息；

所述處理器，還用于調(diào)用所述存儲(chǔ)器中儲(chǔ)存的第二程序，根據(jù)所述硬件加速器計(jì)算的數(shù)據(jù)塊的標(biāo)識(shí)信息執(zhí)行重復(fù)數(shù)據(jù)刪除處理；

其中，所述處理器，具體用于調(diào)用所述存儲(chǔ)器中儲(chǔ)存的第一程序后，根據(jù)如下信息中的至少一種將所述待處理數(shù)據(jù)劃分為N個(gè)數(shù)據(jù)流：應(yīng)用端口號(hào)，文件類型和應(yīng)用類型；

其中，所述硬件加速器包括：N個(gè)原始數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)分片模塊和N個(gè)結(jié)果數(shù)據(jù)緩沖區(qū)；

所述N個(gè)原始數(shù)據(jù)緩沖區(qū)，用于分別緩沖所述處理器傳送的N個(gè)數(shù)據(jù)流；

所述數(shù)據(jù)分片模塊，用于分別對(duì)所述N個(gè)數(shù)據(jù)流進(jìn)行分片得到每個(gè)所述數(shù)據(jù)流所包括的數(shù)據(jù)塊，并分別計(jì)算每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)信息；

所述N個(gè)結(jié)果數(shù)據(jù)緩沖區(qū)，用于分別緩沖所述數(shù)據(jù)分片模塊計(jì)算的N個(gè)數(shù)據(jù)流所包括的數(shù)據(jù)塊的標(biāo)識(shí)信息，其中，一個(gè)結(jié)果數(shù)據(jù)緩沖區(qū)累計(jì)對(duì)一個(gè)數(shù)據(jù)流進(jìn)行處理的處理結(jié)果。

2.如權(quán)利要求1所述的裝置，其特征在于，所述數(shù)據(jù)分片模塊具體包括：確定子模塊，第一數(shù)據(jù)分片子模塊以及第二數(shù)據(jù)分片子模塊，其中：

所述確定子模塊，用于確定對(duì)每個(gè)數(shù)據(jù)流在執(zhí)行重復(fù)數(shù)據(jù)刪除處理時(shí)所需要的數(shù)據(jù)塊的大小，并根據(jù)所述對(duì)每個(gè)數(shù)據(jù)流在執(zhí)行重復(fù)數(shù)據(jù)刪除處理時(shí)所需要的數(shù)據(jù)塊的大小，將所述N個(gè)數(shù)據(jù)流分別發(fā)送給所述第一數(shù)據(jù)分片子模塊或所述第二數(shù)據(jù)分片子模塊；

所述第一數(shù)據(jù)分片子模塊，用于對(duì)接收的數(shù)據(jù)流進(jìn)行分片得到所述數(shù)據(jù)流所包括的數(shù)據(jù)塊，使得每個(gè)數(shù)據(jù)塊的大小為2的n次方，并分別計(jì)算所述數(shù)據(jù)流的每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)信息；

所述第二數(shù)據(jù)分片子模塊，用于對(duì)接收的數(shù)據(jù)流進(jìn)行分片得到所述數(shù)據(jù)流所包括的數(shù)據(jù)塊，使得每個(gè)數(shù)據(jù)塊的大小為非2的n次方，并分別計(jì)算所述數(shù)據(jù)流的每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)信息。

3.如權(quán)利要求2所述的裝置，其特征在于，所述第一數(shù)據(jù)分片子模塊以及所述第二數(shù)據(jù)分片子模塊分別包括：

滑動(dòng)窗口計(jì)算模塊，用于在對(duì)數(shù)據(jù)流分片時(shí),計(jì)算沿著所述數(shù)據(jù)流滑動(dòng)的固定大小的滑動(dòng)窗口內(nèi)的數(shù)據(jù)的指紋；

分片點(diǎn)計(jì)算模塊；用于當(dāng)所述當(dāng)滑動(dòng)窗口計(jì)算模塊計(jì)算的指紋滿足預(yù)置條件時(shí)，將所述滑動(dòng)窗口的位置作為所述數(shù)據(jù)流所包括的數(shù)據(jù)塊的分片點(diǎn)；

所述指紋計(jì)算模塊，用于計(jì)算所述數(shù)據(jù)流的每個(gè)數(shù)據(jù)塊的數(shù)據(jù)指紋作為所述每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)信息，并將所述數(shù)據(jù)流的每個(gè)數(shù)據(jù)塊的數(shù)據(jù)指紋傳送給所述數(shù)據(jù)流對(duì)應(yīng)的結(jié)果數(shù)據(jù)緩沖區(qū)。

4.一種重復(fù)數(shù)據(jù)刪除方法，其特征在于，應(yīng)用于如權(quán)利要求1至3任一項(xiàng)所述的重復(fù)數(shù)據(jù)刪除裝置中，所述方法包括：

處理器調(diào)用存儲(chǔ)器中儲(chǔ)存的第一程序，將待處理數(shù)據(jù)劃分為N個(gè)數(shù)據(jù)流，并通過N個(gè)線程分別將所述N個(gè)數(shù)據(jù)流傳送給硬件加速器；所述N為大于1的正整數(shù)；

硬件加速器分別計(jì)算所述N個(gè)數(shù)據(jù)流中每個(gè)數(shù)據(jù)流所包括的數(shù)據(jù)塊的標(biāo)識(shí)信息；

所述處理器調(diào)用所述存儲(chǔ)器中儲(chǔ)存的第二程序，根據(jù)所述硬件加速器計(jì)算的所述數(shù)據(jù)塊的標(biāo)識(shí)信息執(zhí)行重復(fù)數(shù)據(jù)刪除處理；

其中，所述將待處理數(shù)據(jù)劃分為N個(gè)數(shù)據(jù)流，具體包括：

根據(jù)如下任信息中的至少一種將所述待處理數(shù)據(jù)劃分為N個(gè)數(shù)據(jù)流：應(yīng)用端口號(hào)，文件類型和應(yīng)用類型。

5.如權(quán)利要求4所述的方法，其特征在于，所述硬件加速器分別計(jì)算所述N個(gè)數(shù)據(jù)流中所包括的數(shù)據(jù)塊的標(biāo)識(shí)信息，具體包括：

所述硬件加速器分別對(duì)所述N個(gè)數(shù)據(jù)流進(jìn)行分片得到每個(gè)所述數(shù)據(jù)流所包括的數(shù)據(jù)塊；并分別計(jì)算每個(gè)數(shù)據(jù)塊的標(biāo)識(shí)信息。