[發明專利]一種在數據存儲前去除重復數據的方法

有效

• 申請號: 201310278342.5
• 申請日: 2013-07-04
• 公開（公告）號: CN104281412A
• 公開（公告）日: 2015-01-14
• 發明（設計）人: 鄔玉良
• 申請（專利權）人: 北京中科同向信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種在數據存儲前根據待處理數據的組織特征來去除重復數據的方法，其步驟如下：

(1)判斷待處理的數據組織結構是否與已存在的數據一致。

(2)若一致則獲取其結構類型的數據切割器，再將數據從硬盤加載到內存，傳入待處理數據；如不一致，則獲取數據結構的數據切割器，傳入待處理數據。

(3)將待處理數據由切割器分割為子數據塊，并為子數據塊生成唯一的標識符。

(4)提取存儲中數據的標識符、校驗碼并合并。

(5)然后判斷是否存在重復的標識符和校驗碼，并存儲。

2.如權利要求1中所述的在數據存儲前根據待處理數據的組織特征來去除重復數據的方法其目的是在于解決數據存儲前對重復數據的識別、去除問題。

3.如權利要求1中所述的在數據存儲方法其特征是在數據存儲前利用待處理數據的組織特征將其切割為長度不等的子數據塊并對每一子數據塊生成一個標準標識符來識別是否存在重復數據，然后在數據存儲前將數據進行處理，降低存儲后重復數據刪除誤判的可能性。

4.如權利要求1中步驟(1)所述的數據的組織結構含義是：假如數據用D表示，數據間的關系用R表示，則DR＝(D，R)就表示數據組織結構。