[發明專利]一種在線重復數據刪除系統的數據重建優化方法

有效

• 申請號: 201410198679.X
• 申請日: 2014-05-12
• 公開（公告）號: CN103955530B
• 公開（公告）日: 2017-02-22
• 發明（設計）人: 鄧玉輝;岑大慰;黃戰
• 申請（專利權）人: 暨南大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州市華學知識產權代理有限公司44245
• 代理人: 陳燕嫻

1.一種在線重復數據刪除系統的數據重建優化方法，其特征在于，包括下述步驟：

(1)、在線重復數據刪除系統對初始文件進行數據去重之后，生成去重包，去重系統響應用戶對基于文件級別的數據的訪問請求，通過文件恢復實現用戶的存儲訪問，在線重復數據刪除系統會在一段預設定長度的時間內統計去重包中各個文件的訪問次數，將訪問頻度高于一定值的文件歸類為常用文件集，訪問頻度低于該臨界值的文件歸為非常用文件集，然后執行步驟(2)操作；

(2)、暫停重復數據刪除系統的數據訪問請求，進行基于文件級別的數據塊重排，常用文件過濾器根據步驟(1)得到的常用文件集對去重包中的文件實體進行分流處理；處理過程是：按照去重包中初始文件的排列順序，逐個讀取去重包中的文件實體，比較文件實體記錄對應文件的元數據信息段的文件名和文件類型，如果該文件名存在于步驟(1)生成的常用文件集中，則執行步驟(3)操作；

(3)、讀取文件實體的唯一數據塊編號區，根據數據塊映射規則，找到每個對應編號的唯一數據塊在去重包中的存放位置，將對應的唯一數據塊寫入到將要恢復的文件中，并且把文件實體中的最后一個唯一數據塊也寫入到要恢復的文件中，如果步驟(2)全部完成之后，則執行步驟(4)，否則繼續返回執行步驟(2)；

(4)、將常用集中的文件重新進行數據塊切分和指紋計算，并生成新的邏輯數據塊單元和文件描述元信息，將新生成的數據信息寫入到新的去重包中，然后執行步驟(5)操作；

(5)、將舊的去重包中的非常用文件集對應的唯一數據塊進行基于文件級別的數據恢復，將非常用文件集中文件追加到新的去重包中，放到新的去重包中數據片段的后端，完成后刪除舊的去重包；

(6)、新生成的去重包中的數據分布是基于對常用文件所包含的數據塊和文件元數據的預取和集中，重復數據刪除系統恢復響應用戶對數據訪問的請求。

2.根據權利要求1所述的在線重復數據刪除系統的數據重建優化方法，其特征在于，步驟(2)中，進行基于文件重排數據塊的前提步驟是找到將單個文件所包含的全部數據塊，將對應的數據塊作統一的調度，查找文件相應的數據塊之前需要對去重包中的文件進行恢復，文件恢復是一個讀取數據塊和寫入文件的過程，通過讀取去重包中各個文件實體包含的文件元數據信息和數據塊信息，恢復初始的文件數據；基于文件級別的數據塊重排，不但將唯一數據塊集中預取到去重包中的數據片段的前端，而且數據塊指紋和邏輯數據塊相關的描述信息也一并預取到相應數據片段的前端。

3.根據權利要求1所述的在線重復數據刪除系統的數據重建優化方法，其特征在于，步驟(2)中，所述常用文件過濾器用于實現文件數據塊分布管理，通過改變文件進入重復數據刪除系統的順序，實現基于常用文件集的數據塊重排，文件過濾器首先將去重包中的文件按系統文件的順序進行掃描，當掃描到的文件在常用文件集時，就直接進行文件所對應的數據塊、指紋、邏輯數據和文件實體的檢索，檢索過程包括數據塊的尋址和恢復，以及新去重包中數據區的寫入，所有文件都掃描完畢之后，剩下的不在常用文件集中的文件就按原有順序排列在去重包中常用文件集的數據片段之后。

4.根據權利要求1所述的在線重復數據刪除系統的數據重建優化方法，其特征在于，步驟(3)中，數據塊在去重包中的存儲格式是一個副本，多個索引，數據塊的尋址單位是字節，去重包中唯一數據塊的物理信息記錄在對應的邏輯數據塊中，每個邏輯數據塊的大小相同，唯一數據塊的編號從0開始，依次遞增。

5.根據權利要求4所述的在線重復數據刪除系統的數據重建優化方法，其特征在于，數據塊尋址包括兩個映射過程，首先，根據文件實體中數據塊的編號找到對應的邏輯數據塊，因為每個邏輯塊的大小都相同，尋址的運算過程是：數據塊的編號乘以邏輯塊的大小，然后就得出對應邏輯數據塊的物理地址；然后，第二次尋址是根據讀出的邏輯數據塊中記錄的唯一數據塊的物理位移和塊大小，找到相應的數據塊，數據塊的尋址和物理映射實際上是“索引—唯一數據塊”的轉換。