[發明專利]一種基于全局統計的去碎片方法及系統

有效

• 申請號: 201410089576.X
• 申請日: 2014-03-12
• 公開（公告）號: CN103885859B
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 華宇;馮丹;賴榮譽;夏文;付忞;黃方亭;周玉坤;張宇成
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 華中科技大學專利中心42201
• 代理人: 梁鵬

1.一種基于全局統計的去碎片方法，其特征在于，所述方法包括以下步驟：

步驟1，確定待備份的數據流中的各重復數據塊，統計各重復數據塊所對應的被引用段中所有被引用數據的長度，得到段引用緩沖區；

步驟2，計算待備份的數據流中的各重復數據塊所對應的被引用段中所有被引用數據的長度與該被引用段的長度的比值，并判斷該比值是否小于設定閾值，若是則將該重復數據塊寫入新建立的段中；

其中，所述步驟1具體包括：

步驟1.1，判斷數據流中的數據塊是否是重復數據，若是則轉入步驟1.2；否則轉入步驟1.5；

步驟1.2，根據該數據塊的引用地址，在段引用緩沖區中查找該數據塊引用地址對應的記錄，若記錄不存在，則轉入步驟1.3；否則轉入步驟1.4；

步驟1.3，在段引用緩沖區中新建記錄，該記錄包括段ID、段長度、被引用數據的長度和段引用率，該記錄的段ID初始化為所述數據塊的引用地址，該記錄的段長度根據所述段ID查詢得到，該記錄的被引用數據的長度初始化為0，該記錄的段引用率初始化為負值；轉入步驟1.4；

步驟1.4，將所述數據塊的長度與該數據塊引用地址對應的記錄的被引用數據的長度相加，并賦值給該數據塊引用地址對應的記錄的被引用數據的長度；轉入步驟1.5；

步驟1.5，將所述數據塊存入去重結果緩沖區中，并判斷數據流中是否還有數據塊，若是則轉入步驟1.1；否則轉入步驟2；

其中，所述步驟2具體包括：

步驟2.1，判斷去重結果緩沖區中的數據塊是否是重復數據，若是重復數據，則轉入步驟2.2；否則將數據塊寫入段中，并轉入步驟2.5；

步驟2.2，根據數據塊的引用地址，在段引用緩沖區中查找該數據塊引用地址對應的記錄，若該記錄中的段引用率為負值，則轉入步驟2.3；否則轉入步驟2.4；

步驟2.3，用該記錄中的被引用數據的長度除于段長度，得到的值設置為該記錄中的段引用率；轉入步驟2.4；

步驟2.4，比較該記錄的段引用率和設定閾值，若該記錄的段引用率小于設定閾值，則將該重復數據塊寫入段中；否則轉入步驟2.5；

步驟2.5，判斷所述去重結果緩沖區中是否還有數據塊，若是則轉入步驟2.1；否則結束。

2.如權利要求1所述的去碎片方法，其特征在于，所述段引用緩沖區是一個哈希表。

3.如權利要求1或2所述的去碎片方法，其特征在于，所述去重結果緩沖區為一個先入先出隊列。