[發(fā)明專利]重復(fù)數(shù)據(jù)刪除方法和裝置

有效

• 申請?zhí)枺?/td>: 201410475287.3
• 申請日: 2014-09-17
• 公開（公告）號: CN104239518B
• 公開（公告）日: 2017-09-29
• 發(fā)明（設(shè)計）人: 李育國;游俊;張宗全
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司11205
• 代理人: 劉芳

技術(shù)領(lǐng)域

本發(fā)明實施例涉及計算機技術(shù)，尤其涉及一種重復(fù)數(shù)據(jù)刪除方法和裝置。

背景技術(shù)

現(xiàn)有技術(shù)中，存儲服務(wù)器將接收到的數(shù)據(jù)全部進行重刪壓縮處理。具體的：對于主存儲領(lǐng)域中已經(jīng)存儲過的數(shù)據(jù)塊來說，當(dāng)外部設(shè)備向存儲服務(wù)器的某一邏輯地址(假設(shè)為地址0)發(fā)送數(shù)據(jù)時，存儲服務(wù)器首先會將該數(shù)據(jù)進行分塊，分塊之后采用對應(yīng)的哈希算法計算該數(shù)據(jù)塊的指紋；并將該數(shù)據(jù)塊的指紋傳入指紋庫中進行查詢(該指紋庫中存儲的是存儲空間中已存儲的數(shù)據(jù)塊對應(yīng)的指紋)，以判斷該數(shù)據(jù)塊是否為重復(fù)塊；若是，則執(zhí)行重刪操作，即將該重復(fù)塊刪除，并將存儲空間中的與該重復(fù)塊相同的數(shù)據(jù)塊(該與重復(fù)塊相同的數(shù)據(jù)塊在存儲空間中的地址為地址1，地址1為物理地址)的引用次數(shù)加1，并將地址0指向地址1；如果為唯一塊，則將該數(shù)據(jù)塊保存到存儲空間，當(dāng)然在保存之前可以選擇對該數(shù)據(jù)塊執(zhí)行壓縮操作，并相應(yīng)的分配物理地址存儲該數(shù)據(jù)塊。

但是，當(dāng)?shù)刂?上的重復(fù)塊被刪除后，外部設(shè)備有可能仍然會不斷的向該地址發(fā)送寫請求，以對地址0上的數(shù)據(jù)進行覆蓋寫，所以上述對該地址0上的數(shù)據(jù)執(zhí)行的重刪操作將沒有意義，從而浪費存儲服務(wù)器的計算資源。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種重復(fù)數(shù)據(jù)刪除方法和裝置，用以解決現(xiàn)有技術(shù)對數(shù)據(jù)塊執(zhí)行重刪操作時導(dǎo)致存儲服務(wù)器資源浪費的技術(shù)問題。

第一方面，本發(fā)明實施例提供一種重復(fù)數(shù)據(jù)刪除方法，包括：

接收外部設(shè)備發(fā)送的覆蓋寫請求，所述覆蓋寫請求中攜帶數(shù)據(jù)塊和待存儲所述數(shù)據(jù)塊的第一地址；

判斷所述第一地址在[t1,t2]時間段內(nèi)覆蓋寫次數(shù)是否超過第一閾值；其中，所述t1和t2均為時間點，所述t2大于t1；

若是，則不對所述數(shù)據(jù)塊執(zhí)行重刪操作；

若否，則對所述數(shù)據(jù)塊執(zhí)行重刪操作。

結(jié)合第一方面，在第一方面的第一種可能的實施方式中，所述判斷所述第一地址在[t1,t2]時間段內(nèi)覆蓋寫次數(shù)是否超過第一閾值，具體包括：

查詢第一記錄表中是否存在所述第一地址；所述第一記錄表用于記錄在所述[t1,t2]時間段內(nèi)覆蓋寫次數(shù)超過所述第一閾值的地址。

結(jié)合第一方面或第一方面的第一種可能的實施方式，在第一方面的第二種可能的實施方式中，當(dāng)判斷所述第一地址在所述[t1,t2]時間段內(nèi)覆蓋寫次數(shù)沒有超過第一閾值，所述方法還包括：

將所述第一地址在所述[t1,t2]時間段內(nèi)進行覆蓋寫次數(shù)加1。

結(jié)合第一方面的第二種可能的實施方式，在第一方面的第三種可能的實施方式中，當(dāng)所述第一地址上的覆蓋寫次數(shù)在所述[t1,t2]時間段內(nèi)超過所述第一閾值，所述方法還包括：

將所述第一地址記錄在所述第一記錄表中，并將所述第一地址指向查找表中的第二地址；其中，所述查找表包括所述第二地址與所述數(shù)據(jù)塊的指紋的映射關(guān)系。

結(jié)合第一方面的第三種可能的實施方式，在第一方面的第四種可能的實施方式中，若所述第一地址在(t2，t3]時間段內(nèi)的覆蓋寫次數(shù)沒有超過第二閾值，則將所述第一地址從所述第一記錄表中刪除；其中，所述t3為大于t2的時間點。

結(jié)合第一方面的第三種可能的實施方式，在第一方面的第五種可能的實施方式中，所述方法還包括：

接收所述外部設(shè)備發(fā)送的讀請求，所述讀請求中攜帶所述第一地址；

若判斷所述第一地址在(t2,t4]時間段內(nèi)被讀取的次數(shù)超過第三閾值，則恢復(fù)所述第一地址上最后一次執(zhí)行所述重刪操作時的數(shù)據(jù)塊；其中，所述t4為大于t2的時間點。

結(jié)合第一方面的第五種可能的實施方式，在第一方面的第六種可能的實施方式中，所述恢復(fù)所述第一地址上最后一次執(zhí)行所述重刪操作時的數(shù)據(jù)塊，具體包括：

讀取所述第二地址上的數(shù)據(jù)塊；

對所述第二地址上的數(shù)據(jù)塊進行恢復(fù)，以獲取所述第一地址上最后一次執(zhí)行所述重刪操作時的數(shù)據(jù)塊；

將所述第一地址上最后一次執(zhí)行所述重刪操作時的數(shù)據(jù)塊存儲至第三地址，并將所述第一地址標(biāo)記為未經(jīng)過重刪操作。

第二方面，本發(fā)明實施例提供一種重復(fù)數(shù)據(jù)刪除裝置，包括：

接收模塊，用于接收外部設(shè)備發(fā)送的覆蓋寫請求，所述覆蓋寫請求中攜帶數(shù)據(jù)塊和待存儲所述數(shù)據(jù)塊的第一地址；

判斷模塊，用于判斷所述第一地址在[t1,t2]時間段內(nèi)覆蓋寫次數(shù)是否超過第一閾值；其中，所述t1和t2均為時間點，所述t2大于t1；