[發(fā)明專利]一種數(shù)據(jù)重刪方法、裝置及電子設備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011033811.3
• 申請日: 2020-09-27
• 公開（公告）號: CN111984203B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設計）人: 夏方健
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 史翠

本申請公開了一種數(shù)據(jù)重刪方法、裝置及一種電子設備和計算機可讀存儲介質(zhì)，該方法包括：當目標卷接收到目標數(shù)據(jù)時，將所述目標數(shù)據(jù)發(fā)送至重刪模塊，以便所述重刪模塊將所述目標數(shù)據(jù)切分多個分塊數(shù)據(jù)，并確定每個分塊數(shù)據(jù)是否需要重刪；獲取所述重刪模塊發(fā)送的所述目標數(shù)據(jù)的重刪結(jié)果，并將所述目標數(shù)據(jù)和所述重刪結(jié)果發(fā)送至所述目標卷所屬的目標池，以便所述目標池基于所述重刪結(jié)果對所述目標數(shù)據(jù)中的分塊數(shù)據(jù)進行刪除操作后果落盤處理。由此可見，本申請?zhí)峁┑臄?shù)據(jù)重刪方法，簡化了重刪模塊在IO路徑上的參與度，使得重刪模塊更靈活，減少了數(shù)據(jù)重刪時的性能損耗。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，更具體地說，涉及一種數(shù)據(jù)重刪方法、裝置及一種電子設備和一種計算機可讀存儲介質(zhì)。

背景技術(shù)

數(shù)據(jù)重刪，即重復數(shù)據(jù)刪除(Deduplication)，是一種可自動識別并刪除重復數(shù)據(jù)的技術(shù)，屬于一種高級的數(shù)據(jù)壓縮方式。在相關(guān)技術(shù)中，數(shù)據(jù)重刪流程為：主機下發(fā)數(shù)據(jù)，卷將數(shù)據(jù)按照重刪算法所采取的分塊方式劃分為不同粒度(4k/8k)，數(shù)據(jù)下發(fā)到重刪模塊。重刪模塊通過哈希算法計算數(shù)據(jù)的指紋值。通過計算出的指紋值到指紋庫查詢，判斷指紋庫是否存在該指紋值，假如存在，則按照重復數(shù)據(jù)進行處理，假如不存在，則按照非重復數(shù)據(jù)進行處理。

針對以上流程，當主機下發(fā)io數(shù)據(jù)時，卷層面將io數(shù)據(jù)按照固定粒度切分后一次下發(fā)給重刪，重刪模塊處理之后將數(shù)據(jù)結(jié)果發(fā)送給池，池選擇將需要落盤的數(shù)據(jù)進行落盤，在進行落盤過程中，考慮到資源和性能的影響，池不能按照單個8k粒度逐次進行落盤，而是等待重刪模塊處理一批數(shù)據(jù)之后一次性進行落盤操作，如此就會造成8k粒度湊落盤時性能上有因為等待時間而造成的損耗。

因此，如何減少數(shù)據(jù)重刪時的性能損耗是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請的目的在于提供一種數(shù)據(jù)重刪方法、裝置及一種電子設備和一種計算機可讀存儲介質(zhì)，減少了數(shù)據(jù)重刪時的性能損耗。

為實現(xiàn)上述目的，本申請?zhí)峁┝艘环N數(shù)據(jù)重刪方法，包括：

當目標卷接收到目標數(shù)據(jù)時，將所述目標數(shù)據(jù)發(fā)送至重刪模塊，以便所述重刪模塊將所述目標數(shù)據(jù)切分多個分塊數(shù)據(jù)，并確定每個分塊數(shù)據(jù)是否需要重刪；

獲取所述重刪模塊發(fā)送的所述目標數(shù)據(jù)的重刪結(jié)果，并將所述目標數(shù)據(jù)和所述重刪結(jié)果發(fā)送至所述目標卷所屬的目標池，以便所述目標池基于所述重刪結(jié)果對所述目標數(shù)據(jù)中的分塊數(shù)據(jù)進行刪除操作后果落盤處理。

其中，所述重刪模塊將所述目標數(shù)據(jù)切分多個分塊數(shù)據(jù)，并確定每個分塊數(shù)據(jù)是否需要重刪，包括：

所述重刪模塊基于第一預設粒度將所述目標數(shù)據(jù)切分多個分塊數(shù)據(jù)；其中，所述第一預設粒度為元數(shù)據(jù)的存儲粒度；

計算每個所述分塊數(shù)據(jù)的指紋值，并判斷指紋庫中是否存在所述指紋值；

若是，則判定所述分塊數(shù)據(jù)需要重刪；若否，則判定所述分塊數(shù)據(jù)不需要重刪。

其中，將所述目標數(shù)據(jù)發(fā)送至重刪模塊，包括：

判斷所述目標數(shù)據(jù)的數(shù)據(jù)長度是否大于第二預設粒度；其中，所述第二預設粒度為所述第一預設粒度的整數(shù)倍；

若是，則基于所述第二預設粒度對所述目標數(shù)據(jù)進行切分，并將切分后的目標數(shù)據(jù)逐個發(fā)送至所述重刪模塊；

若否，則將所述目標數(shù)據(jù)直接發(fā)送至重刪模塊。

其中，所述重刪模塊將所述目標數(shù)據(jù)切分多個分塊數(shù)據(jù)之前，還包括：

所述重刪模塊判斷所述目標數(shù)據(jù)的數(shù)據(jù)長度是否大于所述第二預設粒度；

若是，則所述重刪模塊向所述目標卷返回錯誤信息，并返回所述目標數(shù)據(jù)；