[發明專利]一種數據重刪方法及存儲設備

有效

• 申請號: 201710392991.6
• 申請日: 2017-05-27
• 公開（公告）號: CN107193503B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 扈海龍
• 申請（專利權）人: 杭州宏杉科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

本申請提供一種數據重刪方法及存儲設備，該方法應用分布式存儲系統中的存儲設備，該方法包括：響應寫IO請求中的待寫入數據，且計算所述待寫入數據的特征值；當根據特征值分布策略將待寫入數據的特征值發送至其他存儲設備時，接收其他存儲設備基于待寫入數據的特征值進行查找返回的響應消息；根據響應消息對待寫入數據進行重刪處理。該方法可以降低分布式存儲系統的網絡負擔，也降低了讀IO需要通過網絡進行數據傳輸的概率，由于降低了數據網絡傳輸的負擔，減小了讀寫IO的延時，提升了IO處理速度和吞吐量。

技術領域

本申請涉及存儲領域，尤其涉及一種數據重刪技術。

背景技術

重刪(全稱為重復數據刪除)技術，是一種自動搜索重復數據，并將相同數據保留唯一副本的存儲技術。通過重刪處理，可消除存儲系統的冗余數據，降低對存儲容量的需求。

實現重刪技術的方法有很多種，但目前比較流行在線重刪技術是基于Hash(譯為散列或哈希)算法實現重刪，該種重刪方法主要包括：將寫入的數據劃分成定長或者不定長的數據塊，計算每個數據塊的散列值(也可稱為指紋)，通過散列值匹配，保留新增數據，刪除重復數據。

為了提供數據的處理速度，可采用分布式存儲系統，參照圖1所示，分布式存儲系統有3個存儲控制器，分別為存儲控制器A、存儲控制器B和存儲控制器C，當然存儲控制器的具體數量視情況而定。存儲控制器之間可通過網絡連接，存儲控制器間可以通過網絡傳遞數據，該網絡可以是以太網絡，也可以是PCIE網絡等等。此處的存儲控制器還可以包括實際的物理存儲介質，例如，物理磁盤或者硬盤等，存儲介質中具有實際存儲數據的存儲空間，存儲空間可以劃分成多個存儲區域，每個區域具有物理地址。存儲控制器也可以指不包括存儲介質的設備，其作用是對物理介質進行控制和管理。

基于分布式存儲系統的重刪方法，每個存儲控制器包括LUN(Logical UnitNumber，邏輯單元號)，LUN是存儲系統中，為用戶提供的數據訪問的存儲單元，LUN包括多個邏輯地址塊，每個邏輯地址塊具有編號，該編號可稱為邏輯地址，LUN中存儲有邏輯地址映射表，每個存儲控制器還可以設置指紋映射表。

如圖2所示，邏輯地址映射表包括邏輯地址到實際在存儲空間中保存數據的物理地址間的映射關系，其中邏輯地址可稱為LBA(Logical Block Address，邏輯區塊地址)，物理地址可稱為PBA(Physics Block Address，物理區塊地址)，例如，LUN中的邏輯地址LBA為1、2、3、4和5，分別對應的保存數據的存儲空間的物理地址PBA為PBA-1、PBA-2、PBA-2、PBA-3和PBA-4，其中邏輯地址2和4對應的物理地址相同，都是PBA-2。

如圖2所示，指紋映射表包括已完成重刪處理的已寫入數據的指紋與物理地址PBA的映射關系，指紋指可采用Hash算法得到，也可以稱為Hash到PBA的映射關系。指紋映射表的作用是，當對寫IO的數據進行重刪處理時，通過到指紋映射表中檢索是否存在有相同指紋，來初步判斷是否存在重復的數據。

如圖2所示，已寫入四個數據塊的指紋Hash-A、Hash-B、Hash-C和Hash-D分別對應的物理地址PBA為PBA-1、PBA-2、PBA-3和PBA-4。

每個存儲控制器中還可以包括重刪副本庫，其作用是對存儲控制器中的存儲空間進行管理，為進行重刪處理的數據分配存儲空間和對存儲空間進行回收等，圖2中所示的重刪副本庫所在的方框包含重刪副本庫和對應的存儲空間。

如圖1所示，該分布式存儲系統中，邏輯地址映射表、指紋映射表和重刪副本庫被劃分成幾個分段，每個分段保存在不同的存儲控制器上，即，邏輯地址映射表a、指紋映射表a和重刪副本庫a保存在存儲控制器A中，邏輯地址映射表b、指紋映射表b和重刪副本庫b保存在存儲控制器B中，邏輯地址映射表c、指紋映射表c和重刪副本庫c保存在存儲控制器C中，這樣可以充分發揮每個存儲控制器的計算能力和存儲能力。